nginx及I/O介绍原理

上课笔记

Nginx

httpd MPM:多路处理模块
prefork:进程模型,两级结构,主进程master负责生成子进程,每个子进程负责响应一个请求
worker:线程模型,三级结构,主进程master负责生成子进程,每个子进程负责生成多个线程,每个线程响应一个请求
event:线程模型,三级结构,主进程master负责生成子进程,每个子进程响应多个请求 (?)

I/O介绍

v I/O:
网络IO:本质是socket读取
磁盘IO
v 每次IO,都要经由两个阶段:
Ü 第一步:将数据从磁盘文件先加载至内核内存空间(缓冲区),等待数据准备完成,时间较长
Ü 第二步:将数据从内核缓冲区复制到用户空间的进程的内存中,时间较短

先到达网卡,网卡解封装,看mac地址,是我的,往上传,网络层,ip地址是我的,往上传,传输层,看端口80,到达应用层,

这个请求就是输入,

Linux进行网络通讯都是基于socket的,

表现为socket文件,()利用网络进行通讯,文件都是为socket文件中写的,(传数据和接收数据都是通过socket)

I/O 表现为对socket文件的读和写,

用户是没有权限访问磁盘的,

PIO  cpu 参与io

DMA 直接内存访问 cpu只需要发送指令,dma负责读取

用户和内核之间的交互

内核和磁盘之间的交互  从磁盘上读取数据到内核空间,比较费时间

同步/异步:关注的是消息通信机制

同步:synchronous,调用者自已主动等待被调用者返回消息,才能继续执行
异步:asynchronous,被调用者通过状态、通知或回调机制主动通知调用者被调用者的运行状态
阻塞/非阻塞:关注调用者在等待结果返回之前所处的状态
阻塞:blocking,指IO操作需要彻底完成后才返回到用户空间,调用结果返回之前,调用者被挂起
非阻塞:nonblocking,指IO操作被调用后立即返回给用户一个状态值,无需等到IO操作彻底完成,最终的调用结果返回之前,调用者不会被挂起

例子

阻塞,烧开水,水什么时候开,我才能干其他的事 没开之前我一直在等着

非阻塞,同时可以干其他的事

同步阻塞: 自己去看那个壶,同时不干其他的事

同步非阻塞:来回看看壶,也干其他的事如看电视

异步阻塞:守着能叫的壶跟前,  自己也守在壶跟前,同时啥也不干

异步非阻塞:能响的水壶,水烧开了可以通知我,我在专心的看电视

五种I/O模型

五种IO模型,分别是:阻塞IO、非阻塞IO、多路复用IO、信号驱动IO以及异步IO

同步阻塞

同步非阻塞

IO多路复用模块

信号驱动IO 模型

异步IO 模型

v 主要实现方式有以下几种:
Select:Linux实现对应,I/O复用模型,BSD4.2最早实现
Poll:Linux实现,对应I/O复用模型,System V unix最早实现
Epoll:Linux实现,对应I/O复用模型,具有信号驱动I/O模型的某些特性
Kqueue:FreeBSD实现,对应I/O复用模型,具有信号驱动I/O模型的某些特性
/dev/poll:SUN的Solaris实现,对应I/O复用模型,具有信号驱动I/O模型的某些特性
Iocp Windows实现,对应第5种(异步I/O)模

直接内存映射,swap

正向代理和反向代理

正向代理服务器是服务于客户端的,利用自己的缓存为用户提供服务的,和客户端在一个网络

反向代理服务器是服务于服务器的,       和服务器在一个网络中,

反向代理:目标服务器,后端看到的是,反向代理服务器的ip地址,不仅代替客户端访问服务器,也具有调度功能,具有http服务器的功能,也可以反向代理,

调度器LVS:目标服务器,后端看到的是,客户端的ip地址

Nginx 健康性检查

Nginx介绍

特性:
Ü 模块化设计,较好的扩展性
Ü 高可靠性
Ü 支持热部署:不停机更新配置文件,升级版本,更换日志文件
Ü 低内存消耗:10000个keep-alive连接模式下的非活动连接,仅需要2.5M内存
Ü event-driven,aio,mmap,sendfile
基本功能:
Ü 静态资源的web服务器
Ü http协议反向代理服务器
Ü pop3/imap4协议反向代理服务器
Ü FastCGI(lnmp),uWSGI(python)等协议
Ü 模块化(非DSO),如zip,SSL模块

Nginx的程序架构

 web服务相关的功能:
虚拟主机(server)
支持 keep-alive 和管道连接
访问日志(支持基于日志缓冲提高其性能)
url rewirte
路径别名
基于IP及用户的访问控制
支持速率限制及并发数限制
重新配置和在线升级而无须中断客户的工作进程
Memcached 的 GET 接口

nginx的程序架构:
master/worker结构
Ü 一个master进程:
负载加载和分析配置文件、管理worker进程、平滑升级
Ü 一个或多个worker进程
处理并响应用户请求
Ü 缓存相关的进程:
cache loader:载入缓存对象
cache manager:管理缓存对象

Nginx模块

nginx高度模块化,但其模块早期不支持DSO机制;1.9.11版
本支持动态装载和卸载
v 模块分类:
Ü 核心模块:core module
Ü 标准模块:
HTTP 模块: ngx_http_*
HTTP Core modules 默认功能   HTTP Optional modules 需编译时指定
Mail 模块 ngx_mail_*
Stream 模块 ngx_stream_*
Ü 第三方模块

Nginx的功能

静态的web资源服务器

Html  图片  js   css  txt等静态资源

结合fastCGI/uWSGI/SCGI等协议反向代理动态资源请求

http https协议的反向代理

Imap4 pop3协议的反向代理

Tcp udp 协议的请求转发(反向代理)

 

 

默认页面存放位置

/usr/share/nginx/html/index.html

授权nginx可以访问m.html文件

setfacl -m u:nginx:r /usr/share/nginx/html/m.html

 

 

Nginx

配置文件的组成部分:
Ü 主配置文件:nginx.conf
   子配置文件 include conf.d/*.conf
Ü fastcgi, uwsgi,scgi等协议相关的配置文件
Ü mime.types:支持的mime类型
v 主配置文件的配置指令:
Ü directive value [value2 …];
v 注意:
(1) 指令必须以分号结尾
(2) 支持使用配置变量
内建变量:由Nginx模块引入,可直接引用
自定义变量:由用户使用set命令定义
set variable_name value;
引用变量:$variable_name

v

 

 

 

 

 

 

 

 

主配置文件结构:四部
main block:主配置段,即全局配置段,对http,mail都有效
event {

}                事件驱动相关的配置
Ü http {

}               http/https 协议相关配置段

Mail{

}               mail协议相关配置段
Ü stream {

}                stream服务器相关配置段

http协议相关的配置结构

http {

… 各server的公共配置
server { 每个server用于定义一个虚拟主机

}
server {

server_name 虚拟主机名
root 主目录
alias 路径别名
location [OPERATOR] URL { 指定URL的特性

if CONDITION {

}
}
}

}

 

配置

 

Main全局配置段常见的配置指令分类

正常运行必备的配置

优化性能相关的配置

用于调试及定位问题相关的配置

事件驱动相关的配置

 

 

 

 

 

 

 

正常运行必备的配置:
v 帮助文档:http://nginx.org/en/docs/ngx_core_module.html
Ü 1、 user
Syntax: user user [group];
Default: user nobody nobody;
Context: main
指定worker进程的运行身份,如组不指定,默认和用户名同名
Ü 2、 pid /PATH/TO/PID_FILE
指定存储nginx主进程PID的文件路径
Ü 3、 include file | mask
指明包含进来的其它配置文件片断
Ü 4、 load_module file
模块加载配置文件:/usr/share/nginx/modules/*.conf
指明要装载的动态模块路径: /usr/lib64/nginx/modules

 

性能优化相关的配置
1、 worker_processes number | auto
worker进程的数量;通常应该为当前主机的cpu的物理核心数
2、 worker_cpu_affinity cpumask …
worker_cpu_affinity auto [cpumask] 提高缓存命中率
CPU MASK: 00000001:0号CPU
00000010:1号CPU
10000000:8号CPU
worker_cpu_affinity 0001 0010 0100 1000;
worker_cpu_affinity 0101 1010;
3、 worker_priority number
指定worker进程的nice值,设定worker进程优先级:[-20,20]
4、 worker_rlimit_nofile number
worker进程所能够打开的文件数量上限,如65535

 

事件驱动相关的配置:
Ü events {

}
1、 worker_connections number
每个worker进程所能够打开的最大并发连接数数量,如10240
总最大并发数:worker_processes * worker_connections
2、 use method
指明并发连接请求的处理方法 ,默认自动选择最优方法
use epoll;
3、 accept_mutex on | off 互斥
处理新的连接请求的方法;on指由各个worker轮流处理新请求,Off指每个新请求的到达都会通知(唤醒)所有的worker进程,但只有一个进程可获得连接,造成“惊群”,影响性能,默认on

 

 

 

 

 

 

 

调试和定位问题:
1、 daemon on|off
是否以守护进程方式运行nignx,默认是守护进程方式
2、 master_process on|off
是否以master/worker模型运行nginx;默认为on   off 将不启动worker
3、 error_log file [level]
错误日志文件及其级别;出于调试需要,可设定为debug;但debug仅在编译时使用了 “–with-debug”选项时才有效
方式:file /path/logfile;
stderr:发送到标准错误
syslog:server-address[,parameter=values]:发送到syslog
memory:size 内存
level:debug|info|notice|warn|error|crit|alter|emerg

 

Ngx_http_core_module  http主配置文件

 

ngx_http_core_module
v 与套接字相关的配置:
Ü 1、 server { … }
配置一个虚拟主机
server {
listen address[:PORT]|PORT;
server_name SERVER_NAME;
root /PATH/TO/DOCUMENT_ROOT;
}

 

2、

listen PORT|address[:port]|unix:/PATH/TO/SOCKET_FILE
listen address[:port] [default_server] [ssl] [http2 | spdy]
[backlog=number] [rcvbuf=size] [sndbuf=size]
default_server 设定为默认虚拟主机
ssl 限制仅能够通过ssl连接提供服务
backlog=number 超过并发连接数后,新请求进入后援队列的长度
rcvbuf=size 接收缓冲区大小
sndbuf=size 发送缓冲区大小
Ü 注意:
(1) 基于port;
listen PORT; 指令监听在不同的端口
(2) 基于ip的虚拟主机
listen IP:PORT; IP 地址不同
(3) 基于hostname
server_name fqdn; 指令指向不同的主机名

  • server_name name …;
    Ü 虚拟主机的主机名称后可跟多个由空白字符分隔的字符串
    Ü 支持*通配任意长度的任意字符server_name *.magedu.com www.magedu.*
    Ü 支持~起始的字符做正则表达式模式匹配,性能原因慎用server_name ~^www\d+\.magedu\.com$
    \d 表示 [0-9]
    Ü

匹配优先级机制从高到低:
(1) 首先是字符串精确匹配 如:www.magedu.com
(2) 左侧*通配符 如:*.magedu.com
(3) 右侧*通配符 如:www.magedu.*
(4) 正则表达式 如: ~^.*\.magedu\.com$
(5) default_server

v 4、 tcp_nodelay on | off;在keepalived模式下的连接是否启用TCP_NODELAY选项
当为off时,延迟发送,合并多个请求后再发送默认On时,不延迟发送

可用于:http, server, location
v 5、 sendfile on | off;是否启用sendfile功能,在内核中封装报文直接发送默认Off
v 6、 server_tokens on | off | build | string是否在响应报文的Server首部显示nginx版本

定义路径相关的配置

  • Root

设置web资源的路径映射;用于指明请求的URL所对应的文档的目录路径,可用于http,server,location,if location

Server{

root  data/www/vhost;

}

示例
http://www.magedu.com/images/logo.jpg
–> /data/www/vhosts/images/logo.jpg

  • location [ = | ~ | ~* | ^~ ] uri { … }
    location @name { … }
    在一个server中location配置段可存在多个,用于实现从uri到文件系统的路径映射;ngnix会根据用户请求的URI来检查定义的所有location,并找出一个最佳匹配,而后应用其配置
    v 示例:
    server {…
    server_name www.magedu.com;
    location /images/ {
    root /data/imgs/;
    }
    }
    http://www.magedu.com/images/logo.jpg
    –> /data/imgs/images/logo.jpg

 

v =:对URI做精确匹配;
location = / {

}
http://www.magedu.com/ 匹配
http://www.magedu.com/index.html 不匹配
v ^~:对URI的最左边部分做匹配检查,不区分字符大小写
v ~:对URI做正则表达式模式匹配,区分字符大小写
v ~*:对URI做正则表达式模式匹配,不区分字符大小写
v不带符号:匹配起始于此uri的所有的uri
v 匹配优先级从高到低:
=, ^~, ~/~*, 不带符号

 

v示例:
Ü root /vhosts/www/htdocs/
http://www.magedu.com/index.html
–> /vhosts/www/htdocs/index.html
Ü server {

root /vhosts/www/htdocs/
location /admin/ {
root /webapps/app1/data/
}
}
http://www.magedu.com/admin/index.html
–> /webapps/app1/data/admin/index.html

 

v 9、 alias path;
路径别名,文档映射的另一种机制;仅能用于location上下文
v 示例:
http://www.magedu.com/bbs/index.php
location /bbs/ {
alias /web/forum/;
} –> /web/forum/index.html
location /bbs/ {
root /web/forum/;

} –> /web/forum/bbs/index.html

Ü 注意:location中使用root指令和alias指令的意义不同

(a) root,给定的路径对应于location中的/uri/左侧的/

(b) alias,给定的路径对应于location中的/uri/右侧的/

 

10、 index file …;

指定默认网页资源,注意:ngx_http_index_module模块

 

可以写在http  server    location

 

11、 error_page code … [=[response]] uri;
模块:ngx_http_core_module
定义错误页,以指定的响应状态码进行响应
可用位置:http, server, location, if in location
error_page 404 /404.html
error_page 404 =200 /404.html

 

Error_page 404   =302 /302.html;

Location   /302.html{

Root  /data/error/_html/;

}

http://www.b.com/noexit.html

 

 

 

 

 

?12、 try_files file … uri;
try_files file … =code;
按顺序检查文件是否存在,返回第一个找到的文件或文件夹(结尾加斜线
表示为文件夹),如果所有的文件或文件夹都找不到,会进行一个内部重
定向到最后一个参数。只有最后一个参数可以引起一个内部重定向,之前
的参数只设置内部URI的指向。最后一个参数是回退URI且必须存在,否
则会出现内部500错误
location /images/ {
try_files $uri /images/default.gif;
}
location / {
try_files $uri $uri/index.html $uri.html =404;
}

定义客户端请求的相关配置
v 13、 keepalive_timeout timeout [header_timeout];设定保持连接超时时长,

0表示禁止长连接,默 认为75s
v 14、 keepalive_requests number;
在一次长连接上所允许请求的资源的最大数量默认为100
v 15、 keepalive_disable none | browser …对哪种浏览器禁用长连接
v 16、 send_timeout time;
向客户端发送响应报文的超时时长,此处是指两次写操作之间的间隔时长,

而非整个响应过程的传输时长

  • client_body_buffer_size size;
    用于接收每个客户端请求报文的body部分的缓冲区大小;默认为16k;超出此大小时,其将被暂存到磁盘上的由下面client_body_temp_path指令所定义的位置
    18、 client_body_temp_path path [level1 [level2[level3]]];
    设定用于存储客户端请求报文的body部分的临时存储路径及子目录结构和数量
    目录名为16进制的数字;
    client_body_temp_path /var/tmp/client_body 1 2 2
    1 1级目录占1位16进制,即2^4=16个目录 0-f
    2 2级目录占2位16进制,即2^8=256个目录 00-ff
    2 3级目录占2位16进制,即2^8=256个目录 00-ff

v 19、 limit_rate rate;
限制响应给客户端的传输速率,单位是bytes/second默认值0表示无限制
v 20、 limit_except method … { … },仅用于location
限制客户端使用除了指定的请求方法之外的其它方法
method:GET, HEAD, POST, PUT, DELETE
MKCOL, COPY, MOVE, OPTIONS, PROPFIND,
PROPPATCH, LOCK, UNLOCK, PATCH
limit_except GET {
allow 192.168.1.0/24;
deny all;
}

除了GET和HEAD 之外其它方法仅允许192.168.1.0/24网段主机使用

(get 包含head)

 

 

 

v 文件操作优化的配置
21、 aio on | off | threads[=pool];是否启用aio功能
异步IOv

  • directio size | off;
    当文件大于等于给定大小时,例如directio 4m,同步(直接)写磁盘,而非写缓存

同步IO
23、 open_file_cache off;
open_file_cache max=N [inactive=time];
nginx可以缓存以下三种信息
(1) 文件元数据:文件的描述符、文件大小和最近一次的修改时间
(2) 打开的目录结构
(3) 没有找到的或者没有权限访问的文件的相关信息
max=N:可缓存的缓存项上限;达到上限后会使用LRU算法实现管理
inactive=time:缓存项的非活动时长,在此处指定的时长内未被命中的或命中的次数少于open_file_cache_min_uses指令所指定的次数的缓存项即为非活动项,将被删除

缓存源数据,不缓存数据,提高访问速度

LRULeast recently used,最近最少使用  缓存淘汰算法

  • open_file_cache_errors on | off;
    是否缓存查找时发生错误的文件一类的信息默认值为off
    25、 open_file_cache_min_uses number;
    open_file_cache指令的inactive

参数指定的时长内,至少被命中此处指定的次数方可被归类为活动项默认值为1
26、 open_file_cache_valid time;
缓存项有效性的检查频率默认值为60s

 

 

CIDR(Classless Inter-Domain Routing,  无类别 域间 路由选择

 

ngx_http_access_module模块
实现基于ip的访问控制功能
v 1、 allow address | CIDR | unix: | all;
v 2、 deny address | CIDR | unix: | all;
http, server, location, limit_except
自上而下检查,一旦匹配,将生效,条件严格的置前
示例:
location / {
deny 192.168.1.1;
allow 192.168.1.0/24;
allow 10.1.1.0/16;
allow 2001:0db8::/32;
deny all;
}

 

ngx_http_auth_basic_module模块

实现基于用户的访问控制,使用basic机制进行用户认证
v 1、 auth_basic string | off;
v 2、 auth_basic_user_file file;
location /admin/ {
auth_basic “Admin Area”;
auth_basic_user_file /etc/nginx/.ngxpasswd;
}
用户口令文件:
1、明文文本:格式name:password:comment
2、加密文本:由htpasswd命令实现
httpd-tools所提供

创建文件/etc/nginx/.ngxpasswd;  并且加密

 

htpasswd -cm /etc/nginx/.ngxpasswd  ngx1   -c创建  -m 加密

New password:  centos

 

htpasswd -m /etc/nginx/.ngxpasswd  ngx2 创建第二份账号 不能加c,加c会覆盖你高兴  -m 加密

New password:  centos

 

ngx_http_stub_status_module模块

用于输出nginx的基本状态信息
输出信息示例:
Active connections: 291
server accepts handled requests
16630948 16630948 31070465
上面三个数字分别对应accepts,handled,requests三个值
Reading: 6 Writing: 179 Waiting: 106
67
ngx_http_stub_status_module
Active connections:当前状态,活动状态的连接数
accepts:统计总值,已经接受的客户端请求的总数
handled:统计总值,已经处理完成的客户端请求的总数
requests:统计总值,客户端发来的总的请求数
Reading:当前状态,正在读取客户端请求报文首部的连接的连接数
Writing:当前状态,正在向客户端发送响应报文过程中的连接数
Waiting:当前状态,正在等待客户端发出请求的空闲连接数
v 1、 stub_status;
示例:
location /status {
stub_status;
allow 172.16.0.0/16;
deny all;
}

v

 ngx_http_log_module模块

指定日志格式记录请求

1、 log_format name string …;
string可以使用nginx核心模块及其它模块内嵌的变量
2、 access_log path [format [buffer=size] [gzip[=level]]
[flush=time] [if=condition]];
access_log off;
访问日志文件路径,格式及相关的缓冲的配置
buffer=size
flush=time
69
ngx_http_log_module
v 示例
log_format compression ‘$remote_addr-$remote_user [$time_local] ‘
‘”$request” $status $bytes_sent ‘
‘”$http_referer” “$http_user_agent” “$gzip_ratio”‘;
access_log /spool/logs/nginx-access.log compression buffer=32k;

 

open_log_file_cache max=N [inactive=time] 缓存
[min_uses=N] [valid=time];
open_log_file_cache off;
缓存各日志文件相关的元数据信息
max:缓存的最大文件描述符数量
min_uses:在inactive指定的时长内访问大于等于此值方
可被当作活动项
inactive:非活动时长
valid:验证缓存中各缓存项是否为活动项的时间间隔

 

ngx_http_gzip_module
用gzip方法压缩响应数据,节约带宽
v 1、 gzip on | off;
启用或禁用gzip压缩
v 2、 gzip_comp_level level;
压缩比由低到高:1 到 9
默认:1
v 3、 gzip_disable regex …;
匹配到客户端浏览器不执行压缩
v 4、 gzip_min_length length;
启用压缩功能的响应报文大小阈值
72
ngx_http_gzip_module
v 5、 gzip_http_version 1.0 | 1.1;
设定启用压缩功能时,协议的最小版本
默认:1.1
v 6、 gzip_buffers number size;
支持实现压缩功能时缓冲区数量及每个缓存区的大小
默认:32 4k 或 16 8k
v 7、 gzip_types mime-type …;
指明仅对哪些类型的资源执行压缩操作;即压缩过滤器
默认包含有text/html,不用显示指定,否则出错
v 8、 gzip_vary on | off;
如果启用压缩,是否在响应报文首部插入“Vary: AcceptEncoding”
v 9、 gzip_proxied off | expired | no-cache | no-store |
private | no_last_modified | no_etag | auth | any …;
nginx对于代理服务器请求的响应报文,在何种条件下启用
压缩功能
off:对被代理的请求不启用压缩
expired,no-cache, no-store,private:对代理服务器
请求的响应报文首部Cache-Control值任何一个,启用压缩功能
v 示例:
gzip on;
gzip_comp_level 6;
gzip_min_length 64;
gzip_proxied any;
gzip_types text/xml text/css application/javascript;

 

ngx_http_ssl_module模块:

v 1、 ssl on | off;为指定虚拟机启用HTTPS protocol, 建议用listen指令代替
v 2、 ssl_certificate file;当前虚拟主机使用PEM格式的证书文件
v 3、 ssl_certificate_key file;当前虚拟主机上与其证书匹配的私钥文件
v 4、 ssl_protocols [SSLv2] [SSLv3] [TLSv1] [TLSv1.1][TLSv1.2];支持ssl协议版本,默认为后三个
v 5、 ssl_session_cache off | none | [builtin[:size]][shared:name:size];
builtin[:size]:使用OpenSSL内建缓存,为每worker进程私有
[shared:name:size]:在各worker之间使用一个共享的缓存
v 6、 ssl_session_timeout time;客户端连接可以复用ssl session cache中缓存的ssl参数的有效时长,默认5m
v 示例:
server {
listen 443 ssl;
server_name www.magedu.com;
root /vhosts/ssl/htdocs;
ssl on;
ssl_certificate /etc/nginx/ssl/nginx.crt;
ssl_certificate_key /etc/nginx/ssl/nginx.key;
ssl_session_cache shared:sslcache:20m;
ssl_session_timeout 10m;
}

 

生成私钥不加密

 

cd /etc/pki/tls/certs/

vim Makefile

去掉-aes128

make a.crt   生成a.crt和a.key

Mv a.crt a.key /etc/nginx/conf.d/ssl/

将模块放入,就可以

 

ngx_http_rewrite_module  模块

将用户请求的URI基于PCRE regex所描述的模式进行检
查,而后完成重定向替换
示例:
http://www.magedu.com/hn
–> http://www.magedu.com/henan
http://www.magedu.com
–> https://www.magedu.com/
1、 rewrite regex replacement [flag]
将用户请求的URI基于regex所描述的模式进行检查,匹配到时将其替换为replacement指定的新的URI
注意:如果在同一级配置块中存在多个rewrite规则,那么会自下而下逐个检查;被某条件规则替换完成后,会重新一轮的替换检查,隐含有循环机制,但不超过10次;如果超过,提示500响应码,[flag]所表示的标志位用于控制此循环机制
如果replacement是以http://或https://开头,则替换结果会直接以重向返回给客户端
301:永久重定向
[flag]
last:重写完成后停止对当前URI在当前location中后续的其它重写操作,而后对新的URI启动新一轮重写检查;提前重启新一轮循环,不建议在lation中使用
break:重写完成后停止对当前URI在当前location中后续的其它重写操作,而后直接跳转至重写规则配置块之后的其它配置;结束循环,建议在location中使用
redirect:临时重定向,重写完成后以临时重定向方式直接返回重写后生成的新URI给客户端,由客户端重新发起请求;不能以http://或https://开头,使用相对路径,状态码:302
permanent:重写完成后以永久重定向方式直接返回重写后生成的新URI给客户端,由客户端重新发起请求,状态码:301
2、 return
return code [text];
return code URL;
return URL;
停止处理,并返回给客户端指定的响应码
3、 rewrite_log on | off;
是否开启重写日志, 发送至error_log(notice level)
4、 set $variable value;
用户自定义变量
注意:变量定义和调用都要以$开头
5、 if (condition) { … }
引入新的上下文,条件满足时,执行配置块中的配置指令;server, location
condition:
比较操作符:
== 相同
!= 不同
~:模式匹配,区分字符大小写
~*:模式匹配,不区分字符大小写
!~:模式不匹配,区分字符大小写
!~*:模式不匹配,不区分字符大小写
文件及目录存在性判断:
-e, !-e 存在(包括文件,目录,软链接)
-f, !-f 文件
-d, !-d 目录
-x, !-x 执行

 

 

 

 

ngx_http_referer_module模块:
用来阻止Referer首部无有效值的请求访问,可防止盗链
v 1、 valid_referers none|blocked|server_names|string …;
定义referer首部的合法可用值,不能匹配的将是非法值
none:请求报文首部没有referer首部
blocked:请求报文有referer首部,但无有效值
server_names:参数,其可以有值作为主机名或主机名模式
arbitrary_string:任意字符串,但可使用*作通配符
regular expression:被指定的正则表达式模式匹配到的字符
串,要使用~开头,例如: ~.*\.magedu\.com
示例:
valid_referers none block server_names *.magedu.com
*.mageedu.com magedu.* mageedu.* ~\.magedu\.;
if ($invalid_referer) {
return 403 http://www.magedu.com;
}

 

 

 

.ngx_http_proxy_module模块:  http的代理  访问到我这,你就不用管了,我去替你去后端的服务器抓数据

转发请求至另一台主机
1、 proxy_pass URL;
Context:location, if in location, limit_except
注意:proxy_pass后面路径不带uri时,会将location的uri传递(附加)给后端主机
server {

server_name HOSTNAME;
location /uri/ {
proxy_pass http://host[:port]; 最后没有/
}

}
上面示例:http://HOSTNAME/uri –> http://host/uri
如果上面示例中有 /,即:http://host[:port]/
意味着:http://HOSTNAME/uri –> http://host/ 即置换
v proxy_pass后面的路径是一个uri时,其会将location的uri替
换为proxy_pass的uri
server {

server_name HOSTNAME;
location /uri/ {
proxy_pass http://host/new_uri/;
}

}
http://HOSTNAME/uri/ –> http://host/new_uri/  (带斜线的就是置换的)(不带斜线就是补上)
v 如果location定义其uri时使用了正则表达式的模式,则
proxy_pass之后必须不能使用uri; 用户请求时传递的uri将直
接附加至后端服务器之后
server {

server_name HOSTNAME;
location ~|~* /uri/ {
proxy_pass http://host; 不能加/
}

}
http://HOSTNAME/uri/ –> http://host/uri/
v 2、 proxy_set_header field value;
设定发往后端主机的请求报文的请求首部的值
Context: http, server, location
proxy_set_header X-Real-IP $remote_addr;   改变首部信息,“%{X-Real=IP}i”
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
请求报文的标准格式如下:
X-Forwarded-For: client1, proxy1, proxy2
v 3、 proxy_cache_path;
定义可用于proxy功能的缓存;Context:http
proxy_cache_path path [levels=levels] [use_temp_path=on|off]
keys_zone=name:size [inactive=time] [max_size=size
[manager_files=number] [manager_sleep=time]
[manager_threshold=time] [loader_files=number] [loader_sleep=time]
[loader_threshold=time] [purger=on|off] [purger_files=number]
[purger_sleep=time] [purger_threshold=time];
v 4、 proxy_cache zone | off; 默认off
指明调用的缓存,或关闭缓存机制;Context:http,
server, location
v 5、 proxy_cache_key string;
缓存中用于“键”的内容
默认值:proxy_cache_key $scheme$proxy_host$request_uri;
v 6、 proxy_cache_valid [code …] time;
定义对特定响应码的响应内容的缓存时长
定义在http{…}中
示例:
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
v 示例:
在http配置定义缓存信
proxy_cache_path /var/cache/nginx/proxy_cache
levels=1:1:1 keys_zone=proxycache:20m
inactive=120s max_size=1g;
调用缓存功能,需要定义在相应的配置段,如server{…};
proxy_cache proxycache;
proxy_cache_key $request_uri;
proxy_cache_valid 200 302 301 1h;
proxy_cache_valid any 1m;
v 7、 proxy_cache_use_stale;
proxy_cache_use_stale error | timeout |
invalid_header | updating | http_500 | http_502 |
http_503 | http_504 | http_403 | http_404 | off …
在被代理的后端服务器出现哪种情况下,可以真接使用过
期的缓存响应客户端
v 8、 proxy_cache_methods GET | HEAD | POST …;
对哪些客户端请求方法对应的响应进行缓存,GET和
HEAD方法总是被缓存
v 9、 proxy_hide_header field;
默认nginx在响应报文不传递后端服务器的首部字段Date,
Server, X-Pad, X-Accel-等,用于隐藏后端服务器特定的响
应首部
v 10、 proxy_connect_timeout time;
定义与后端服务器建立连接的超时时长,如超时会出现
502错误,默认为60s,一般不建议超出75s,
v 11、 proxy_send_timeout time;
将请求发送给后端服务器的超时时长;默认为60s
v 12、 proxy_read_timeout time;
等待后端服务器发送响应报文的超时时长,默认为60s

 

 

php是不支持nginx,php是和Apache一起配对使用的,,nginx要支持php需要fastCGI

 

Php两种工作模式,一是模块方式,只支持Apache的模块方式

二是独立的进程方式,fastCGI是独立的进程模式,监听在9000端口

Nginx也可以以独立的进程方式通讯,只要符合条件,按照协议通讯,相当于专门搭一个php的服务器,fastCGI可以实现,php相当于充当fastCGI的客户端,

 

Nginx不能处理index.php请求,相当于代理服务器,将请求发送到后端fastcgi,fastcgi处理index.php后,返回给nginx

 

 

 

 

 

客户端       http协议              nginx           fastcgi协议       fastcgi:9000

 

 

ngx_http_fastcgi_module模块

转发请求到FastCGI服务器,不支持php模块方式
1、 fastcgi_pass address;
address为后端的fastcgi server的地址可用位置:location, if in location
2、 fastcgi_index name;fastcgi默认的主页资源
示例:fastcgi_index index.php;
3、 fastcgi_param parameter value [if_not_empty];
设置传递给 FastCGI服务器的参数值,可以是文本,变量或组合
示例1:
v 1)在后端服务器先配置fpm server和mariadb-server
v 2)在前端nginx服务上做以下配置:
location ~* \.php$ {

fastcgi_pass  后端fpm服务器IP:9000;
fastcgi_index   index.php;
fastcgi_param  SCRIPT_FILENAME   /usr/share/nginx/html$fastcgi_script_name;

Include        fastcgi_patams;

}

示例2:通过/pm_status和/ping来获取fpm server状态信息

location ~* ^/(pm_status|ping)$ {
include fastcgi_params;
fastcgi_pass 后端fpm服务器IP:9000;
fastcgi_param SCRIPT_FILENAME $fastcgi_script_name;
}

 

  • fastcgi_cache_path path [levels=levels] [use_temp_path=on|off]
    keys_zone=name:size [inactive=time] [max_size=size]
    [manager_files=number] [manager_sleep=time] [manager_threshold=time]
    [loader_files=number] [loader_sleep=time] [loader_threshold=time]
    [purger=on|off] [purger_files=number] [purger_sleep=time]
    [purger_threshold=time];
    定义fastcgi的缓存;
    path 缓存位置为磁盘上的文件系统
    max_size=size
    磁盘path路径中用于缓存数据的缓存空间上限
    levels=levels:缓存目录的层级数量,以及每一级的目录数量
    levels=ONE:TWO:THREE
    示例:leves=1:2:2
    keys_zone=name:size
    k/v映射的内存空间的名称及大小
    inactive=time
    非活动时长
    5、 fastcgi_cache zone | off;调用指定的缓存空间来缓存数据可用位置:http, server, location
    6、 fastcgi_cache_key string;定义用作缓存项的key的字符串  示例:fastcgi_cache_key $request_rui;
    7、 fastcgi_cache_methods GET | HEAD | POST …;为哪些请求方法使用缓存
    8、 fastcgi_cache_min_uses number;
    缓存空间中的缓存项在inactive定义的非活动时间内至少要被访问到此处所指定的次数方可被认作活动项
    9、 fastcgi_keep_conn on | off;收到后端服务器响应后,fastcgi服务器是否关闭连接,建议启用长连接
    10、 fastcgi_cache_valid [code …] time;不同的响应码各自的缓存

 

 

 

 

 

 

ngx_http_upstream_module模块

(可以进行调度,还可以进行健康性检查)

用于将多个服务器定义成服务器组,而由proxy_pass,
fastcgi_pass等指令进行引用
1、 upstream name { … }
定义后端服务器组,会引入一个新的上下文
默认调度算法是wrr
Context: http
upstream httpdsrvs {
server …
server…

}

2、 server address [parameters];

在upstream上下文中server成员,以及相关的参数;Context:upstream

address的表示格式:

unix:/PATH/TO/SOME_SOCK_FILE

IP[:PORT]

HOSTNAME[:PORT]

parameters:

weight=number 权重,默认为1

max_conns 连接后端报务器最大并发活动连接数,1.11.5后支持

max_fails=number 失败尝试最大次数;超出此处指定的次数时,server将被标记为不可用,默认为1

fail_timeout=time 后端服务器标记为不可用状态的连接超时时长,默认10s

backup 将服务器标记为“备用”,即所有服务器均不可用时才启用

down 标记为“不可用”,配合ip_hash使用,实现灰度发布

 

  • ip_hash 源地址hash调度方法
    4、 least_conn 最少连接调度算法,当server拥有不同的权重时其为wlc,当所有后端主机连接数相同时,则使用wrr,适用于长连接
    5、 hash key [consistent] 基于指定的key的hash表来实现对请求的调度,此处的key可以直接文本、变量或二者组合
    作用:将请求分类,同一类请求将发往同一个upstreamserver,使用consistent参数,将使用ketama一致性hash算法,适用于后端是Cache服务器(如varnish)时使用
    hash $request_uri consistent;相当于目标地址hash
    hash $remote_addr;         相当于源地址hash

Varnish服务器,URL地址固定,访问的服务器就是固定的

Consistent 一致性hash  解决一台机器坏掉,全部缓存变化的问题,只是影响一小段

6、 keepalive 连接数N;
为每个worker进程保留的空闲的长连接数量,可节约nginx端口,并减少连接管理的消耗

v 7、 health_check [parameters];
健康状态检测机制;只能用于location上下文常用参数:
interval=time检测的频率,默认为5秒
fails=number:判定服务器不可用的失败检测次数;默认为1次
passes=number:判定服务器可用的失败检测次数;默认为1次
uri=uri:做健康状态检测测试的目标uri;默认为/
match=NAME:健康状态检测的结果评估调用此处指定的match配置块
注意:仅对nginx plus有效

v nginx的其它的二次发行版:
Tengine:由淘宝网发起的Web服务器项目。它在Nginx的基础上,针对大访问量网站的需求,添加了很多高级功能和特性。 Tengine的性能和稳定性已经在大型的网站如淘宝网,天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。从2011年12月开始,Tengine成为一个开源项目,官网 http://tengine.taobao.org/
OpenResty:基于 Nginx 与 Lua 语言的高性能 Web平台

ngx_stream_core_module模块

模拟反代基于tcp或udp的服务连接,即工作于传输层的反代或调度器
1、 stream { … }
定义stream相关的服务;Context:main
stream {
upstream mysqlsrvs {
server 192.168.22.2:3306;
server 192.168.22.3:3306;
least_conn;
}
server {
listen 10.1.0.6:3306;
proxy_pass mysqlsrvs;
}
}
2、 listen
listen address:port [ssl] [udp] [proxy_protocol]
[backlog=number] [bind] [ipv6only=on|off] [reuseport]
[so_keepalive=on|off|[keepidle]:[keepintvl]:[keepcnt]];
v

ngx_stream_proxy_module模块
可实现代理基于TCP,UDP (1.9.13), UNIX-domainsockets的数据流
v 1 proxy_pass address;指定后端服务器地址
v 2 proxy_timeout timeout;无数据传输时,保持连接状态的超时时长默认为10m
v 3 proxy_connect_timeout time;设置nginx与被代理的服务器尝试建立连接的超时时长默认为60s
示例
stream {
upstream mysqlsrvs {
server 192.168.0.10:3306;
server 192.168.0.11:3306;
hash $remote_addr consistent;
}
server {
listen 172.16.100.100:3306;
proxy_pass mysqlsrvs;
proxy_timeout 60s;
proxy_connect_timeout 10s;
}
}

 

本文来自投稿,不代表Linux运维部落立场,如若转载,请注明出处:http://www.178linux.com/92104

(0)
上一篇 2018-03-11 21:40
下一篇 2018-03-12 19:54

相关推荐

  • cp和ln命令简述

    cp和软ln命令简述 cp          备注: 1.       该命令可以自动判断你所复制的是文件还是目录 2.       当源是一个文件,目标(目的…

    2017-08-19
  • Linux的文件系统架构基础

    前言     当今计算机操作系统来说常见功能主要有:进程调度、内存管理、文件系统管理、网络协议栈支持、驱动程序管理、安全功能等。所有对于我们来讲学习Linux文件系统也是一个十分重要的知识,也是学习Linux的必备基础知识,学习好Linux的文件系统知识也是为接下来学习Linux的其他知识奠定良好的基础 关键词  &n…

    Linux干货 2015-04-16
  • DHCP简介及简单实践

    一、引言 DHCP全称Dynamic Host Configure Protocol,动态主机配置协议,用于向网络中的计算机分配IP地址及一些TCP/IP配置信息。DHCP提供了安全,可靠且简单的TCP/IP网络设置,避免了TCP/IP网络地址的冲突,同时大大降低了工作负担。 二、DHCP工作流程 DHCP采用C/S架构,即Server/Client,它的简…

    Linux干货 2017-01-10
  • NoSQL—mongodb常见使用和入门

    NoSQL介绍: NoSQL数据管理系统是目前非常流行的一种非关系性、分布式、不支持ACID设计规范式的数据库;NoSQL简单的数据模型、元数据和数据分离、弱一致性、高吞吐量、高水平扩展能力和低端硬件集群使其流行的主要原因,而mongodb就是NoSQL数据库一种非常流行的实现方式。   常见的NoSQL数据存储模型 列式模型 文档类型 应用场景:…

    2015-09-01
  • linux的文件类型

    linux的文件类型 linux其中的一个哲学思想就是一切皆文件,今天我们就来学习一下linux系统中的文件类型。linux不同于windows,有多种多类的文件类型,文件类型的判断也不是以文件的后缀为标准的。linux中一共有七种文件类型,分别是:普通文件、目录、字符设备文件、块设备文件、套接字文件、命名管道文件和符号链接文件。那么接下来我们就分别看看每种…

    Linux干货 2016-10-27
  • 第1周作业

    第一周作业   1、描述计算机的组成及其功能。 计算机由运算器,控制器,存储器,输入装置和输出装置五大部件组成计算机 运算器,控制器:CPU 存储器:内存和硬盘 输入装置和输出装置:键鼠和显示器   2、按系列罗列Linux的发行版本,并描述不同版本的联系和区别。   linux的发行版本大致分为两大类,一类是商业公司维护的发行…

    Linux干货 2017-08-24