varnish原理及配置事例

Varnish是一款高性能的开源HTTP加速器(其实就是带缓存的反向代理服务),可以把http响应内容缓存到内存或文件中,从而提高web服务器响应速度。与传统的 squid 相比,varnish 具有性能更高、速度更快、管理更加方便等诸多优点,很多大型的网站都开始尝试使用 varnish 来替换 squid,这些都促进 varnish 迅速发展起来

Varnish程序结构

wKiom1WdOjjQ8WCbAAFUjsrr5iY407.jpg

clip_image002

管理进程:编译VCL并应用新配置、监控varnish、初始化varnish,并提供一个CLI,初始化缓存的内存结构,对缓存内存结构实现分成各个类型大小的内存块。

Child/Cache线程有几类:

    Acceptor:接收新的连接请求;

    Worker:用于处理并响应用户请求;

    Expiry:从缓存中清理过期cache object

 

日志:Shared Memory Log,  共享内存内存日志大小一般90MB;分为两部分:前一部分为计数器、后一部分为客户请求相关的数据。

对varnish内的缓存数据的有效管理:

                Expires:定义一个缓存时长,过了缓存时长就认为缓存失效。

                http validation

If-Modified-Since/Last Modified : 每次客户端请求缓存内容,varnish会向后端主机询问这个缓存对象自它缓存的时间开始时有没有改变,没改变的话会返回一个304,证明可以返回varnish内的缓存内容,如果改变了,需要向后端请求该内容返回给客户端。

                        If-None-Match/Etag:会对varnish的缓存内容一个标签和一个缓存时间,过了这个时间,向后端主机询问这个缓存内容的标签是否有改变,没改变的话这个缓存内容增加其缓存时间。


Vcl内置函数和处理流程(状态引擎)

wKiom1WdOjrS1nfvAAHj5JDxUZ4356.jpg

Vcl内置函数:vcl配置的缓存策略在此些内置函数发挥作用;

vcl_recv:用于接受和处理请求。当请求到达并成功接收后被调用,通过判断请求的数据来决定如何处理请求。例如如何响应、怎么响应、使用哪个后端服务器等。

vcl_fetch:根据服务器端的响应作出缓存决策,如判断获取的内容来决定是将内容放入缓存,还是直接返回给客户端。

vcl_pipe:对于无法理解的用户请求,将请求直接发往后端主机;

vcl_hash:自定义hash生成时的数据来源

vcl_pass:用于将请求直接传递至后端主机,后端主机在应答数据后将应答数据发送给客户端,但不进行任何缓存。

vcl_hit:从缓存中查找到缓存对象时要执行的操作;

vcl_miss:从缓存中款查找到缓存对象时要执行的操作;

vcl_deliver:将用户请求的内容响应给客户端时用到的方法;

vcl_error:在varnish端合成错误响应而时;

vcl的配置语法:

    (1) //, #, /*comment*/用于注释;

    (2) sub $NAME 用于定义函数;

    (3) 不支持循环;

    (4) 有众多内置变量;

    (5) 支持终止语句,没有返回值;

    (6) “域”专用语言;

    (7) 操作符: =, ==, ~, !, &&, ||

 

wKiom1WdOjrS1nfvAAHj5JDxUZ4356.jpg

            

常用变量:

    1、在任何引擎中均可使用:

        Now:获取当前系统当前时间

.host:获取当前主机名和ip地址

.port:后端服务器名称和端口

 

    2、用于处理请求阶段:

        client.ip,server.hostname, server.ip, server.port :都不解释

        req.request:请求方法

        req.url:请求的URL

        req.proto:HTTP协议版本

        req.backend:用于服务此次请求的后端主机;

        req.backend.healthy:后端主机健康状态;

        req.http.HEADER:引用请求报文中指定的首部;

        req.can_gzip:客户端是否能够接受gzip压缩格式的响应内容;

        req.restarts:此请求被重启的次数;

 

    3、varnish向backend主机发起请求前可用的变量

        bereq.request:请求方法

        bereq.url:请求url

        bereq.proto:HTTP协议版本

        bereq.http.HEADER:调用服务此次请求的后端主机的报文首部

        bereq.connect_timeout:等待与beckend建立连接的超时时长

 

    4、backend主机的响应报文到达本主机(varnish)后,将其放置于cache中之前可用的变量

        beresp.do_stream:流式响应(接收一个请求,响应一个请求)

        beresp.do_gzip:是否压缩之后再存入缓存;

        beresp.do_gunzip:如果从后端收到压缩格式的报文,是否解压缩在存放下来

        beresp.http.HEADER:获取httpd的首部信息

        beresp.proto:HTTP协议版本

        beresp.status:响应状态码

        beresp.response:响应时的原因短语

        beresp.ttl:响应对象剩余的生存时长,单位为秒钟;

        beresp.backend.name:此响应报文来源backend名称;

        beresp.backend.ip:获取后端响应ip

        beresp.backend.port:获取后端响应端口

        beresp.storage:强制varnish将缓存存储到缓存后端

 

    5、缓存对象存入cache之后可用的变量

        obj.proto:响应时使用的协议

        obj.status:响应时使用的状态码

        obj.response:服务器返回响应报文的状态码

        obj.ttl:缓存对象生存时长

        obj.hits:缓存对象被用作响应时的次数

        obj.http.HEADER:调用对应的响应报文

 

    6、在决定对请求键做hash计算时可用的变量

        req.hash:指明把什么作为hash的键,作为缓存的键

 

    7、在为客户端准备响应报文时可用的变量

        resp.proto:指明使用什么协议响应

        resp.status:执行响应状态吗

        resp.response:返回响应的状态码

        resp.http.HEADER:调用响应报文状态码

变量在各状态引擎使用情况:

wKiom1WdOkLQKbelAAF0SUqSJgU337.jpg

varnish配置实例:

/etc/sysconfig/varnish 是定义varnish运行特性的配置文件;

/etc/varnish/default.vcl 是定义varnish的默认状态引擎的工作配置文件(使用vcl语言定义)

(1)定义varnish后端多主机的实例:

        backend bs1 {

        .host = "www2.bwei.com";

        .port = "80";

}

 

 

backend bs2 {

        .host = "www3.bwei.com";

        .port = "80";

}

 

director bs random {

{ .backend = bs1; .weight=1; }

{ .backend = bs2; .weight=2; }

}

 

sub vcl_recv {

        if (req.url ~ "index.html"){

        set req.backend = bs;

}

}

这里的director是实现调度器的角色,实现把两个后端server合在一起,配置他们的权值及后端server的调度方式,这里有一重点,我们定义了后端server要在vcl_recv这个函数中调用,即定义那个资源要调配到那个后端server上。

(2)实现给客户端的响应报文中,增加一个首部,给用户看是否缓存命中。

sub vcl_deliver{

            if (obj.hit >0){

            set resp.http.X-cache = "hit via"+" "+server.hostname;

}else{

            set resp.http.X-cache = "miss via"+" "+server.hostname;

}

}

(3)实现让某些主机可以删除varnish主机上的缓存:

acl purgers {

                127.0.0.1;

                192.168.179.0; /24

}

sub vcl_recv{

            if (client.ip !~ purgers && req.request == "PURGE"){

            error 405 "method not allowed";            

}

            return (lookup);

}


sub vcl_hit{

            if (req.request == "PURGE"){

                purge;

                error 200 "cache has purge";

}

}


sub vcl_miss{

            if(req.request == "PURGE"){

            purge;

            error 404 "not in cache";

}

sub vcl_pass{

          if(req.request == "PURGE"){

            error 502 "purge object not allowed in pass"

}

}


实现给varnish解析不了的方法,送到pipe上:

if ( req.request != "GET"&&

     req.request != "HEAD"&&

     req.request != "PUT"&&

     req.request != "POST"&&

     req.request != "TRACE"&&

     req.request != "OPTIONS"&&

     req.request != "DELETE"&&

     req.request != "PURGE" ){ return (pipe);

实现让除GET,HEAD,PURGE的方法可以到达hash状态引擎,其余到达pass引擎

if (req.request != "GET" && req.request != "HEAD" && req.request != "PURGE"){

                return (pass);

}

从后端主机获取资源后,设定其缓存时间和不缓存cookie信息

sub vcl_fetch{

        set beresp.ttl = 15s;

        if (beresp.http.Set-Cookie){

              return (pass)

}

return (deliver);

}

从后端主机获取资源后,设置那些不能缓存的数据不进行缓存

sub vcl_fetch{

        if(!beresp.cacheable){

            return (pass);

}

        if(beresp.http.Pragma ~"no-cache" ||

            beresp.http.Cache-Control ~ "no-cache" || 

            beresp.http.Cache-Control ~ "private"){

            return (pass);    

}

}

设置客户端请求我们的varnish出现认证和cookie时,把它们直接送去pass引擎

if(req.http.Authorization || req.http.Cookie){

            return (pass);

}

设置对后端主机进行健康状态检查:

probe healthcheck {

        .url = "/health.html";

        .interval = 60s;

        .timeout = 0.3s;

        .window = 8; 

        .threshold = 3;

        .initial = 3;

        .expected_response = 200;

}

backend bs1 {

        .host = "www2.bwei.com";

        .port = "80";

        .probe = healthcheck;

}

 

 

backend bs2 {

        .host = "www3.bwei.com";

        .port = "80";

        .probe = healthcheck;

}

varnish的配置段需要我们对其进行编译才能运行,我们对其每次对其进行改变都需要重新编译和使用:

        varnishadm管理软件可以实现vcl语言编译:vcl.load <name> <filename>(加载vcl配置)

                                                                        vcl.use <name> (使用vcl配置)

原创文章,作者:13-广州-杨过,如若转载,请注明出处:http://www.178linux.com/9551

(1)
上一篇 2015-12-06 20:28
下一篇 2015-12-06 20:36

相关推荐

  • Shell脚本编程—特殊用法(select)及函数、递归

    Shell脚本编程—特殊用法及函数   一、while的特殊用法: 1、使用格式: while read 变量名;do    循环体 done </PATH/TO/filename 注:依次从指定的文件中的内容逐行读取,并把读取到的每行赋值给变量。 2、例题: 扫描/etc/passwd文件每一行,如发现GECOS字段为空…

    Linux干货 2016-08-21
  • 网卡名称更改

    网卡是计算机进行网络通信的必须的设备。在CentOS6及其更早的系统中,网卡设备在系统中的名称命名为eth#(#为0,1,2…之类的数字)。在内核版本为3.0.0及其以后的Linux发行版中,网卡设备在系统中名称变得很长,变得不好识别以及不利于管理。为了更好的管理,我们将新的网络设备命名改为传统的命名。 网卡名称更改 在CentOS系统中操作 在RHEL7系…

    Linux干货 2016-11-23
  • ​N22-℡浮生.若夢 ╮第五周作业

    1、显示当前系统上root、fedora或user1用户的默认shell; ~]# grep -E "^(root|user1|fedora)" /etc/passwd |cut -d: -f1,7 root:/bin/bash user1:/bin/bash fedo…

    Linux干货 2016-10-09
  • 用户,组和权限管理 基础命令整理

    安全3A任何一个安全策略都应该有Authentication(认证)、Authentication(授权)、Accouting|Audition(审计)这三个措施。 用户(User)Linux用户是安全3A中的Authentication(认证)措施。用户在登录时,系统会检查用户输入的用户名和密码。如果用户输入的用户名和密码匹配,会根据用户信息给用户分配一个…

    Linux干货 2017-03-16
  • 管道:管道符;cat和more命令 重定向:文件标识符:I/O重定向符号及其用法;exec命令;代码块重定向 命令行处理:命令行处理流程;eval命令 管道: 管道是Linux编程中最常用的技术之一,Shell编程中竖杠符号:“|” command1 | command2 | command3 | … |commandn command1到commandn表…

    Linux干货 2016-08-05
  • GlusterFS测试报告-01

    一、GlusterFS基础环境的介绍 1、关于GlusterFS文件系统和架构的介绍 http://jingyan.baidu.com/article/046a7b3ef65250f9c27fa9d9.html 2、实验的目的 a. 利用多台性能较低并且老旧的服务器,实现企业的云盘功能 b. GlusterFS服务端和客户端的部署和配置 c. 实现Glust…

    Linux干货 2016-07-22

评论列表(1条)

  • stanley
    stanley 2015-12-06 20:32

    图很专业,代码如何能格式化配合一定样式就是精品了