Haproxy + Varnish 实现WEB静态页面缓存

9404803

　　

　　

　　一.缓存介绍及Haproxy+Varnish架构图：
　　

　　

　　1.）简介：现阶段的互联网时代，缓存成为一个必不可少的一环，不论是对于整体架构的优化，减少服务器的压力，加速用户访问速度，都是需要用到缓存。而缓存的种类也是很多，例如CDN，Squid,Memcached,Varnish,已经成为一个中型，大型架构中基本的实现。
　　
　　2.）CDN缓存技术是根据全国各地的用户，直接缓存到离用户最近的地方。
　　

　　3.）Squid是处于前端的缓存，并且可以用作为正向代理，反向代理，透明代理。
　　

　　4.）Memcached主要用于应用服务器和数据库之间的缓存，提高缓存命中率，减轻数据库的压力。
　　

　　5.）Varnish缓存是介于代理服务器与WEB服务器之间，通过代理服务器访问到主机名后，直接先找              Varnish缓存，如果查找不到，再去麻烦后端的WEB服务器。
　　
　　而下图就是作为Varnish所工作的区域：
　　
　　二.Varnish工作原理介绍：
　　
　　1.）Varnish进程分为master进程和child进程。master进程读入命令，进行一些初始化，而fork监控child进程。child进程分配若干线程进行工作，主要包括管理线程和很多woker线程。
　　
　　2.）文件缓存部分，master读入存储配置，调用合适的存储类型，然后创读入相应大小的缓存大文件。接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。
　　
　　3.）在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中，创建并初始化分配内存。如果此时分配一个10M的内存，仅占用2M，其余8M内存暂时空闲，而不是全部使用。
　　
　　4.）Varnish的accept负责接受新HTTP连接的线程开始等待用户，如果有新的HTTP连接过来，它总负责接收，然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的URI，查找已有的object，如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。
　　
　　5.）分配缓存时，根据所读到的object大小，创建相对应大小的缓存文件。如果内存已经占用满了，会根据设定的ttl值或者手动去释放内存。当内存已经占满的时候，没有自动释放内存或者手动释放内存，则Varnish会选择到swap分区继续缓存。
　　

　　三.安装Varnish，版本是在官网下载的：
# yum installvarnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm　　

　　四.说说Varnish VCL内置变量：如下图

　　

　　五.配置Varnish：
　　
　　1.）刚安装好的varnish默认配置文件基本都是被注释掉的。用到什么配置的时候解释什么的。
# curl  http://172.16.32.14
Varnishproxy cache　　

　　
　　2.）修改Varnish默认监听端口。
# vim/etc/sysconfig/varnish
VARNISH_LISTEN_PORT=80                           #修改默认监听端口为80端口
VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SIZE}"　　

　　3.）定义后端主机。
# vim/etc/varnish/default.vcl
backend default {                                #定义后端主机
  .host = "172.16.32.14";
  .port = "80";
}　　
　　

　　可以看到通过访问172.16.32.10已经访问到172.16.32.14WEB主机中的内容了。
　　

　　4.）Varnishadm管理使用。
# varnishadm -S/etc/varnish/secret -T 127.0.0.1:6082   #指定管理地址及端口
200        
varnish>vcl.list                                       #查看当前活动的vcl
200        
active          1 boot
varnish>vcl.load proxy proxy.vcl                       #定义一个新的vcl
200        
VCL compiled.
varnish>vcl.use proxy                                   #使新的vcl生效
200        
varnish>vcl.list
200        
available       1 boot
active          0 proxy　　

　　5.）定义http响应客户端报文。
# vim/etc/varnish/proxy.vcl
sub vcl_deliver {
              if (obj.hits > 0) {                                                  #定义缓存次数命中大于0就是在缓存中获取到的
                       set resp.http.X-Cache = "HIT via"+ " " + server.hostname;   #在http响应报文中添加HIT自定义字符串
              } else {
                       set resp.http.X-Cache ="MISS via" + " " + server.hostname;  #如果没命中的http响应报文
              }
       }　　

　　6.）重新载入一个vcl。

varnish>vcl.load proxy2 proxy.vcl    #重新载入一个VCL，proxy2仅是个名字
200        
VCL compiled.
varnish>vcl.use proxy2                #使新加入的proxy2生效
200        
varnish>　　
　　
　　可以看到测试的响应结果，由于是浏览器是无痕浏览，每次都会显示未命中。正常访问的时候如下图：
　　
　　

　　7.）定义varnish为代理服务器加缓存服务器。
# vim proxy.vcl
backend web1 {                         #定义后端两个主机
  .host = "172.16.32.14";
  .port = "80";
  .probe = {
        .url = "/index.html";          #需要缓存的页面
        .interval = 2s;                #检查间隔时长
        .window = 8;                   #维持8个Healthy
        .threshold = 2;                #最少2此window是成功的缓存
}
}
backend web2 {
  .host = "172.16.32.15";
  .port = "80";
  .probe = {
        .url = "/index.html";
        .interval = 2s;
        .window = 8;
        .threshold = 2;
}
}
directorwebservice round-robin {      #包含起定义的两个主机
  { .backend = web1; }
  { .backend = web2; }
}
sub vcl_recv {
     set req.backend = webservice;     #调用两个主机
     if (req.restarts == 0) {
        if (req.http.x-forwarded-for) {
            set req.http.X-Forwarded-For =
                req.http.X-Forwarded-For +", " + client.ip;
        } else {
            set req.http.X-Forwarded-For =client.ip;
        }
        if (req.url ~ "^/test.html$"){   #如果访问的是test.html，将不缓存
                return(pass);
        }
     return (lookup);
     }
}
sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.X-Cache ="HIT via" + " " + server.hostname;
        } else {
                set resp.http.X-Cache ="MISS via" + " " + server.hostname;
        }
     return (deliver);
}　　
　　

　　8.）使新定义的acl生效。
varnish>vcl.load proxy8 proxy.vcl
200        
VCL compiled.
varnish>vcl.use proxy8
200        
varnish>vcl.load proxy9 proxy.vcl
200        
VCL compiled.
varnish>vcl.use proxy9
200        
varnish>backend.list           #查看在线列表
200        
Backend name                   Refs   Admin     Probe
default(172.16.32.14,,80)      3     probe      Healthy (no probe)
web1(172.16.32.14,,80)         5     probe      Healthy 8/8
web2(172.16.32.15,,80)         5     probe      Healthy 8/8　　


　　

　　六.接下来是Haproxy + Varnish + Httpd组合：
　　1.）首先在172.16.32.11节点上安装varnish，并将172.16.32.10如下文件复制到想对应的目录
# scp /etc/varnish/* 172.16.32.11:/etc/varnish/
root@172.16.32.11'spassword:
default.vcl                                                                                        100% 3122     3.1KB/s   00:00   
proxy.vcl                                                                                          100%  660     0.6KB/s  00:00   
secret                                                                                             100%   37     0.0KB/s  00:00   
# scp/etc/sysconfig/varnish 172.16.32.11:/etc/sysconfig/
root@172.16.32.11'spassword:
varnish                                                                                             100%3659     3.6KB/s   00:00　　

　　2.）在172.16.32.10的节点删除如下段落：
backend web2 {
  .host = "172.16.32.15";
  .port = "80";
  .probe = {
        .url = "/index.html";
        .interval = 2s;
        .window = 8;
        .threshold = 2;
}
}
directorwebservice round-robin {        
{ .backend = web1; }
  { .backend = web2; }
}　　

　　3.）而在172.16.32.15节点是相反操作。
　　
　　4.）切换到172.16.32.15节点，启动varnish,添加新的vcl。
varnish>vcl.load proxy proxy.vcl
200        
VCL compiled.
varnish> vcl.useproxy
200　　      

　　访问测试两个节点

　　

　　5.)安装haproxy,在172.16.32.9节点上。
# yum installhaproxy
# vim/etc/haproxy/haproxy.cfg
frontend main*:80   
default_backend varnish
backend varnish
    balance roundrobin
    server s1 172.16.32.10:80
server s2 172.16.32.11:80　　

　　输入地址172.16.32.9，反问测试

　　

　　因为之前的haproxy主机有WEB服务，测试的时候haproxy使用的8080端口，但是不影响正常访问。
　　
　　可以看到，网页缓存下来了，并且实现调度。关于haproxy这里只是简单的使用下，之后会有详细的介绍，主要是varnish缓存。varnish可以缓存很多节点，我这里仅是1对1的实现了。