Haproxy + Varnish 实现WEB静态页面缓存
一.缓存介绍及Haproxy+Varnish架构图：
1.）简介：现阶段的互联网时代，缓存成为一个必不可少的一环，不论是对于整体架构的优化，减少服务器的压力，加速用户访问速度，都是需要用到缓存。而缓存的种类也是很多，例如CDN，Squid,Memcached,Varnish,已经成为一个中型，大型架构中基本的实现。
2.）CDN缓存技术是根据全国各地的用户，直接缓存到离用户最近的地方。
3.）Squid是处于前端的缓存，并且可以用作为正向代理，反向代理，透明代理。
4.）Memcached主要用于应用服务器和数据库之间的缓存，提高缓存命中率，减轻数据库的压力。
5.）Varnish缓存是介于代理服务器与WEB服务器之间，通过代理服务器访问到主机名后，直接先找 Varnish缓存，如果查找不到，再去麻烦后端的WEB服务器。
而下图就是作为Varnish所工作的区域：
http://s3.运维网.com/wyfs02/M00/4A/2D/wKioL1QjsIuDuh1-AAE-zkWuoEE334.jpg
二.Varnish工作原理介绍：
1.）Varnish进程分为master进程和child进程。master进程读入命令，进行一些初始化，而fork监控child进程。child进程分配若干线程进行工作，主要包括管理线程和很多woker线程。
2.）文件缓存部分，master读入存储配置，调用合适的存储类型，然后创读入相应大小的缓存大文件。接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。
3.）在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中，创建并初始化分配内存。如果此时分配一个10M的内存，仅占用2M，其余8M内存暂时空闲，而不是全部使用。
4.）Varnish的accept负责接受新HTTP连接的线程开始等待用户，如果有新的HTTP连接过来，它总负责接收，然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的URI，查找已有的object，如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。
5.）分配缓存时，根据所读到的object大小，创建相对应大小的缓存文件。如果内存已经占用满了，会根据设定的ttl值或者手动去释放内存。当内存已经占满的时候，没有自动释放内存或者手动释放内存，则Varnish会选择到swap分区继续缓存。
三.安装Varnish，版本是在官网下载的：
# yum installvarnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm
四.说说Varnish VCL内置变量：如下图
http://s3.运维网.com/wyfs02/M00/4A/2E/wKioL1Qjsd3AezThAAG7UHVkGKE105.jpg
http://s3.运维网.com/wyfs02/M00/4A/2C/wKiom1QjsbnAcMK6AAFZPSewGtU866.jpg
http://s3.运维网.com/wyfs02/M01/4A/2E/wKioL1Qjsd3Cc6ZlAAHCUMMVsTQ058.jpg
http://s3.运维网.com/wyfs02/M00/4A/2E/wKioL1QjsimzKlN7AAFSpobnxMg708.jpg
五.配置Varnish：
1.）刚安装好的varnish默认配置文件基本都是被注释掉的。用到什么配置的时候解释什么的。
# curlhttp://172.16.32.14
Varnishproxy cache
2.）修改Varnish默认监听端口。
# vim/etc/sysconfig/varnish
VARNISH_LISTEN_PORT=80 #修改默认监听端口为80端口
VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SIZE}"
3.）定义后端主机。
# vim/etc/varnish/default.vcl
backend default { #定义后端主机
.host = "172.16.32.14";
.port = "80";
} http://s3.运维网.com/wyfs02/M00/4A/2E/wKioL1QjsuyScwrgAACqa6JD4ZE808.jpg
可以看到通过访问172.16.32.10已经访问到172.16.32.14WEB主机中的内容了。
4.）Varnishadm管理使用。
# varnishadm -S/etc/varnish/secret -T 127.0.0.1:6082 #指定管理地址及端口
200
varnish>vcl.list #查看当前活动的vcl
200
active 1 boot
varnish>vcl.load proxy proxy.vcl #定义一个新的vcl
200
VCL compiled.
varnish>vcl.use proxy #使新的vcl生效
200
varnish>vcl.list
200
available 1 boot
active 0 proxy
5.）定义http响应客户端报文。
# vim/etc/varnish/proxy.vcl
sub vcl_deliver {
if (obj.hits > 0) { #定义缓存次数命中大于0就是在缓存中获取到的
set resp.http.X-Cache = "HIT via"+ " " + server.hostname; #在http响应报文中添加HIT自定义字符串
} else {
set resp.http.X-Cache ="MISS via" + " " + server.hostname;#如果没命中的http响应报文
}
}
6.）重新载入一个vcl。
varnish>vcl.load proxy2 proxy.vcl #重新载入一个VCL，proxy2仅是个名字
200
VCL compiled.
varnish>vcl.use proxy2 #使新加入的proxy2生效
200
varnish> http://s3.运维网.com/wyfs02/M00/4A/2C/wKiom1Qjs5DwHgpSAANySpbyLb0076.jpg
可以看到测试的响应结果，由于是浏览器是无痕浏览，每次都会显示未命中。正常访问的时候如下图：
http://s3.运维网.com/wyfs02/M02/4A/2E/wKioL1QjtEGhsk-EAAN5Y8od5ks720.jpg
7.）定义varnish为代理服务器加缓存服务器。
# vim proxy.vcl
backend web1 { #定义后端两个主机
.host = "172.16.32.14";
.port = "80";
.probe = {
.url = "/index.html"; #需要缓存的页面
.interval = 2s; #检查间隔时长
.window = 8; #维持8个Healthy
.threshold = 2; #最少2此window是成功的缓存
}
}
backend web2 {
.host = "172.16.32.15";
.port = "80";
.probe = {
.url = "/index.html";
.interval = 2s;
.window = 8;
.threshold = 2;
}
}
directorwebservice round-robin { #包含起定义的两个主机
{ .backend = web1; }
{ .backend = web2; }
}
sub vcl_recv {
set req.backend = webservice; #调用两个主机
if (req.restarts == 0) {
if (req.http.x-forwarded-for) {
set req.http.X-Forwarded-For =
req.http.X-Forwarded-For +", " + client.ip;
} else {
set req.http.X-Forwarded-For =client.ip;
}
if (req.url ~ "^/test.html$"){ #如果访问的是test.html，将不缓存
return(pass);
}
return (lookup);
}
}
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache ="HIT via" + " " + server.hostname;
} else {
set resp.http.X-Cache ="MISS via" + " " + server.hostname;
}
return (deliver);
}
8.）使新定义的acl生效。
varnish>vcl.load proxy8 proxy.vcl
200
VCL compiled.
varnish>vcl.use proxy8
200
varnish>vcl.load proxy9 proxy.vcl
200
VCL compiled.
varnish>vcl.use proxy9
200
varnish>backend.list #查看在线列表
200
Backend name Refs Admin Probe
default(172.16.32.14,,80) 3 probe Healthy (no probe)
web1(172.16.32.14,,80) 5 probe Healthy 8/8
web2(172.16.32.15,,80) 5 probe Healthy 8/8
http://s3.运维网.com/wyfs02/M00/4A/2E/wKioL1QjtMnyF5FoAACco-ZcJM0116.jpg
http://s3.运维网.com/wyfs02/M01/4A/2C/wKiom1QjtHPQFJwsAACHUdMx-L0799.jpg
六.接下来是Haproxy + Varnish + Httpd组合：
1.）首先在172.16.32.11节点上安装varnish，并将172.16.32.10如下文件复制到想对应的目录
# scp /etc/varnish/* 172.16.32.11:/etc/varnish/
root@172.16.32.11'spassword:
default.vcl 100% 3122 3.1KB/s 00:00
proxy.vcl 100%660 0.6KB/s00:00
secret 100% 37 0.0KB/s00:00
# scp/etc/sysconfig/varnish 172.16.32.11:/etc/sysconfig/
root@172.16.32.11'spassword:
varnish 100%3659 3.6KB/s 00:00
2.）在172.16.32.10的节点删除如下段落：
backend web2 {
.host = "172.16.32.15";
.port = "80";
.probe = {
.url = "/index.html";
.interval = 2s;
.window = 8;
.threshold = 2;
}
}
directorwebservice round-robin {
{ .backend = web1; }
{ .backend = web2; }
}
3.）而在172.16.32.15节点是相反操作。
4.）切换到172.16.32.15节点，启动varnish,添加新的vcl。
varnish>vcl.load proxy proxy.vcl
200
VCL compiled.
varnish> vcl.useproxy
200
访问测试两个节点
http://s3.运维网.com/wyfs02/M01/4A/2C/wKiom1QjtWqAxw_IAACxAFeOk9s528.jpg
http://s3.运维网.com/wyfs02/M02/4A/2C/wKiom1QjtWqSAbmWAAC2gtB7RSE906.jpg
5.)安装haproxy,在172.16.32.9节点上。
# yum installhaproxy
# vim/etc/haproxy/haproxy.cfg
frontend main*:80
default_backend varnish
backend varnish
balance roundrobin
server s1 172.16.32.10:80
server s2 172.16.32.11:80
输入地址172.16.32.9，反问测试
http://s3.运维网.com/wyfs02/M02/4A/2E/wKioL1Qjtj6x5s7TAANqp6DMDI8917.jpg
http://s3.运维网.com/wyfs02/M02/4A/2C/wKiom1QjthqjYM5-AAN2MQr8s6M653.jpg
因为之前的haproxy主机有WEB服务，测试的时候haproxy使用的8080端口，但是不影响正常访问。
可以看到，网页缓存下来了，并且实现调度。关于haproxy这里只是简单的使用下，之后会有详细的介绍，主要是varnish缓存。varnish可以缓存很多节点，我这里仅是1对1的实现了。
页:
[1]