手把手让你实现开源企业级web高并发解决方案（lvs+heartbeat+varnish+nginx+eAccelerator+memcached）

season22

　　此文凝聚笔者不少心血请尊重笔者劳动，转载请注明出处。违法直接人肉出电话 写大街上。
　　http://freeze.blog.运维网.com/

个人小站刚上线
　　http://www.linuxwind.com
　　有问题还可以来QQ群89342115交流。
　　今儿网友朋友说：freeze黔驴技穷了，博客也不更新，也不跟网友互动了.

.

..

...

那好吧，我就来一篇重量级的..这篇就叫做

《手把手让你实现开源企业级web高并发解决方案》



（lvs+heartbeat+varnish+nginx+eAccelerator+memcached）





本来想起个比较风趣点的标题，可想来思去，还是走常规路线，做一系列的手把手吧。

这样一来，便于我的老朋友们识别,也让我对这篇文章的粒度把我有个定位。



本篇博文主要介绍利用开源的解决方案，来为企业搭建web高并发服务器架构花了一个多小时，画了张图片，希望能先帮你理解整个架构，之后我在一一介绍.linux的大型架构其实是一点点小架构拼接起来的，笔者从各个应用开始配置，最后在完全整合起来，以实现效果。

　　


　　笔者所使用的环境为RHEL5.4 内核版本2.6.18 实现过程在虚拟机中，所用到的安装包为DVD光盘自带rpm包
　　装过 Development Libraries  Development Tools 包组
　　笔者虚拟机有限，只演示单边varnish配置
　　
　　一、配置前端LVS负载均衡
　　笔者选用LVS的DR模型来实现集群架构，如果对DR模型不太了了解的朋友建议先去看看相关资料。
　　本模型实例图为：

   现在director上安装ipvsadm，笔者yum配置指向有集群源所以直接用yum安装。
yum install ipvsadm

下面是Director配置：
DIP配置在接口上 172.16.100.10
        VIP配置在接口别名上：172.16.100.1
    varnish服务器配置：RIP配置在接口上：172.16.100.11 ；VIP配置在lo别名上
如果你要用到下面的heartbeat的ldirectord来实现资源转换，则下面的# Director配置 不用配置

• # Director配置
  
• ifconfig eth0 172.16.100.10/16
  
• ifconfig eth0:0 172.16.100.1 broadcast 172.16.100.1 netmask 255.255.255.255 up
  
• route add -host 172.16.100.1 dev eth0:0
  
• echo 1 > /proc/sys/net/ipv4/ip_forward
  

• # varnish服务器修改内核参数来禁止响应对VIP的ARP广播请求
  
• echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
  
• echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
  
• echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
  
• echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
  

• # 配置VIP
  
• ifconfig lo:0 172.16.100.1 broadcast 172.16.100.1 netmask 255.255.255.255 up
  
• # 凡是到172.16.100.1主机的一律使用lo:0响应
  
• route add -host 172.16.100.1 dev lo:0  
  

• # 在Director上配置Ipvs，笔者虚拟机有限，只演示单台配置
  
• ipvsadm -A -t 172.16.100.1:80 -s wlc
  
• ipvsadm -a -t 172.16.100.1:80 -r 172.16.100.11 -g -w 2
  
  
• ipvsadm -Ln
  

　　至此，前端lvs负载均衡基本实现，下面配置高可用集群
　　PS：如果用ldirectord把lvs定义为资源的话，前面
　　二、heartbeat高可用集群
　　本应用模型图：

　　高可用则是当主服务器出现故障，备用服务器会在最短时间内代替其地位，并且保证服务不间断。
　　 简单说明：从服务器和主服务器要有相同配置，才能在故障迁移时让***感受不到，从而保证服务不间断运行。在你的两台机器(一台 作为主节点，另一台为从节点)上运行heartbeat, 并配置好相关的选项，最重要的是lvs资源一定要配置进去。那么开始时主节点提供lvs服务，一旦主节点崩溃，那么从节点立即接管lvs服务。
　　SO:
　　director主服务器和从服务器都有两块网卡，一块eth0是和后面varnish服务器通信，另一块eth1是彼此之间监听心跳信息和故障迁移是资源转移。笔者用的eth0是172.16.100.0网段 vip为172.16.100.1 监听心跳为eth1网卡，主从的IP分别为10.10.10.1（node1） 和10.10.10.2（node2）
　　修改上面模型图两台主从服务器的信息
　　

• vim /etc/hosts
  
• 10.10.10.1    node1.heartbeat.com         node1
  
• 10.10.10.2    node2.heartbeat.com        node2
  
• #用于实现两台director节点间域名解析，此操作node1、node2相同
  

• vim /etc/sysconfig/network
  
• #设置主机名
  
• hostname node1.heartbeat.com  
  
• #修改主机名使之立即生效，node2也同样修改为node2.heartbeat.com
  

　　为了安全起见，node1和node2的通信需要加密进行

• ssh-keygen -t rsa
  
• #生成密钥
  
• ssh-copy-id -i .ssh/id_rsa.pub root@node2.heartbeat.com
  
• #将公钥复制给node2
  
• ssh node2 -- ifconfig
  
• #执行命令测试，此时应该显示node2的ip信息
  

　　准备工作完成，下面开始安装heartbeat和ldirectord
　　所需要的安装包为

　　本人直接用yum来实现，能自动解决依赖关系 ，node1和node2都需要安装

• yum localinstall -y --nogpgcheck ./*
  
• #安装此目录中的所有rpm包
  

　　安装后配置：
　　

• cd /usr/share/doc/heartbeat-2.1.4
  
• cp authkeys /etc/ha.d/
  
• cp haresources /etc/ha.d/
  
• cp ha.cf /etc/ha.d/
  
• #拷贝heartbeat所需配置文件到指定目录下
  

• vim /etc/ha.d/ha.cf
  
• bcast eth1
  
• #定义心跳信息从那一块网卡传输
  
• node node1.heartbeat.com
  
• node node2.heartbeat.com
  
• #添加这两行，用于指明心跳信号传输范围
  
• vim /etc/ha.d/authkeys
  
• auth 2
  
• 2 sha1 [键入随机数]
  
• chmod 400 authkeys
  
• #保存退出并修改权限400
  
• vim /etc/ha.d/haresource
  
• node1.heartbeat.com         172.16.100.1/24/eth0/172.16.0.255 ldirectord::ldirectord.cf httpd
  
• #末行添加主节点域名，vip资源，广播地址，ldirectord资源，以及用户提供显示错误页面的httpd资源
  

同步配置文件到node2

• /usr/lib/heartbeat/ha_propagate
  
• #脚本用来同步ha.cf和authkeys文件到node2
  
• scp haresources node2:/etc/ha.d/
  
• #复制haresource到nod2
  

　　配置ldirectord，同步配置文件
　　

• cp /usr/share/doc/heartbeat-ldirectord-2.1.4/ldirectord.cf /etc/ha.d/ldirectord.cf
  
• #复制ldirector的配置文件
  

　　内容如下配置
　　

• checktimeout=5
  
• #当DR收不到realserver的回应，设定几秒后判定realserver当机或挂掉了，预设5秒。
  
• checkinterval=3
  
• #查询间隔，每个几秒侦测一次realserver
  
• autoreload=yes
  
• #配置文件发生改变是否自动重读
  
• quiescent=yes
  
• #静态链接，yes：表示侦测realserver宕机，将其权值至零（如果开启了persistent参数不要用yes）；no：表示侦测到宕机realserver，随即将其对应条目从ipvsadm中删除。
  
• virtual=172.16.100.1:80
  
•         real=172.16.100.11:80 gate 4
  
  
•         fallback=127.0.0.1:80 gate #realserver全部失败，vip指向本机80端口。
  
•         service=http
  
•         request="test.html" #用于健康检测的url,realserver的相对路径为var/www/html目录
  
•         receive="ok"    #用于健康检测的url包含的关键字
  
•         scheduler=wlc
  
•         #persistent=600
  
•         #持久链接：表示600s之内同意ip将访问同一台realserver
  
•         protocol=tcp
  
•         checktype=negotiate
  
•         #检查类型：negotiate，表示DR发送请求，realserver恢复特定字符串才表示服务正常；connect，表示DR能够连线realserver即正常。
  
•         checkport=80
  

启动两个节点上的heartbeat

• service heartbeat start
  
• ssh node2 -- 'service heartbeat start'
  
• #启动两节点heartbeat服务  
  

　　 启动后查看/var/log/messages 可以看到启动过程，并可以手动执行/usr/lib/heartbeat/下的hb_standby 来释放资源hb_takeover来争夺资源
　　还可以通过ipvsadm -Ln 在主节点上查看lvs的资源状态

　　至此，带状态检测的前端集群已经布置完毕，下面就是varnish缓存服务器和后端nginx的web应用配置
　　三：varnish缓存服务器
　　有些朋友可能对varnish不太熟悉，简单做个介绍:
　　
     今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。
　　在我看来，使用Varnish代替Squid的理由有三点：
1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
2、Varnish的稳定性还不错,顺便说一句,Varnish的性能的发挥关键在于Varnish配置文档的优化.
3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的
    4. 还有一点,应该算是Varnish的缺点了吧,就是Varnish的缓存基本上在内存中，如果Varnish进程停止再启动，Varnish就会重新访问后端Web服务器,再一次进行缓存.虽然Squid性能没有Varnish高，但它停止、重启的时候，可以直接先从磁盘读取缓存数据。
    varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid，性能比以前更好。
    varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构.
　　
　   现在大多数网站都抛弃了 Apache，而选择nginx是因为前者能承受的并发连接相对较低；
抛弃了 Squid，因为它在内存利用、访问速度、并发连接、清除缓存等方面不如 Varnish；
抛弃了 PHP4，因为 PHP5 处理面向对象代码的速度要比 PHP4 快，另外，PHP4 已经不再继续开发；
抛弃了 F5 BIG-IP 负载均衡交换机，F5 虽然是个好东西，但由于价格不菲，多个部门多个产品都运行在其之上，流量大、负载高，从而导致性能大打折扣；
　　利用 Varnish cache 减少了90%的数据库查询，解决了MySQL数据库瓶颈；
利用 Varnish cache 的内存缓存命中加快了网页的访问速度；
利用 Nginx + PHP5(FastCGI) 的胜过Apache 10倍的高并发性能，以最少的服务器数量解决了PHP动态程序访问问题；
利用 Memcached 处理实时数据读写；
利用 HAProxy 做接口服务器健康检查；
　　经过压力测试，每台Web服务器能够处理3万并发连接数，承受4千万PV完全没问题。

　　可以去varnish的官网下载最新的源码包，笔者为了便于演示，就用rpm包了，（别鄙视我）
　　varnish官网地址：http://www.varnish-cache.org/
　　我下的是最新的varnish-release-3.0-1.noarch.rpm
　　先rpm -ivh varnish-release-3.0-1.noarch.rpm
　　它的作用是给你yum生成varnish的仓库，然后你在用yum安装varnish
　　yum install varnish

　　安装好后配置文件为/etc/default.vcl
　　本人只实现基本功能，没有对varnish做优化，所以配置比较简单

　　配置完成后保存退出，需手动启动
　　varnishd -f /etc/varnish/default.vcl -s malloc,128m -T 127.0.0.1:2000
　　
-f etc/varnish/default.vcl     -f 指定varnishd使用哪个配置文件。
-s malloc，1G                                                -s用来指定varnish使用的存储类型和存储容量。我使用的是 malloc 类型（malloc 是一个 C 函数，用于分配内存空间），  1G  定义多少内存被 malloced。
-T 127.0.0.1：2000                                        -T 指定varnish的管理端口。Varnish有一个基于文本的管理接口，启动它的话可以在不停止 varnish 的情况下来管理 varnish。您可以指定管理软件监听哪个接口。
-a 0.0.0.0：8080                                             指定varnish所监听所有IP发给80的http请求。如果不指定-a ，则为默认监听0.0.0.0:
　　ps:先配置nginx在配置varnish可以直接测试效果，本人为了演示架构层次，所以就一层一层的配置了，建议如果按我的顺序做的话，后端web服务器先用yum装上apache方便测试。varnish到此就配置成功。到此我在帮各位顺一下思路
　　

目前，如果你完全按照本文章做实验，我们用了5台服务器。 一台director 它的vip为172.16.100.1  DIP为172.16.100.10 　　与它实现高可用的从服务器vip为172.16.100.1 DIP为 172.16.100.12 　　而这两台服务器都装的有heartbeat和ipvsadm 并通过ldirectord把VIP定义为资源，会自动流动，和自动添加ipvsadm分发条目 　　在ipvsadm中 定义的有一台varnish服务器 地址为172.16.100.11 　　varnish缓存服务器在做反向代理时后端是两台web服务器分别为web1和web2 　　IP分别为172.16.100.15和172.16.100.17 下图帮你顺下思路

　　四：nginx服务器+php+eAccelerator
　　
（1）编译安装PHP 5.3.6所需的支持库：

• tar zxvf libiconv-1.13.1.tar.gz
  
• cd libiconv-1.13.1/
  
• ./configure --prefix=/usr/local
  
• make
  
• make install
  
• cd ../
  

• tar zxvf libmcrypt-2.5.8.tar.gz  
  
• cd libmcrypt-2.5.8/
  
• ./configure
  
• make
  
• make install
  
• /sbin/ldconfig
  
• cd libltdl/
  
• ./configure --enable-ltdl-install
  
• make
  
• make install
  
• cd ../../
  

• tar zxvf mhash-0.9.9.9.tar.gz
  
• cd mhash-0.9.9.9/
  
• ./configure
  
• make
  
• make install
  
• cd ../
  

• ln -s /usr/local/lib/libmcrypt.la /usr/lib/libmcrypt.la
  
• ln -s /usr/local/lib/libmcrypt.so /usr/lib/libmcrypt.so
  
• ln -s /usr/local/lib/libmcrypt.so.4 /usr/lib/libmcrypt.so.4
  
• ln -s /usr/local/lib/libmcrypt.so.4.4.8 /usr/lib/libmcrypt.so.4.4.8
  
• ln -s /usr/local/lib/libmhash.a /usr/lib/libmhash.a
  
• ln -s /usr/local/lib/libmhash.la /usr/lib/libmhash.la
  
• ln -s /usr/local/lib/libmhash.so /usr/lib/libmhash.so
  
• ln -s /usr/local/lib/libmhash.so.2 /usr/lib/libmhash.so.2
  
• ln -s /usr/local/lib/libmhash.so.2.0.1 /usr/lib/libmhash.so.2.0.1
  
• ln -s /usr/local/bin/libmcrypt-config /usr/bin/libmcrypt-config
  

• tar zxvf mcrypt-2.6.8.tar.gz
  
• cd mcrypt-2.6.8/
  
• /sbin/ldconfig
  
• ./configure
  
• make
  
• make install
  
• cd ../
  

　　

　　

• cd php-5.3.6
  ./configure --prefix=/usr/local/php-fcgi --enable-fpm --with-config-file-path=/usr/local/php-fcgi/etc --enable-zend-multibyte  --with-libxml-dir=/usr/local/libxml2 --with-gd --with-jpeg-dir --with-png-dir --with-bz2 --with-freetype-dir --with-iconv-dir --with-zlib-dir --with-curl --with-mhash --with-openssl --enable-bcmath --with-mcrypt=/usr/local/libmcrypt --enable-sysvsem --enable-inline-optimization --enable-soap --enable-gd-native-ttf --enable-ftp --enable-mbstring --enable-exif --disable-debug --disable-ipv6
  make
  make install
  cp php.ini-production /usr/local/php-fcgi/etc/php.ini
  mkdir /usr/local/php-fcgi/ext
  
  
  
  

　　
编译安装PHP5扩展模块

　　字数满了，余下内容在下一篇