心海恋歌 发表于 2015-9-4 13:27:48

lVS/haproxy

haproxy 安装配置


  1. 下载及安装
  wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.21.tar.gz
  tar zxvf haproxy-1.4.21.tar.gz
  cd haproxy-1.4.21
  make TARGET=linux26 PREFIX=/usr/local/haproxy
  make install PREFIX=/usr/local/haproxy
  
  2.配置
  vi /usr/local/haproxy/haproxy.cfg
  global
      log 127.0.0.1   local0
      maxconn 65535
      chroot /usr/local/haproxy
      uid 99
      gid 99
      daemon
      nbproc 8
      pidfile /usr/local/haproxy/haproxy.pid
  defaults
      log   127.0.0.1local3
      mode    http
      optionhttplog
      optionhttpclose
      optiondontlognull
      optionforwardfor
      retries 2
      optionredispatch
      maxconn 2000
      balance source
      stats uri /web-status
      contimeout      5000
      clitimeout      50000
      srvtimeout      50000
  listenbbs.wxd5981.com
  bind *:8089
      mode http
      option httplog
      log global
      option httpchk HEAD /web/bbs/index.php HTTP/1.0
      serverweb1 192.1.1.128:80 weight 5 check inter 2000 rise 2 fall 3
  3.启动及停止
  /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg    #启动
  killall haproxy      #停止
  4. 加上日志支持,代码如下:
  vi /etc/syslog.conf
添加:
  local3.*      /var/log/haproxy.log
local0.*      /var/log/haproxy.log
  
  vi /etc/sysconfig/syslog
修改:
SYSLOGD_OPTIONS="-r -m 0"
  service syslog restart   #最后重启syslog服务
  



lvs 总结2

2011年12月14日没有评论

  lvs中2个组件:ipvs和ipvsadm
  1.ipvs
  ipvs是工作在内核的一段代码,2.6的内核已经包含了这段代码
  2. ipvsadm
  ipvsadm 是工作在用户层的程序,需要手动安装
  3.在DR模式中,数据包在节点间传输是靠mac地址,因为realserver和调度机都有vip,为了防止冲突,需要把real server的vip隐藏起来,使其对vip解析的arp请求不做响应.即当有一个客户端访问vip时,real server不响应此请求.
  这样一来,响应请求的则只是调度机上的vip,调度机接收到请求后,根据算法选中其中一个real server来响应,调度机把目的mac改为real server的mac,源ip还是客户端的ip,目标ip为real server的vip.realserver 接收此数据包,并直接返回给客户端即
  client ip+clientmac---->调度机vip 调度机mac----> real server的macrealserver的vip--> 返回给客户端
  4.real server 隐藏vip
  需要用到两个内核参数,arp_announce和arp_ignore. 这两个参数的目的就是把real server上的vip隐藏起来,不响应.只用于接收调度机转发过来的数据包,然后处理此包返回给客户端.
  arp_announce 在某个网卡上向外通知自己的mac和ip对应的关系时的限制级别,即别人来请求时我用哪个地址进行响应。
  0 默认 全部响应
  1 尽可能的避免使用另外的接口的地址响应客户端的请求
  2 只使用可以匹配到客户端的最佳地址响应
  arp_ignore 当收到别人的请求我给于响应时的响应类型 ,即我对哪些请求给于响应,哪些不给于响应。
  0 默认 全部响应
  1 从接受请求的接口响应,即如果请求解析的网卡不是接受请求的网卡则不给于响应。
  所以我们可以在real server上把vip配置在lo回环网卡上,然后令arp_announce=2,arp_ignore=1因为直接连接的应该是eth0网卡,而不是lo网卡,所以即可实现隐藏VIP。
  注意:因为当real server1直接将请求的数据发给client时是从eth0出去的,所以系统会默认把eth0的ip作为源ip,而我们需要无论如何将VIP作为源ip,此时我们只需要添加一条主机路由即可。
  



apache2+tomcat6 集群配置实现session同步

2011年11月9日没有评论

  A. 配置前的几点知识总结:


1.集群:能实现状态同步(例如session复制)功能的2台或者多台服务器组成的架构  
  2.负载均衡:只实现负载被2台或者多台服务器处理的架构
  3.在处理session状态可以配置成session保持和session同步两种状态.session保持是同一个客户端的所有请求分给同一个server处理,同步是集群中所有节点都有一份session拷贝,任何一个节点坏掉,不影响其它节点,服务也不中断
  4.tomcat集群中session的同步中是使用组播协议寻找和添加节点,使用tcp协议传输session数据,因此需要查看各节点服务器是否支持组播.查看方法是运行ifconfig 命令.如果有UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1 则表示支持组播.其中BROADCAST表示广播,MULTICAST表示组播
  5.环境介绍: apache 2.2   tomcat 6.0请务必注意,apache和tomcat的版本不同,配置的参数不一样,tomcat6和tomcat5配置集群的配置参数就不一样.请务必注意,切勿生抄.
  B.如下是具体配置过程: (tomcat在两台服务器上)
  apache和tomcat1在192.1.1.105机器上,tomcat2在192.1.1.115机器上.
  1.apache和tomcat 安装 不在赘述,具体贴出配置文件:
  httpd.conf:


NameVirtualHost *:80  
  <Directory "/data/wwwroot/">
    Options None
    AllowOverride None
    Order allow,deny
    Allow from all
</Directory>
  <VirtualHost *:80>
    ServerAdmin webmaster@wxd5981.com
    DocumentRoot /data/wwwroot/
    ServerName 192.1.1.105
    ErrorLog logs/mzk-error_log
    CustomLog logs/mzk-access_log combined
    JkMount /*.jsp controller
    JkMount /*.action controller
    JkMount /*.servlet controller
</VirtualHost>
  LoadModule jk_module modules/mod_jk.so
JkWorkersFile /usr/local/tomcat6/conf/jk/workers.properties
JkShmFile logs/mod_jk.shm
JkLogFile /usr/local/tomcat6/logs/mod_jk.log
JkLogLevel info
JkMount /*.jsp controller
  workers.properties文件:


worker.list=controller  
  #-----------------------------
worker.tomcat1.port=8009
worker.tomcat1.host=localhost
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor=1
  #------------------------------
  worker.tomcat2.port=8009
worker.tomcat2.host=192.1.1.115
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor=1
  #-----------------------------
  worker.controller.type=lb
worker.controller.balance_workers=tomcat1,tomcat2
worker.controller.sticky_session=0
  tomcat1 的server.xml文件:


<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">            
  <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
         channelSendOptions="8">

<Manager className="org.apache.catalina.ha.session.DeltaManager"
         expireSessionsOnShutdown="false"
         notifyListenersOnReplication="true"/>

<Channel className="org.apache.catalina.tribes.group.GroupChannel">
    <Membership className="org.apache.catalina.tribes.membership.McastService"
                address="228.0.0.4"
                port="45564"
                frequency="500"
                dropTime="3000"/>
    <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
            address="192.1.1.105"
            port="4000"
            autoBind="100"
            selectorTimeout="5000"
            maxThreads="6"/>

    <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
      <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
    </Sender>
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
</Channel>

<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
         filter=""/>
<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
            tempDir="/tmp/war-temp/"
            deployDir="/tmp/war-deploy/"
            watchDir="/tmp/war-listen/"
            watchEnabled="false"/>

<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>
  tomcat2的server.xml只需要改两个地方:


1.<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat2">  
  2. <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
            address="192.1.1.115"
  几点需要注意的:


1.更新文件后,两个tomcat先重启,apache后重启  
  2. worker.controller.sticky_session=0         0是session同步,1是session保持
  3.网卡开启多播 :
route add -net 224.0.0.0 netmask 240.0.0.0 dev eth0
  4.多播的地址是特定的,D类地址用于多播。D类IP地址就是多播IP地址,即224.0.0.0至239.255.255.255之间的IP地址,并被划分为局部连接多播地址、预留多播地址和管理权限多播地址3类:
  局部多播地址:在224.0.0.0~224.0.0.255之间,这是为路由协议和其他用途保留的地址,路由器并不转发属于此范围的IP包。
  预留多播地址:在224.0.1.0~238.255.255.255之间,可用于全球范围(如Internet)或网络协议。
  管理权限多播地址:在239.0.0.0~239.255.255.255之间,可供组织内部使用,类似于私有IP地址,不能用于Internet,可限制多播范围。
  5.多播即组播,可在广域网传输,而广播则不能在广域网传输,只能在局域网传输
  6.需要在工程的web.xml文件中添加<distributable/>一行,否则session不复制
  附件是测试session复制的应用.环境配好后,放置tomcat设置的webapp目录下.
test.zip



lvs+keepalived的一些总结和认识

2011年8月22日没有评论

  lvs: linux虚拟服务器,其在前端充当一个负载调度器的角色,能够按照策略将负载分配到后端的真实服务器上
keepalived: 如果lvs只有一台前端调度器,如果调度器宕机,那么整个服务就全部无法访问,为了避免此类问题,则需要有个备用调度器来实现failover.
  在知道如何配置前,先把组件的工作原理搞明白,其实配置的话是很简单的. 举例DR模式
  1.前段调度器
  使用ipvsadm核心组件来实现调度管理,使用ipvsadm命令添加一个虚拟服务器,指定一个虚拟IP地址,这个虚拟ip地址就是对外发布的地址,但提供响应的服务器是后端的真实服务器,而且是后端服务器直接响应客户端,不是通过前段代理服务器转发给客户端的,这点比较关键.这也是为什么要在后端的真实服务器上的LO网卡配置一个vip的原因.不配置的话,realserver会以为此数据库不是发给自己的,而将其丢弃.
  2.realserver
  后端的realserver是响应客户端请求的服务器,而且直接发送数据包给客户端,有2个参数需要理解一下:
  arp_ignore = 1 :Linux 核心中的一个arp_ignore 参数,该参数默认值为0。即对ARP请求时,只要该IP在本地的机器任意网卡设备上存在都会响应,设置为1则表示系统只回答目的IP为是本地IP的包,也就是对广播包不做响应
  arp_announce=2,系统忽略IP包的源地址(source address),而根据目标主机(target host),选择本地地址,即由linux系统来选择使用哪个网卡设备,响应客户端请求.
  通俗的来说就是让realserver响应客户端的请求时,不使用vip这个网卡设备来响应,否则的话,调度器的vip就会失效.
  调度器在将请求数据包转发给后端realserver时,会把包的目的MAC地址改成realserver的mac地址,客户端的MAC不做更改,这样一来的话,就行成了是客户端直接访问后台realserver的数据包格式.但目的IP地址是VIP,那么realserver想接受这个包,就需要在每个realserver上配置一个VIP,这里是配置lo网卡接口上,在realserver上设置vip是为了让realserver接受调度器转发过来的数据包
  设置255.255.255.255则说明了其realserver上的vip的广播地址是本身,这样realserver的vip就不会和调度器的vip冲突
  安装步骤:
  ipvsadm:的命令介绍: #转一个


对ipvsadm 的命令参考,并根据自己使用的经验,进行了一个简单的翻译,希望
对ipvsadm 的使用者有一定的帮助。
为了更好的让大家理解这份命令手册,将手册里面用到的几个术语先简单的介绍
一下:
1,virtual-service-address:是指虚拟服务器的ip 地址
2,real-service-address:是指真实服务器的ip 地址
3,scheduler:调度方法  
  ipvsadm 的用法和格式如下:
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p
] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port
[-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
命令选项解释:
有两种命令选项格式,长的和短的,具有相同的意思。在实际使用时,两种都可
以。
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也
就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则,输出为-R 选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器
记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零(清空当前的连接数量等)
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master 或backup,用来说
明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的
VRRP 功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务
or
-u --udp-service service-address 说明虚拟服务器提供的是udp 的服务
or
-f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s --scheduler scheduler 使用的调度算法,有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是: wlc.
-p --persistent 持久稳固的服务。这个选项的意思是来自同一个客
户的多次请求,将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器
-g --gatewaying 指定LVS 的工作模式为直接路由模式(也是LVS 默认的模式)
-i --ipip 指定LVS 的工作模式为隧道模式
-m --masquerading 指定LVS 的工作模式为NAT 模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组播的同步接口
-c --connection 显示LVS 目前的连接 如:ipvsadm -L -c
--timeout 显示tcp tcpfin udp 的timeout 值 如:ipvsadm -L --timeout
--daemon 显示同步守护进程状态
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--numeric -n 输出IP 地址和端口的数字形式
  
页: [1]
查看完整版本: lVS/haproxy