xglys 发表于 2015-11-20 08:45:15

Keepalived 在openstack的实施

Keepalived 在openstack的实施
  使用keepalived和haproxy组合是常用的系统前端实现负载均衡、单点故障的方案,keepalived采用的vrrp协议,使用一个公有的vip(虚拟ip)实现在两台haproxy节点上来回“漂移“,这样对外只体现了一个IP,在一般的物理机上可以比较容易的试验成功,但在openstack上实施次方案,还是有些坑。
1) vrrp报文被过滤,导致vip不会在节点之间飘
  openstack的防火墙墙了vrrp协议的报文,可以在机器的安全组规则中添加对应的规则,vrrp协议的协议号是112。
2)同网络的机器ping不通vip
  vip通常会选择一个跟haproxy节点在同一个网络的未使用过的ip,openstack里会使用一个未使用fixedip,但在实际使用中,会发现选择的vip跟原有网络的节点不通,分析下原因也是openstack的底层iptables设置的问题,对应修改的话,可以到haproxy节点对应物理计算节点上添加对应的规则,但比较麻烦,还会定期被刷掉。待会讲下一个靠谱的解决方案。
3)vip上无法绑定浮动ip
  vip是任选的一个fixedip,不被opentack认可,所以也不知怎么绑定浮动ip,毕竟对外使用还是通过浮动ip对外的,然后NATin进来的,初期的idea有下面几个:

[*]起一个vm绑定floatingip,stop这个vm,将这台vm的fixedip作为vip,然后就默认会有一个浮动ip使用了,有点浪费资源。。。
[*]将两个haproxy VM的其中一台机器的ip直接用ifconfig命令替换点,然后用这台机器的ip作为vip,着方法也有点牵强了。
  后面这两点究其原因还是因为vip不被openstack认可,最终找到一个不错的方法(源头是参考一个国外博客Aaron’s Blog.)
方法是用的Havana版本的一新特性 “Allowed-Address-Pairs”,简单来说,就是在每个vm关联一个openstack创建ip,这样就解决了上面说的问题了;相当适合keepalived使用场景。


//用openstack创建一个port(其实是ip)
$ neutron port-create --fixed-ip ip_address=10.0.0.201 --security-group vrrp-sec-group vrrp-net
Created a new port:
+-----------------------+-----------------------------------------------------------------------------------+
| Field               | Value                                                                           |
+-----------------------+-----------------------------------------------------------------------------------+
| admin_state_up      | True                                                                              |
| allowed_address_pairs |                                                                                 |
| device_id             |                                                                                 |
| device_owner          |                                                                                 |
| fixed_ips             | {"subnet_id": "94a0c371-d37c-4796-821e-57c2a8ec65ae", "ip_address": "10.0.0.201"} |
| id                  | 6239f501-e902-4b02-8d5c-69062896a2dd                                              |
| mac_address         | fa:16:3e:20:67:9f                                                               |
| name                  |                                                                                 |
| network_id            | 24e92ee1-8ae4-4c23-90af-accb3919f4d1                                              |
| port_security_enabled | True                                                                              |
| security_groups       | 36c8131f-d504-4bcc-b708-f330c9f6b67a                                              |
| status                | DOWN                                                                              |
| tenant_id             | d4e4332d5f8c4a8eab9fcb1345406cb0                                                |
+-----------------------+-----------------------------------------------------------------------------------+

//用allowed_address_pairs 参数关联新创建的ip(10.0.0.201
)和两台haproxy所在vm节点ip
$ neutron port-updatec080dbeb-491e-46e2-ab7e-192e7627d050 --allowed_address_pairs list=true type=dict ip_address=10.0.0.201
$ neutron port-update12bf9ea4-4845-4e2c-b511-3b8b1ad7291d --allowed_address_pairs list=true type=dict ip_address=10.0.0.201
页: [1]
查看完整版本: Keepalived 在openstack的实施