Keepalived 在openstack的实施

xglys

Keepalived 在openstack的实施
　　使用keepalived和haproxy组合是常用的系统前端实现负载均衡、单点故障的方案，keepalived采用的vrrp协议，使用一个公有的vip（虚拟ip）实现在两台haproxy节点上来回“漂移“，这样对外只体现了一个IP，在一般的物理机上可以比较容易的试验成功，但在openstack上实施次方案，还是有些坑。
1） vrrp报文被过滤,导致vip不会在节点之间飘
　　openstack的防火墙墙了vrrp协议的报文，可以在机器的安全组规则中添加对应的规则，vrrp协议的协议号是112。
2）同网络的机器ping不通vip
　　vip通常会选择一个跟haproxy节点在同一个网络的未使用过的ip，openstack里会使用一个未使用fixedip，但在实际使用中，会发现选择的vip跟原有网络的节点不通，分析下原因也是openstack的底层iptables设置的问题，对应修改的话，可以到haproxy节点对应物理计算节点上添加对应的规则，但比较麻烦，还会定期被刷掉。待会讲下一个靠谱的解决方案。
3）vip上无法绑定浮动ip
　　vip是任选的一个fixedip，不被opentack认可，所以也不知怎么绑定浮动ip，毕竟对外使用还是通过浮动ip对外的，然后NATin进来的，初期的idea有下面几个：

• 起一个vm绑定floatingip，stop这个vm，将这台vm的fixedip作为vip，然后就默认会有一个浮动ip使用了，有点浪费资源。。。
  
• 将两个haproxy VM的其中一台机器的ip直接用ifconfig命令替换点，然后用这台机器的ip作为vip，着方法也有点牵强了。
  

　　后面这两点究其原因还是因为vip不被openstack认可，最终找到一个不错的方法（源头是参考一个国外博客Aaron’s Blog.  ）
方法是用的Havana版本的一新特性 “Allowed-Address-Pairs”，简单来说，就是在每个vm关联一个openstack创建ip，这样就解决了上面说的问题了；相当适合keepalived使用场景。


//用openstack创建一个port（其实是ip）
$ neutron port-create --fixed-ip ip_address=10.0.0.201 --security-group vrrp-sec-group vrrp-net
Created a new port:
+-----------------------+-----------------------------------------------------------------------------------+
| Field                 | Value                                                                             |
+-----------------------+-----------------------------------------------------------------------------------+
| admin_state_up        | True                                                                              |
| allowed_address_pairs |                                                                                   |
| device_id             |                                                                                   |
| device_owner          |                                                                                   |
| fixed_ips             | {"subnet_id": "94a0c371-d37c-4796-821e-57c2a8ec65ae", "ip_address": "10.0.0.201"} |
| id                    | 6239f501-e902-4b02-8d5c-69062896a2dd                                              |
| mac_address           | fa:16:3e:20:67:9f                                                                 |
| name                  |                                                                                   |
| network_id            | 24e92ee1-8ae4-4c23-90af-accb3919f4d1                                              |
| port_security_enabled | True                                                                              |
| security_groups       | 36c8131f-d504-4bcc-b708-f330c9f6b67a                                              |
| status                | DOWN                                                                              |
| tenant_id             | d4e4332d5f8c4a8eab9fcb1345406cb0                                                  |
+-----------------------+-----------------------------------------------------------------------------------+

//用allowed_address_pairs 参数关联新创建的ip（10.0.0.201
）和两台haproxy所在vm节点ip
$ neutron port-update  c080dbeb-491e-46e2-ab7e-192e7627d050 --allowed_address_pairs list=true type=dict ip_address=10.0.0.201
$ neutron port-update  12bf9ea4-4845-4e2c-b511-3b8b1ad7291d --allowed_address_pairs list=true type=dict ip_address=10.0.0.201