Openstack实践（1）部署使用实例及neutron网络

hyperv

　　版权声明：本文为博主原创文章，欢迎转载，转载请注明作者、原文超链接 ，博主地址：http://www.cnblogs.com/SuperXJ/
　　如何快速部署使用openstack，使用kolla吧，openstack技术结合容器分分钟部署（单点或者多节点，任选），分分钟升级，kolla项目是为了容器化openstack，目标是做到开箱即用，所有的组件的HA都具备。kolla是一个革命性的项目，我们以前积累的安装部署经验，全部都报废。使用kolla可以快速部署可扩展，可靠的生产就绪的openstack环境。,OpenStack Kolla项目是一个支持Openstack服务以容器的方式部署，借助ansible部署工具可以简单的扩展到多个节点。同时，又借助于使用 heat 来编排 Kolla 集群。我们也可以把 Kolla 镜像注册到一个内部的 Hub，并通过 Kubernetes(k8s)等工具来管理。kolla最终目标是为OpenStack的每一个服务都创建一个对应的Docker Image，通过Docker Image将升级的粒度减小到Service级别，从而使升级时，对OpenStack影响能达到最小，并且一旦升级失败，也很容易回滚。升级只需要三步：Pull新版本的容器镜像，停止老版本的容器服务，然后启动新版本容器。回滚也不需要重新安装包了，直接启动老版本容器服务就行，非常方便，kolla是openstack成功结合微服务和容器的开始。
　　目前，Kolla提供的镜像支持部署如下OpenStack项目：
　　Aodh
　　Ceilometer
　　Cinder
　　Designate
　　Glance
　　Gnocchi
　　Heat
　　Horizon
　　Ironic
　　Keystone
　　Magnum
　　Mistral
　　Murano
　　Nova
　　Neutron
　　Swift
　　Tempest
　　Zaqar
　　以及这些基础设施组件：
　　· Ceph implementation for Cinder, Glance and Nova
· Openvswitch and Linuxbridge backends for Neutron
· MongoDB as a database backend for Ceilometer and Gnocchi
· RabbitMQ as a messaging backend for communication between services.
· HAProxy and Keepalived for high availability of services and their endpoints.
· MariaDB and Galera for highly available MySQL databases
　　1、准备工作：
　　The host machine must satisfy the following minimum requirements:
　　2 network interfaces（第一个是ens33，NAT网络 ，DHCP分配，IP:33192.168.226.137，Horizon访问就是通过这个IP地址 ; 第二个是 ens37，NAT网络 ，DHCP分配，IP:33192.168.226.138;，这个其实是让neutron的br-ex 绑定使用，虚拟机是通过这块网卡访问外网。 ）
　　8GB main memory
　　40GB disk space
　　1.1、安装python pip最新版本
　　Yum install epel-release   
　　说明：EPEL 是yum的一个软件源，里面包含了许多基本源里没有的软件。
　　Yum install python-pip
　　pip Install -U pip
　　说明：pip是 python可以跨平台的安装工具
　　1.2、安装依赖包
　　yum install python-devel libffi-devel gcc openssl-devel libselinux-python
　　pip install -U docker-py
　　#yum install -y python-docker-py
　　1.3、安装ansible，kolla通过ansible来部署openstack
　　Yum install ansible
　　1.4、安装docker
　　yum install docker-engine-1.12.5 docker-engine-selinux-1.12.5
　　Systemctl enable docker
　　说明：根据kolla安装要求，安装1.12.5版本的docker
　　1.5、配置（当使用Systemd  建立docker引擎，如果不设置MountFlags 选项， kolla-ansible的neutron-dhcp-agent会部署失败并抛出 APIError/HTTPError.）
　　Tee /etc/systemd/system/docker.service.d/kolla.conf <<-'EOF'
　　[Service]
　　MountFlags=shared
　　EOF
　　或者再/usr/lib/systemd/system/docker.service
　　[service]里加上
　　#MountFlags=shared
　　ExecStart=/usr/bin/dockerd --insecure-registry 192.168.226.134:4000
　　说明：增加一个本地registry
　　Systemctl daemon-reload
　　Systemctl restart docker
　　说明：重新加载并启动
　　1.6、配置ntp 多机部署需要配置，否则会调度错误
　　Yum install ntp
　　Systemctl enable ntpd.service
　　Systemctl start ntpd.service
　　1.7、禁用libvirtd
　　Systemctl stop libvirtd.service
　　Systemctl disable libvirtd.service
　　1.8、关闭防火墙和selinux
　　 systemctl stop firewalld && systemctl disable firewalld  sed -i '7d;1a SELINUX=disabled' /etc/selinux/config
　　2、安装kolla
　　Kolla安装包有两种模式：
　　（1）evaluation是使用pip来安装kolla，先安装kolla-ansible，然后通过kolla-ansile将openstack的各项目镜像从互联网拉取下来。
　　（2）Development是使用源码来安装kolla，下载源码，本地编译构建安装，相对比第一种要复杂一些。
　　2.1、我们这里使用Development方式安装valla：
　　git clone http://git.trystack.cn/openstack/kolla-ansible –b stable/ocata
　　cd kolla-ansible pip install .
　　说明：kolla-ansible 是一个将openstack部署到docker的工具
　　Cp -r /usr/share/kolla-ansible/etc_examples/kolla /etc/kolla/
　　Vi /etc/kolla/globals.yml  
　　kolla_base_distro: "centos"
　　kolla_install_type: "source"
　　openstack_release: "4.0.3"
　　kolla_internal_vip_address: "192.168.226.222"
　　docker_registry: "192.168.226.134:4000"
　　network_interface: "ens33"
　　neutron_external_interface: "ens37"
　　enable_haproxy: "no"
　　api_interface: "{{ network_interface }}"
　　docker_namespace: "lokolla"
　　说明：该配置文件配置了kolla源信息
　　cp /usr/local/share/kolla-ansible/ansible/inventory/* .
　　说明：这里存放了单节点和多节点部署的配置文件，我们采用单节点部署
　　默认docker的registry是使用5000端口，对于OpenStack来说，有端口冲突，所以改成4000
　　docker run -d -v /opt/registry:/var/lib/registry -p 4000:5000 --restart=always --name registry registry:2
　　下载kolla官方提供的镜像
　　http://tarballs.openstack.org/kolla/images/
　　这是kolla官方提供的镜像给CI使用，只保留最新版本和最新的stable版本。大家可以下载Ocata版本
　　wget http://tarballs.openstack.org/kolla/images/centos-source-registry-ocata.tar.gz tar zxvf centos-source-registry-ocata.tar.gz -C /opt/registry/
　　这样就把kolla的docker镜像文件放到Regisitry服务器上。
　　2.2 配置/etc/kolla/globals.yml
　　network_interface: "ens33"  
　　说明：ens33属于NAT网络里，设置的IP是：192.168.226.134，Horizon访问就是通过这个IP地址
　　neutron_external_interface: "ens37"
　　说明：ens37桥接模式，ip其实是dhcp分配，这个其实是让neutron的br-ex 绑定使用，虚拟机是通过这块网卡访问外网。
　　2.3 配置登录Dashboard的密码
　　kolla-genpwd
　　说明：自动生产复杂密码，对应文件/etc/kolla/passwords.yml
　　Vi /etc/kolla/passwords.yml
　　修改keystone_admin_password: xiongjian
　　2.4测试一下kolla-ansible -i all-in-one bootstrap-servers
　　kolla-ansible prechecks -i ~/kolla/all-in-one  -vvv
　　如果是在虚拟机里装kolla，希望可以启动虚机后再启动nova虚拟机，那么你需要把virt_type=qemu，默认是kvm
　　mkdir -p /etc/kolla/config/nova
　　cat << EOF > /etc/kolla/config/nova/nova-compute.conf [libvirt] virt_type=qemu
　　EOF
　　2.5 部署  （测试环境采用all-in-one部署，生产环境请采用多节点部署）
　　kolla-ansible pull -i ~/kolla/all-in-one
　　kolla-ansible deploy -i ~/kolla/all-in-one
　　2.6 安装openstack 客户端
　　pip install -U python-openstackclient python-neutronclient
　　2.7 kolla-ansible post-deploy运行以下命令可以生成一个openrc文件(运行openstack CLI所需的环境变量):
　　openrc文件生成之后，使用以下命令可以帮你做一下openstack的初始化工作，包括上传一个glance镜像以及创建几个虚拟网络:
　　source /etc/kolla/admin-openrc.sh
　　[iyunv@localhost ~]# cat /etc/kolla/admin-openrc.sh
　　export OS_PROJECT_DOMAIN_NAME=default
　　export OS_USER_DOMAIN_NAME=default
　　export OS_PROJECT_NAME=admin
　　export OS_TENANT_NAME=admin
　　export OS_USERNAME=admin
　　export OS_PASSWORD=xiongjian
　　export OS_AUTH_URL=http://192.168.226.222:35357/v3
　　export OS_INTERFACE=internal
　　export OS_IDENTITY_API_VERSION=3
　　编辑 /usr/share/kolla-ansible/init-runonce，
　　网络需要根据实际情况修改
　　EXT_NET_CIDR='192.168.226.0/24'
　　EXT_NET_RANGE='start=192.168.226.180,end=192.168.226.199'
　　EXT_NET_GATEWAY='192.168.226.1'
　　说明一下，192.168.226.0的网络，就是上面ens34接的网络，这个网络是通过路由器访问互联网,配置好这个，装完虚拟机就可以直接ping通。
　　2.8 执行nova demo1
　　Sh init-runonce
　　To deploy a demo instance, run:
　　openstack server create \
　　    --image cirros \
　　    --flavor m1.tiny \
　　    --key-name mykey \
　　    --nic net-id=40f71353-665a-4885-9cd6-8fccea8c908a \
　　    demo1
　　+-------------------------------------+-----------------------------------------------+
　　| Field                               | Value                                         |
　　+-------------------------------------+-----------------------------------------------+
　　| OS-DCF:diskConfig                   | MANUAL                                        |
　　| OS-EXT-AZ:availability_zone         |                                               |
　　| OS-EXT-SRV-ATTR:host                | None                                          |
　　| OS-EXT-SRV-ATTR:hypervisor_hostname | None                                          |
　　| OS-EXT-SRV-ATTR:instance_name       |                                               |
　　| OS-EXT-STS:power_state              | NOSTATE                                       |
　　| OS-EXT-STS:task_state               | scheduling                                    |
　　| OS-EXT-STS:vm_state                 | building                                      |
　　| OS-SRV-USG:launched_at              | None                                          |
　　| OS-SRV-USG:terminated_at            | None                                          |
　　| accessIPv4                          |                                               |
　　| accessIPv6                          |                                               |
　　| addresses                           |                                               |
　　| adminPass                           | 7RRu8kextShC                                  |
　　| config_drive                        |                                               |
　　| created                             | 2017-11-25T08:26:43Z                          |
　　| flavor                              | m1.tiny (1)                                   |
　　| hostId                              |                                               |
　　| id                                  | 5cfdc7e2-25a8-4387-b462-2bf4100e2c37          |
　　| image                               | cirros (86705719-3402-4d9c-865a-f86646419905) |
　　| key_name                            | mykey                                         |
　　| name                                | demo1                                         |
　　| progress                            | 0                                             |
　　| project_id                          | ffd2a5003e7f4cdb8cefa48fdb2bd767              |
　　| properties                          |                                               |
　　| security_groups                     | name='default'                                |
　　| status                              | BUILD                                         |
　　| updated                             | 2017-11-25T08:26:45Z                          |
　　| user_id                             | 4edc2043e5864941acd205f60838a744              |
　　| volumes_attached                    |                                               |
　　+-------------------------------------+-----------------------------------------------+
　　通过openstack 控制台看一下，运行成功

　　查看是否支持kvm命令，我的显示不支持
　　egrep -c '(vmx|svm)' /proc/cpuinfo
　　0 表示不支持，1 表示支持。
　　[docker 构建镜像](https://docs.docker.com/engine/getstarted/step_four/)
　　[kolla-ansible 构建镜像](https://docs.openstack.org/developer/kolla/image-building.html)
　　[kolla 镜像仓库](https://hub.docker.com/u/kolla/)
　　[docker 服务配置](https://docs.docker.com/engine/admin/systemd/)
　　[问题debug](https://docs.openstack.org/developer/kolla-ansible/troubleshooting.html)
　　3、openstack Neutron
　　3.1先简单了解一下neutron
　　Neutron能提供虚拟的分布式(这样就可以实现跨物理机虚机在同一个vlan)二层vswitch（提供虚拟的network\subnet\port）、三层router、防火墙、负载均衡等抽象网络功能，能为每个租户提供独立的虚拟网络环境，neutron是用来创建虚拟网络的，所谓虚拟网络，就是虚拟机启动的时候会有一个虚拟网卡，虚拟网卡会连接到虚拟switch上，虚拟交换机连接到虚拟router上，虚拟路由器最终和物理网卡联通，从而虚拟网络和物理网络联通起来，可能用到的技术包括：
　　L2层：通过linux内核的bridge实现虚拟二层交换机，所有连接到linux bridge的设备（如tap）处于同一网段
　　L2层：Linux tap实现虚拟网卡,一个tap设备就是linux下一个进程，两个虚机通过tap通信实际上就是两个进程间通信，可以操作/dev/tap*，。
　　L2层：Linux veth实现虚拟网线，用于连接两个虚拟网络设备，如下面说的qbr和br-int)
　　L2层：在虚拟网桥中，如果希望虚机和外部通信，必须打开桥接到虚拟网桥中的物理网卡为混杂模式（ifconfig eth0 0.0.0.0 promisc up ）。
　　L3层：通过ipv4 forward（将数据包从一块网卡路由到另一块网卡）和iptable的NAT实现静态路由及转发.（例如可以实现从物理机A的eth33发出的数据包像是从物理机B的eth34端口发出去一样）。
　　L3层:通过RIP OSPF BGP 自动学习建立路由表。
　　L2层：OVS，作用和linux bridge类似,也是实现二层vswitch，但是多了QOS\netflow流量监控能力。
　　L3层：GRE本职是在隧道的两端L4层建立UDP连接传输重新包装的L3层爆头，在目的地进行解包，因为是直接在隧道两端建立UDP连接，所以不需要像VLAN一样在物理交换机上配置TRUNK。GRE缺点是点点对的UDP连接占用端口资源和带宽资源。
　　L3层：Neutron中GRE，即使两台物理机上的两台虚机也不直接建立GRE，而是通过L3的网络节点进行中转，这样可以方便使用iptable做隔离网络流量。
　　L3 层：vxlan 的本职是重新定义L2层的数据帧再通过L4的UDP进行传输，对端对UDP拆包后查看L2数据帧可以看到和对端是在同一个2层。也是是通过L3L4层扩展L2层。VXLAN同样使用了GRE的隧道通过UDP传输重新封装的数据帧（其中的VNI类似于VLAN，但是为24Bit），通过VXLAN可以实现虚机跨中心迁移。
　　L4-7 LBAAS 为一个租户下的多台虚机提供负载均衡，根据负载均衡策略动态的将VIP绑定到具体提供服务的虚机固定IP上，注意这个VIP可以是内网IP也可以是外网IP，根据需要实现。底层技术是基于HAPROXY
　　L4-L7 FWAAS（基于iptables） 、vpnaas(基于 ipsec vpn or mpls vpn or ssl vpn)
　　3.2 neutron分成多个模块分布在三个节点上。
　　1.Controller节点：
　　运行neutron-server进程，用于接受RESTful API请求创建网络，子网，路由器等，然而创建的这些东西仅仅是一些数据结构在数据库里面。
　　2.Network节点：
　　neutron-l3-agent，用于创建和管理虚拟路由器，当neutron-server将路由器的数据结构创建好，neutron-l3-agent是做具体事情的，真正的调用命令行将虚拟路由器，路由表，namespace，iptables规则全部创建好。
　　neutron-dhcp-agent，用于创建和管理虚拟DHCP server，每个虚拟网络都会有一个DHCP server，这个DHCP server为这个虚拟网络里面的虚拟机提供IP。
　　neutron-openvswitch-plugin-agent，这个是用于创建L2的switch的，在Network节点上，Router和DHCP Server都会连接到二层的switch上。
　　3.Compute节点：
　　neutron-openstackvswitch-plugin-agent，这个是用于创建L2层switch的，在compute节点上，虚拟机的网卡也是连接到二层的switch上。
　　Neutron一般包括三种网络：
　　1、External Network/API Network，这个网络是链接外网的，无论是用户调用OpenStack的API，还是创建出来的虚拟机要访问外网，或者外网要ssh到虚拟机，都需要通过这个网络。
　　2、Data Network，数据网络，虚拟机之间的数据传输通过这个网络来进行，比如一个虚拟机要连接到另一个虚拟机，虚拟机要连接虚拟路由都是通过这个网络来进行
　　3、Management Network，管理网络，OpenStack各个模块之间的交互，连接数据库，连接Message Queue都是通过这个网络来进行。
　　3.3 看个例子:

　　假设虚拟机VM0网卡eth0（挂载在linux bridge上面,linux虚拟网卡，可以操作/dev/tap*向这个虚拟网卡写数）有网络数据包向外网发送，那么数据会依次经过qbr Linux Bridge设备，qvb（tap设备，通常叫qvb***，quantum veth bridge）和qvo（也是TAP，通常叫做qvo***,quantum veth ovs）虚拟网络设备，到达OVS网桥br-int（完成标记和去除内部即本地租户VLAN TAG，本机虚机2层流量的本地转发）上，br-int将数据包attach到OVS网桥br-tun上，数据包再从compute节点OVS网桥的br-tun（OVS虚拟出来的网桥，进行隧道封装，并完成VNI和VLAN映射，通过他将G于其他物理机联通起来，这样物理节点之间就可以形成一个GRE的点对点通信网络或者vxlan网络）和network节点OVS网桥br-tun构成的GRE隧道穿过，交付到Network节点的OVS网桥br-int上；网络节点的br-int通过qr设备借助Linux命名空间qrouter（就是上面介绍的网络节点上的neutron-l3-agent）连通到br-ex上的qg设备，将数据包交付到OVS网桥br-ex上，最后br-ex通过网络节点的外部物理端口eth1把数据包传送到外部路由器的网关。
　　注：
　　1、如果是VLAN模型则hr-tun会被替换成成  ovs br-eth*，完成流量送出送入，进行本地租户VLAN和物理网络租户VLAN的转换,例如将内部VLAN100转换为外部VLAN200
　　2、既然qbr和br-int都是网桥，为什么不直接连到br-int，还要通过qbr,qvb,qvo岂不是多余，为什么会有qbr呢？这是和security group的概念有关。简单说就是OVS网桥br-int没有设置iptables规则的功能，但openstack又要提供安全组服务，就借助了Linux bridge(qbr)的功能，虽然OVS的br-int和linux bridge (qbr)都是二层网桥，但是为了功能互补就同时出现了。具体了解，openstack中的security group开通哪些端口，屏蔽哪些端口是用iptables来实现的，然而br-int这些虚拟bridge都是openvswitch创建的，openstack的Kernel mode和netfilter的kernel mode不兼容。一个IP包进来要么走iptables规则进行处理，要么走openvswitch的规则进行处理，br-int上有很多openvswitch的规则，比如vlan tag等，所以iptables必须要另外建立一个linux bridge（qbr）来做，因而就有了qbr，在了解拓扑结构的时候，可以将qbr忽略，看到VM直接连接到br-int上就可以了
　　3、为什么会有namespace呢，java的namespace是为了在不同namespace下有相同类名,openstack也想做到这一点。不同Tenant都创建自己的router和private network，彼此不知道别人指定了哪些网段，很有可能两个tenant都指定了192.168.0.0/24,这样不同的private network的路由表，DHCP Server就需要隔离，不然就乱了，因而就有了namespace。
　　4、每个机器上都有了自己的br-int，但是对于虚拟机和虚拟router来说，它们仍然觉得自己连接到了一个大的L2的br-int上，通过这个br-int相互通信的，它们感受不到br-int下面的虚拟网卡br-tun。所以对于多节点结构，我们可以想象br-int是一个大的，横跨所有compute和network节点的二层switch。这是一种很重要的抽象思维，好像openstack环境中所有虚拟机都连接到了一个巨型的虚拟交换机上。然而br-int毕竟被物理的割开了，需要有一种方式将他们串联起来，openstack提供了多种方式，可以用GRE tunnel将不同机器的br-int连接起来，也可以通过VLAN将br-int连接起来，当然还可以使用vxlan。这就是为什么openstack有了br-int这个bridge，但是不把所有的openvswitch的规则都在它上面实现。就是为了提供这种灵活性，对于虚拟机来讲，看到的是一大整个br-int，不同机器的br-int可以有多种方式连接，这在br-int下面的网卡上面实现。
　　5\br-tun也是OVS创建的虚拟网桥，它是一个中间层，接收br-int的网络数据，然后在通过特定网络协议与各个节点的br-tun相连构成一个通道层。如果所有的br-int构成的抽象层定义为虚拟二层网络，那么所有的br-tun构成的抽象层边上虚拟三层网络了。
　　3.4 Horizon上创建一个neutron网络的过程：
　　1、为这个Tenant创建一个private network，不同的private network是需要通过VLAN tagging进行隔离的，互相之间广播（broadcast）不能到达，这里我们我们用的是GRE模式，也需要一个类似VLANID的东西，称为Segment ID(当然也可以是FLAT模式，不用vlan)
　　2、为private network创建一个subnet，subnet才是真正配置IP网段的地方，对于私网，我们常常用192.168.0.0/24这个网段
　　3、为这个Tenant创建一个Router,才能够访问外网
　　4、将private network连接到Router上
　　5、创建一个External Network（（就是我们上面设置的192.168.226.138，ens37））
　　6、创建一个External Network的Subnet,这个外网逻辑上代表了我们数据中心的物理网络，通过这个物理网络，我们可以访问外网。因而PUBLIC_GATEWAY应该设为数据中心里面的Gateway，PUBLCI_RANGE也应该和数据中心的物理网络的CIDR一致，否则连不通。之所以设置PUBLIC_START和PUBLIC_END，是因为在数据中心中，不可能所有的IP地址都给OpenStack使用，另外的可能搭建了VMware Vcenter，可能有物理机，所以仅仅分配一个区间给OpenStack来用。
　　7、将Router连接到External Network
　　3.5下面我们看看kolla demo1都干了什么，打开horizon网络：
　　可看到有两个网络1、demo-net（采用vxlan网络）连接的子网 demo-subnet 10.0.0.0/24 ,这个是内网， 2、和 public1（采用flat网络）连接的子网public1-subnet 192.168.226.0/24，这个是外网
　　再看看路由，这里有一个demo-router ，是内网访问外网使用的。让demo-net连到这个路由上面。
　　看看网络拓扑

　　我们创建的demo1虚机连接到了demo-net上，demo-net连接到了demo-router后通过public1访问外网。
　　查看一下网络信息，只列出了第一行。
　　[iyunv@localhost ~]# ifconfig
　　docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
　　ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
　　ens34: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
　　lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
　　qbr349ef9d5-c1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450   //linux bridge网桥
　　qvb349ef9d5-c1: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1450 //qbr 连接qvo的网卡
　　qvo349ef9d5-c1: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1450 //qbr 连接qvo的网卡
　　tap349ef9d5-c1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450  //直连虚机的网卡
　　veth51ddac5: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500  //虚拟网线
　　结语：
　　初入坑，网络部分理解了半天，一台电脑也不好搭建多虚机和跨三层的大二层打通环境，先到这，后面在继续。