运维自动化-Ansible ( 一 )

woxio770

前言
　　天天说运维，究竟是干什么的？先看看工作流程呗。一般来说，运维工程师在一家企业里属于个位数的岗位，甚至只有一个。面对生产中NNN台服务器，NN个人员,工作量也是非常大的。
　　所以嘛，图中的我好歹也会配置盔甲的。

　　这就是我主要干的事情（呵呵）

　　就算你会很厉害的脚本，面对成百上千，甚至上万的主机，效率问题将会困扰你的。
　　因此，有没有解放的工具呢？

Ansible 是什么
　　Ansible 简单的说是一个配置管理系统(configuration management system)。你只需要可以使用 ssh 访问你的服务器或设备就行。它也不同于其他工具，因为它使用推送的方式，而不是像 puppet 等 那样使用拉取安装agent的方式。你可以将代码部署到任意数量的服务器上!

Ansible能做什么
　　

ansible可以帮助我们完成一些批量任务，或者完成一些需要经常重复的工作。　　
比如：同时在100台服务器上安装nginx服务，并在安装后启动它们。
　　
比如：将某个文件一次性拷贝到100台服务器上。
　　
比如：每当有新服务器加入工作环境时，你都要为新服务器部署某个服务，也就是说你需要经常重复的完成相同的工作。
　　
这些场景中我们都可以使用到ansible。
　　

Ansible特性
　　

 模块化：调用特定的模块，完成特定任务　　
 有Paramiko，PyYAML，Jinja2（模板语言）三个关键模块
　　
 支持自定义模块
　　
 基于Python语言实现
　　
 部署简单，基于python和SSH(默认已安装)，agentless
　　
 安全，基于OpenSSH
　　
 支持playbook编排任务
　　
 幂等性：一个任务执行1遍和执行n遍效果一样，不因重复执行带来意外情况
　　
 无需代理不依赖PKI（无需ssl）
　　
 可使用任何编程语言写模块
　　
 YAML格式，编排任务，支持丰富的数据结构
　　
 较强大的多层解决方案
　　

Ansible架构

Ansible工作原理

Ansible主要组成部分功能说明
　　

 PLAYBOOKS：　　任务剧本（任务集），编排定义Ansible任务集的配置文件，由Ansible顺序依次执行，通常是JSON格式的YML文件
　　
 INVENTORY：
　　Ansible管理主机的清单/etc/anaible/hosts
　　
 MODULES：
　　Ansible执行命令的功能模块，多数为内置的核心模块，也可自定义,ansible-doc –l 可查看模块
　　
 PLUGINS：
　　模块功能的补充，如连接类型插件、循环插件、变量插件、过滤插件等，该功能不常用
　　
 API：
　　供第三方程序调用的应用程序编程接口
　　
 ANSIBLE：
　　组合INVENTORY、 API、 MODULES、PLUGINS的绿框，可以理解为是ansible命令工具，其为核心执行工具
　　

　　注意事项
　　

 执行ansible的主机一般称为主控端，中控，master或堡垒机　　
 主控端Python版本需要2.6或以上
　　
 被控端Python版本小于2.4需要安装python-simplejson
　　
 被控端如开启SELinux需要安装libselinux-python
　　
 windows不能做为主控端
　　

安装Ansible
　　安装方法有很多，这里仅仅以Centos yum安装为例。
　　Ansible默认不在标准仓库中，需要用到EPEL源。
　　

请自行参考　　
https://mirrors.aliyun.com/help/centos
　　

#yum install ansible　　

　　

#ansible --version　　
ansible 2.4.2.0
　　config file = /etc/ansible/ansible.cfg
　　executable location = /usr/bin/ansible
　　python version = 2.7.5
　　

Ansible 功能详解

配置文件

配置文件或指令
描述
/etc/ansible/ansible.cfg
主配置文件，配置ansible工作特性
/etc/ansible/hosts
主机清单
/etc/ansible/roles/
存放角色的目录
/usr/bin/ansible
主程序，临时命令执行工具
/usr/bin/ansible-doc
查看配置文档，模块功能查看工具
/usr/bin/ansible-galaxy
下载/上传优秀代码或Roles模块的官网平台
/usr/bin/ansible-playbook
定制自动化任务，编排剧本工具
/usr/bin/ansible-pull
远程执行命令的工具
/usr/bin/ansible-vault
文件加密工具
/usr/bin/ansible-console
基于Console界面与用户交互的执行工具
Ansible 配置文件
　　

Ansible 配置文件/etc/ansible/ansible.cfg （一般保持默认）　　
 [defaults]
　　
 #inventory = /etc/ansible/hosts # 主机列表配置文件
　　
 #library = /usr/share/my_modules/ # 库文件存放目录
　　
 #remote_tmp = $HOME/.ansible/tmp #临时py命令文件存放在远程主机目录
　　
 #local_tmp = $HOME/.ansible/tmp # 本机的临时命令执行目录
　　
 #forks = 5 # 默认并发数
　　
 #sudo_user = root # 默认sudo 用户
　　
 #ask_sudo_pass = True #每次执行ansible命令是否询问ssh密码
　　
 #ask_pass = True      #连接时提示输入ssh密码
　　
 #remote_port = 22     #远程主机的默认端口，生产中这个端口应该会不同
　　
 #log_path = /var/log/ansible.log #日志
　　
 #host_key_checking = False # 检查对应服务器的host_key，建议取消注释。也就是不会弹出
　　Are you sure you want to continue connecting (yes/no)?
　　

实验规划
　　

实验环境：VMware Workstation Pro 14（试用版）　　
系统平台：

　　
CentOS Linux>　　
最小化安装
　　

　　
实验环境：VMware Workstation Pro 14（试用版）
　　
系统平台：

　　
CentOS>　　
最小化安装
　　

主机名
系统版本
IP地址
功能
7-web-0
Centos 7.4
192.168.7.200
Ansible主控端
6-dns-1
Centos 6.9
192.168.7.254
DNS服务器
6-web-1
Centos 6.9
192.168.7.201
服务器
7-web-2
Centos 7.4
192.168.7.202
服务器
7-db-3
Centos 7.4
192.168.7.203
服务器　　除了6-DNS-1以外，所有的主机的DNS均指向192.168.7.254
　　

正向区域设置　　
#dig -t axfr hunk.tech
　　

　　
; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.62.rc1.el6 <<>> -t axfr hunk.tech
　　
;; global options: +cmd
　　
hunk.tech.      600 IN  SOA 6-dns-1.hunk.tech. admin.hunk.tech. 24 720 600 86400 10800
　　
hunk.tech.          600 IN  NS  6-dns-1.hunk.tech.
　　
6-dns-1.hunk.tech.  600 IN  A   192.168.7.254
　　
6-web-1.hunk.tech.  600 IN  A   192.168.7.201
　　
7-db-3.hunk.tech.   600 IN  A   192.168.7.203
　　
7-web-0.hunk.tech.  600 IN  A   192.168.7.200
　　
7-web-2.hunk.tech.  600 IN  A   192.168.7.202
　　
hunk.tech.          600 IN  SOA 6-dns-1.hunk.tech. admin.hunk.tech. 24 720 600 86400 10800
　　

　　

Inventory 主机清单
　　Ansible必须通过Inventory 来管理主机。Ansible 可同时操作属于一个组的多台主机,组和主机之间的关系通过 inventory 文件配置。
　　语法格式：
　　

单台主机　　
green.example.com    >   FQDN
　　
192.168.100.10       >   IP地址
　　
192.168.100.11:2222  >   非标准SSH端口
　　

　　
[webservers]         >   定义了一个组名
　　
alpha.example.org    >   组内的单台主机
　　
192.168.100.10
　　

　　
[dbservers]
　　
192.168.100.10       >   一台主机可以是不同的组，这台主机同时属于[webservers]
　　

　　
[group:children]     >  组嵌套组，group为自定义的组名，children是关键字，固定语法，必须填写。
　　
dns                  >  group组内包含的其他组名
　　
db                   >  group组内包含的其他组名
　　

　　
[webservers]
　　
www[001:006].hunk.tech > 有规律的名称列表，
　　
这里表示相当于：
　　
www001.hunk.tech
　　
www002.hunk.tech
　　
www003.hunk.tech
　　
www004.hunk.tech
　　
www005.hunk.tech
　　
www006.hunk.tech
　　

　　
[databases]
　　
db-[a:e].example.com   >   定义字母范围的简写模式,
　　
这里表示相当于：
　　
db-a.example.com
　　
db-b.example.com
　　
db-c.example.com
　　
db-d.example.com
　　
db-e.example.com
　　

　　
以下这2条定义了一台主机的连接方式，而不是读取默认的配置设定
　　
localhost       ansible_connection=local
　　
www.163.com     ansible_connection=ssh        ansible_ssh_user=hunk
　　

　　
最后还有一个隐藏的分组，那就是all，代表全部主机,这个是隐式的，不需要写出来的。
　　

Inventory 参数说明
　　

ansible_ssh_host　　将要连接的远程主机名.与你想要设定的主机的别名不同的话,可通过此变量设置.
　　

　　
ansible_ssh_port
　　ssh端口号.如果不是默认的端口号,通过此变量设置.这种可以使用 ip:端口 192.168.1.100:2222
　　

　　
ansible_ssh_user
　　默认的 ssh 用户名
　　

　　
ansible_ssh_pass
　　ssh 密码(这种方式并不安全,我们强烈建议使用 --ask-pass 或 SSH 密钥)
　　

　　
ansible_sudo_pass
　　sudo 密码(这种方式并不安全,我们强烈建议使用 --ask-sudo-pass)
　　

　　
ansible_sudo_exe (new in version 1.8)
　　sudo 命令路径(适用于1.8及以上版本)
　　

　　
ansible_connection
　　与主机的连接类型.比如:local, ssh 或者 paramiko. Ansible 1.2 以前默认使用 paramiko.1.2 以后默认使用 'smart','smart' 方式会根据是否支持 ControlPersist, 来判断'ssh' 方式是否可行.
　　

　　
ansible_ssh_private_key_file
　　ssh 使用的私钥文件.适用于有多个密钥,而你不想使用 SSH 代理的情况.
　　

　　
ansible_shell_type
　　目标系统的shell类型.默认情况下,命令的执行使用 'sh' 语法,可设置为 'csh' 或 'fish'.
　　

　　
ansible_python_interpreter
　　目标主机的 python 路径.适用于的情况: 系统中有多个 Python, 或者命令路径不是"/usr/bin/python",比如  \*BSD, 或者 /usr/bin/python 不是 2.X 版本的 Python.
　　我们不使用 "/usr/bin/env" 机制,因为这要求远程用户的路径设置正确,且要求 "python" 可执行程序名不可为 python以外的名字(实际有可能名为python26).
　　

　　与 ansible_python_interpreter 的工作方式相同,可设定如 ruby 或 perl 的路径....
　　

　　上面的参数用这几个例子来展示可能会更加直观
　　

some_host         ansible_ssh_port=2222     ansible_ssh_user=manager　　
aws_host          ansible_ssh_private_key_file=/home/example/.ssh/aws.pem
　　
freebsd_host      ansible_python_interpreter=/usr/local/bin/python
　　
ruby_module_host  ansible_ruby_interpreter=/usr/bin/ruby.1.9.3
　　

第一条 Ansible 命令
　　很重要的一点，主机清单必须要先配置，由于这搭建了内部DNS服务器，所以，这里的主机使用了FQDN名称。
　　

#cat /etc/ansible/hosts　　
[web]
　　
6-web-1.hunk.tech
　　
7-web-0.hunk.tech
　　
7-web-2.hunk.tech
　　

　　
[group:children]
　　
dns
　　
db
　　

　　
[dns]
　　
6-dns-1.hunk.tech
　　

　　
[db]
　　
7-db-3.hunk.tech
　　

　　
192.168.7.[200:203]
　　
192.168.7.254
　　

#ansible dns -m ping       # 使用ansible对dns组内的主机进行ping模块测试　　

　　非常抱歉哦，竟然是失败的。为什么呢？Ansible是基于ssh进行工作的，那么当ssh一台远程主要的时候，是不是需要输入密码呢？可是这一条指令并没有提示输入口令呢
　　

#ansible dns -m ping -k　　
加上-k选项后，会提示输入ssh密码了。
　　

　　另外，值得注意的是，当指令成功和失败都会有不同的颜色反映出来，配以changed :false,changed :SUCCESS,可以让我们非常清晰的知道执行的结果。
　　当主机数量多的时候，输入密码可不是一个好差事呢？前面的章节已经讲过主机之间可以使用基于密钥的SSH链接。为了更方便的管理主机，这个章节的实验都用这种方法。

基于key的免密码登录
　　

#ssh-keygen　　
#ssh-copy-id 6-web-1.hunk.tech
　　
#ssh-copy-id 6-DNS-1.hunk.tech
　　
#ssh-copy-id 7-web-0.hunk.tech
　　
#ssh-copy-id 7-web-2.hunk.tech
　　
#ssh-copy-id 7-db-3.hunk.tech
　　

　　

　　现在就不会再提示密码的问题了。
　　

#ansible all -m ping　　
6-web-1.hunk.tech | SUCCESS
　　
7-web-0.hunk.tech | SUCCESS
　　
7-web-2.hunk.tech | SUCCESS
　　
7-db-3.hunk.tech | SUCCESS
　　
6-dns-1.hunk.tech | SUCCESS
　　
192.168.7.201 | SUCCESS
　　
192.168.7.200 | SUCCESS
　　

　　是不是很简单呀，Ansible用的指令也不是太多，可以使用man ansible和官方网站去查询。http://docs.ansible.com/ansible/latest/

Ansible常用命令语法
　　

ansible <host-pattern> [-m module_name] [options]　　
指令 匹配规则的主机清单 -m 模块名 选项
　　

　　
--version 显示版本
　　
-a 模块参数（如果有）
　　
-m module 指定模块，默认为command
　　
-v 详细过程 –vv -vvv更详细
　　
--list-hosts 显示主机列表，可简写--list
　　
-k, --ask-pass 提示连接密码，默认Key验证
　　
-K，--ask-become-pass 提示使用sudo密码
　　
-C, --check 检查，并不执行
　　
-T, --timeout=TIMEOUT 执行命令的超时时间，默认10s
　　
-u, --user=REMOTE_USER 执行远程执行的用户
　　
-U， SUDO_USER, --sudo-user 指定sudu用户
　　
-b, --become 代替旧版的sudo 切换
　　

ansible-doc: 显示模块帮助　　
ansible-doc [options] [module...]
　　

　　
-a 显示所有模块的文档
　　
-l, --list 列出可用模块
　　
-s, --snippet 显示指定模块的简要说明
　　

　　
例子：#ansible-doc ping
　　

　　
由于ansible的模块有1378个(2.4.2.0),并且一直在持续更新。因此，这个指令必须要掌握的。
　　
#ansible-doc -l |wc -l
　　
1378
　　

Ansible 主机 匹配列表

通配符
　　

注意用单引号　　
*  匹配任意字符
　　
#ansible '*' -m ping   等同于 #ansible all -m ping
　　

　　
#ansible '*dns*' -m ping
　　
6-dns-1.hunk.tech | SUCCESS
　　

　　
? 匹配单个字符
　　
#ansible '192.168.7.20?' -m ping
　　
192.168.7.201 | SUCCESS
　　
192.168.7.203 | SUCCESS
　　
192.168.7.202 | SUCCESS
　　
192.168.7.200 | SUCCESS
　　

　　
: 或者
　　
#ansible '192.168.7.201:192.168.7.254' -m ping
　　
192.168.7.201 | SUCCESS
　　
192.168.7.254 | SUCCESS
　　

　　
:& 并且  (逻辑与)
　　
#ansible 'test3:&test' --list
　　

　　hosts (1):
　　192.168.7.254
　　

　　
:! 逻辑非。在test3组内，但是并不在test组内
　　
#ansible 'test3:!test' --list       > 用到感叹号的时候，记得引号为单引号，否则会被bash解析为历史命令
　　

　　hosts (2):
　　192.168.7.200
　　192.168.7.203
　　

　　
使用正则表达式
　　
~表示后面是正则匹配，注意~后面不能有空格
　　
#ansible '~[67]-(db|dns).*\.hunk.*' --list
　　

　　hosts (2):
　　6-dns-1.hunk.tech
　　7-db-3.hunk.tech
　　

　　

　　这里写一条正则的坑,我们在用bash脚本的时候，匹配数字可以使用[0-9]或[[:digit:]],在用Ansible的时候，我们来看下不同的效果吧
　　

#cat /etc/ansible/hosts　　

　　
[web]
　　
6web-1.hunk.tech
　　
7web-0.hunk.tech
　　
7web-2.hunk.tech
　　

　　
[group:children]
　　
dns
　　
db
　　

　　
[dns]
　　
6-dns-1.hunk.tech
　　

　　
[db]
　　
7-db-3.hunk.tech
　　
[test2]
　　
192.168.7.[200:203]
　　
192.168.7.254
　　
[test]
　　
192.168.7.254
　　

　　
[test3]
　　
192.168.7.200
　　
192.168.7.254
　　
192.168.7.203
　　

　　
DNS都是可以正确解析出来的，不要怀疑
　　
6-dns-1.hunk.tech.  600 IN  A   192.168.7.254
　　
6-web-1.hunk.tech.  600 IN  A   192.168.7.201
　　
7-db-3.hunk.tech.   600 IN  A   192.168.7.203
　　
7-web-0.hunk.tech.  600 IN  A   192.168.7.200
　　
7-web-2.hunk.tech.  600 IN  A   192.168.7.202
　　

　　
#ansible '~^[[:digit:]]' --list     有人说这种写法会报错，可是主机都是centos7.4，版本都是一样
　　hosts (7):                         这里匹配出7台主机
　　192.168.7.200
　　192.168.7.201
　　192.168.7.202
　　192.168.7.203
　　192.168.7.254
　　6-dns-1.hunk.tech
　　7-db-3.hunk.tech
　　

　　
#ansible '~^[0-9]' --list
　　hosts (10):                       这里匹配出10台主机
　　6web-1.hunk.tech
　　6-dns-1.hunk.tech
　　7-db-3.hunk.tech
　　7web-0.hunk.tech
　　7web-2.hunk.tech
　　192.168.7.254
　　192.168.7.201
　　192.168.7.200
　　192.168.7.203
　　192.168.7.202
　　

　　
#ansible '~^[[:digital:]]' --list
　　hosts (10):                       这里匹配出10台主机
　　6web-1.hunk.tech
　　7web-0.hunk.tech
　　7web-2.hunk.tech
　　192.168.7.200
　　192.168.7.201
　　192.168.7.202
　　192.168.7.203
　　192.168.7.254
　　6-dns-1.hunk.tech
　　7-db-3.hunk.tech
　　

　　

　　分享2个正则表达式的网址
　　https://en.wikipedia.org/wiki/Regular_expression#POSIX_basic_and_extended
　　python2的
　　https://docs.python.org/2/library/re.html
　　不同软件对正则的表达都不一样，还是用那些通用性强的吧。
　　

[0-9]纯数字　　
[a-zA-Z0-9]数字和字母
　　

Ansible 的命令执行过程
　　以 ansible db -m command -a 'ls -l /' -vvv 这条命令为例，根据显示的信息时行解读
　　

1. 加载自己的配置文件，默认/etc/ansible/ansible.cfg　　Using /etc/ansible/ansible.cfg as config file
　　

　　
2.匹配主机清单
　　Parsed /etc/ansible/hosts inventory source with ini plugin
　　

　　
3. 加载指令对应的模块文件，如command，生成.py的文件到本机的临时目录，这个目录就是在/etc/ansible/ansible.cfg定义的
　　Using module file /usr/lib/python2.7/site-packages/ansible/modules/commands/command.py
　　PUT /tmp/tmp4JvsLH TO /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py
　　

　　
4. 通过ansible将模块或命令生成对应的临时py文件，并将该文件传输至远程服务器的对应执行用户$HOME/.ansible/tmp/ansible-tmp-数字/XXX.PY文件，
　　这个目录就是在/etc/ansible/ansible.cfg定义的
　　( umask 77 && mkdir -p "` echo /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861 `" ....)
　　sftp> put /tmp/tmp4JvsLH /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py\n'
　　

　　
5. 给文件+x 权限
　　'chmod u+x /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/ /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py && sleep 0'
　　

　　
6. 执行并返回结果
　　'/usr/bin/python /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py;
　　

　　
7. 删除临时py文件，sleep 0退出
　　rm -rf "/root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/" > /dev/null 2>&1 && sleep 0
　　

　　
8.断开远程主机连接
　　'Shared connection to 7-db-3.hunk.tech closed.\r\n')
　　

执行结果状态
　　 绿色：执行成功并且不需要做改变的操作
　　 ×××：执行成功并且对目标主机做变更
　　 红色：执行失败
　　

可以在配置文件中定义　　
[colors]
　　
#highlight = white
　　
#verbose = blue
　　
#warn = bright purple
　　
#error = red
　　
#debug = dark gray
　　
#deprecate = purple
　　
#skip = cyan
　　
#unreachable = red
　　
#ok = green
　　
#changed = yellow
　　
#diff_add = green
　　
#diff_remove = red
　　
#diff_lines = cyan