saltstack的深入-再次理解file_roots，state，pillar和highstate的使用

旃麒雅

一、基础环境　　
1、在tvm-rpm的基础上，更新hostname=tvm-saltmaster，配置测试用途的salt-master服务，并在其他的测试机上配置salt-minion。
　　
2、网络：
　　
eth0：host-only（用于虚拟内网，手动固定IP，这样从宿主机可以直接连接到这个vm）
　　
eth1：NAT（用于上外网，动态IP）
　　
[root@tvm-saltmaster ~]# cd /etc/sysconfig/network-scripts/
　　
[root@tvm-saltmaster network-scripts]# cat ifcfg-eth0
　　
DEVICE=eth0
　　
TYPE=Ethernet
　　
ONBOOT=yes
　　
NM_CONTROLLED=yes
　　
BOOTPROTO=none
　　
IPADDR=192.168.56.253
　　
PREFIX=24
　　
GATEWAY=192.168.56.1
　　
DNS1=192.168.56.254
　　

　　
[root@tvm-saltmaster network-scripts]# cat ifcfg-eth1
　　
DEVICE=eth1
　　
TYPE=Ethernet
　　
ONBOOT=yes
　　
NM_CONTROLLED=yes
　　
BOOTPROTO=dhcp
　　
DNS1=192.168.56.254
　　

　　

　　
二、配置saltstack环境
　　
1、安装salt-master
　　
[root@tvm-saltmaster ~]# yum -y install salt-master
　　
[root@tvm-saltmaster ~]# service salt-master start
　　
防火墙放行TCP端口：4505:4506
　　

　　
2、更新dns服务器（tvm-yum）的解析
　　
[root@tvm-yum ~]# echo '192.168.56.253 salt-m.office.test' >>/etc/hosts
　　
[root@tvm-yum ~]# service dnsmasq restart
　　
[root@tvm-yum ~]# nslookup salt-m.office.test 127.0.0.1
　　
Server:         127.0.0.1
　　
Address:        127.0.0.1#53
　　

　　
Name:   salt-m.office.test
　　
Address: 192.168.56.253
　　

　　
3、配置salt-minion
　　
将tvm-saltmaster，tvm-yum，tvm-cobbler加入salt平台，当然，后续是在cobbler安装os时配置了salt-minion服务。
　　
[root@tvm-yum bin]# cat saltstack-install-minion.sh
　　
#!/bin/bash
　　
#
　　
# 2015/7/20
　　

　　
salt_m=salt-m.office.test
　　
yum install salt-minion -y
　　

　　
cp -a /etc/salt/minion /etc/salt/minion.bak
　　
cat <<_EOF >/etc/salt/minion
　　
master: ${salt_m}
　　
id: $(hostname)
　　

　　
_EOF
　　

　　
service salt-minion start
　　
cat /etc/salt/minion
　　

　　

　　
4. 在salt-master上接受salt-minion的key
　　
[root@tvm-saltmaster ~]# salt-key -L
　　
Accepted Keys:
　　
Denied Keys:
　　
Unaccepted Keys:
　　
tvm-cobbler
　　
tvm-saltmaster
　　
tvm-test
　　
tvm-yum
　　
Rejected Keys:
　　
[root@tvm-saltmaster ~]# salt-key -A
　　
The following keys are going to be accepted:
　　
Unaccepted Keys:
　　
tvm-cobbler
　　
tvm-saltmaster
　　
tvm-test
　　
tvm-yum
　　
Proceed? [n/Y] y
　　
Key for minion tvm-cobbler accepted.
　　
Key for minion tvm-saltmaster accepted.
　　
Key for minion tvm-test accepted.
　　
Key for minion tvm-yum accepted.
　　

　　
测试：
　　
[root@tvm-saltmaster ~]# salt 'tvm*' test.ping
　　
tvm-test:
　　
    True
　　
tvm-yum:
　　
    True
　　
tvm-cobbler:
　　
    True
　　
tvm-saltmaster:
　　
    True
　　

　　

　　
三、一个示例
　　
[root@tvm-saltmaster salt]# cd /srv/salt/
　　
1、更新salt-master的配置，调整file_roots，分成多个环境（dev，qa，prod，以及base这个通用的）：
　　
[root@tvm-saltmaster salt]# mkdir /etc/salt/master.d/
　　
[root@tvm-saltmaster salt]# cat /etc/salt/master.d/file_roots.conf
　　
# Master file_roots configuration:
　　
file_roots:
　　
  base:
　　
    - /srv/salt/base
　　
  dev:
　　
    - /srv/salt/dev
　　
  qa:
　　
    - /srv/salt/qa
　　
  prod:
　　
    - /srv/salt/prod
　　
[root@tvm-saltmaster salt]# mkdir /srv/salt/{base,dev,qa,prod}/ -p
　　
[root@tvm-saltmaster salt]# service salt-master restart
　　

　　
这样做的目的是：
　　
将state trees 分别放入 dev, qa 和 prod 环境, 留下base环境提供通用的文件传输，此时前面3个环境的top.sls文件分别是类似这样的：
　　
dev:
　　
  'webserver*dev*':
　　
    - webserver
　　
  'db*dev*':
　　
    - db
　　
qa:
　　
  'webserver*qa*':
　　
    - webserver
　　
  'db*qa*':
　　
    - db
　　
prod:
　　
  'webserver*prod*':
　　
    - webserver
　　
  'db*prod*':
　　
    - db
　　

　　
关于YAML格式，参考doc的说明，其中提到：
　　
RULE ONE: INDENTATION
　　
YAML uses a fixed indentation scheme to represent relationships between data layers. Salt requires that the indentation for each level consists of exactly two spaces. Do not use tabs.
　　
YAML的书写中，用2个空格来做缩进，不要用tab
　　

　　
2、具体的测试工作
　　
[root@tvm-saltmaster salt]# tree /srv/salt
　　
/srv/salt/
　　
├── base
　　
│   ├── hosts
　　
│   │   ├── hosts_office.conf
　　
│   │   └── init.sls
　　
│   ├── monit
　　
│   │   ├── init.sls
　　
│   │   └── monit.d
　　
│   │       ├── monit-mail.conf
　　
│   │       └── salt-minion.conf
　　
│   ├── salt
　　
│   │   └── minion.sls
　　
│   ├── top.sls
　　
│   └── vim
　　
│       ├── init.sls
　　
│       └── vimrc
　　
├── dev
　　
│   ├── top.sls
　　
│   └── web.sls
　　
├── prod
　　
│   ├── top.sls
　　
│   └── web.sls
　　
└── qa
　　
    ├── dns
　　
    │   ├── init.sls
　　
    │   └── resolv.conf
　　
    └── top.sls
　　

　　
10 directories, 16 files
　　

　　
1）首先我们看看base的配置
　　
================------------------------==============base
　　
[root@tvm-saltmaster salt]# cat base/top.sls
　　
base:
　　
  '*':
　　
    - vim
　　
    - monit
　　
    - salt.minion
　　
  '* and not tvm-yum':
　　
    - hosts
　　
===================================================hosts
　　
[root@tvm-saltmaster salt]# cat base/hosts/init.sls
　　
/etc/hosts:
　　
  file.managed:
　　
    - source: salt://hosts/hosts_office.conf
　　
[root@tvm-saltmaster salt]# cat base/hosts/hosts_office.conf
　　
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
　　
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
　　
192.168.56.253 salt-m.office.test
　　
===================================================hosts end
　　
===================================================vim
　　
[root@tvm-saltmaster salt]# cat base/vim/init.sls
　　
vim:
　　
  pkg.installed:
　　
    - name: {{ pillar['pkgs']['vim'] }}
　　

　　
/root/.vimrc:
　　
  file.managed:
　　
    - source: salt://vim/vimrc
　　
    - require:
　　
      - pkg: vim
　　

　　
对应的pillar是这样的：
　　
=-------------------------------------------------=pillar
　　
[root@tvm-saltmaster salt]# tree /srv/pillar/
　　
/srv/pillar/
　　
├── package
　　
│   └── init.sls
　　
└── top.sls
　　

　　
1 directory, 2 files
　　
[root@tvm-saltmaster salt]# cat /srv/pillar/top.sls
　　
base:
　　
  '*':
　　
    - package
　　
[root@tvm-saltmaster salt]# cat /srv/pillar/package/init.sls
　　
pkgs:
　　
  {% if grains['os_family'] == 'RedHat' %}
　　
  vim: vim-enhanced
　　
  {% elif grains['os_family'] == 'Debian' %}
　　
  vim: vim
　　
  {% elif grains['os'] == 'Arch' %}
　　
  vim: vim
　　
  {% endif %}
　　
=-------------------------------------------------=pillar end
　　
===================================================vim end
　　
===================================================salt
　　
[root@tvm-saltmaster salt]# cat base/salt/minion.sls
　　
salt-minion:
　　
  pkg.installed: []
　　
  service.running:
　　
    - enable: True
　　
===================================================salt end
　　
===================================================monit
　　
[root@tvm-saltmaster salt]# cat base/monit/init.sls
　　
monit:
　　
  pkg.installed: []
　　
  service.running:
　　
    - enable: True
　　

　　
/etc/monit.d/monit-mail.conf:
　　
  file.managed:
　　
    - source: salt://monit/monit.d/monit-mail.conf
　　
    - require:
　　
      - pkg: monit
　　

　　
/etc/monit.d/salt-minion.conf:
　　
  file.managed:
　　
    - source: salt://monit/monit.d/salt-minion.conf
　　
    - require:
　　
      - pkg: monit
　　
===================================================monit end
　　
================------------------------==============base end
　　
2）接着我们看其他几个环境的。
　　
================------------------------==============dev, prod, qa
　　
[root@tvm-saltmaster salt]# cat dev/top.sls
　　
dev:
　　
  'tvm-yum':
　　
    - web
　　
[root@tvm-saltmaster salt]# cat dev/web.sls
　　
httpd:
　　
  pkg:
　　
    - installed
　　
[root@tvm-saltmaster salt]# cat prod/top.sls
　　
prod:
　　
  'tvm-cobbler':
　　
    - web
　　
[root@tvm-saltmaster salt]# cat prod/web.sls
　　
httpd:
　　
  pkg:
　　
    - installed
　　
[root@tvm-saltmaster salt]# cat qa/top.sls
　　
qa:
　　
  'E@tvm-(saltmaster|cobbler|test)':
　　
    - dns
　　
[root@tvm-saltmaster salt]# cat qa/dns/init.sls
　　
/etc/resolv.conf:
　　
  file.managed:
　　
    - source: salt://dns/resolv.conf
　　
[root@tvm-saltmaster salt]# cat qa/dns/resolv.conf
　　
nameserver 192.168.56.254
　　
================------------------------==============dev, prod, qa end
　　

　　
上述分别测试了以下内容：
　　
所有对象，安装和运行vim，salt-minion，monit服务，并同步这些服务的相关配置。
　　
针对指定的对象，安装httpd服务，或者更新dns的配置。
　　

　　

　　
3、测试执行
　　
[root@tvm-saltmaster salt]# salt '*' state.highstate test=True
　　

　　
4、执行
　　
[root@tvm-saltmaster salt]# salt '*' state.highstate
　　

　　
5、建立计划任务，让highstate定时执行
　　
=-------------------------------------------------=pillar
　　
[root@tvm-saltmaster salt]# tree /srv/pillar/
　　
/srv/pillar/
　　
├── job
　　
│   └── init.sls
　　
├── package
　　
│   └── init.sls
　　
└── top.sls
　　

　　
2 directories, 3 files
　　
[root@tvm-saltmaster salt]# cat /srv/pillar/top.sls
　　
base:
　　
  '*':
　　
    - package
　　
    - job
　　
[root@tvm-saltmaster salt]# cat /srv/pillar/job/init.sls
　　
schedule:
　　
  highstate:
　　
    function: state.highstate
　　
    minutes: 2
　　

　　

　　
=-------------------------------------------------=pillar end
　　

　　
注：上述是在master这一侧通过pillar来统一调整的schedule。时间的单位有： seconds, minutes, hours, or days.
　　
执行：
　　
[root@tvm-saltmaster salt]# salt '*' saltutil.refresh_pillar
　　
tvm-test:
　　
    True
　　
tvm-yum:
　　
    True
　　
tvm-cobbler:
　　
    True
　　
tvm-saltmaster:
　　
    True
　　

　　

　　
先改变tvm-test的dns配置：
　　
[root@tvm-test ~]# echo -e "\n[`date`] ------------before" && cat /etc/resolv.conf \
　　
&& echo 'nameserver 223.5.5.5' >>/etc/resolv.conf \
　　
&& echo -e "\n[`date`] ------------after" && cat /etc/resolv.conf
　　

　　
[Thu Jul 23 13:35:47 CST 2015] ------------before
　　
nameserver 192.168.56.254
　　

　　
[Thu Jul 23 13:35:47 CST 2015] ------------after
　　
nameserver 192.168.56.254
　　
nameserver 223.5.5.5
　　

　　
[root@tvm-test ~]# while true; do echo -e "\n[`date`] ------------now" && cat /etc/resolv.conf ; sleep 1s ; done
　　
[Thu Jul 23 13:37:10 CST 2015] ------------now
　　
nameserver 192.168.56.254
　　
nameserver 223.5.5.5
　　

　　
[Thu Jul 23 13:37:11 CST 2015] ------------now
　　
nameserver 192.168.56.254
　　
nameserver 223.5.5.5
　　

　　
[Thu Jul 23 13:37:12 CST 2015] ------------now
　　
nameserver 192.168.56.254
　　

　　
[Thu Jul 23 13:37:13 CST 2015] ------------now
　　
nameserver 192.168.56.254
　　

　　
经过多次测试，，基本上不到2分钟，，配置已经更新，说明执行了state.highstate
　　

　　

　　

　　

　　
ZYXW、参考
　　
1、官网doc-states
　　
http://docs.saltstack.com/en/latest/ref/states/top.html
　　
2、官网doc-jobs
　　
https://docs.saltstack.com/en/latest/topics/jobs/index.html#highstates
　　
3、官网doc-yaml
　　
http://docs.saltstack.com/en/latest/topics/yaml/index.html