shell 脚本实战笔记(6)--集群环境配置检测

eqwq

1). 背景:
        　　集群部署的时候, 需要一致的配置和环境设置. 对于虚拟机集群, 可以借助镜像拷贝, 复制和还原集群机器. 对与物理机集群而言, 则不一样, 如果机器一多, 多人去操作和配置, 对于成熟精干的团队还好,  对于不熟悉环境的小团队, 由于水平的参差不齐, 往往会导致不一致的环境. 因此无论如何, 写脚本进行自动化的配置和环境校验总是最佳实践.

2). 假设应用场景:
*) 系统环境:       
        安装CDH5, 集群规模为16台机器, 每台机器16CPU, 内存16G, 2块SATA盘共500G, 操作系统为Centos 6.4.
        集群机器, ip范围为192.168.1.101~192.168.1.116.
*) 基本要求
        安装CDH5时, 需要满足以下基本要求
        #) 需要配置每台机器的/etc/hosts文件, 使得每台机器拥有集群所有机器的域名
        #) 需要关闭防火墙, 并禁止开启启动
        #) 需要配置本地yum源
        #) 磁盘分区尽量满足/mnt/disk{N}的形式
        #) 机器时间基本同步
3). 具体实施
*) 配置集群的ssh无登录登录
        选择一台中控机(跳板机), 或者集群的某台机器, 作为自动化脚本的发起端, 作为系统管理员, 采用root用户.
        #) 本地创建RSA密钥, 产生RSA公钥/私钥对
        mkdir -p ~/.ssh
        cd ~/.ssh
        ssh-keygen -t rsa -P ''
        默认生成id_rsa(私钥), id_rsa.pub(公钥)文件       
#) 编辑脚本
        ssh-copy-id -i id_rsa root@<target_ip>       

1 2 3 4 5 6 7 8 9 10 11 12

#! /bin/bash username="root" server_ips=( 　　"192.168.1.101" "192.168.1.102" "192.168.1.103" "192.168.1.104" "192.168.1.105" 　　"192.168.1.106" "192.168.1.107" "192.168.1.108" "192.168.1.109" "192.168.1.110" 　　"192.168.1.111" "192.168.1.112" "192.168.1.113" "192.168.1.114" "192.168.1.115" 　　"192.168.1.116" ) for (( i = 0; i < ${#server_ips }; i++ )); do 　　ssh-copy-id -i ~/.ssh/id_rsa $username@${server_ips} done

执行, 当然这步还是痛苦的, 需要手动输入16次密码(16台机器).
#) 开启RSA验证
        编辑/etc/ssh/sshd_conf

1 2 3 4 5 6

RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys GSSAPIAuthentication no UseDNS no

前三项, 用于开启RSA服务, 后两项用于解决初始连接SSH响应慢的问题
#) 重启ssh服务
        service sshd restart
*) 编写自动化脚本

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

#! /bin/bash username="root" server_ips=( 　　"192.168.1.101" "192.168.1.102" "192.168.1.103" "192.168.1.104" "192.168.1.105" 　　"192.168.1.106" "192.168.1.107" "192.168.1.108" "192.168.1.109" "192.168.1.110" 　　"192.168.1.111" "192.168.1.112" "192.168.1.113" "192.168.1.114" "192.168.1.115" 　　"192.168.1.116" ) # description: # 　　在各个节点上, 执行命令, 并把执行结果汇总到一个文件中, 便于对比 # params: # 　　$1 => command, 要执行的命令 # 　　$2 => filename, 要保存输出结果的文件, 用于结果对比 execute_all_servers() { 　　ssh_command=$1 　　result_file=$2 　　echo "start execute..." > $result_file 　　for (( i = 0; i < ${#server_ips }; i++ )); do 　　　　echo "server_ip: ${server_ips}, execute command: '$ssh_command'" >> $result_file 　　　　ssh $username@${server_ips} "$ssh_command" >> $result_file 　　　　echo "=================================" >> $result_file 　　done }

#) 检测/etc/hosts文件
execute_all_servers "cat /etc/hosts" "check_hosts_result.log"
#) 磁盘分区和挂载检测
execute_all_servers "df -h ; fdisk -l" "check_fdisk_result.log"
#) 防火墙关闭检测
execute_all_servers "service iptables status" "check_iptable_result.log"
#) 防火墙关闭命令
execute_all_servers "service iptables stop ; chkconfig --levels 235 iptables off" "stop_iptables_result.log"
其他需要加的环境检测和环境配置, 皆可采用类似的方式去实现, 这并非完美, 只是提供了一种解决思路