缥缈之旅

iojsioi

　　昨天下班前，老板给了一批LOG数据库IP地址，需要统计LOG表里Message字段top 10的结果，并输出到一个excel文件里。
　　抽查看了下，有两种格式的以当天日期结尾的表名。由于数量太多，时间紧迫，只好写批量脚本解决问题。
　　并以此扩展，解析其中的几个常用shell程序，主体脚本写在文章后半部分。
　　学习shell重在灵活运用命令，形成自己的思维方式，和书写习惯，脚本参考即可。
　　解题过程步骤：
　　1.梳理IP地址及对应表名
　　2.确定查询SQL
　　3.批量查询数据
　　完整脚本附在文章最后
　　解析下常用到的知识点:
　　1.日期：关于日期结尾的表，表中涉及日期时间的表字段
　　注意：shell中养成给日期定义变量的习惯。
　　<1>.当前日期时间及格式
　　DATE_MARK=`date +'%Y%m%d'`　　结果：20161214
　　DATE_MARK=`date + '%Y-%m-%d %H:%M:%S'` 结果：2016-12-14 18:20:11
　　过去日期时间及格式
　　DATE_MARK=`date -d'1 day ago' +'%Y%m%d'`　　结果：一天之前：20161213
　　DATE_MARK=`date -d'1 hour ago' +'%Y-%m-%d %H:%M:%S'` 结果：2016-12-14 17:20:11
　　修改-d' ' ：7天之前：7 days ago   7小时之前：7 hours ago
　　表名：TB_NAME="LOG_${DATE_MARK}"
　　2.遍历思想和循环及行的处理
　　<1>.批量远程执行命令，批量Telnet端口，批量ping主机
　　<2>.遍历文件中每一行，进行添加，截取，输出操作。
　　主体思想：先读取ip或行，再处理ip或行，再利用ip或行
　　实例：
　　1.依次输出文件中的每一行
　　命令行while循环遍历: cat ip.txt | while read line; do echo $line;done
　　命令行for  循环遍历：for line in `cat ip.txt`;do echo $line;done
　　脚本中调用：ip.txt，然后循环遍历. ip文件作为脚本的执行参数
　　#!/bin/sh
　　ipfile=$1
　　cat ${ipfile}|while read line
　　do
　　echo ${line}
　　done　　
　　脚本执行：./xx.sh ip.txt　　　
　　2.对行的处理，一行有多个分割字段时需要处理
　　格式：172.21.1.1,3306　
　　截取一行的第一列IP：　
　　IP=`echo ${line}|awk -F',' '{print $1}'`
　　PORT=`echo ${line}|awk -F',' '{print $2}'`
　　awk -F',' '{print $1}'  等同于 cut -f1 -d','
　　添加内容：
　　echo "${IP}_${PORT}:OK"  结果：172.21.1.1_3306：OK
　　3.关于自定义函数
　　<1>.不传参函数：
　　fun_name()
　　{
　　name='Kata'　　　
　　echo "My name is ${name}."
　　}
　　fun_name #调用方式，直接将：My name is Kata.输出到屏幕　　　
　　<2>.传参函数
　　fun_name()
　　{
　　name=$1
　　echo "My name is ${name}."
　　}
　　fun_name "Alias" #调用方式，直接将：My name is Alias.输出到屏幕
　　<3>.多参函数
　　fun_name()
　　{
　　name=$1
　　age=$2
　　echo "My name is ${name} and My age is ${age}."
　　}
　　fun_name "Sunny" "18" #调用方式，直接将：My name is Sunny and My age is 18.输出到屏幕
　　<4>.将函数结果赋值给变量
　　status=`fun_name "Alias"` #变量status的内容就是：My name is Alias. 此时再将status变量应用到其它程序调用
　　<5>.自定义函数事例：统计IP数据库里对应的表格式是哪种？
　　思路：选一种格式表作为判断，存在做标记，不存在就是另一种。前提条件：每个ip上只存在一种表,避免意外两种表都试试
　　FUN_CHECK()
　　{
　　ip=$1　　#自定义函数传参
　　tb_like=$2
　　MYSQL_CMD="/usr/local/mysql/bin/mysql -uadmin -padmin -h${ip} -P3306" #变量只有IP，端口也可定义变量
　　SQL="SELECT COUNT(*) FROM information_schema.TABLES WHERE TABLE_SCHEMA='LogDB' AND TABLE_NAME
　　= '${tb_like}_${DATE_MARK}';"
　　STATUS=`${MYSQL_CMD} -NBe"${SQL}"`　　#查询数据库表结果赋值给变量
　　if [ ${STATUS} == '1' ];then
　　echo ${ip}
　　else
　　echo　　#此处输出空行或者去掉else，可方便将屏幕ip列表复制。甚至不要if判断，直接：echo "${ip}:${STATUS}" 再筛选。
　　fi
　　}
　　在while循环中调用函数：
　　#!/bin/sh
　　.
　　.
　　.
　　cat $IP_FILE1|while read line
　　do
　　IP=`echo $line|cur -f1 -d' '`
　　FUN_CHECK "${IP}" "HA_Logging" #手动修改下第二个参数,另一个表也测试下，别遗漏ip。
　　done
　　4.关于输出文件
　　将n个ip上表的查询数据追加到一个excel里。SQL的查询结果不要带表头。否则文件里会出现多个表头行。
　　通过mysql命令指定NBe参数，只输出数据结果，不显示字段名。
　　mysql -u -p -h -P -NBe"${sql}"
　　5.脚本传参和函数传参
　　脚本的开头定义：xxx=$1 xxx=$2
　　函数的开头定义：xxx=$1 xxx=$2
　　脚本执行：./x.sh 参数1 参数2
　　函数调用：fun_name "参数1" "参数2"
　　附件见下面：
　　附件脚本1：梳理ip列表，及对应哪种表格式
　　说明：
　　脚本执行：执行两次
　　./check_ip.sh ip.txt 'HA_Logging'
　　./check_ip.sh ip.txt 'LOG'
　　脚本第二个参数：作为表格式模糊查询的变量传参
　　cat check_ip.sh
　　#!/bin/sh
　　IPFILE=$1
　　TB_LIKE=$2
　　DATE_MARK=`date -d'1 day ago' +'%Y%m%d'`
　　FUN_CHECK()
　　{
　　ip=$1　　#自定义函数传参:ip
　　tb_like=$2 #自定义函数传参：HA_Logging或者LOG
　　MYSQL_CMD="/usr/local/mysql/bin/mysql -uadmin -padmin -h${ip} -P3306" #变量只有IP，端口也可定义变量
　　SQL="SELECT COUNT(*) FROM information_schema.TABLES WHERE TABLE_SCHEMA='LogDB' AND TABLE_NAME
　　= '${tb_like}_${DATE_MARK}';"
　　STATUS=`${MYSQL_CMD} -NBe"${SQL}"`　　#查询数据库表结果赋值给变量
　　if [ ${STATUS} == '1' ];then
　　echo ${ip}
　　fi   #此处定义 如果存在直接输出ip,不存在，就不管。
　　}
　　cat ${IPFILE}|while read line
　　do
　　IP=`echo ${line}|cut -f1 -d' '`
　　FUN_CHECK "${IP}" "${TB_LIKE}"　　
　　done
　　附件脚本3：查询表数据导入Excel
　　说明：为了一次性执行，将两个ip列表文件作为脚本参数
　　脚本执行：./check_loginfo.sh ha_ip.txt log_ip.txt
　　cat check_loginfo.sh
　　#!/bin/sh
　　IP_FILE1=$1
　　IP_fILE2=$2
　　# 定义日期标志 : 20161214 （此处是昨天日期）
　　TIME_MARK=`date -d'1 day ago' +'%Y%m%d'`
　　# 定义表的名字：以日期结尾的表名 <DB_NAME.TB_NAME_20161214>
　　HA_TB="LogDB.HA_Logging_${TIME_MARK}"
　　LO_TB="LogDB.LOG_${TIME_MARK}"
　　# 对表查询结果输出到Excel文件：OUT FILE
　　OUT_FILE="/data/${TIME_MARK}_log.xls"
　　# 定义通用函数，从表里查询数据结果
　　GET_INFO()
　　{
　　ipfile=$1
　　tbname=$2
　　cat $ipfile|while read line
　　do
　　IP=`echo $line|awk -F' ' '{print $1}'`
　　MYSQL_CMD="/usr/local/mysql/bin/mysql -uadmin -padmin -h${IP} -P9306"
　　SQL="SELECT ServiceName,LoggerName,COUNT(LoggerName) AS count_num FROM ${tbname} GROUP BY LoggerName ORDER BY count_num  DESC LIMIT 10;"
　　$MYSQL_CMD -NBe"${SQL}" >>${OUT_FILE}
　　echo "$IP:ok"
　　done
　　}
　　# 执行调用
　　#
　　GET_INFO "${IP_FILE1}" "${HA_TB}"
　　GET_INFO "${IP_fILE2}" "${LO_TB}"
　　完结！