高效率的Shell

夏末秋初

　　1. 批量将Excel转为CSV文件
　　XLSX2CSV: https://github.com/dilshod/xlsx2csv
　　sudo easy_install xlsx2csv #安装Xlsx2CSV
　　
　　find ./ -name "*.xls*" -print | xargs  -t -I {}  xlsx2csv -a {} {}_output  #查找并输出
　　
　　2. Nginx日志分析
筛选原始日志：
sed -n '/30\/Mar\/2015/,/5\/Apr\/2015/ p' beta.xxx.com.access.log > 0330-0405.log
特定页面分析并排队IP、蜘蛛访问：
cat 0330-0405.log | grep 'GET /zhuanti/play/Recruitment' | grep -Ev '21x.142.111.9x'| grep -Ev 'bot'|grep -Ev 'spider'|grep -Ev '22x.171.80.4x'| grep -Ev '5x.50.44.8x' |wc -l

3. 批量解压
find ./ -type f -name "*.gz" -exec gunzip -r {} \;
find ./ -type f -name "*.tar.gz" -exec tar zxvf {} \;

4.按顺序合并
for ((i=6;i<=8;i++))do echo access.log-2015040$i;done | xargs cat {} >> mynew.txt

5. 导入Nginx日志到Piwik系统
python /Applications/AMPPS/www/piwik/misc/log-analytics/import_logs.py --debug --show-progress --login=cbcye --password=haha --idsite=2  --dry-run  --recorders=4 --enable-http-errors --enable-http-redirects --enable-static --enable-bots --url=http://localhost/piwik/ ~/Downloads/07.log

6. 创建相同子目录不包括文件
ls /work/code/game/games -print |xargs -t -I {} mkdir /work/redirect/game_to_product/{}

7. 拷贝文件到所有目录中
ls | awk '{print $NF}' | xargs -t -I {} cp /work/redirect/to_other_index.php {}/index.php

8. 添加内容到首行，会生成一个以old为后缀的文件复本
sed -iold '1i\'$'\n''姓名,手机号'$'\n' test.csv

9. 按行记录拆分文件，-a指定生成文件名序列的长度，默认为2
split -a 3 -l 999 300w.csv out_

10.查找文件并添加首行的文件中
find ./ -name 'out_*' | xargs -t -I {} sed -i _old '1i\'$'\n''姓名,手机号'$'\n' {}