数据需求统计常用shell命令---AWK分组求和，分组统计次数

86565656

1、将时间转换为时间戳
select unix_timestamp('2009-10-26 10-06-07')
如果参数为空，则处理为当前时间

2、将时间戳转换为时间
select from_unixtime(1256540102)
有些应用生成的时间戳是比这个多出三位，是毫秒表示，如果要转换，需要先将最后三位去掉（标准的10位数字，如果是13位的话可以以除以1000的方式），否则返回NULL



1.将IP地址转化为数字
select inet_aton('210.30.0.103');

2.将数字转化为IP地址
select inet_ntoa(3525181543);



随机取用户
cat  file1 | awk '{ print rand(),$1 }' |sort -k1 |awk '{ print $2 }' |head -4000

分组求和

awk '{s[$1] += $2}END{ for(i in s){  print i, s } }' file1 > file2
  以第一列 为变量名  第一列为变量，将相同第一列的第二列数据进行累加   打印出和


awk '{s[$1" "$2] += $3}END{ for(i in s){  print i, s } }'  file1 > file2
  以第一列和第二列为变量名， 将相同第一列、第二列的第三列数据进行累加   打印出和


  awk '{s[$1] += $2; a[$1] += $3 }END{ for(i in s){  print i,s,a } }'  haha.txt
  如果第一列相同，则根据第一列来分组，分别打印第二列和第三列的和


匹配
1、匹配交集项
  awk 'NR==FNR{a[$1]=1}NR>FNR&&a[$1]>0{print $0}'  file1（字段：QQ） file2（字段：QQ 点券值 ） > file3
  如果file1、file2中，2个文件的第一列值相同，输出第2个文件的所有列
注意：数据量如果达到4Gb以上或者行数达到一亿级别，建议将file2进行split分割，否则就算是32G的内存的机器都会被吃掉；


awk 'NR==FNR{a[$1" "$2]=1}NR>FNR&&a[$1" "$2]>0{print $0}'  file1 file2> file3
  如果file1、file2中，2个文件的第一列第二列值相同，输出第2个文件的所有列


2、匹配非交集项
awk 'NR==FNR{a[$1]=1}NR>FNR&&a[$1]$2?max[$1]:$2}END{for(i in max)print i,max}'  file
第一列不变，取第二列分组最大值

awk '{if(!min[$1])min[$1]=20121231235959;min[$1]=min[$1]max) max=$1 fi} END {print "Max=", max}' file2
awk 'BEGIN {min = 1999999} {if ($1 "$a"_"$b"_result.log
done
注意点：awk使用函数时，使用'"$a"'(先单引号，后双引号)

集合类

1、集合交
cat fileA fileB |sort |uniq –d > result.log
2、集合差
cat fileA fileB     |sort |uniq -d   > jiaoji.txt
cat fileA jiaoji.txt  |sort |uniq -u   > result.log
3、集合全集去重
cat fileA fileB |sort  -u > result.log
3、集合全集不去重
cat fileA fileB |sort     > result.log