设为首页 收藏本站
查看: 1029|回复: 0

[经验分享] 如何从apache/nginx日志分析ip的来源并写入到数据库

[复制链接]

尚未签到

发表于 2018-11-21 11:07:26 | 显示全部楼层 |阅读模式
  如题,分析首先最简单的取出ip
cd /usr/local/nginx/logs
awk '{print $1}'  access.log | sort  |  uniq -c  | sort -rn | head -n 50 | awk '{print $2}' > /root/list
#在nginx/apache 下执行上述代码。把ip写到list列表  然后思路就是 把每个ip的来源地分析出来,我用的淘宝的ip数据库,还是不错的
#!/bin/bash
ipInfo() {
  for i in `cat list`
  do
    TransCoding="/usr/bin/python TransCoding.py"
    JsonDate="curl -s http://ip.taobao.com/service/getIpInfo.php?ip=$i"
    country=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==2{print $3}'`
    area=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==4{print $2}'`
    region=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==6{print $2}'`
    city=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==8{print $2}'`
    county=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==10{print $2}'`
    isp=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==12{print $2}'`
    printf "%-18s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\n" $i $country $isp $area $region $city $county
  done
}
printf "%-18s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\n" IP地址 国家 运营商 区域 省份 城市 县/区
echo -e "\e[1;33m======================================================================\e[0m"
ipInfo  转码代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import sys
def main():
    for line in sys.stdin:
        sys.stdout.write(re.sub(r'\\u\w{4}',
            lambda e: unichr(int(e.group(0)[2:], 16)).encode('utf-8'),
            line))
if __name__ == '__main__':
    main()  说明一下,shell用可以从淘宝的api把每个ip地址来源获取出来,但是是json的格式,需要用python把他转化为utf8的格式。
  

  此时解决ip来源查询的,下一步就是写到数据库,很简单,把shell修改下就行了。当然了前提是去数据库手工创建字段咯,数据类型自己定义就ok。
+-----------------+---------+--------------+--------+--------------------------+-----------------+
52 rows in set (0.00 sec)
mysql> quit
Bye
You have new mail in /var/spool/mail/root
[root@10-6-12-175 ~]# vim ip1.sh
#!/bin/bash
ipInfo() {
  for i in `cat list`
  do
    TransCoding="/usr/bin/python TransCoding.py"
    JsonDate="curl -s http://ip.taobao.com/service/getIpInfo.php?ip=$i"
    country=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==2{print $3}'`
    area=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==4{print $2}'`
    region=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==6{print $2}'`
    city=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==8{print $2}'`
    county=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==10{print $2}'`
    isp=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==12{print $2}'`
    printf "%-18s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\n" $i $country $isp $area $region $city $county
    mysql -uroot -pxxxxxx  ip_address  SELECT * FROM ip_address;
+-----------------+---------+--------------+--------+--------------------------+-----------------+
| ip              | country | isp          | area   | region                   | city            |
+-----------------+---------+--------------+--------+--------------------------+---------
| 101.199.112.45  | 中国    |              | 华北   | 北京市                   | 北京市          |
| 101.226.125.116 | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 101.226.33.199  | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 101.226.33.222  | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 101.226.61.142  | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 101.81.49.203   | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 106.120.160.109 | 中国    | 电信         | 华北   | 北京市                   | 北京市          |
| 111.73.45.242   | 中国    | 电信         | 华东   | 江西省                   | 上饶市          |
| 111.73.46.22    | 中国    | 电信         | 华东   | 江西省                   | 上饶市          |
| 112.65.191.116  | 中国    | 联通         | 华东   | 上海市                   | 上海市          |
| 115.231.218.126 | 中国    | 电信         | 华东   | 浙江省                   | 杭州市          |
| 116.231.78.64   | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 117.131.99.203  | 中国    | 移动         | 华东   | 上海市                   | 上海市          |
| 117.21.226.160  | 中国    | 电信         | 华东   | 江西省                   | 赣州市          |
| 119.161.140.147 | 中国    |              | 华北   | 北京市                   | 北京市          |
| 12.197.154.136  | 美国    |              |        |                          |                 |
| 120.132.72.219  | 中国    | 天地祥云     | 华北   | 北京市                   | 北京市          |
| 120.204.200.42  | 中国    | 移动         | 华东   | 上海市                   | 上海市          |
| 121.32.128.186  | 中国    | 电信         | 华南   | 广东省                   | 广州市          |
| 121.40.83.80    | 中国    | 阿里云       | 华东   | 浙江省                   | 杭州市          |
| 125.211.216.98  | 中国    | 联通         | 东北   | 黑龙江省                 | 哈尔滨市        |
| 140.207.30.50   | 中国    | 联通         | 华东   | 上海市                   | 上海市          |
| 180.153.163.205 | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 180.153.213.141 | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 180.154.173.64  | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 180.173.226.55  | 中国    | 电信         | 华东   | 上海市                   | 上海市          |
| 183.233.169.183 | 中国    | 移动         | 华南   | 广东省                   | 韶关市          |
| 183.61.171.132  | 中国    | 电信         | 华南   | 广东省                   | 东莞市          |
| 192.3.6.2       | 美国    |              |        |                          |                 |
| 198.13.108.236  | 美国    |              |        |                          |                 |
| 203.156.217.33  | 中国    |              | 华东   | 上海市                   | 上海市          |
| 203.171.238.69  | 中国    |              | 华中   | 河南省                   | 郑州市          |
| 216.99.156.172  | 美国    |              |        |                          |                 |
| 218.84.251.209  | 中国    | 电信         | 西北   | 新疆维吾尔自治区         | 乌鲁木齐市      |
| 220.181.132.193 | 中国    | 电信         | 华北   | 北京市                   | 北京市          |
| 220.181.132.215 | 中国    | 电信         | 华北   | 北京市                   | 北京市          |
| 221.2.205.150   | 中国    | 联通         | 华东   | 山东省                   | 聊城市          |
| 221.203.98.43   | 中国    | 联通         | 东北   | 辽宁省                   | 本溪市          |
| 222.174.5.25    | 中国    | 电信         | 华东   | 山东省                   | 泰安市          |
| 222.186.30.115  | 中国    | 电信         | 华东   | 江苏省                   | 镇江市          |
| 222.186.30.82   | 中国    | 电信         | 华东   | 江苏省                   | 镇江市          |
| 222.186.31.130  | 中国    | 电信         | 华东   | 江苏省                   | 镇江市          |
| 222.186.31.149  | 中国    | 电信         | 华东   | 江苏省                   | 镇江市          |
| 222.215.230.233 | 中国    | 电信         | 西南   | 四川省                   | 眉山市          |
| 223.104.3.186   | 中国    | 移动         | 华北   | 北京市                   | 北京市          |
| 42.62.56.151    | 中国    | 森华易腾     | 华北   | 北京市                   | 北京市          |
| 50.7.37.98      | 美国    |              |        |                          |                 |
| 58.217.255.4    | 中国    | 电信         | 华东   | 江苏省                   | 南京市          |
| 59.108.122.184  | 中国    | 方正网络     | 华北   | 北京市                   | 北京市          |
| 61.148.243.106  | 中国    | 联通         | 华北   | 北京市                   | 北京市          |
| 61.164.211.98   | 中国    | 电信         | 华东   | 浙江省                   | 嘉兴市  





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-637708-1-1.html 上篇帖子: Apache编译的错误 下篇帖子: apache在虚拟主机中实现用户验证
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表