python 多线程实现定期更新ip库

olop

   通过最近监控发现，使用第三方Cdn公司的带宽偏高。由于最近没有增加新的业务。感觉其中肯定有问题。按照我们的Cahe架构，用户首先到我们自建Cache节点获取数据，如果该区域没有我们的节点，会去第三方节点进行取数据。具体架构如下：
     

    用户无论在我们自建Cache节点还是第三方Cache节点取数据，域名解析都是通过我们自己的DNS进行解析。所以可以通过DNS 的log查询哪些节点使用了第三方Cdn公司Cache节点。对使用第三方Cdn公司Cache节点的用户，分析用户的Local dns所在的区域，方便优化自建Cache节点覆盖率。


解决方案：

• 首先获取所有用户访问第三方用户的localDNS
  
• 然后通过互联网提供的开放API接口，查询local DNS的归属地。
  
• 对查询过后的数据通过文件或者其它数据格式，传送到ip库平台。
  
• 通过ip库平台的ip库记录和获取到用户local dns准确性进行审核，然后经新的ip更新到ip库。
  
• 根据用户覆盖率，对自建Cache节点优化。
  
  

使用多线程和队列技术，完成前三步工作：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

#!/usr/bin/env python #-*- coding:utf-8 -*- from subprocess import PIPE, Popen from Queue import Queue import time, urllib2, threading import json #对请求到第三方Cache节点的数据，筛选出来 。 def parserLog():           cmd = "sed '/ANY/p' dns_logs.0 | awk -F' ' '{print $6}'"     p = Popen(cmd, shell=True, stdout=PIPE, stderr=PIPE)     stdout, stderr = p.communicate()     data = stdout.strip()     data = data.split('\n')     return data #获取所有请求到第三方Cache节点的用户local DNS。 def getIp():     ld = []     data = parserLog()     for i in data:         if i.split('#')[0] not in ld:         ld.append(i.split('#')[0])     return ld #使用多线程和队列技术 #通过开放的API接口，将用户local DNS ip地址传给该API接口，返回用户的归属地信息。 #将所有的归属地信息保存至文件，然后通过第三方方式，将该文件传送到IP 库平台 #通过其它程序进行处理 class ThreadClass(threading.Thread):     def __init__(self, queue):         threading.Thread.__init__(self)         self.queue = queue     def run(self):     ld=[]     dc={}     dt={}         while True:             host = self.queue.get()         try:                 data = urllib2.urlopen('http://ip.taobao.com/service/getIpInfo.php?ip=%s' % host).read()            with open('dns.txt', 'a') as fd:             fd.write(data+'\n')                                                                                                                                                                                         time.sleep(1)                 self.queue.task_done()                                                                             except:             pass       def main():     queue = Queue()     for i in range(15):         t = ThreadClass(queue)         t.setDaemon(True)         t.start()     hosts = getIp()     for host in hosts:         queue.put(host)     queue.join() if __name__ == "__main__":     st = time.time()     main()     print '%f'%(time.time()-st)

    定期执行该脚本，收集用户Local DNS并查询归属地。然后发送到ip库管理平台对该信息进行格式化和比较，最后入库。