python 多线程实现定期更新ip库
通过最近监控发现，使用第三方Cdn公司的带宽偏高。由于最近没有增加新的业务。感觉其中肯定有问题。按照我们的Cahe架构，用户首先到我们自建Cache节点获取数据，如果该区域没有我们的节点，会去第三方节点进行取数据。具体架构如下：用户无论在我们自建Cache节点还是第三方Cache节点取数据，域名解析都是通过我们自己的DNS进行解析。所以可以通过DNS 的log查询哪些节点使用了第三方Cdn公司Cache节点。对使用第三方Cdn公司Cache节点的用户，分析用户的Local dns所在的区域，方便优化自建Cache节点覆盖率。
解决方案：
[*]首先获取所有用户访问第三方用户的localDNS
[*]然后通过互联网提供的开放API接口，查询local DNS的归属地。
[*]对查询过后的数据通过文件或者其它数据格式，传送到ip库平台。
[*]通过ip库平台的ip库记录和获取到用户local dns准确性进行审核，然后经新的ip更新到ip库。
[*]根据用户覆盖率，对自建Cache节点优化。
使用多线程和队列技术，完成前三步工作：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
#!/usr/bin/env python
#-*- coding:utf-8 -*-
from subprocess import PIPE, Popen
from Queue import Queue
import time, urllib2, threading
import json
#对请求到第三方Cache节点的数据，筛选出来 。
def parserLog():
cmd = "sed '/ANY/p' dns_logs.0 | awk -F' ' '{print $6}'"
p = Popen(cmd, shell=True, stdout=PIPE, stderr=PIPE)
stdout, stderr = p.communicate()
data = stdout.strip()
data = data.split('\n')
return data
#获取所有请求到第三方Cache节点的用户local DNS。
def getIp():
ld = []
data = parserLog()
for i in data:
if i.split('#') not in ld:
ld.append(i.split('#'))
return ld
#使用多线程和队列技术
#通过开放的API接口，将用户local DNS ip地址传给该API接口，返回用户的归属地信息。
#将所有的归属地信息保存至文件，然后通过第三方方式，将该文件传送到IP 库平台
#通过其它程序进行处理
class ThreadClass(threading.Thread):
def __init__(self, queue):
threading.Thread.__init__(self)
self.queue = queue
def run(self):
ld=[]
dc={}
dt={}
while True:
host = self.queue.get()
try:
data = urllib2.urlopen('http://ip.taobao.com/service/getIpInfo.php?ip=%s' % host).read()
with open('dns.txt', 'a') as fd:
fd.write(data+'\n')
time.sleep(1)
self.queue.task_done()
except:
pass
def main():
queue = Queue()
for i in range(15):
t = ThreadClass(queue)
t.setDaemon(True)
t.start()
hosts = getIp()
for host in hosts:
queue.put(host)
queue.join()
if __name__ == "__main__":
st = time.time()
main()
print '%f'%(time.time()-st)
定期执行该脚本，收集用户Local DNS并查询归属地。然后发送到ip库管理平台对该信息进行格式化和比较，最后入库。
页:
[1]