python实现将文件中的每一行文本记录，保存到MongoDB数据库，并防止重复插入
文本如下：#日期 流水号 被浏览页面URL 第×页 访问者IP 访问时间 是否入口 操作系统 浏览器 语言 时区 屏幕分辨率 屏幕色彩位数 省份 城市 接入商 上网场所 是否安装ALEXA
2014-7-17 11452775496 http://www.imaibo.net/space/178120 1 59.41.23.101 2014-7-17 13:38:14 0 Windows XP Chrome 21.0.8
2014-7-17 11452775466 http://www.imaibo.net/space/24649 3 211.143.83.60 2014-7-17 13:38:13 0
2014-7-17 11452775362 http://www.imaibo.net/live/216945 4 119.130.98.225 2014-7-17 13:38:12 0
2014-7-17 11452775357 http://www.imaibo.net/space/170907 6 58.50.218.120 2014-7-17 13:38:12 0
2014-7-17 11452775291 http://www.imaibo.net/space/113374 1 14.158.204.146 2014-7-17 13:38:11 1 Windows XPChrome 21.0.1180 zh-cn 8 1360×768 32 广东 广东省 电信 0149
。。。
思路：
1.将每一个field对应的在BSON文档中的key先存储到一个列表中，如：
keyarray = ["date","swiftnum","url","page","ip","atime","is_inpoint","system","browser","locale","timezone",
"screen","colornum","province","city","aprovider","netcase","isalexa","ipheader","count","keyword","domain","incomeurl"]
2.从文件中读取文本数据，用for in循环遍历每一条文本记录，使用re模块的split方法，利用定义的pattern=r‘\t*’ 将每一行文本记录分解为的field组成的list
3.用一个for in循环对每一条记录的list遍历，将list中的值作为value，依次取出keyarray中的元素作为key，组成每一条文本记录对应的BSON文档，这样就实现了文本记录转换为BSON文档。
4.为了防止重复插入相同的记录，设计一个算法实现如下：
a.找到可以唯一标识每条记录的key-value，（本例：swiftnum）
b.在每次将每一条记录的BSON文档插入MongoDB中的同时，将对应的swiftnum的值写到一个文件swiftnums.txt中。
c.在每次插入记录BSON文档之前先做判断，是否要插入的BSON文档的swiftnum的值not in在swiftnums.txt中，若是的话，则插入，反之则跳过。
代码如下：
import os,glob
import re,pymongo
#-----连接MongoDB-----
conn = pymongo.Connection("localhost",27017)
db = conn.flowcounter
flowlist = db.flowcollection
#要存储的文本
file = open("test.txt","r")
#用于存储每一条记录的swiftnum值，以防止重复插入
swiftnums = open("swiftnums.txt","r+")
#每条记录转成BSON文档时，每个域对应的key
keyarray = ["date","swiftnum","url","page","ip","atime","is_inpoint","system","browser","locale","timezone",
"screen","colornum","province","city","aprovider","netcase","isalexa","ipheader","count","keyword","domain","incomeurl"]
#分解文本记录用到的正则
pattern = r'\t*'
#包含数据库中已有的记录的swiftnum的list
swiftnum_list = swiftnums.read().split(",")
for line in file.readlines():
i = 0
data = {}
li_list = re.split(pattern,line) #分解记录为list
for field in li_list:
data]=field #将记录转为BSON文档
i +=1
if data['swiftnum'] not in swiftnum_list:#判断是否重复
flowlist.insert(data)
swiftnums.write(data['swiftnum']+",") #记录已有记录
swiftnums.close()
页:
[1]