python实现将文件中的每一行文本记录，保存到MongoDB数据库，并防止重复插入

5d6d网

　　文本如下：
　　#日期 流水号 被浏览页面URL 第×页 访问者IP 访问时间 是否入口 操作系统 浏览器 语言 时区 屏幕分辨率 屏幕色彩位数 省份 城市 接入商 上网场所 是否安装ALEXA
　　2014-7-17　　11452775496　　http://www.imaibo.net/space/178120　　1 　　59.41.23.101 　　2014-7-17 13:38:14 　　0 　　Windows XP Chrome 21.0.8
2014-7-17　　11452775466　　http://www.imaibo.net/space/24649　　3　　211.143.83.60　　2014-7-17 13:38:13　　0
2014-7-17　　11452775362　　http://www.imaibo.net/live/216945　　4　　119.130.98.225　　2014-7-17 13:38:12　　0
2014-7-17　　11452775357　　http://www.imaibo.net/space/170907　　6　　58.50.218.120　　2014-7-17 13:38:12　　0
2014-7-17　　11452775291　　http://www.imaibo.net/space/113374　　1　　14.158.204.146　　2014-7-17 13:38:11　　1　　Windows XPChrome 21.0.1180　　zh-cn　　8　　1360×768　　32　　广东　　广东省　　电信　　0149
　　。。。
　　思路：
　　1.将每一个field对应的在BSON文档中的key先存储到一个列表中，如：
　　keyarray = ["date","swiftnum","url","page","ip","atime","is_inpoint","system","browser","locale","timezone",
        "screen","colornum","province","city","aprovider","netcase","isalexa","ipheader","count","keyword","domain","incomeurl"]
　　2.从文件中读取文本数据，用for in循环遍历每一条文本记录，使用re模块的split方法，利用定义的pattern=r‘\t*’ 将每一行文本记录分解为的field组成的list
　　3.用一个for in循环对每一条记录的list遍历，将list中的值作为value，依次取出keyarray中的元素作为key，组成每一条文本记录对应的BSON文档，这样就实现了文本记录转换为BSON文档。
　　4.为了防止重复插入相同的记录，设计一个算法实现如下：
　　a.找到可以唯一标识每条记录的key-value，（本例：swiftnum）
　　b.在每次将每一条记录的BSON文档插入MongoDB中的同时，将对应的swiftnum的值写到一个文件swiftnums.txt中。
　　c.在每次插入记录BSON文档之前先做判断，是否要插入的BSON文档的swiftnum的值not in在swiftnums.txt中，若是的话，则插入，反之则跳过。
　　代码如下：
　　import os,glob
import re,pymongo
#-----连接MongoDB-----
conn = pymongo.Connection("localhost",27017)
db = conn.flowcounter
flowlist = db.flowcollection
　　#要存储的文本
file = open("test.txt","r")
　　#用于存储每一条记录的swiftnum值，以防止重复插入
swiftnums = open("swiftnums.txt","r+")
　　#每条记录转成BSON文档时，每个域对应的key
keyarray = ["date","swiftnum","url","page","ip","atime","is_inpoint","system","browser","locale","timezone",
        "screen","colornum","province","city","aprovider","netcase","isalexa","ipheader","count","keyword","domain","incomeurl"]
#分解文本记录用到的正则
pattern = r'\t*'
#包含数据库中已有的记录的swiftnum的list
swiftnum_list = swiftnums.read().split(",")
for line in file.readlines()[1:]:   
    i = 0
    data = {}
    li_list = re.split(pattern,line)   #分解记录为list
    for field in li_list:
        data[keyarray]=field    #将记录转为BSON文档
        i +=1
    if data['swiftnum'] not in swiftnum_list:  #判断是否重复
        flowlist.insert(data)
        swiftnums.write(data['swiftnum']+",")   #记录已有记录
swiftnums.close()