Python自然语言处理读书笔记-第7章

heberoxx

　　第7章 从文本提取信息
　　开头三问：
　　1.我们如何能构建一个系统，从非结构化文本中提取结构化数据？
　　2.有哪些稳健的方法识别一个文本中描述的实体和关系？
　　3.哪些语料库适合这项工作，我们如何使用它们来训练和评估我们的模型？
　　整体流程：
　　分句->分词->词性标注->分块->实体识别->信息抽取->查询
　　先做分句->分词->词性标注：



1 import nltk
2 import re
3 import pprint
4
5 def ie_preprocess(document):
6     sentences = nltk.sent_tokenize(document)
7     sentences = [nltk.word_tokenize(sent) for sent in sentences]
8     sentences = [nltk.pos_tag(sent) for sent in sentences]
9     return sentences
10
11 if __name__ == '__main__':
12     mystr = 'My name is freeze, i like coding. I am in hangzhou now. I am from USTC.'
13     print ie_preprocess(mystr)
14     
　　结果如下：
[[('My', 'PRP$'), ('name', 'NN'), ('is', 'VBZ'), ('freeze', 'NN'), (',', ','), ('i', 'PRP'), ('like', 'VBP'), ('coding', 'VBG'), ('.', '.')], [('I', 'PRP'), ('am', 'VBP'), ('in', 'IN'), ('hangzhou', 'NN'), ('now', 'RB'), ('.', '.')], [('I', 'PRP'), ('am', 'VBP'), ('from', 'IN'), ('USTC', 'NNP'), ('.', '.')]]
　　分块：
　　名词短语分块即NP分块，NP分块往往是一个比较完整的名词短语的小片段。
　　为了得到一个NP块，我们需要定义它的模式，假设一个NP块是由一个PRP或PRP$开头 最后由一个NN或NNP结尾。



1 if __name__ == '__main__':
2     mystr = 'My name is freeze, i like coding. I am in hangzhou now. I am from USTC.'
3     sentences = ie_preprocess(mystr)
4     grammar = "NP: {*}"
5     cp = nltk.RegexpParser(grammar)
6     for sentence in sentences:
7         result = cp.parse(sentence)
8         for subtree in result.subtrees():
9             if subtree.node == 'NP':
10                 print subtree
　　结果：
(NP My/PRP$ name/NN is/VBZ freeze/NN)
(NP I/PRP am/VBP in/IN hangzhou/NN)
(NP I/PRP am/VBP from/IN USTC/NNP)
　　注：result的type是
　　有时词性标记不足以确定一个句子应如何分块。此时需要使用词的内容信息作为词性标记的补充。
　　实体识别：
　　文中指出使用基于词典的实体识别会产生很多问题。首先是词的限制，其次是词的多义性。
　　比较好的方法是第6章中提到的分类器。
　　关系抽取：
　　一旦识别出块中的实体，我们就可以提取出（x,a,y)形式的三元组，其中x,y是指定类型的命名实体，a是表示他们之间的关系。
　　然后我们就可以进行查找了。