Python: xml转json

43523

1，引言


GooSeeker早在9年前就开始了Semantic Web领域的产品化，MS谋数台和DS打数机是其中两个产品。对web内容做结构化转换和语义处理的主要路线是 XML -> RDF -> Ontology Engineering。所以这两款产品的输出信息是XML格式的，实现第一步：结构化转换。单纯作为一个网页采集器来说，输出XML格式也有好处，这是一种标准格式，后续的数据处理可以很容易地接入，任意发挥。

在web集成和网站前端领域，json越来越普遍，在Scrapy架构中，Scrapy dict数据结构本质上就是json，所以，由XML格式转换成JSON格式很有必要。

无论哪种编程语言，XML转Json都有很多现成的程序包，但是，就像前面说的，GooSeeker定义的XML格式主要用来做实体建模，有自己规定的一套语义结构描述标准。所以，不能直接使用现成的转换程序，或者需要在现成的转换程序上做些修改。

本文是一个实验过程，并没有考虑GooSeeker要求的语义结构，只是验证一下XML到Json的转换。

2，实验用的XML文件

我们使用《python爬虫实战（2）：爬取京东商品列表》一文的结果文件，python爬虫爬取的结果保存在 京东手机列表_1.xml 文件中。内容如下图所示


下面针对这个结果文件先做个xml转json的测试，为提取器gsExtractor添加输出Json文件的功能做技术准备。

3，测试过程

• 测试使用的模块：xml.parsers.expat，  json
  
• 测试输入： 以python爬虫实战（2）：爬取京东商品列表一文的xml结果文件 京东手机列表_1.xml 作为输入
  
  

代码如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72

#! /usr/bin/env python # -*- coding:utf-8 -*- # xml 转 json # xml2json.py # Version 1.0 from xml.parsers.expat import ParserCreate import json class Xml2Json:     LIST_TAGS = ['COMMANDS']     def __init__(self, data = None):         self._parser = ParserCreate()         self._parser.StartElementHandler = self.start         self._parser.EndElementHandler = self.end         self._parser.CharacterDataHandler = self.data         self.result = None         if data:             self.feed(data)             self.close()     def feed(self, data):         self._stack = []         self._data = ''         self._parser.Parse(data, 0)     def close(self):         self._parser.Parse("", 1)         del self._parser     def start(self, tag, attrs):         assert attrs == {}         assert self._data.strip() == ''         self._stack.append([tag])         self._data = ''     def end(self, tag):         last_tag = self._stack.pop()         assert last_tag[0] == tag         if len(last_tag) == 1: #leaf             data = self._data         else:             if tag not in Xml2Json.LIST_TAGS:                 # build a dict, repeating pairs get pushed into lists                 data = {}                 for k, v in last_tag[1:]:                     if k not in data:                         data[k] = v                     else:                         el = data[k]                         if type(el) is not list:                             data[k] = [el, v]                         else:                             el.append(v)             else: #force into a list                 data = [{k:v} for k, v in last_tag[1:]]         if self._stack:             self._stack[-1].append((tag, data))         else:             self.result = {tag:data}         self._data = ''     def data(self, data):         self._data = data if __name__ == '__main__':     xml = open("京东手机列表_1.xml", 'r', encoding='UTF-8').read()     result = Xml2Json(xml).result;     outputfile = open("京东手机列表_1.json", 'w', encoding='UTF-8')     outputfile.write(str(result))     outputfile.close()

• 在控制台运行:  $ python xml2json.py
  
• 测试输出：京东手机列表_1.json。运行后在当前文件夹下可以看到新生成的json文件
  
  

4，接下来的工作

• 升级gsExtractor提取器类，加入新的方法，支持把提取结果从xml转换为json格式
  
• 转换成的json结构必须符合GooSeeker要求的语义描述结构，为直接存入MongoDB做准备
  
  

5，相关文档
1，Python即时网络爬虫项目: 内容提取器的定义
2，Python爬虫实战（2）：爬取京东商品列表

6，集搜客GooSeeker开源代码下载源
1， GooSeeker开源Python网络爬虫GitHub源


7，文档修改历史
2016-06-20：V1.0，首次发布