快捷导航
6 2796

Python: xml转json

shenzhenwan10 于 2016-6-6 22:58 发表 [复制链接]
1,引言

GooSeeker早在9年前就开始了Semantic Web领域的产品化,MS谋数台和DS打数机是其中两个产品。对web内容做结构化转换和语义处理的主要路线是 XML -> RDF -> Ontology Engineering。所以这两款产品的输出信息是XML格式的,实现第一步:结构化转换。单纯作为一个网页采集器来说,输出XML格式也有好处,这是一种标准格式,后续的数据处理可以很容易地接入,任意发挥。


在web集成和网站前端领域,json越来越普遍,在Scrapy架构中,Scrapy dict数据结构本质上就是json,所以,由XML格式转换成JSON格式很有必要。

无论哪种编程语言,XML转Json都有很多现成的程序包,但是,就像前面说的,GooSeeker定义的XML格式主要用来做实体建模,有自己规定的一套语义结构描述标准。所以,不能直接使用现成的转换程序,或者需要在现成的转换程序上做些修改。

本文是一个实验过程,并没有考虑GooSeeker要求的语义结构,只是验证一下XML到Json的转换。

2,实验用的XML文件

我们使用《python爬虫实战(2):爬取京东商品列表》一文的结果文件,python爬虫爬取的结果保存在 京东手机列表_1.xml 文件中。内容如下图所示
京东手机列表_1.png


下面针对这个结果文件先做个xml转json的测试,为提取器gsExtractor添加输出Json文件的功能做技术准备。

3,测试过程


代码如下:

  1. #! /usr/bin/env python
  2. # -*- coding:utf-8 -*-
  3. # xml 转 json
  4. # xml2json.py
  5. # Version 1.0

  6. from xml.parsers.expat import ParserCreate
  7. import json

  8. class Xml2Json:
  9.     LIST_TAGS = ['COMMANDS']
  10.    
  11.     def __init__(self, data = None):
  12.         self._parser = ParserCreate()
  13.         self._parser.StartElementHandler = self.start
  14.         self._parser.EndElementHandler = self.end
  15.         self._parser.CharacterDataHandler = self.data
  16.         self.result = None
  17.         if data:
  18.             self.feed(data)
  19.             self.close()
  20.         
  21.     def feed(self, data):
  22.         self._stack = []
  23.         self._data = ''
  24.         self._parser.Parse(data, 0)

  25.     def close(self):
  26.         self._parser.Parse("", 1)
  27.         del self._parser

  28.     def start(self, tag, attrs):
  29.         assert attrs == {}
  30.         assert self._data.strip() == ''
  31.         self._stack.append([tag])
  32.         self._data = ''

  33.     def end(self, tag):
  34.         last_tag = self._stack.pop()
  35.         assert last_tag[0] == tag
  36.         if len(last_tag) == 1: #leaf
  37.             data = self._data
  38.         else:
  39.             if tag not in Xml2Json.LIST_TAGS:
  40.                 # build a dict, repeating pairs get pushed into lists
  41.                 data = {}
  42.                 for k, v in last_tag[1:]:
  43.                     if k not in data:
  44.                         data[k] = v
  45.                     else:
  46.                         el = data[k]
  47.                         if type(el) is not list:
  48.                             data[k] = [el, v]
  49.                         else:
  50.                             el.append(v)
  51.             else: #force into a list
  52.                 data = [{k:v} for k, v in last_tag[1:]]
  53.         if self._stack:
  54.             self._stack[-1].append((tag, data))
  55.         else:
  56.             self.result = {tag:data}
  57.         self._data = ''

  58.     def data(self, data):
  59.         self._data = data

  60. if __name__ == '__main__':
  61.     xml = open("京东手机列表_1.xml", 'r', encoding='UTF-8').read()
  62.     result = Xml2Json(xml).result;
  63.     outputfile = open("京东手机列表_1.json", 'w', encoding='UTF-8')
  64.     outputfile.write(str(result))
  65.     outputfile.close()        
复制代码

  • 在控制台运行:  $ python xml2json.py
  • 测试输出:京东手机列表_1.json。运行后在当前文件夹下可以看到新生成的json文件

京东手机列表_1.json.png


4,接下来的工作
  • 升级gsExtractor提取器类,加入新的方法,支持把提取结果从xml转换为json格式
  • 转换成的json结构必须符合GooSeeker要求的语义描述结构,为直接存入MongoDB做准备

5,相关文档
1, Python即时网络爬虫项目: 内容提取器的定义
2,Python爬虫实战(2):爬取京东商品列表

6,集搜客GooSeeker开源代码下载源
1, GooSeeker开源Python网络爬虫GitHub源

7,文档修改历史
2016-06-06:V1.0,首次发布




京东手机列表_1.json.zip

2.6 KB, 下载次数: 3

京东手机列表_1.xml.zip

4.53 KB, 下载次数: 7

举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2017-6-2 00:54

Fuller 管理员 发表于 2016-6-6 23:36:18 | 显示全部楼层
GooSeeker的DS打数机生成的抓取结果文件有一套语义结构标准,转json时也有一套标准,最后存入MongoDB也保持了这套标准。

这套标准都是为了描述语义结构的,以及未来向实体关系描述和知识图谱表达方向发展。

上面的转换程序要核对验证一下,以确保遵照前述的语义结构标准
举报 使用道具
lizhizilt 中级会员 发表于 2017-5-31 23:02:21 | 显示全部楼层
请问一下,可以实现将gooseeker抓取的数据放入数据库了吗?感觉很有需要啊!
举报 使用道具
Fuller 管理员 发表于 2017-5-31 23:09:09 | 显示全部楼层
lizhizilt 发表于 2017-5-31 23:02
请问一下,可以实现将gooseeker抓取的数据放入数据库了吗?感觉很有需要啊! ...

集搜客会员中心的导入功能就是入库功能,程序有些复杂,没有作为python开放代码发布出来
举报 使用道具
lizhizilt 中级会员 发表于 2017-6-1 00:49:21 | 显示全部楼层
Fuller 发表于 2017-5-31 23:09
集搜客会员中心的导入功能就是入库功能,程序有些复杂,没有作为python开放代码发布出来
...

看了这个python即时网络爬虫项目,感觉超棒的!!!其实我问的是,就是第4点,接下来的工作,进展的怎样
我想知道提取结果的xml如何转成json,又如何存入mongodb数据库中
Q5FR~P_C8Q]2[(_%$E79@~3.png
举报 使用道具
Fuller 管理员 发表于 2017-6-1 08:47:12 | 显示全部楼层
lizhizilt 发表于 2017-6-1 00:49
看了这个python即时网络爬虫项目,感觉超棒的!!!其实我问的是,就是第4点,接下来的工作,进展的怎样
...

xml转json很容易,把标签变成key就行了。变成json就能直接入mongodb
举报 使用道具
lizhizilt 中级会员 发表于 2017-6-2 00:54:56 | 显示全部楼层
Fuller 发表于 2017-6-1 08:47
xml转json很容易,把标签变成key就行了。变成json就能直接入mongodb

哦哦,好的,我研究下,谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-9-22 06:20