快捷导航
本帖最后由 xandy 于 2016-8-5 11:33 编辑

1. 项目背景
python22_1.jpg

Python即时网络爬虫项目启动说明中我们讨论一个数字:程序员浪费在调测内容提取规则上的时间太多了(见上图),从而我们发起了这个项目,把程序员从繁琐的调测规则中解放出来,投入到更高端的数据处理工作中。


这个项目推出以后受到很大关注,因为开放源码,大家可以在现成源码基础上进一步开发。然而,Python3和Python2是有区别的,《Python即时网络爬虫项目: 内容提取器的定义》 一文的源码无法在Python2.7下使用,本文将发布一个Python2.7的内容提取器。


2. 解决方案
为了解决这个问题,我们把影响通用性和工作效率的提取器隔离出来,描述了如下的数据处理流程图:
内容提取器.png

图中“可插拔提取器”必须很强的模块化,那么关键的接口有:
  • 标准化的输入:以标准的HTML DOM对象为输入
  • 标准化的内容提取:使用标准的xslt模板提取网页内容
  • 标准化的输出:以标准的XML格式输出从网页上提取到的内容
  • 明确的提取器插拔接口:提取器是一个明确定义的类,通过类方法与爬虫引擎模块交互

3. 提取器代码
可插拔提取器是即时网络爬虫项目的核心组件,定义成一个类: GsExtractor
       适用python2.7的源代码文件及其说明文档请从 github 下载

使用模式是这样的:
  • 实例化一个GsExtractor对象
  • 为这个对象设定xslt提取器,相当于把这个对象配置好(使用三类setXXX()方法)
  • 把html dom输入给它,就能获得xml输出(使用extract()方法)

下面是这个GsExtractor类的源代码(适用于Python2.7)
  1. #!/usr/bin/python
  2. # -*- coding: utf-8 -*-
  3. # 模块名: gooseeker_py2
  4. # 类名: GsExtractor
  5. # Version: 2.0
  6. # 适配Python版本: 2.7
  7. # 说明: html内容提取器
  8. # 功能: 使用xslt作为模板,快速提取HTML DOM中的内容。
  9. # released by 集搜客(http://www.gooseeker.com) on May 18, 2016
  10. # github: https://github.com/FullerHua/jisou/core/gooseeker_py2.py

  11. from urllib2 import urlopen
  12. from urllib import quote
  13. from lxml import etree
  14. import time

  15. class GsExtractor(object):
  16.     def _init_(self):
  17.         self.xslt = ""
  18.     # 从文件读取xslt
  19.     def setXsltFromFile(self , xsltFilePath):
  20.         file = open(xsltFilePath , 'r')
  21.         try:
  22.             self.xslt = file.read()
  23.         finally:
  24.             file.close()
  25.     # 从字符串获得xslt
  26.     def setXsltFromMem(self , xsltStr):
  27.         self.xslt = xsltStr
  28.     # 通过GooSeeker API接口获得xslt
  29.     def setXsltFromAPI(self , APIKey , theme, middle=None, bname=None):
  30.         apiurl = "http://www.gooseeker.com/api/getextractor?key="+ APIKey +"&theme="+quote(theme)
  31.         if (middle):
  32.             apiurl = apiurl + "&middle="+quote(middle)
  33.         if (bname):
  34.             apiurl = apiurl + "&bname="+quote(bname)
  35.         apiconn = urlopen(apiurl)
  36.         self.xslt = apiconn.read()
  37.     # 返回当前xslt
  38.     def getXslt(self):
  39.         return self.xslt
  40.     # 提取方法,入参是一个HTML DOM对象,返回是提取结果
  41.     def extract(self , html):
  42.         xslt_root = etree.XML(self.xslt)
  43.         transform = etree.XSLT(xslt_root)
  44.         result_tree = transform(html)
  45.         return result_tree
复制代码


4. 用法示例
下面是一个示例程序,演示怎样使用GsExtractor类提取豆瓣讨论组话题。本示例有如下特征:
  • 提取器的内容通过GooSeeker平台上的api获得
  • 保存结果文件到当前文件夹

下面是源代码,都可从 github 下载
  1. # _*_coding:utf8_*_
  2. # douban_py2.py
  3. # 爬取豆瓣小组讨论话题
  4. # Python版本: 2.7

  5. from lxml import etree
  6. from gooseeker_py2 import GsExtractor
  7. from selenium import webdriver
  8. import time

  9. class PhantomSpider:
  10.     def getContent(self, url):
  11.         browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')
  12.         browser.get(url)
  13.         time.sleep(3)
  14.         html = browser.execute_script("return document.documentElement.outerHTML")
  15.         output = etree.HTML(html)
  16.         return output

  17.     def saveContent(self, filepath, content):
  18.         file_obj = open(filepath, 'w')
  19.         file_obj.write(content)
  20.         file_obj.close()

  21. doubanExtra = GsExtractor()   
  22. # 下面这句调用gooseeker的api来设置xslt抓取规则
  23. # 第一个参数是app key,请到GooSeeker会员中心申请
  24. # 第二个参数是规则名,是通过GooSeeker的图形化工具: 谋数台MS 来生成的
  25. doubanExtra.setXsltFromAPI("ffd5273e213036d812ea298922e2627b" , "豆瓣小组讨论话题")  

  26. url = "https://www.douban.com/group/haixiuzu/discussion?start="
  27. totalpages = 5
  28. doubanSpider = PhantomSpider()
  29. print("爬取开始")

  30. for pagenumber in range(1 , totalpages):
  31.     currenturl = url + str((pagenumber-1)*25)
  32.     print("正在爬取", currenturl)
  33.     content = doubanSpider.getContent(currenturl)
  34.     outputxml = doubanExtra.extract(content)
  35.     outputfile = "result" + str(pagenumber) +".xml"
  36.     doubanSpider.saveContent(outputfile , str(outputxml))

  37. print("爬取结束")
复制代码

提取结果如下图所示:
豆瓣结果.png

5. 接下来阅读
本文已经说明了提取器的价值和用法,但是没有说怎样生成它,只有快速生成提取器才能达到节省开发者时间的目的,这个问题将在其他文章讲解,请看《1分钟快速生成用于网页内容提取的xslt模板》

6. 集搜客GooSeeker开源代码下载源
1. GooSeeker开源Python网络爬虫GitHub源

7. 文档修改历史
2016-08-03:V1.0,Python2.7下的内容提取器类首次发布








举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2016-11-2 17:07

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-11-18 16:01