快捷导航
1,引言

Scrapy的架构初探》一文讲解了Scrapy的架构,本文就实际来安装运行一下Scrapy爬虫。本文以官网的tutorial作为例子,完整的代码可以在github上下载

2,运行环境配置
  • 本次测试的环境是:Windows10, Python3.4.3 32bit
  • 安装Scrapy :   $ pip install Scrapy                 #实际安装时,由于服务器状态的不稳定,出现好几次中途退出的情况

3,编写运行第一个Scrapy爬虫

3.1. 生成一个新项目:tutorial
  1. $ scrapy startproject tutorial
复制代码

项目目录结构如下:

tutorial.png

3.2.  定义要抓取的item
  1. # -*- coding: utf-8 -*-

  2. # Define here the models for your scraped items
  3. #
  4. # See documentation in:
  5. # http://doc.scrapy.org/en/latest/topics/items.html

  6. import scrapy

  7. class DmozItem(scrapy.Item):
  8.     title = scrapy.Field()
  9.     link = scrapy.Field()
  10.     desc = scrapy.Field()
复制代码

3.3. 定义Spider
  1. import scrapy
  2. from tutorial.items import DmozItem

  3. class DmozSpider(scrapy.Spider):
  4.     name = "dmoz"
  5.     allowed_domains = ["dmoz.org"]
  6.     start_urls = [
  7.         "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
  8.         "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
  9.     ]

  10.     def parse(self, response):
  11.         for sel in response.xpath('//ul/li'):
  12.             item = DmozItem()
  13.             item['title'] = sel.xpath('a/text()').extract()
  14.             item['link'] = sel.xpath('a/@href').extract()
  15.             item['desc'] = sel.xpath('text()').extract()
  16.             yield item
复制代码

3.4. 运行

  1. $ scrapy crawl dmoz -o item.json
复制代码

1) 结果报错:
   A) ImportError: cannot import name '_win32stdio'

   B) ImportError: No module named 'win32api'

2) 查错过程:查看官方的FAQstackoverflow上的信息,原来是scrapy在python3上测试还不充分,还有小问题。

3) 解决过程:
   A) 需要手工去下载
twisted/internet下的 _win32stdio 和 _pollingfile,存放到python目录的lib\sitepackages\twisted\internet下
   B) 下载并安装pywin32

再次运行,成功!在控制台上可以看到scrapy的输出信息,待运行完成退出后,到项目目录打开结果文件items.json, 可以看到里面以json格式存储的爬取结果

  1. [
  2. {"title": ["        About       "], "desc": [" ", " "], "link": ["/docs/en/about.html"]},
  3. {"title": ["   Become an Editor "], "desc": [" ", " "], "link": ["/docs/en/help/become.html"]},
  4. {"title": ["            Suggest a Site          "], "desc": [" ", " "], "link": ["/docs/en/add.html"]},
  5. {"title": [" Help             "], "desc": [" ", " "], "link": ["/docs/en/help/helpmain.html"]},
  6. {"title": [" Login                       "], "desc": [" ", " "], "link": ["/editors/"]},
  7. {"title": [], "desc": [" ", " Share via Facebook "], "link": []},
  8. {"title": [], "desc": [" ", "  Share via Twitter  "], "link": []},
  9. {"title": [], "desc": [" ", " Share via LinkedIn "], "link": []},
  10. {"title": [], "desc": [" ", " Share via e-Mail   "], "link": []},
  11. {"title": [], "desc": [" ", " "], "link": []},
  12. {"title": [], "desc": [" ", "  "], "link": []},
  13. {"title": ["        About       "], "desc": [" ", " "], "link": ["/docs/en/about.html"]},
  14. {"title": ["   Become an Editor "], "desc": [" ", " "], "link": ["/docs/en/help/become.html"]},
  15. {"title": ["            Suggest a Site          "], "desc": [" ", " "], "link": ["/docs/en/add.html"]},
  16. {"title": [" Help             "], "desc": [" ", " "], "link": ["/docs/en/help/helpmain.html"]},
  17. {"title": [" Login                       "], "desc": [" ", " "], "link": ["/editors/"]},
  18. {"title": [], "desc": [" ", " Share via Facebook "], "link": []},
  19. {"title": [], "desc": [" ", "  Share via Twitter  "], "link": []},
  20. {"title": [], "desc": [" ", " Share via LinkedIn "], "link": []},
  21. {"title": [], "desc": [" ", " Share via e-Mail   "], "link": []},
  22. {"title": [], "desc": [" ", " "], "link": []},
  23. {"title": [], "desc": [" ", "  "], "link": []}
  24. ]
复制代码
第一次运行scrapy的测试成功

4,接下来的工作

接下来,我们将使用GooSeeker API来实现网络爬虫,省掉对每个item人工去生成和测试xpath的工作量。目前有2个计划:
  • 在gsExtractor中封装一个方法:从xslt内容中自动提取每个item的xpath
  • 从gsExtractor的提取结果中自动提取每个item的结果

具体选择哪个方案,将在接下来的实验中确定,并发布到gsExtractor新版本中

5,文档修改历史
2016-06-05:V1.0,首次发布






举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2016-6-8 18:18

Fuller 管理员 发表于 2016-6-5 17:39:16 | 显示全部楼层
关于结果存储方面,我建议不用方案1,并且简化方案2。

其实Scrapy并没有明确规定一定要用什么类型,我都设想是否可以做个尝试,直接在Spider中自己存结果文件。当然这种做法是不好的,磁盘I/O和网络I/O一样,都应该统一纳入到Scrapy整体框架中。

Item类是用key:value存数据的,一对key:value放在一个Field对象中,其实是一种json结构。目前GooSeeker提取器的输出结构是XML,要转成Json是特别容易的。目前在服务器侧的MongoDB引擎接口处已经有转换程序,直接搬过来就行了。
举报 使用道具
Fuller 管理员 发表于 2016-6-5 17:41:28 | 显示全部楼层
参考这个知乎问答:https://www.zhihu.com/question/36832667 ,挺有参考价值
举报 使用道具
Fuller 管理员 发表于 2016-6-5 17:47:39 | 显示全部楼层
我认为我们对Scrapy的Spider的样例程序进行扩展的重点是:
1,入口网址不存在Spider中,而是从GooSeeker的爬虫罗盘中拿
2,甚至都可以把Spider写成一个通用的,爬的主题也不预先定好,也是从GooSeeker的爬虫罗盘中拿

这样,就不用为各种爬取目的分别写Spider了。

同时,GooSeeker爬虫罗盘的可视化和集中化管理,可以大大提高Spider的管理效率。使用场景将变成
1,用MS谋数台定义好抓取规则
2,在爬虫罗盘中配置好调度参数
3,继续用MS谋数台定义下一个抓取规则
4,再次在爬虫罗盘中配置好调度参数
5,......

不用频繁地去启动和管理Scrapy Spider,让它自己去跑吧,让他被动地接受爬虫罗盘的指令。Scrapy是一个执行机构,而爬虫罗盘是大脑
举报 使用道具
ippfon 版主 发表于 2016-6-8 18:18:08 | 显示全部楼层
根据楼主的步骤操作尝试,遇到了一些问题,我用的是 python 3.5.1版本,在下载安装pypiwin32时,我使用 pip install pypiwin32 总是出下载超时,最后只能直接去网上下载whl (https://pypi.python.org/pypi/pypiwin32),然后直接在本地安装。安装成功之后,终于执行测试成功了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-9-22 05:42