快捷导航
本帖最后由 ippfon 于 2016-7-18 16:35 编辑

1,引言

最近一直在看Scrapy 爬虫框架,并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试过程中遇到了很多小问题,希望大家多多指教。

本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容,文中自定义了一个DOWNLOADER_MIDDLEWARES,用来采集需要加载js的动态网页内容。看了很多介绍DOWNLOADER_MIDDLEWARES资料,总结来说就是使用简单,但会阻塞框架,所以性能方面不佳。一些资料中提到了自定义DOWNLOADER_HANDLER或使用scrapyjs可以解决阻塞框架的问题,有兴趣的小伙伴可以去研究一下,这里就不多说了。


2,具体实现


2.1,环境需求

需要执行以下步骤,准备Python开发和运行环境:
  • Python--官网下载安装并部署好环境变量 (本文使用Python版本为3.5.1)
  • lxml-- 官网库下载对应版本的.whl文件,然后命令行界面执行 "pip install .whl文件路径"
  • Scrapy--命令行界面执行 "pip install Scrapy",详细请参考《Scrapy的第一次运行测试
  • selenium--命令行界面执行 "pip install selenium"
  • PhantomJS -- 官网下载

上述步骤展示了两种安装:1,安装下载到本地的wheel包;2,用Python安装管理器执行远程下载和安装。注:包的版本需要和python版本配套


2.2,开发和测试过程首先找到需要采集的网页,这里简单找了一个天猫商品,网址https://world.tmall.com/item/526449276263.htm,页面如下:

tm.jpg


然后开始编写代码,以下代码默认都是在命令行界面执行

1),创建scrapy爬虫项目tmSpider

  1. E:\python-3.5.1>scrapy startproject tmSpider
复制代码

2),修改settings.py配置

  • 更改ROBOTSTXT_OBEY的值为False;
  • 关闭scrapy默认的下载器中间件;
  • 加入自定义DOWNLOADER_MIDDLEWARES。

配置如下:
  1. DOWNLOADER_MIDDLEWARES = {
  2.     'tmSpider.middlewares.middleware.CustomMiddlewares': 543,
  3.     'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None
  4. }
复制代码

3),在项目目录下创建middlewares文件夹,然后在文件夹下创建middleware.py文件,代码如下:
  1. # -*- coding: utf-8 -*-

  2. from scrapy.exceptions import IgnoreRequest
  3. from scrapy.http import HtmlResponse, Response

  4. import tmSpider.middlewares.downloader as downloader

  5. class CustomMiddlewares(object):
  6.     def process_request(self, request, spider):
  7.         url = str(request.url)
  8.         dl = downloader.CustomDownloader()
  9.         content = dl.VisitPersonPage(url)
  10.         return HtmlResponse(url, status = 200, body = content)
  11.    
  12.     def process_response(self, request, response, spider):
  13.         if len(response.body) == 100:
  14.             return IgnoreRequest("body length == 100")
  15.         else:
  16.             return response
复制代码

4),使用
selenium和PhantomJS写一个网页内容下载器,同样在上一步创建好的middlewares文件夹中创建downloader.py文件,代码如下:
  1. # -*- coding: utf-8 -*-
  2. import time
  3. from scrapy.exceptions import IgnoreRequest
  4. from scrapy.http import HtmlResponse, Response
  5. from selenium import webdriver
  6. import selenium.webdriver.support.ui as ui

  7. class CustomDownloader(object):
  8.     def __init__(self):
  9.         # use any browser you wish
  10.         cap = webdriver.DesiredCapabilities.PHANTOMJS
  11.         cap["phantomjs.page.settings.resourceTimeout"] = 1000
  12.         cap["phantomjs.page.settings.loadImages"] = True
  13.         cap["phantomjs.page.settings.disk-cache"] = True
  14.         cap["phantomjs.page.customHeaders.Cookie"] = 'SINAGLOBAL=3955422793326.2764.1451802953297; '
  15.         self.driver = webdriver.PhantomJS(executable_path='F:/phantomjs/bin/phantomjs.exe', desired_capabilities=cap)
  16.         wait = ui.WebDriverWait(self.driver,10)
  17.    
  18.     def VisitPersonPage(self, url):
  19.         print('正在加载网站.....')
  20.         self.driver.get(url)
  21.         time.sleep(1)
  22.         # 翻到底,详情加载
  23.         js="var q=document.documentElement.scrollTop=10000"
  24.         self.driver.execute_script(js)
  25.         time.sleep(5)
  26.         content = self.driver.page_source.encode('gbk', 'ignore')
  27.         print('网页加载完毕.....')
  28.         return content

  29.     def __del__(self):
  30.         self.driver.quit()
复制代码

5) 创建爬虫模块


在项目目录E:\python-3.5.1\tmSpider,执行如下代码:
  1. E:\python-3.5.1\tmSpider>scrapy genspider tmall 'tmall.com'
复制代码
执行后,项目目录E:\python-3.5.1\tmSpider\tmSpider\spiders下会自动生成tmall.py程序文件。该程序中parse函数处理scrapy下载器返回的网页内容,采集网页信息的方法可以是:
  • 使用xpath或正则方式response.body中采集所需字段,
  • 通过gooseeker api获取的内容提取器实现一站转换所有字段,而且不用手工编写转换用的xpath(如何获取内容提取器请参考python使用xslt提取网页数据),代码如下
  1. # -*- coding: utf-8 -*-
  2. import time
  3. import scrapy

  4. import tmSpider.gooseeker.gsextractor as gsextractor

  5. class TmallSpider(scrapy.Spider):
  6.     name = "tmall"
  7.     allowed_domains = ["tmall.com"]
  8.     start_urls = (
  9.         'https://world.tmall.com/item/526449276263.htm',
  10.     )
  11.    
  12.     # 获得当前时间戳
  13.     def getTime(self):
  14.         current_time = str(time.time())
  15.         m = current_time.find('.')
  16.         current_time = current_time[0:m]
  17.         return current_time

  18.     def parse(self, response):
  19.         html = response.body
  20.         print("----------------------------------------------------------------------------")
  21.         extra=gsextractor.GsExtractor()
  22.         extra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e", "淘宝天猫_商品详情30474","tmall","list")

  23.         result = extra.extract(html)
  24.         print(str(result).encode('gbk', 'ignore').decode('gbk'))
  25.         #file_name = 'F:/temp/淘宝天猫_商品详情30474_' + self.getTime() + '.xml'
  26.         #open(file_name,"wb").write(result)
复制代码

6),启动爬虫

在E:\python-3.5.1\tmSpider项目目录下执行命令
  1. E:\python-3.5.1\simpleSpider>scrapy crawl tmall
复制代码
输出结果:
result.png

提一下,上述命令只能一次启动一个爬虫,如果想同时启动多个呢?那就需要自定义一个爬虫启动模块了,在spiders下创建模块文件runcrawl.py,代码如下
  1. # -*- coding: utf-8 -*-

  2. import scrapy
  3. from twisted.internet import reactor
  4. from scrapy.crawler import CrawlerRunner

  5. from tmall import TmallSpider
  6. ...
  7. spider = TmallSpider(domain='tmall.com')
  8. runner = CrawlerRunner()
  9. runner.crawl(spider)
  10. ...
  11. d = runner.join()
  12. d.addBoth(lambda _: reactor.stop())
  13. reactor.run()

复制代码
执行runcrawl.py文件,输出结果:

result_2.png


3,展望

以自定义DOWNLOADER_MIDDLEWARES调用PhantomJs的方式实现爬虫后,在阻塞框架的问题上纠结了很长的时间,一直在想解决的方式。后续会研究一下scrapyjs,splash等其他调用浏览器的方式看是否能有效的解决这个问题。

4,相关文档

1, GooSeeker API说明(1)--下载内容提取器

5,集搜客GooSeeker开源代码下载源

1, GooSeeker开源Python网络爬虫GitHub源

6,文档修改历史
1,2016-06-28:V1.0







举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-6-30 10:59

gz51837844 管理员 发表于 2016-6-28 18:58:41 | 显示全部楼层
好东西,运行一下试试
举报 使用道具
Fuller 管理员 发表于 2016-6-30 10:59:27 | 显示全部楼层
middleware的process_request()都需要在最后return HtmlResponse(),如果用这种编程模式,都需要阻塞吧?不阻塞的似乎应该在middleware中用回掉,是不是?因为我觉得middleware是跟框架接口的,middleware用这种编程模式,即便downloader是非阻塞的,middleware也会阻塞框架。不知道我分析的对不对?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-11-18 15:54