快捷导航

Python爬虫实战(1):爬取Drupal论坛帖子列表

2016-9-27 16:58| 发布者: xandy| 查看: 2226| 评论: 0|原作者: 集搜客网络爬虫|来自: 集搜客社区

摘要: 在《Python即时网络爬虫项目: 内容提取器的定义》一文我们定义了一个通用的python网络爬虫类,期望通过这个项目节省程序员一半以上的时间。本文将用一个实例讲解怎样使用这个爬虫类。 ...

1,引言

在《Python即时网络爬虫项目: 内容提取器的定义》一文我们定义了一个通用的python网络爬虫类,期望通过这个项目节省程序员一半以上的时间。本文将用一个实例讲解怎样使用这个爬虫类。我们将爬集搜客老版论坛,是一个用Drupal做的论坛。

2,技术要点

我们在多个文章都在说:节省程序员的时间。关键是省去编写提取规则的时间,尤其是调试规则的正确性很花时间。在《1分钟快速生成用于网页内容提取的xslt》演示了怎样快速生成提取规则,接下来我们再通过GooSeeker的api接口实时获得提取规则,对网页进行抓取。本示例主要有如下两个技术要点:

  • 通过GooSeeker API实时获取用于页面提取的xslt。
  • 使用GooSeeker提取器gsExtractor从网页上一次提取多个字段内容。

3,python源代码

# _*_coding:utf8_*_
# crawler_gooseeker_bbs.py
# 版本: V1.0

from urllib import request
from lxml import etree
from gooseeker import GsExtractor

# 访问并读取网页内容
url = "http://www.gooseeker.com/cn/forum/7"
conn = request.urlopen(url)
doc = etree.HTML(conn.read())

bbsExtra = GsExtractor() 
bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "gooseeker_bbs_xslt")   # 设置xslt抓取规则,第一个参数是app key,请到会员中心申请
result = bbsExtra.extract(doc)   # 调用extract方法提取所需内容

print(str(result))

源代码下载位置请看文章末尾的GitHub源。

4,抓取结果

运行上节的代码,即可在控制台打印出提取结果,是一个xml文件,如果加上换行缩进,内容如下图:

5,集搜客GooSeeker开源代码下载源

  1. GooSeeker开源Python网络爬虫GitHub源

6,文档修改历史

  1. 2016-06-02:V1.0
  2. 2016-06-02:V2.0
  3. 2016-06-02:V2.1,增加GitHub下载源

若有疑问可以集搜客网络爬虫

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

GMT+8, 2021-2-28 20:13