如何完整抓取搜狐新闻文章?

2018-4-18 19:01| 发布者: ym| 查看: 22738| 评论: 0

摘要: 一、操作步骤 今天教大家抓取搜狐的新闻文章,重点讲解怎么抓取到完整的正文内容,怎么批量抓取新闻,方法是通用的,可以应用到其他新闻网站的抓取,总体操作步骤下: 二、案例+操作步骤 采集规则:搜狐新闻正文采集 ...

注:集搜客GooSeeker爬虫从V9.0.2版本开始,爬虫术语“主题”统一改为“任务”,在爬虫浏览器里先命名任务再创建规则,然后登录集搜客官网会员中心的“任务管理”里,就可以查看任务的采集执行情况、管理线索网址以及做调度设置了。

一、操作步骤

今天教大家抓取搜狐的新闻文章,重点讲解怎么抓取到完整的正文内容,怎么批量抓取到更多新闻,方法是通用的,大家可以应用到其他新闻网站的抓取,总体操作步骤如下:


二、案例+操作步骤

  • 采集规则:搜狐新闻正文采集
  • 样本网址:http://www.sohu.com/a/227999170_123753?_f=index_chan08news_8&qq-pf-to=pcqq.temporaryc2c
  • 采集内容:新闻标题、作者、时间、正文

第一步、打开网页

1.1,打开集搜客软件,输入网址然后敲Enter键,等网页加载出来后再点击右上角的“定义规则”按钮,可以看到有一个浮窗显示出来,这是工作台,下面定义规则就会输出在上面。

1.2,在工作台输入主题名,然后点击查重,如果提示被占用,就要换一个名字,保证主题名是唯一的。


第二步:标注信息

2.1,在浏览器窗口里用鼠标单击想要抓取的内容,这里是选中了新闻标题,然后就会看到整个标题变成了黄色底,还有红框闪烁框住这个范围,根据黄色范围检查有没有选对信息,没问题再单击一下,弹出一个标签窗口,输入标签名字后,点击打勾保存或者敲enter键保存,规则里首次标注还要输入整理箱名字,确定之后在右上角的工作台里可以看到输出的数据结构;

2.2,按照前面的操作,把网页上的作者和发布时间也做上标注映射;

2.3,接下来要对正文做标注,如果你是点击正文的一个段落,只会选中了这一段的范围,想要抓取到全部的正文,要点击到正文的空白处,就会看到正文被全部选中,再点击一下做标注映射;

PS:如果是其他网页,不一定是点空白处选中全部,可以多点点其他位置,直到把你要的内容范围选中为止;

2.4,如果一直点击不到可以选中全部范围的位置,可以点一下目标信息的一部分,底部的dom窗口就会定位到这个信息对应的网页节点,然后点击包含这个节点的各个上层节点,直到网页上能看到选中了全部范围为止;


2.5,然后右击这个节点,快捷菜单里选内容映射->新建抓取内容->输入标签名,这个操作结果是跟前面步骤2.3是一样的;


第三步、存规则,抓取数据

3.1,点击右侧的测试按钮,预览输出信息是否完整,没有问题就点右上角的保存按钮,再点“爬数据”,就弹出一个DS打数机窗口,开始抓取数据;

3.2,前面只抓到了一个网页新闻,很多人会问要怎么做才能抓取到更多新闻呢?很简单,只要网页结构跟样本页面一样,就可以使用这个规则来抓取信息,所以,我们可以把跟这个页面结构相同的其他搜狐新闻网址整理出来,然后添加到规则里,操作是在打数机上右键规则,点击“管理线索”然后选择“添加”,把网址拷贝进去再保存,然后点规则旁边的“单搜”,就开始逐个网页采集。另外,还可以用层级采集的方法,实现网址的自动导入,详情见《采网址做层级采集》。



第四步、转为Excel表

4.1,采集成功的数据会以xml文件的形式保存在电脑的DataScraperWorks文件夹中,点击左上角的文件菜单->存储路径可以找到文件夹的位置。

4.2,然后我们可以将采集到的xml文件压缩成一个zip的压缩包,到会员中心的规则管理,选择对应的规则,再点击导入数据,选择压缩好的zip压缩包导入进去。导入成功之后再点击导出数据,下载下来的就是Excel文件了。

1

鲜花

握手

雷人

路过
2

鸡蛋

刚表态过的朋友 (3 人)

相关阅读

最新评论

GMT+8, 2024-10-16 16:31