快捷导航
本帖最后由 ym 于 2017-2-9 17:11 编辑

常见问题 > 制作规则—常见问题导航 > 翻页 > 翻页重复、死循环的解决方法

1、首先说明一下为什么会有重复采集的情况发生

通常是翻页采集时,会在最后一页上重复采集,这是因为翻页的标记值依然存在,爬虫就会一直点击,从而无法跳转到下一条线索。而有独立网址的网页(不涉及翻页),就不会有重复采集的情况发生。
重复采集.png

2、如何解决重复采集的情况
1)通过“单搜”/“集搜”采集的话,要设置DS打数机的高级菜单->勾上重复内容,这样的话,当一个页面重复采集达到3次,爬虫就会停止采集该网址,然后跳到采集下一条网址。最后,可以通过excel过滤掉重复的数据。
勾上重复内容.png

2)通过爬虫群采集的话,要在规则的调度中把重复内容选择为是。
控制翻页.png

3)到MS谋数台中修改规则,首先要找出最后一页翻页记号的结构变化,然后在爬虫路线中自定义翻页的xpath,点击保存修改后就不用点存规则了,否则会被原来的采集程序覆盖。详情参考教程的第三步的第1,2点《怎么解决翻页死循环/重复翻页的问题》


4)若下一页按钮里带有下页网址,可以删掉翻页线索,把下一页的网址采集下来并设置下级线索,目标主题名依然填本级的主题名,然后用爬虫群采集就可以自动逐页采集,遇到采集失败的情况,只需激活失败线索,爬虫群就可以继续采集下一页,详细操作参考这篇文章的第三步第3点《实战:怎么解决翻页死循环/重复翻页的问题》

举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2016-10-4 08:44

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 摘取泉港区政府工作报告中的数字遇到的问题
  • 调度设置参数说明
  • 集搜客网络爬虫软件实现自动网页截屏
  • 怎样使用搜狐新闻搜索列表快捷工具抓取关键
  • 用于清洗文本内容的Excel函数公式

热门用户

GMT+8, 2019-8-20 01:16