集搜客GooSeeker网络爬虫

标题: 翻页一直在循环 [打印本页]

作者: AnswerDSL 时间: 2016-8-3 15:16
标题: 翻页一直在循环
翻页抓取的时候，翻到最后一页了还会点击下一页然后回到第一页，最后会一直循环下，怎么解决这个问题？

作者: AnswerDSL 时间: 2016-8-3 15:16
通常是翻页采集时，会在最后一页上重复采集，这是因为翻页的标记值依然存在，爬虫就会一直点击，从而无法跳转到下一条线索。而有独立网址的网页（不涉及翻页），就不会有重复采集的情况发生。具体解决的办法请参考http://www.gooseeker.com/doc/thread-1992-1-1.html。

作者: Fuller 时间: 2016-8-3 17:38
设置上根据标志中断或者根据重复内容中断，这个问题就能解决

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)