翻页一直在循环

AnswerDSL

翻页抓取的时候，翻到最后一页了还会点击下一页然后回到第一页，最后会一直循环下，怎么解决这个问题？

AnswerDSL · 发表于 2016-8-3 15:16:19

通常是翻页采集时，会在最后一页上重复采集，这是因为翻页的标记值依然存在，爬虫就会一直点击，从而无法跳转到下一条线索。而有独立网址的网页（不涉及翻页），就不会有重复采集的情况发生。具体解决的办法请参考http://www.gooseeker.com/doc/thread-1992-1-1.html。

Fuller · 发表于 2016-8-3 17:38:53

设置上根据标志中断或者根据重复内容中断，这个问题就能解决

共 2 个关于本帖的回复最后回复于 2016-8-3 17:38

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页