翻页抓取数据什么时候停止？

请问翻页抓取数据什么时候停止？

在翻页抓取中，会勾上“连贯抓取”，表示在执行抓取任务时，爬虫会在DS打数机窗口内抓取完当前页面后直接跳转到下一个页面进行抓取。也就是在同一爬虫窗口内抓完第一页内容后继续抓第二页等后续页面，直到一直抓到翻页的最后一页，就会自行停止。

何波波 发表于 2016-10-28 14:35
在翻页抓取中，会勾上“连贯抓取”，表示在执行抓取任务时，爬虫会在DS打数机窗口内抓取完当前页面后直接跳 ...

可是如果是那种“显示更多”类型的翻页怎么办？

Portiken 发表于 2018-1-18 08:47
可是如果是那种“显示更多”类型的翻页怎么办？

这种类型的翻页也是一样的，只要在DS打数机的菜单中选择，高级 -> 终点标志 -> 重复内容，勾上“重复内容”，连续抓取到3个完全相同的XML结果文件，就会触发中断。最后一页连续抓取三次自然就会中断采集。