进行翻页采集，会报发现重复内容，终止翻页时怎么回事？

进行翻页采集，会报这样的错误，怎么处理

1.因为勾选了重复内容中断，连续的抓取到3个完全相同的XML结果文件，就会触发中断
2、这个功能是可以去掉的。在DS打数机的菜单中选择，高级 -> 终点标志 -> 重复内容，去掉勾选。

3、在爬虫群调度中也可以设置相应参数，取消重复内容中断。