爬虫群设置中的结果入库和重复内容中断是什么意思?

重复内容中断的判定是什么？链接相同就中断还是？

1，如果勾选了结果入库的话是在使用爬虫群窗口来抓取数据时，抓取和入库都是自动进行的，会自动打包上传，你只需要去会员中心导出数据就可以了
2，重复内容中断的判定是如果连续的抓取到3个完全相同的XML结果文件，就会触发中断。