重新采集一遍，下级线索会不会重复？

重新采集一遍，下级线索会不会重复？有些线索采集失败了，中途断掉了，重新激活采集的话，数据和下级线索会重复吗？

1，如果是采集失败了，失败的线索本来就没有生成结果文件 所以数据和下级线索都不会重复。
2，如果中途断掉了，对于有翻页的情况，如果执行了一半就失败了，这时候已经有多个结果文件生成，如果激活该条线索后重新抓取，会出现重复采集的情况，所有会有重复的数据，可以对结果进行去重处理。但下级线索依旧不会重复，当生成已存在的线索时，只会被当作一条。