为什么爬虫群采集数据会漏采线索？

开了3个爬虫窗口采集数据，一共3723条线索，漏采了200多条线索，规则管理界面显示这些线索还在抓取中，但是调度中心显示没有线索在采集，打数机也没有再分配任务，这是怎么回事啊？？？

采集过程中会发生异常，比如，超时了，结果线索无论是抓取成功还是抓取失败，都无法把状态上报上去，就遗漏在了“抓取中”。这种可以当成失败线索，可以执行“激活失败线索”重新抓取

谢谢~已经按照给的方法解决了！有个问题，发现线索大多是因为翻页的问题变成“抓取中”，规则设置了翻页但线索就1页，然后日志显示重复内容之类的，分析规则也是因为翻页的问题。最后，我是把抓取中的线索一遍遍激活再采集，有没有更好的办法？？？

稀饭客 发表于 2018-9-28 17:34
谢谢~已经按照给的方法解决了！有个问题，发现线索大多是因为翻页的问题变成“抓取中”，规则设置了翻页但 ...

这个应该是我们爬虫的bug，这说明爬虫已经正确地发现了重复内容，但是执行了中断以后，没有把状态上报给服务器。才会显示“抓取中”。这个本来应该显示“完成”，其实数据都已经采集到了。不用再重新激活了。
我把这个问题反馈给开发去解决。谢谢为我们发现这个bug