一共3万条线索，失败了两千条左右？

如题，我用爬虫群抓取，这么多线索，其中失败了2000条。把抓取失败的线索再次激活，然后其中又有一小部分抓取失败了。
像这种，应该不是规则的错误吧？错误的话，3万条应该大多数都是失败的，而且，抓取失败的线索再次抓取，也是可以进行的。
有什么原因导致它抓取失败呢？大神，在采集这么多线索的时候，是不是也会遇到部分线索抓取失败的问题？

超时时常设置了多少？

在DS窗口下部有日志，日志内容是什么？

Fuller 发表于 2016-10-5 13:32
超时时常设置了多少？

在DS窗口下部有日志，日志内容是什么？

我用爬虫群采集的，开了20个窗口，没看到日志呀。

窗口开太多了，网路速度跟不上，cpu也不够用，线索从服务器上取的时候可能就失败了