下级页面数和统计下及线索数不一致

我看了下抓取后的结果文件，1000个下级线索是都抓取到了的，但在二级页面抓取时，统计线索却只有400多条呢？

可能有几个原因：
1、你做的规则不适用，导致网址漏采了，你要回去抽样检查下结果文件，看网址是否漏采了；
2、下级线索的网址太长，如果超过255个字符，网址之间的区别是在255个字符之后，就区分不出来，这样导致部分网址是重复的，而下级线索是会自动去重的；
3、采集到的网址本身就是有重复的，和原因2一样，这样统计的线索数就会减少。

遇到了同样的问题，检查后感觉并不是上述原因。

sanmuluoluo 发表于 2017-1-4 14:39
遇到了同样的问题，检查后感觉并不是上述原因。

3种原因都认真排查一下，因为有那么多的话肯定会采集到的

应用场景参看：《抓取了1000个网址作为下级线索，但二级页面抓取时统计线索只有400多条？》