抓取链接数量误差

sancunjiucheng

请问集搜客的统计线索数与实际要抓取的个数数量有偏差，
属于正常吗？
多搜集几次是否可以解决？？

Fuller · 发表于 2019-7-3 16:20:10

可能有多种原因：
1，在网页上看到一个数量，但是实际上网页上有重复网址，那么爬虫生成线索的时候就会过滤掉重复的。这种情况多爬几遍也没有用
2，爬虫生成线索的时候，遇到异常情况漏了，这种情况可以多爬几次补上

共 1 个关于本帖的回复最后回复于 2019-7-3 16:20

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页