一个避免爬虫误判退出的建议

ray_zhurui

建议在每条线索执行抓取动作前设置一个可调的等待时间，避免爬虫误判退出。有时候网页没加载完毕，翻页按钮都还没加载进来爬虫就判定没线索了。

Fuller · 发表于 2016-11-30 09:18:33

这两个参数都对延迟有作用，尤其第一个，有没有试过？

ray_zhurui · 发表于 2016-11-30 10:31:30

Fuller 发表于 2016-11-30 09:18
这两个参数都对延迟有作用，尤其第一个，有没有试过？

试过。滚屏次数有点延迟的作用。但是还是会误判。另外那个延时感觉就没生效

共 2 个关于本帖的回复最后回复于 2016-11-30 10:31

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页