|
我测试了4个网址,前三个都很好,也没有出现提示“爬虫参数还有优化空间”,第四个失败了,但是激活失败以后再次抓取,又成功了,根据我的观察,第一次是没有把评论显示出来。遇到这种网络不稳定的情况,可以重新激活线索再抓取一遍。
我是这样设置爬虫参数的
1)选择DS打数机菜单 配置-〉滚屏参数,滚屏次数设置成1,尽量少滚屏
2)勾选 配置-〉定时器触发,可以尽量减少提示“爬虫参数还有优化空间”
3)勾选 配置-〉全屏显示,一定要把窗口放到最大。
然后运行 单搜 或者 集搜
如果使用爬虫群,这些参数要在规则管理那里设置调度参数。
|
|
共 1 个关于本帖的回复 最后回复于 2016-12-17 10:14