为什么启动爬虫群采集有时候加载会很慢

小安河

我开了爬虫群采集，有时候加载网页很慢，以至于抓不到数据，不通过爬虫群，手工采集就可以正常抓取，是什么原因呢？

ym · 发表于 2017-2-9 11:35:56

1、是网速问题
2、网页大小问题，ajax网页、多图片网页、超长网页等都会比较慢
3、爬虫群会消耗电脑内存，多个爬虫的情况，电脑负荷大

小安河 · 发表于 2017-2-9 11:37:21

我的网速很快，那第2和第3个原因要怎样解决

ym · 发表于 2017-2-9 11:41:32

对第2个的解决方法：修改调度设置，让爬虫采集放慢速度，参考http://www.gooseeker.com/doc/thread-676-1-2.html
对第3个的解决方法：爬虫群的数量要控制好，不是越多越好的，要找到一个平衡的数量值，这样才能采到更多数据

共 3 个关于本帖的回复最后回复于 2017-2-9 11:41

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页