本帖最后由 ym 于 2016-5-24 14:27 编辑

打数机可以暂停吗?因为我从200页中断了,切不回去,速度太快了。我想调慢点怎么弄
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2016-11-19 12:40

沙发
Anna J 中级会员 发表于 2015-12-30 11:48:34 | 只看该作者
可以,详情可以看爬虫群的介绍http://www.gooseeker.com/doc/article-200-1.html
举报 使用道具
板凳
Fuller 管理员 发表于 2015-12-30 14:58:28 | 只看该作者
为爬虫群设置调度参数的时候,可以用两个参数:线索间等待最短时间 和 线索间等待最长时间,比如,设置成2和5,那么就会等待2~5秒
举报 使用道具
地板
gooseeker_info 金牌会员 发表于 2016-10-2 15:55:44 | 只看该作者
总结一下,影响采集速度的参数有:
1,线索间等待最短时间  和 线索间等待最长时间  的组合,如 @Fuller 所说
2,最大允许运行爬虫数量:这是运行这个主题的爬虫数量,也就是并行运行的数量,1个最慢
3,延迟抓取时间、一轮线索数量,这个两个组合在一起,让一轮线索数量变小,延迟抓取时间变长,那么每轮调度的周期变长了,每一轮抓的也少了,就会大大变慢
4,超时等待时间:只对失败线索有效,如果这个时间很长,失败前等待时间就长,但是,对于成功抓取的,不会达到这个时间的
5,滚屏次数、滚屏速度,这个两个组合在一起,滚屏速度设置成负数,滚屏次数提高,那么滚得很慢,都是要额外滚很多屏,也会大大变慢
举报 使用道具
5#
Fuller 管理员 发表于 2016-11-19 12:40:08 | 只看该作者
这里有个讨论《降低速度防止封锁IP
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-4 08:16