同一个规则可以同时运行几个爬虫？

强者的历史

一个规则可以同时运行几个爬虫？我有用爬虫群来采集，就是不清楚有没有上限

ym · 发表于 2016-10-20 17:55:12

本帖最后由 ym 于 2016-10-20 18:01 编辑

一台电脑最多可以运行20个爬虫窗口，可以只采集一个规则的数据，也可以用来采集多个规则的数据，一个规则分配给多少个爬虫，这是由规则的调度参数“最大允许运行爬虫数”来控制的，分配逻辑可以看这篇文章了解http://www.gooseeker.com/doc/thread-3782-1-1.html

Fuller · 发表于 2016-10-20 17:56:09

爬虫群跑多了，对方网站会封锁你的。如果使用同一个IP地址，抓取同一个规则，这个IP最好不要超过4个爬虫窗口，控制在抓一个网页至少用1秒钟，不要太快了

强者的历史 · 发表于 2016-10-20 18:02:06

明白，谢谢

同一个规则可以同时运行几个爬虫？

共 3 个关于本帖的回复最后回复于 2016-10-20 18:02

推荐板块

精彩推荐

热门话题

热门用户

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页

同一个规则可以同时运行几个爬虫？

共 3 个关于本帖的回复 最后回复于 2016-10-20 18:02

推荐板块

精彩推荐

热门话题

热门用户

共 3 个关于本帖的回复最后回复于 2016-10-20 18:02