爬虫群还是不启动?只能启动一个


其他都是这样的

其他电脑连一个都启动不来,我的电脑最好情况是启动2个,大家有遇到这个问题吗?




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-1-13 16:57

沙发
xandy 论坛元老 发表于 2016-1-13 16:57:23 | 只看该作者
为了防止封锁,爬虫群有流量控制,一次启动两个。可以配置本地调度,也可以混合配置,自己编辑crontab文件,本地调度的话要把所有必选参数都写上,在高级教程里面有说明。如果想多个爬虫抓一个规则,可以编个混合crontab程序,指定爬虫抓规则,参考crontab教程http://www.gooseeker.com/doc/article-112-1.html,注意,如果配置过爬虫群,要把自己写的和爬虫群的合并放在一个crontab里。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-11-4 11:41