爬虫群还是不启动?只能启动一个


其他都是这样的

其他电脑连一个都启动不来,我的电脑最好情况是启动2个,大家有遇到这个问题吗?




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-1-13 16:57

沙发
xandy 论坛元老 发表于 2016-1-13 16:57:23 | 只看该作者
为了防止封锁,爬虫群有流量控制,一次启动两个。可以配置本地调度,也可以混合配置,自己编辑crontab文件,本地调度的话要把所有必选参数都写上,在高级教程里面有说明。如果想多个爬虫抓一个规则,可以编个混合crontab程序,指定爬虫抓规则,参考crontab教程http://www.gooseeker.com/doc/article-112-1.html,注意,如果配置过爬虫群,要把自己写的和爬虫群的合并放在一个crontab里。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 怎样让GooSeeker分词工具使用宋体画词云图
  • 使用BERTopic时遇到的c-TF-IDF是什么?
  • gooseeker分词工具的命名实体识别和词形还
  • 怎样设置LDA模型的超参数alpha(α)和beta(
  • LDA主题分析模型到底是什么?

热门用户

GMT+8, 2026-6-10 20:06