爬虫群是一个规则对应一个爬虫吗？

大帝烦人

爬虫群是一个规则对应一个爬虫吗？

shengchengx · 发表于 2017-12-6 17:16:32

不是，只要开着爬虫群，并且规则设置了调度后，只要规则有线索爬虫群中没有工作的爬虫就会执行抓取。
如果想要爬虫群中的爬虫只抓取特定的规则，需要手工启动爬虫群的配置文件crontab。参看：手工配置爬虫群

共 1 个关于本帖的回复最后回复于 2017-12-6 17:16

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页