集搜客GooSeeker网络爬虫

标题: 爬虫群是一个规则对应一个爬虫吗？ [打印本页]

作者: wangyong 时间: 2015-12-18 20:39
标题: 爬虫群是一个规则对应一个爬虫吗？
爬虫群是一个规则对应一个爬虫吗？

作者: wangyong 时间: 2015-12-18 20:45
不是，只要开着爬虫群，并且规则设置了调度后，只要规则有线索爬虫群中没有工作的爬虫就会执行抓取。
如果想要爬虫群中的爬虫只抓取特定的规则，需要手工启动爬虫群的配置文件crontab。参看：手工配置爬虫群

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)