主题weibo_testzm 集搜客自定义规则只有一个爬虫运行

ShanA930

一个爬虫在运行中，另一个就是如图所示，未分配任务，这是怎么回事
规则名称：weibo_testzm
麻烦帮忙看一下

wangyong · 发表于 2018-6-1 16:53:45

这个规则只有两条线索，现在是一条失败一条成功

也就是还没来得及分配到其他窗口这个采集已经结束了，如果有其他网址需要采，可以都添加进去观察一下

另外可以调整爬虫群调度的参数，将最大允许爬虫数改成6，一轮线索数改成200

ShanA930 · 发表于 2018-6-1 17:27:47

wangyong 发表于 2018-6-1 16:53
这个规则只有两条线索，现在是一条失败一条成功

也就是还没来得及分配到其他窗口这个采集已经结束了，如果 ...

把其他的线索放进去，两个爬虫都可以爬了。
但是先问问这么设置爬虫数和线索数的目的是啥

wangyong · 发表于 2018-6-1 17:42:30

爬虫数就是最多可以几个窗口同时工作，数字越大可以分配到的窗口就越多

一轮线索数是一次抓取几条网址，如果填的是1就有可能无论爬虫数填的多大就都只有一个窗口在工作

共 3 个关于本帖的回复最后回复于 2018-6-1 17:42

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页