有线索，有爬虫，已调度，为什么不爬数据？

有线索，有爬虫，已调度，为什么不爬数据？
调度里一轮线索已经设置到99。

1，调度的规则太多了，把已经抓完的规则移出罗盘
2，这条规则一共才139条线索，一轮线索数设置了99，一个爬虫群一轮就会调用99条线索，这个规则最多只会启动两个窗口，所以设置这么多窗口没用
3，爬虫群窗口设置多了，需要等待一会才会全部启动起来。
4，如果一直不启动，参考这个教程检查一遍《爬虫群一直显示正在等待采集任务有哪几种原因？ 》

嘉兴 发表于 2017-11-3 11:17
1，调度的规则太多了，把已经抓完的规则移出罗盘
2，这条规则一共才139条线索，一轮线索数设置了99，一个爬 ...

1.规则每天都要抓取数据，不能每天都人工手动移进移出吧？
2.一轮线索设置99，之前是20，参考其他办法让从20设置到99的。
3.爬虫窗口设置好了，等了11个小时也没有爬数据。

如果需要每天抓当然就不用移出来，一轮线索数是根据规则的总线索数来定的，并不能参考其他办法。窗口设置好了，一直没启动肯定是设置有问题，一般都是打数机和会员中心的账号登陆不一样，对着帖子检查一遍。再重新启动。

嘉兴 发表于 2017-11-3 11:36
如果需要每天抓当然就不用移出来，一轮线索数是根据规则的总线索数来定的，并不能参考其他办法。窗口设置好 ...

账号是对的，我现在只能试试重启

嘉兴 发表于 2017-11-3 11:36
如果需要每天抓当然就不用移出来，一轮线索数是根据规则的总线索数来定的，并不能参考其他办法。窗口设置好 ...

我重启完，开了一个爬虫窗口，一轮线索也设置到20，爬虫显示要抓取的规则名，但没爬数据


下面是该规则的调度设置

dfhs_data 发表于 2017-11-3 13:30
我重启完，开了一个爬虫窗口，一轮线索也设置到20，爬虫显示要抓取的规则名，但没爬数据

这个规则似乎没有保存，所以在启动的时候报“没有权限”，刚在后台给你保存了一下，现在可以了，正在检查原因。

嘉兴 发表于 2017-11-3 14:43
这个规则似乎没有保存，所以在启动的时候报“没有权限”，刚在后台给你保存了一下，现在可以了，正在检查 ...

好的，谢谢。
现在又发现问题，我昨天启动的爬虫抓数据。抓取完成后，我没有关闭爬虫，等待新一轮抓取。
我给规则定的是每天激活线索，是23点激活，也就是昨天晚上23点激活的线索。
我今天查看线索是激活了，但开启的爬虫没有抓取数据。
不知道又怎么了...

dfhs_data 发表于 2017-11-7 09:43
好的，谢谢。
现在又发现问题，我昨天启动的爬虫抓数据。抓取完成后，我没有关闭爬虫，等待新一轮抓取。
...

上周末好像升级了算法，不知道是否影响到调度这一块了，这个问题已经反馈上去了，今天应该会完善。

umsung 发表于 2017-11-7 09:56
上周末好像升级了算法，不知道是否影响到调度这一块了，这个问题已经反馈上去了，今天应该会完善。
...

好的，我等等看