服务器是如何给爬虫派发任务的？

fqzlala 发表于 2017-9-29 11:30
我现在是4个干活，4个不干活。感觉最近集搜客改了服务器爬虫调用规则了，估计是优化了吧。
我2个月前，用 ...

你现在了新版爬虫了吗？目前最新是8.3.0，确实改了调度，调度更快了。截止今天，只是把爬虫软件升级到了8.3.0，服务器的调度算法并没有变。正常的效果是：爬虫程序会更快地去取任务，而服务器产生调度任务的周期还没变。按理说分配到的任务不会变少。我查查你所在的调度库是不是负载很重

今天服务器负载有点大，任务调度确实变慢了3倍多，现在把负载做了调整，应该好了很多

Fuller 发表于 2017-9-29 12:13
今天服务器负载有点大，任务调度确实变慢了3倍多，现在把负载做了调整，应该好了很多 ...

对，现在是快多了，我确实也使用了，最新版本