爬虫群窗口的个数如何确定？

我有一个大概1W条线索的规则，开了10个打数机窗口共同采数据（调度中也设置最大爬虫个数了，每个爬虫窗口最大线索数设置为20）。
实际爬数据的时候，为什么只有几个爬虫窗口在运行？
剩下的窗口都是显示，总线索数：20 SCTEN 剩余线索：0 RSCH。
计算了下，10个窗口大概只有3—5个在采集数据，剩下的都是上边的那种，发挥不出10个窗口的作用呀。

在会员中心的设置，你截个图给我看看，是不是设置的不对

Fuller 发表于 2016-9-27 21:16
在会员中心的设置，你截个图给我看看，是不是设置的不对

我找到错误原因了。是我的问题。
另外，问下大神，我用五个爬虫窗口采集数据，这也容易被网站封IP？其他参数如下。

2445406817 发表于 2016-9-28 09:50
我找到错误原因了。是我的问题。
另外，问下大神，我用五个爬虫窗口采集数据，这也容易被网站封IP？其他参 ...

要看对方网站的防采策略，一开始设置大一些，探测一下他们防采界限，然后调整到一个恰好的数量。

要长时间无人值守爬数据，我一般都控制在2个窗口，缓缓地持续不断地爬。如果有人守着，就一次开多一些，封锁后马上调整

开多几个怎样才知道开始被封锁了，一封锁还能采吗？有点不理解谢谢

可以一个一个往上加

不是所有的网站都会封锁，封锁后就会出现验证码或者网页打不开的情况

出现后清cookie换IP后可以继续采集