抓取新浪微博总是出现timeout to load page

您好:

主题是T3.22.1~Tm3.22.5,五个采用批量抓取,进行不到一会就卡主了,显示timeout to load page请问如何解决这个问题。
两个批量抓取的其中一个设置如下:

true
2
10800
false
2
10

T3.22.1

T3.22.1
60000
3
false
80
true
-1
-1
false
0
2
10
false
false
false

T3.22.1
false
80
-1
-1
true
0
true
3

一页都抓不了吗?

如果一页都抓不下来,那是抓取规则不合适,如果能够抓些,那可以适当将超时时长定大些

可以抓取部分

您好,可以抓取一部分下来,这个有没有可能抓取新浪微博不支持一个登录账户多个线程抓取啊

新浪微博抓取速度

新浪微博的抓取速度和数量确实不能太大,要分散多多台计算机上,用不同帐号和线路才安全。但是,这个问题应该不是这个原因,多个线程是没有问题的,比如,3个,4个。这个问题应该还是抓取规则不太合适。

另外,通信线路的带宽多大?我们有个项目,一台计算机用2M ADSL就行,还有一台部署在北京,好像只有256K,就容易超时。