【集微库】微博采集工具箱使用常见问题

你好，我一直采集途中显示已停止，timeout，我尝试很多网站了，之前都挺好用的，这是为什么呢，该怎么解决呢

1. 你有没有在GS浏览器登录微博？要登录微博。
2. 是不是爬得太多，出验证码？
3. 微博主页采集的话，可以按分页，或者按时间，分段采，断了，也能接上。

gjcjonas 发表于 2017-5-17 00:27
你好，我一直采集途中显示已停止，timeout，我尝试很多网站了，之前都挺好用的，这是为什么呢，该怎么解决 ...

比如姚晨的微博比较多，可以按时间打开来采集。

比如我爬的一条微博有w+的评论，怎么设置能让他只爬其中一部分呢

gjcjonas 发表于 2017-5-17 16:05
比如我爬的一条微博有w+的评论，怎么设置能让他只爬其中一部分呢

评论没法控制，而且也不能从中间某个分页开始抓。而且特别容易中断，这么多评论，基本上抓不全，只能抓前面的

微博“展开全文”后的内容抓取不到，麻烦改进一下，谢谢。

wyz64213124 发表于 2017-5-17 22:59
微博“展开全文”后的内容抓取不到，麻烦改进一下，谢谢。

这个的改进方法我们研究一下，用连续动作逐个点开可以抓取，但是速度会比较慢

选择了采集博主主页全部信息，采集主页一部分信息后，后面的页面无法加载出来，然后就显示加载完毕了。这个情况是什么原因？

沐雪弦歌 发表于 2017-5-21 13:34
选择了采集博主主页全部信息，采集主页一部分信息后，后面的页面无法加载出来，然后就显示加载完毕了。这个 ...

这个微博网站的速度有关，可以从断掉的地方接上，就是手工翻页到断掉的地方，把网址拷贝下来，创建一个新任务，就能从这里开始抓取

我想采集一条微博下的评论，但是用这个工具一直不成功，没有反应，我检查了
1服务器连接正常
2也在gooseeker里登录了微博
3链接是该条微博的独立链接
但是弹出来的窗口一直显示的是“等待分配采集任务”
我是第一次用这个软件，还是个小白，看到提问区有人说要运行爬虫群才可以？但是操作指南上没有说这一步，我是漏掉了什么吗……
求高人指点！！！