【集微库】微博采集工具箱使用常见问题

121669917 发表于 2016-7-12 09:15
为什么只有转发的信息呢？怎样才能将评论的信息也一并抓出去？谢谢~~~~~

左边有个页签，可以选择评论或者转发

我想获取积分，请问哪位大神知道怎样免费获取吗？

我分时段采集微博数据，恰好是31页，为什么只爬了6页就不爬了。

liqiuyi 发表于 2016-7-18 13:05
我分时段采集微博数据，恰好是31页，为什么只爬了6页就不爬了。

我们的工具没有限制采集的页数，只是微博是有反爬虫机制的，估计是被监测到了，所以翻页到中间就失败了，你可以换个微博账号并且清理浏览器cookies后，再添加一遍采集。

参看我这个回答试验一下：http://www.gooseeker.com/doc/thread-2100-1-1.html

已经采集好的任务不可以一起打包吗？感觉一个一个打包很麻烦

Fuller 发表于 2016-7-12 11:30
左边有个页签，可以选择评论或者转发

我试了一下你们的“微博博主主页数据采集”，有两个问题：1、选择了全部，为什么只抓了一部分？那怎么设置特定时间内的发布的微博信息呢？2、在数据结果中，只给了1个转发者的信息，怎么能获得全部转发情况呢？

ym 发表于 2016-7-18 16:07
我们的工具没有限制采集的页数，只是微博是有反爬虫机制的，估计是被监测到了，所以翻页到中间就失败了， ...

微博博主主页数据采集添加任务时可以分时段吗？

121669917 发表于 2016-7-20 16:53
我试了一下你们的“微博博主主页数据采集”，有两个问题：1、选择了全部，为什么只抓了一部分？那怎么设 ...

网络不好的情况，加载网页要等很长时间，这种情况还没加载到网页就会采集失败。你可以找个网络好的地方进行采集，或者，等到访问量比较少的时候再采集，如凌晨。

要采集微博的转发/评论信息，请用微博转发&评论工具来采集，把博文的独立网址添加到任务中。

博主主页的采集是可以分时间段或者单页采集。直接修改博主的页面地址中的日期或者页码就行
http://weibo.com/u/1738932247?is ... 1606&page=3#feedtop

大家注意反爬的技巧，请参看这个帖子：http://www.gooseeker.com/doc/thread-2109-1-1.html