【集微库】微博采集工具箱使用常见问题

请问为什么我每次爬博文时，都只能导出46条数据呢？我已经在浏览器上登录微博了，想请问还有什么其他可能性呢？

ortonrocks 发表于 2020-4-14 09:43
请问为什么我每次爬博文时，都只能导出46条数据呢？我已经在浏览器上登录微博了，想请问还有什么其他可能性 ...

用的是微博的什么工具，添加的是什么连接，可以发出来我们测试一下

wangyong 发表于 2020-4-14 09:48
用的是微博的什么工具，添加的是什么连接，可以发出来我们测试一下

微博博主主页采集工具链接是：

https://www.weibo.com/shanghaicity?is_ori=1&is_forward=1&is_text=1&is_pic=1&is_video=1&is_article=1&key_word=&start_time=2019-11-01&end_time=2020-03-31&is_search=1&is_searchadv=1#_0

我是想搜集2019.11.1-2020.3.31. 上海发布的所有博文链接，谢谢

ortonrocks 发表于 2020-4-14 10:08
微博博主主页采集工具链接是：

https://www.weibo.com/shanghaicity?is_ori=1&is_forward=1&is_text=1&i ...

采集的时候在集搜客浏览器里登录微博了吗，我在登录状态下是可以正常采集到数据的

gz51837844 发表于 2020-4-14 10:16
采集的时候在集搜客浏览器里登录微博了吗，我在登录状态下是可以正常采集到数据的
...

我是点击它提示的{请先登录}然后在集搜客登录的，所以应该不是登录的问题?  是不是因为我现在不在国内？

ortonrocks 发表于 2020-4-14 10:35
我是点击它提示的{请先登录}然后在集搜客登录的，所以应该不是登录的问题?  是不是因为我现在不在国内？
...

网络不通畅的话可能会有数据加载不出来的情况，这个链接有二十多页，你可以重新采集，然后观察爬虫群窗口看看是在第几页停止的

wangyong 发表于 2020-4-14 10:48
网络不通畅的话可能会有数据加载不出来的情况，这个链接医用有二十多页，你可以重新采集，然后观察爬虫群 ...

好的谢谢您，我再看看

请问，可以爬取一个大话题中，微博的用户信息嘛？我用了某个话题的链接，然后打算爬取微博博主详细资料，可是在线索匹配那边是失败的，但是是有效链接。是不能用这样去爬取嘛？是一定要用微博博主主页链接才有效嘛？

上海垃圾分类 发表于 2020-4-14 19:34
请问，可以爬取一个大话题中，微博的用户信息嘛？我用了某个话题的链接，然后打算爬取微博博主详细资料，可 ...

这需要多个微博采集工具配合使用。比如，采集话题的时候，导出采集结果得到每个博主的网址，把博主网址添加到采集博主信息的工具。添加网址的操作要手工做

您好请问如何采集单条微博下特定日期的评论呢感谢