【集微库】微博采集工具箱使用常见问题

hualanyaxue 发表于 2023-5-28 16:32
新版微博界面是瀑布流，不能一下子爬取完，用cn端的爬取某个微博下的评论，也只能爬取50页，但是总数是大于 ...

微博评论是有这样的限制。如果网速和计算机处理速度都不错，可以尝试在网页端采集瀑布流网页，也许会采集更多。

不行的，昨天试了试，瀑布页只能爬取到微博博文，评论区不做样例映射还能爬取到十个左右，做了样例映射就爬不到了，仔细看了看网页的代码页，它应该是有反爬保护，没法爬。

采集到是能采集出来，但是私信没啥卵用

请问收集规则是不是改了，以前微博是转发微博的话，是可以收集到被转发微博的原始内容的，现在收集结果的列数明显变少了。按理是能够实现同时抓取的啊

fishhaichun 发表于 2023-9-25 17:08
请问收集规则是不是改了，以前微博是转发微博的话，是可以收集到被转发微博的原始内容的，现在收集结果的列 ...

你在用哪个工具采集数据，关键词搜索？博主主页？

Fuller 发表于 2023-9-25 20:03
你在用哪个工具采集数据，关键词搜索？博主主页？

我用的关键词搜索，去年收集到的微博内容是由转帖部分的，最近再收集就没有转发_博主id        转发_博主        转发_博主主页        转发_博主是否认证        转发_博文        转发_博文独立网址        转发_发布时间        转发_发布终端        转发_转发数        转发_评论数        转发_点赞数 这些项了

fishhaichun 发表于 2023-9-25 20:32
我用的关键词搜索，去年收集到的微博内容是由转帖部分的，最近再收集就没有转发_博主id        转发_博主        转发_ ...

此前微博网站曾经改过版，不显示被转发微博，所以，微博工具箱也做了相应调整。现在微博网站又显示这部分内容了，我们正在开发一个专门的快捷采集工具，用来采集被转发微博。快捷采集工具上线后会在这里跟帖通知您

fishhaichun 发表于 2023-9-25 20:32
我用的关键词搜索，去年收集到的微博内容是由转帖部分的，最近再收集就没有转发_博主id        转发_博主        转发_ ...

增加了一个快捷采集工具，可以采集到含有被转发博文的微博搜索结果：https://www.gooseeker.com/res/rule_860.html

如果要细分时间段，需要自己构造采集网址，比如每个小时一个网址，可以在excel中根据网址规律进行构造，可以参看这个例子：https://www.gooseeker.com/doc/thread-5666-1-1.html

Fuller 发表于 2023-9-26 12:09
增加了一个快捷采集工具，可以采集到含有被转发博文的微博搜索结果：https://www.gooseeker.com/res/rule ...

谢谢!更新的速度太快了

请问爬取的字段只有截图上面这些吗