试了很久,最高的一次是600条,都没有超过1000条的(目标评论区评论数有11.2万)
如何一次性采集1000条以上评论?
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2024-10-11 17:03

Fuller 管理员 发表于 2024-10-10 22:42:09 | 显示全部楼层
微博评论能够看到的数量是比较少的。比如虽然网页上某条博文有3w条评论,但是实际能浏览的只有几百条(甚至是0条)。
采集的时候,注意观察爬虫窗口,如果网页已经加载到底了,那确实只有这么多。

想要一次性采集1000条以上评论,首先需要网页可以公开看到1000条评论。
举报 使用道具
1224365770 新手上路 发表于 2024-10-10 22:44:44 | 显示全部楼层
Fuller 发表于 2024-10-10 22:42
微博评论能够看到的数量是比较少的。比如虽然网页上某条博文有3w条评论,但是实际能浏览的只有几百条(甚至 ...

那我如何计算评论区到底有多少评论呀?假设我真的划到抵了,我也估计不出来呀/(ㄒoㄒ)
举报 使用道具
Fuller 管理员 发表于 2024-10-10 23:07:21 | 显示全部楼层
1224365770 发表于 2024-10-10 22:44
那我如何计算评论区到底有多少评论呀?假设我真的划到抵了,我也估计不出来呀/(ㄒoㄒ)
...

估计不出来,要在采集中观察,如果滚一会屏不往下显示了就到底了
举报 使用道具
Fuller 管理员 发表于 2024-10-10 23:08:28 | 显示全部楼层
采集的时候,注意观察爬虫窗口,如果网页已经加载到底了,打包看看有多少条。这个数字应该是网页上实际的评论数
举报 使用道具
1224365770 新手上路 发表于 2024-10-11 08:59:59 | 显示全部楼层
Fuller 发表于 2024-10-10 23:08
采集的时候,注意观察爬虫窗口,如果网页已经加载到底了,打包看看有多少条。这个数字应该是网页上实际的评 ...

这是因为微博反爬吗?为什么显示只有这么一点点呀?/(ㄒoㄒ)/~~
举报 使用道具
Fuller 管理员 发表于 2024-10-11 09:59:27 | 显示全部楼层
1224365770 发表于 2024-10-11 08:59
这是因为微博反爬吗?为什么显示只有这么一点点呀?/(ㄒoㄒ)/~~

微博做了一些限制,或者是微博有删评论的情况,或者是博主设定了可见范围。评论比较热的一般都有下载不全的问题
举报 使用道具
1224365770 新手上路 发表于 2024-10-11 17:03:33 | 显示全部楼层
Fuller 发表于 2024-10-11 09:59
微博做了一些限制,或者是微博有删评论的情况,或者是博主设定了可见范围。评论比较热的一般都有下载不全 ...

好的,谢谢你
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-7 05:45