微博评论的采集不完整,1.1万条,只采集了163条,什么原因?
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2019-11-14 16:25

lan_1985 金牌会员 发表于 2019-11-14 15:28:59 | 显示全部楼层
本帖最后由 lan_1985 于 2019-11-14 16:24 编辑

1、微博评论是瀑布流,一般不可能全部都显示出来,有些博文的评论,虽然有几万条,但是可能只显示200条左右。

2、有些博文的评论虽然显示比较多,采集的时候,要很好的网速和计算机速度,才能采集到更多。
举报 使用道具
Fuller 管理员 发表于 2019-11-14 16:25:24 | 显示全部楼层
如果采集数量与预期差别很大,应该手工检查一下,就是把这条微博打开,根据采集到的数量基本上估计出来翻页了多少,手工翻页过去看看。

根据多年采集微博的经验,有些微博评论翻页到某个位置后,就会显示没有更多评论了,但是看到的数字是很大的,很可能是管理员做了评论屏蔽
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 22:50