想问一下今天操作上的问题,我用微博工具箱的评论工具搜集微博评论信息时,找的微博网页上显示有一千多条评论,链接也没有错误,但是最后采集到的没有1千条,是怎么回事呀
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2020-12-2 09:25

沙发
内容分析应用 金牌会员 发表于 2020-12-2 09:22:04 | 只看该作者
采集微博时,要想尽量采集的多,有以下建议:
1.爬微博之前,一定要在集搜客浏览器登陆微博
2.网速要好,网速好,才能及时加载网页,把评论加载出来
3.计算机处理速度要快,这样才能及时把评论网页加载出来
4.采集量大了,要及时清缓存
举报 使用道具
板凳
内容分析应用 金牌会员 发表于 2020-12-2 09:25:14 | 只看该作者
一方面,微博网站能够浏览的评论可能只是部分,比如虽然看到评论数上万,可是能够实际浏览的可能不到千条,有些评论被屏蔽或者被删除了;
另一方面,weibo评论是瀑布流,不是翻页,很难说能采集多少。

比如下面这条博文,网页上显示的评论数是9979条,可实际查看时,微博网站总共只显示了436条评论







举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 10:24