微博评论抓取不全

加为好友

为什么一个微博评论抓取不全,比如评论有7000多条，已经多次爬取得到三百多条评论，应该不是网速问题，爬着爬着跳转到博主主页的照片墙。

Fuller · 发表于 2021-7-3 09:34:51

微博评论很难抓取全的。手工滚动鼠标往下看就会知道，很容易遇到“没有更多评论了”，其实评论数很大很大。经过长期观察，发现，如果抓取评论或者转发，某一屏有过多删帖，甚至整屏都被屏蔽了，到那一屏基本上就会中断了。

再就是微博网站不稳定导致的，那么就要多采集几遍，取采到数量最多的那一次

13751501299 · 发表于 2021-7-3 14:01:08

Fuller 发表于 2021-7-3 09:34
微博评论很难抓取全的。手工滚动鼠标往下看就会知道，很容易遇到“没有更多评论了”，其实评论数很大很大。 ...

好的，谢谢

共 2 个关于本帖的回复最后回复于 2021-7-3 14:01

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页