我想获取特定博主的所有的帖子的情况,尝试使用博主主页采集,会漏掉很多日期
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2021-4-20 16:05

沙发
maomao 论坛元老 发表于 2021-4-20 16:05:44 | 只看该作者
你是用博主主页工具?选择全部历史博文

如果有缺失,有可能网页没有及时加载出来,然后爬虫就退出了。
可以参考这个帖子。https://www.gooseeker.com/doc/thread-18343-1-1.html
再添加链接的时候,选择通过链接翻页看到的全部博文。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-9-1 10:08