想要研究微博用户赞过的文本,就用了快捷采集里-ta点赞过的微博那个选项去爬取,我明明选了只爬取10页,结果每次都会在爬的过程中把10页之后的点赞页数全翻,爬没爬10页之后我不清楚,但是效率真的挺低的了,我要爬100个用户研究,一个用户点赞都上万条,我只要10页就够了,但是每次又全翻。有没有什么解决办法?
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2020-12-22 13:05

沙发
Fuller 管理员 发表于 2020-12-20 18:22:50 | 只看该作者
是这个ta点赞过的微博数据吗?刚才我测试这个快捷采集工具,其实没有测试成功,如果你能翻页,似乎不是这个快捷采集。
明天我让技术人员检查一下是不是网页改版了,匹配不到数据了

举报 使用道具
板凳
biliblue 初级会员 发表于 2020-12-22 12:36:42 | 只看该作者
Fuller 发表于 2020-12-20 18:22
是这个ta点赞过的微博数据吗?刚才我测试这个快捷采集工具,其实没有测试成功,如果你能翻页,似乎不是这个 ...

好的好的,谢谢!请能尽快修复,毕业论文实验需要用到这个数据,爬取不了很难受
举报 使用道具
地板
biliblue 初级会员 发表于 2020-12-22 12:37:31 | 只看该作者
Fuller 发表于 2020-12-20 18:22
是这个ta点赞过的微博数据吗?刚才我测试这个快捷采集工具,其实没有测试成功,如果你能翻页,似乎不是这个 ...

用的是ta点赞过的微博数据这个工具
举报 使用道具
5#
Fuller 管理员 发表于 2020-12-22 13:05:31 | 只看该作者
biliblue 发表于 2020-12-22 12:37
用的是ta点赞过的微博数据这个工具

你用这个软件版本爬这个数据:https://www.gooseeker.com/pro/product.html

目前我们发现新版本的数据管家在处理这个数据的时候有问题
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-7-17 22:02