我在抓推特的过程中,遇到了麻烦。推特没有翻页按钮,往下拉就会一直更新,所以我设置不了翻页,就只能抓到当前页面的20条。怎么办啊,求各位走过路过的大神们

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2022-2-26 18:02

沙发
shenzhenuser1 版主 发表于 2021-8-3 15:08:38 | 只看该作者
再最新版的集搜客数据管家中不用再定义采集规则,有推特的快捷采集,输入链接就可以直接采集,其中也用到了连续滚屏来适应没有翻页按钮的推特瀑布流网页。操作步骤如下:
下载集搜客数据管家从左侧工具条进入快捷采集,找到社交网站下Twitter的采集入口


快捷采集中现在有三个Twitter采集入口,分别是:
推特关键词搜索采集(TwitterSearchData)
推特推主推文数据采集(TwitterAuthorTweetsData)
推特推文评论采集(TwitterTwittesCommentData)


进入对应的采集入口,添加与示例网址相同的网址,启动采集就可以免规则采集数据了

这是推特关键词搜索采集(TwitterSearchData)的采集结果示例:
举报 使用道具
板凳
曹寅飞 新手上路 发表于 2022-2-26 18:02:47 | 只看该作者
可是根本就采集不了呀,200多条评论就抓去了13条数据怎么回事呢?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 怎样让GooSeeker分词工具使用宋体画词云图
  • 使用BERTopic时遇到的c-TF-IDF是什么?
  • gooseeker分词工具的命名实体识别和词形还
  • 怎样设置LDA模型的超参数alpha(α)和beta(
  • LDA主题分析模型到底是什么?

热门用户

GMT+8, 2026-5-31 00:38