我在抓推特的过程中,遇到了麻烦。推特没有翻页按钮,往下拉就会一直更新,所以我设置不了翻页,就只能抓到当前页面的20条。怎么办啊,求各位走过路过的大神们

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2022-2-26 18:02

wangyong 版主 发表于 2021-8-3 15:08:38 | 显示全部楼层
再最新版的集搜客数据管家中不用再定义采集规则,有推特的快捷采集,输入链接就可以直接采集,其中也用到了连续滚屏来适应没有翻页按钮的推特瀑布流网页。操作步骤如下:
下载集搜客数据管家从左侧工具条进入快捷采集,找到社交网站下Twitter的采集入口


快捷采集中现在有三个Twitter采集入口,分别是:
推特关键词搜索采集(TwitterSearchData)
推特推主推文数据采集(TwitterAuthorTweetsData)
推特推文评论采集(TwitterTwittesCommentData)


进入对应的采集入口,添加与示例网址相同的网址,启动采集就可以免规则采集数据了

这是推特关键词搜索采集(TwitterSearchData)的采集结果示例:
举报 使用道具
曹寅飞 新手上路 发表于 2022-2-26 18:02:47 | 显示全部楼层
可是根本就采集不了呀,200多条评论就抓去了13条数据怎么回事呢?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为

热门用户

GMT+8, 2025-1-18 09:16