本帖最后由 wangyong 于 2020-12-23 12:09 编辑

新浪微博里面评论要点击查看更多来翻页,为什么设置好规则,想爬取全部评论,但点了三次以后自动就停止了,还显示了采集完成?
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2020-12-23 12:09

wangyong 版主 发表于 2020-12-23 12:09:32 | 显示全部楼层
微博评论工具箱.png
在集搜客微博采集工具箱中有微博评论采集的入口,输入博文链接就可以采集这条微博下的评论,不需要另做采集规则
数据展示:
微博评论内容.png

使用微博工具箱前,可以先下载集搜客数据管家:https://www.gooseeker.com/pro/gooseeker.html,通过左侧工具条可以进入微博采集工具箱
数据管家-集微库.png
举报 使用道具
shengchengx 金牌会员 发表于 2017-6-21 09:30:58 | 显示全部楼层
自己做的规则么?规则名?
举报 使用道具
promise 新手上路 发表于 2017-6-21 09:38:55 | 显示全部楼层
shengchengx 发表于 2017-6-21 09:30
自己做的规则么?规则名?

对的自己做的。规则名:评论test1。 经常把映射做完做记号线索的时候就会显示页面结构变了,但是如果先做了记号线索,爬出来的就只有点了两到三次查看更多后的评论数据

举报 使用道具
shengchengx 金牌会员 发表于 2017-6-21 10:29:43 | 显示全部楼层
promise 发表于 2017-6-21 09:38
对的自己做的。规则名:评论test1。 经常把映射做完做记号线索的时候就会显示页面结构变了,但是如果先做 ...

改用模拟点击来做吧
《连续动作的模拟点击》
ss.jpg
然后设置重复次数为0,这样就可以循环到抓取到所有的评论
111.jpg
举报 使用道具
promise 新手上路 发表于 2017-6-21 11:15:24 | 显示全部楼层
shengchengx 发表于 2017-6-21 10:29
改用模拟点击来做吧
《连续动作的模拟点击》

规则爬到就会遇到这种情况,重复的爬同一批,这是怎么回事呢
图片1.png
举报 使用道具
shengchengx 金牌会员 发表于 2017-6-21 11:21:05 | 显示全部楼层
promise 发表于 2017-6-21 11:15
规则爬到就会遇到这种情况,重复的爬同一批,这是怎么回事呢

转换成Excel表格之后,用Excel做一个去重就好了

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 16:30