新浪微博评论查看更多翻页问题，求大神指导！

promise

本帖最后由 wangyong 于 2020-12-23 12:09 编辑

新浪微博里面评论要点击查看更多来翻页，为什么设置好规则，想爬取全部评论，但点了三次以后自动就停止了，还显示了采集完成？

wangyong · 发表于 2020-12-23 12:09:32

在集搜客微博采集工具箱中有微博评论采集的入口，输入博文链接就可以采集这条微博下的评论，不需要另做采集规则
数据展示：

使用微博工具箱前，可以先下载集搜客数据管家：https://www.gooseeker.com/pro/gooseeker.html，通过左侧工具条可以进入微博采集工具箱

shengchengx · 发表于 2017-6-21 09:30:58

自己做的规则么？规则名？

promise · 发表于 2017-6-21 09:38:55

shengchengx 发表于 2017-6-21 09:30
自己做的规则么？规则名？

对的自己做的。规则名：评论test1。经常把映射做完做记号线索的时候就会显示页面结构变了，但是如果先做了记号线索，爬出来的就只有点了两到三次查看更多后的评论数据

shengchengx · 发表于 2017-6-21 10:29:43

promise 发表于 2017-6-21 09:38
对的自己做的。规则名：评论test1。经常把映射做完做记号线索的时候就会显示页面结构变了，但是如果先做 ...

改用模拟点击来做吧
《连续动作的模拟点击》

然后设置重复次数为0，这样就可以循环到抓取到所有的评论

promise · 发表于 2017-6-21 11:15:24

shengchengx 发表于 2017-6-21 10:29
改用模拟点击来做吧
《连续动作的模拟点击》

规则爬到就会遇到这种情况，重复的爬同一批，这是怎么回事呢

shengchengx · 发表于 2017-6-21 11:21:05

promise 发表于 2017-6-21 11:15
规则爬到就会遇到这种情况，重复的爬同一批，这是怎么回事呢

转换成Excel表格之后，用Excel做一个去重就好了

共 6 个关于本帖的回复最后回复于 2020-12-23 12:09

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页