主题名:第一梯队酒店第二所评论0503
想抓去酒店评论的完整内容,但是不点击read more抓下来的只有页面上显示的内容,求大神指点怎么才能让她自动每一条评论都展开然后完成抓取?
万分感谢!!!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2019-5-5 14:42

沙发
Fuller 管理员 发表于 2019-5-4 16:02:22 | 只看该作者
这个网站比较神奇,只要点击第一条评论的Read More,所有评论的就都展开了。那么做一个点击动作,点击的xpath一定要控制好,只点击一次,比如:
  1. (//*[contains(@class,'hotels-review-list-parts-ExpandableReview__cta')])[1]
复制代码
连续动作的教程参看:https://www.gooseeker.com/doc/article-288-1.html
举报 使用道具
板凳
qrt065 初级会员 发表于 2019-5-4 18:11:11 | 只看该作者
Fuller 发表于 2019-5-4 16:02
这个网站比较神奇,只要点击第一条评论的Read More,所有评论的就都展开了。那么做一个点击动作,点击的xpa ...

感激!请问怎么让点击动作发生在抓取内容之前呢,我设置了点击动作,但是都是抓完内容以后再点开,好像没什么用。。
举报 使用道具
地板
Fuller 管理员 发表于 2019-5-4 18:50:28 | 只看该作者
qrt065 发表于 2019-5-4 18:11
感激!请问怎么让点击动作发生在抓取内容之前呢,我设置了点击动作,但是都是抓完内容以后再点开,好像没 ...

在点击之前确实会抓取一次。如果你不想要点击前的内容。那么点击前和点击后的主题名不一样,只把点击后的主题的抓取结果导出来就行
举报 使用道具
5#
qrt065 初级会员 发表于 2019-5-5 10:30:33 | 只看该作者
本帖最后由 qrt065 于 2019-5-5 10:39 编辑
Fuller 发表于 2019-5-4 18:50
在点击之前确实会抓取一次。如果你不想要点击前的内容。那么点击前和点击后的主题名不一样,只把点击后的 ...

求帮忙看一下 主题名1:成功酒店测试0505  主题名2:成功酒店测试050502

这个对不对,我导出来的数据重复了5遍,只有其中一组是对的,应该怎么修改呢?

我是不是应该先跑主题名1 再跑主题名2呢?万分感谢!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
6#
Fuller 管理员 发表于 2019-5-5 11:00:38 | 只看该作者
qrt065 发表于 2019-5-5 10:30
求帮忙看一下 主题名1:成功酒店测试0505  主题名2:成功酒店测试050502

这个对不对,我导出来的数据重复 ...

如果在第一级做了5个点击动作,那么每次点击之前都会采集一次,就重复5次。观察createdate字段,如果时间不同,那么就是因为点击动作造成的。如果内容相同,那么就是重复入库了

可以只入库第二级的内容,不入库第一级的内容。
举报 使用道具
7#
qrt065 初级会员 发表于 2019-5-5 13:16:30 | 只看该作者
Fuller 发表于 2019-5-5 11:00
如果在第一级做了5个点击动作,那么每次点击之前都会采集一次,就重复5次。观察createdate字段,如果时间 ...

怎么才能让他只点击一次呢?我设置第一个的,他就会显示样例复制里的节点路径不一致。节点的Xpath请问在哪里看呢?我看他写的点左边按钮自动生成,可是我点了并没有诶。谢谢谢谢!


举报 使用道具
8#
Fuller 管理员 发表于 2019-5-5 14:42:55 | 只看该作者
qrt065 发表于 2019-5-5 13:16
怎么才能让他只点击一次呢?我设置第一个的,他就会显示样例复制里的节点路径不一致。节点的Xpath请问在 ...

我看了一下你的规则,点击动作那个xpath没有问题。

但是抓取内容都定位不了了,规则需要重新做内容映射才能用
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-5 17:29