我想要爬取的是一个网站的客户产品评价,但是每一条评价都要“展开全部内容”才能够显示完全,一页里面有几十条评论。看了教程只有作一次模拟点击的,求问大神们怎么设置能自动把所有的都点击了(并且翻到下一页也能自动点开所有“展开全部内容”)?谢谢!!!

举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2020-10-13 16:13

wangyong 版主 发表于 2020-10-13 16:13:24 | 显示全部楼层
采集新浪微博的“展开全文”内容,可以使用快捷采集的微博全文采集入口:https://www.gooseeker.com/res/da ... 8%E9%87%87%E9%9B%86
将博文独立链接输入后自动采集完整数据,具体参考帖子:https://www.gooseeker.com/doc/thread-10542-1-1.html
举报 使用道具
xandy 论坛元老 发表于 2017-3-3 16:39:36 | 显示全部楼层
这个要用到连续动作,连续动作可以定位到所有的“展开全部内容”,然后一一去做点击。
你先去看教程:《教程->高级教程->连续动作》
17-03-03 连续动作教程.jpg
左侧目录树展开就能看全了。
举报 使用道具
isywend 新手上路 发表于 2017-3-3 17:47:18 | 显示全部楼层
xandy 发表于 2017-3-3 16:39
这个要用到连续动作,连续动作可以定位到所有的“展开全部内容”,然后一一去做点击。
你先去看教程:《教 ...

谢谢您的帮助,但是我看了教程,没有关于连续多次单击动作的,试着自己做了一下,还是不行。。。单击展开全部内容后,网页结构变了,第二级采集文本时需要先取消掉“内容定位”把第一页的所有“展开全部内容”点开之后再提取吗??

举报 使用道具
ym 版主 发表于 2017-3-3 17:58:02 | 显示全部楼层
第一级规则设置连续动作的点击,xpath定位表达式要锁定网页上每一个“展开全部内容”按钮
第二级规则是对展开全部内容后的页面做映射
可以参考一下这篇教程的操作步骤《把信息与连续动作步骤对应起来—以58同城分类采集为例 》
举报 使用道具
isywend 新手上路 发表于 2017-3-3 19:27:08 | 显示全部楼层
ym 发表于 2017-3-3 17:58
第一级规则设置连续动作的点击,xpath定位表达式要锁定网页上每一个“展开全部内容”按钮
第二级规则是对展 ...

请问连续动作怎么和翻页一起做?我现在是第一页能连续点开展示全部内容了,但是翻到第二页的时候仍然是爬下来的没展开的状态,谢谢!!!

举报 使用道具
Fuller 管理员 发表于 2017-3-3 19:59:18 | 显示全部楼层
isywend 发表于 2017-3-3 19:27
请问连续动作怎么和翻页一起做?我现在是第一页能连续点开展示全部内容了,但是翻到第二页的时候仍然是爬 ...

第一级规则负责:
1,连续点击,在“连续动作”工作台做,目标主题是下一级
2,翻页,在“爬虫路线”工作台做,目标主题不变
3,根据需要抓数据

第二级规则负责:
1,只抓数据

你存规则了吗?主题名是什么?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 19:07