我是打算抓取公众号的回复的,但因为回复后台非常特别。翻页有两个区块,利用记号搜索翻页的话,会翻左边的那个页,而非右方区块的翻页。这就很蛋疼了……
xpath我设置了一下,用输入框输数字翻页,还是在左边那个区块输入的……
而且问题是,xpath好像不能实现多次翻页?  看似简单的一步搞了一天,求大神教导!



举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2018-1-26 20:15

沙发
ro94426 新手上路 发表于 2018-1-26 16:25:55 | 只看该作者
主题名:电脑点击1     电脑点击2

电脑点击1   是一个模拟点击的流程。
举报 使用道具
板凳
wangyong 版主 发表于 2018-1-26 16:32:28 | 只看该作者
做翻页时昨晚记号映射后还要做线索范围映射,做线索范围映射时需要选择包含翻页区域的节点,这里就可以分析这个两个翻页区域是否有区别,找仅有的节点做线索范围映射。

连续动作的翻页默认只会点一次,如果要点多次,点击动作里的高级设置可以设置重复次数
举报 使用道具
地板
ro94426 新手上路 发表于 2018-1-26 16:46:26 | 只看该作者
wangyong 发表于 2018-1-26 16:32
做翻页时昨晚记号映射后还要做线索范围映射,做线索范围映射时需要选择包含翻页区域的节点,这里就可以分析 ...



线索映射我有做的呀,定位编号也是右边区块的。但执行起来就是左边的区块翻页。
而且我在怀疑,到下一页的时候,线索映射就不一样了?

举报 使用道具
5#
wangyong 版主 发表于 2018-1-26 16:51:53 | 只看该作者
定位编号只是参考,线索映射选择的节点不能选择两边都有的
举报 使用道具
6#
ro94426 新手上路 发表于 2018-1-26 17:24:31 | 只看该作者
wangyong 发表于 2018-1-26 16:51
定位编号只是参考,线索映射选择的节点不能选择两边都有的

不行啊,微信后台这种代码简洁的,做哪一块的线索都不能准确翻页……


举报 使用道具
7#
ro94426 新手上路 发表于 2018-1-26 17:25:05 | 只看该作者
wangyong 发表于 2018-1-26 16:51
定位编号只是参考,线索映射选择的节点不能选择两边都有的

大概看了下,两边的翻页结构都是相仿的


举报 使用道具
8#
wangyong 版主 发表于 2018-1-26 17:39:35 | 只看该作者
爬虫路线的定位选项改成绝对定位试试
举报 使用道具
9#
ro94426 新手上路 发表于 2018-1-26 18:58:01 | 只看该作者
wangyong 发表于 2018-1-26 17:39
爬虫路线的定位选项改成绝对定位试试

定位选项从 class改成绝对位置就好了。请问这里边是什么原理呢?

举报 使用道具
10#
Fuller 管理员 发表于 2018-1-26 20:15:35 | 只看该作者
ro94426 发表于 2018-1-26 18:58
定位选项从 class改成绝对位置就好了。请问这里边是什么原理呢?

点击“查看规则”,注意观察生成的翻页用的xpath,分别设置“绝对定位”或者其他定位选项,看看规则的变化。很可能网页上有不合适的class或者id,影响了规则,比如,每个分页上都有唯一的id,那么到了第二页,这个id就定位不到了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-19 03:37