快捷导航
goodhanbin 中级会员 发表于 2019-12-6 18:09:15 | 显示全部楼层
Fuller 发表于 2019-12-6 17:56
点击查看规则,看看生成的规则是什么。

另外,新版本上有个功能“模拟点击”,你把他勾上试试(就在你的 ...

翻页线索规则
61翻页线索规则.png
举报 使用道具
Fuller 管理员 发表于 2019-12-6 18:11:34 | 显示全部楼层
goodhanbin 发表于 2019-12-6 17:57
在第一页,至上而下,逐行的,反复采集

假设在第一页上翻页操作没有生效,爬虫感觉不到失败,因为爬虫还能看到内容,不知道是上一页的老内容。所以会再次做点击动作,关键是解决翻页问题。也可能翻页规则不正确,也可能是勾上“模拟点击”
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-6 18:12:25 | 显示全部楼层
Fuller 发表于 2019-12-6 18:11
假设在第一页上翻页操作没有生效,爬虫感觉不到失败,因为爬虫还能看到内容,不知道是上一页的老内容。所 ...

如何钩上模拟点击?
举报 使用道具
Fuller 管理员 发表于 2019-12-6 18:13:01 | 显示全部楼层

点击“定位选项”,不要使用绝对定位,很容易失败的,使用“偏好class”或者“偏好id”,看看哪个最合适。

你做翻页区映射操作的时候,选择了哪个dom节点?
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-6 18:18:59 | 显示全部楼层
Fuller 发表于 2019-12-6 18:13
点击“定位选项”,不要使用绝对定位,很容易失败的,使用“偏好class”或者“偏好id”,看看哪个最合适 ...

59DOM节点.png



60定位规则.png
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-6 18:20:06 | 显示全部楼层

dom节点 和定位规则,有按要求做
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-6 18:30:00 | 显示全部楼层
Fuller 发表于 2019-12-6 18:13
点击“定位选项”,不要使用绝对定位,很容易失败的,使用“偏好class”或者“偏好id”,看看哪个最合适 ...

一级规则,无法做自动翻 ,在第一页至上而下,逐行重复采集,

只能,通过手动点翻页
举报 使用道具
Fuller 管理员 发表于 2019-12-6 20:32:27 | 显示全部楼层
goodhanbin 发表于 2019-12-6 18:30
一级规则,无法做自动翻 ,在第一页至上而下,逐行重复采集,

只能,通过手动点翻页

勾上模拟点击,再点击查看规则,把生成的翻页规则截图出来看
翻页20191206203145.png
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-7 09:14:54 | 显示全部楼层
Fuller 发表于 2019-12-6 20:32
勾上模拟点击,再点击查看规则,把生成的翻页规则截图出来看

翻页线索模拟点击规则

模拟点击规则

模拟点击规则
举报 使用道具
Fuller 管理员 发表于 2019-12-7 09:35:41 | 显示全部楼层
goodhanbin 发表于 2019-12-7 09:14
翻页线索模拟点击规则

把红框这句xpath拷贝出来,拷入下图的输入框中,点击搜索,看看能否定位到那个翻页按钮,也看到能定位到几个

翻页20191207093257.png

定位20191207093414.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 我国旅游管理研究的知识来源与结构—基于文
  • 面向用户评论的关键词抽取研究-以美团为例
  • 对话理论视域下趣味性短视频的传播效果研究
  • 基于最小二乘法的突发事件网络舆情演化规律
  • Jupyter Notebook怎样获取安居客二手房小区

热门用户

GMT+8, 2021-7-28 09:52