翻页问题

青海伏明霞

根据第二张图设置的翻页规则，点击指定位置翻页，我在采集数据的时候设置翻页10次，但每次都是2页的数据

青海伏明霞 · 发表于 2024-1-17 18:10:43

规则编号：规则_1

gz51837844 · 发表于 2024-1-17 18:31:14

你这个任务的任务名是什么？
管理员在后台查询“青海伏明霞”这个用户名下面没有任何已保存的任务。

Fuller · 发表于 2024-1-17 22:52:19

把这里改成偏好ID ，试一试

青海伏明霞 · 发表于 2024-1-18 09:37:25

gz51837844 发表于 2024-1-17 18:31
你这个任务的任务名是什么？
管理员在后台查询“青海伏明霞”这个用户名下面没有任何已保存的任务。
...

CanadaNews

gz51837844 · 发表于 2024-1-18 10:24:28

图中初始的@class值是sclt-loadmore1。。。。，翻了一页后会变成sclt-loadmore2。。。
这样翻页的xpath就找不到了，翻页就结束了。
做翻页映射时: 可以试试用图中的BUTTON的父节点的@class值映射翻页记号，避开翻页后@class值会改变的节点

青海伏明霞 · 发表于 2024-1-18 11:00:26

Fuller 发表于 2024-1-17 22:52
把这里改成偏好ID ，试一试

我设置了偏好id可以加载下面的，但是这个网页是是继续加载这种，一触发加载就重新爬这个页面所有数据，导致非常多的重复数据

Fuller · 发表于 2024-1-18 16:07:58

青海伏明霞发表于 2024-1-18 11:00
我设置了偏好id可以加载下面的，但是这个网页是是继续加载这种，一触发加载就重新爬这个页面所有数据，导 ...

持续加载的网页没有办法避免重复，因为以前加载的网页内容还在网页上，会一起采集下来。可以爬到最后一页以后，只把最后一个xml导入数据库

共 7 个关于本帖的回复最后回复于 2024-1-18 16:07

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页