这2天测试了好几个网站的数据爬取,都是翻页这里无法完成,请大神、管理员指点一下。
主题名:教务智联_1
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2019-9-4 17:33

Fuller 管理员 发表于 2019-5-15 12:21:36 | 显示全部楼层
我测试翻页抓取没有问题。DS打数机的自动滚屏有没有打开?DS打数机菜单 配置-》滚屏参数,把滚屏次数设置成>0的数字,比如,5,自动滚屏可以让网页下面的内容也加载上来,这样点击下一页才可靠
举报 使用道具
feiyasun2015 新手上路 发表于 2019-5-15 12:48:34 | 显示全部楼层
我已经设置成5了,但是导出的数据都是只有第一页的,爬数据时只有1条线索
举报 使用道具
Fuller 管理员 发表于 2019-5-15 15:24:05 | 显示全部楼层
feiyasun2015 发表于 2019-5-15 12:48
我已经设置成5了,但是导出的数据都是只有第一页的,爬数据时只有1条线索 ...

我测试了你的规则,样例复制没有问题,列表中所有数据都能采集到
举报 使用道具
feiyasun2015 新手上路 发表于 2019-5-15 16:29:03 | 显示全部楼层
管理员大大,不止有样例复制,还有翻页,我想要的是翻页,可是按照记号线索规则,没有办法翻页
举报 使用道具
Fuller 管理员 发表于 2019-5-15 16:44:09 | 显示全部楼层
feiyasun2015 发表于 2019-5-15 16:29
管理员大大,不止有样例复制,还有翻页,我想要的是翻页,可是按照记号线索规则,没有办法翻页 ...

翻页那里,主题名要与当前主题名一致。我测试翻页没有问题

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
aa1122 初级会员 发表于 2019-9-4 17:33:30 | 显示全部楼层
你尝试将创建规则里的测试中的偏好id换成偏好class
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-10-7 00:28