怎么指定从某一页开始翻页采集,然后到某一页终止?
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-8-28 14:28

沙发
bowieD 金牌会员 发表于 2017-8-28 14:28:07 | 只看该作者
针对网页的特点,设置翻页起点可以有下面几个方案:

方案1【首选】:页码信息包含在网址中的情况:看看浏览器的地址输入栏,每个分页有没有独立的网址,如果有独立的网址,那么直接你指定的开始页的网址添加一条线索,就会从这里开始抓取。

方案2:有输入页码并且有跳转按钮的情况:
需要做一个输入动作,包含两个步骤:
1,输入数字
2,点击Go
具体用法参看连续动作:《连续动作让爬虫持续采集数据》

方案3,从头重新翻页
如果上面的方法都不行,只能从头重新翻页

翻页终点设置方法:在爬虫群的规则管理中可以设置翻页的次数

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-11 02:47