如题,全部按照教程来,就是定位下一页时,由于没有text,就取消了文本记号,选择了@herf,然后运行,翻页到第二页,一直重复抓取了80次第二页,,不是我手动关闭的话估计会一直抓下去

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2018-5-24 12:10

18026110282 新手上路 发表于 2018-5-24 11:42:38 | 显示全部楼层
盖楼 求大神解答
举报 使用道具
wangyong 版主 发表于 2018-5-24 12:04:18 | 显示全部楼层
href不是固定的,所以不能用来当做翻页标志

这个种情况可以用相对翻页,模拟点击第一页、第二页……这样一直翻下去

举报 使用道具
Fuller 管理员 发表于 2018-5-24 12:07:31 | 显示全部楼层



我做了这样的实验,发现你用的翻页记号不合适
1,点击“查看规则”按钮
2,把翻页规则拷贝出来,粘贴到XPath输入框,点击“搜索”按钮
3,可以看到搜到了2个节点,第一个是页码2那个链接
这说明爬虫在翻页的时候,根据翻页规则找到的第一个节点,就会点击他。所以,一直在点页码2



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
Fuller 管理员 发表于 2018-5-24 12:10:13 | 显示全部楼层


我这样修改是成功的:
1,缩小翻页区,就选择那个 > 号对应的LI,因为这个节点的class很独特,不会跟别的节点混淆
2,翻页记号用A节点的@class属性,不要用href,因为href中的 /qiche/275158/p2/ 中的p2明显是说第二页,所以,不能用它

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-5 17:57