快捷导航
规则名:虎扑搜索帖子具体内容

翻页到第二页但是第二页的内容无法抓取,然后很多帖子的抓取都失败了,求问是什么情况,谢谢。


举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2020-10-26 18:46

wangyong 版主 发表于 2020-10-26 17:14:27 | 显示全部楼层
因为第一页和第二页的网页结构略有不同,需要在规则上再做上定位标志映射:https://www.gooseeker.com/doc/article-344-1.html QQ截图20201026171414.png
举报 使用道具
Beausu 中级会员 发表于 2020-10-26 17:33:24 | 显示全部楼层
感谢~
举报 使用道具
Beausu 中级会员 发表于 2020-10-26 18:07:21 | 显示全部楼层
您好 我按照这个将评论区里需要样例复制的内容做了定位标志映射,但还是出现同样的情况,能麻烦您看一下是什么原因吗,是我的映射节点找的不对吗,谢谢
举报 使用道具
Fuller 管理员 发表于 2020-10-26 18:44:36 | 显示全部楼层
Beausu 发表于 2020-10-26 18:07
您好 我按照这个将评论区里需要样例复制的内容做了定位标志映射,但还是出现同样的情况,能麻烦您看一下是 ...

虎扑20201026-184302.png

因为每条评论都有唯一的id,所以,做了定位标志映射以后,要做修改,不用使用id。双击抓取内容,进入到抓取内容高级设置选项,勾上 class
举报 使用道具
wangyong 版主 发表于 2020-10-26 18:46:23 | 显示全部楼层
Beausu 发表于 2020-10-26 18:07
您好 我按照这个将评论区里需要样例复制的内容做了定位标志映射,但还是出现同样的情况,能麻烦您看一下是 ...

QQ截图20201026184350.png
需要选中包含整个抓取内容的节点,给整理箱顶节点做上定位标志映射
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 定位映射提高网页采集精度——以B站视频采
  • 如何管理网络爬虫的线索
  • 网络爬虫生成的XML格式结果文件
  • 打包下载excel格式的数据
  • 爬网址做层级采集——以京东商品爬虫为例

热门用户

GMT+8, 2020-12-2 08:58