快捷导航
3 400

淘宝详情页产品参数爬取

Junxin 于 2018-7-11 14:00 发表 [复制链接]
我把淘宝搜索页作为一级规则,产品详情页作为二级规则,然后两个规则分开运行,现在一级规则运行完了没有问题,二级规则运行之后日志提示抓取失败。二级主要是想要抓取淘宝详情页里面产品参数各个字段,求大神解答
2.png
1.png
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2018-7-11 17:40

bowieD 金牌会员 发表于 2018-7-11 14:11:19 | 显示全部楼层
本帖最后由 bowieD 于 2018-7-11 14:13 编辑

每个商品详情页里的产品参数字段都可能不一样,有些产品参数的字段数量多,有些产品参数的字段数量少,有些相同的参数位置则不一样,很难用一个同一个规则,需要找一个产品参数最多最全的页面做规则,并且用自定义xpath去给每一个参数字段做精准定位。
xpath用法《xpath常用函数用法》
举报 使用道具
Junxin 中级会员 发表于 2018-7-11 14:23:26 | 显示全部楼层
有没有xpath这种形式的案例可以参考的?小白看xpath的用法说明还是一脸懵逼
举报 使用道具
Fuller 管理员 发表于 2018-7-11 17:40:07 | 显示全部楼层
Junxin 发表于 2018-7-11 14:23
有没有xpath这种形式的案例可以参考的?小白看xpath的用法说明还是一脸懵逼

自定义xpath.png

页面右上角可以搜索 自定义xpath,能看到很多相关的教程,比如,https://www.gooseeker.com/tuto/t ... AE%9A%E4%B9%89xpath
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-9-22 05:05