问题:怎么针对商品搜索列表页信息(包含翻页)以及每一个商品详情里面的部分信息进行采集?
问题图示:
图示1.png
1、这一页刷新完全的鞋子列表页,第一个需求是我需要采集该页及翻页后的商品价格、名称
图示2.png
2、这是其中一款鞋子的商品详情页,第二个需求是我要在商品详情页采集每一款鞋子的类别
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2020-11-17 15:02

Fuller 管理员 发表于 2020-11-17 12:15:42 | 显示全部楼层
是京东吧?京东有现成的搜索结果列表采集工具:https://www.gooseeker.com/res/da ... 2%E5%88%97%E8%A1%A8

用关键词构造出网址,然后把这些网址加入这个快捷采集工具,启动采集,就会看到会有两个自动的爬虫窗口同时工作。这里有一个详细的教程。https://www.gooseeker.com/doc/article-482-1.html

关键词搜索这个快捷采集结果中含有每个商品的网址,用这个网址采集参数信息。商品参数没有现成的快捷采集工具,需要自定义网络爬虫规则,在初级教程那里有定义规则的教程,建议按照顺序看前面几篇。https://www.gooseeker.com/tuto/tutorial.html
举报 使用道具
zjwo2o 初级会员 发表于 2020-11-17 12:34:44 | 显示全部楼层
Fuller 发表于 2020-11-17 12:15
是京东吧?京东有现成的搜索结果列表采集工具:https://www.gooseeker.com/res/da ... 2%E5%88%97%E8%A1%A8 ...

谢谢,你后面说的这两个方法是可以适用于其他网站的对吧?
举报 使用道具
Fuller 管理员 发表于 2020-11-17 14:43:38 | 显示全部楼层
zjwo2o 发表于 2020-11-17 12:34
谢谢,你后面说的这两个方法是可以适用于其他网站的对吧?

如果快捷采集工具里面没有现成的工具,那么就要自己定义爬虫规则
举报 使用道具
zjwo2o 初级会员 发表于 2020-11-17 15:02:21 | 显示全部楼层
Fuller 发表于 2020-11-17 14:43
如果快捷采集工具里面没有现成的工具,那么就要自己定义爬虫规则

恩,好的, 我先摸索下
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 18:46