快捷导航
7 2985

爬取亚马逊美国站

QAQ5_2_6 于 2019-6-12 12:06 发表 [复制链接]
为什么网页源代码上显示了100项商品,但是我爬取的html文件中只显示20项,如何能够把所有项目信息获取到
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2020-3-3 12:37

Fuller 管理员 发表于 2019-6-12 12:07:27 | 显示全部楼层
你用python编程吗?要用能动态解析网页的driver,因为网页内容并不是一开始静态加载好的,一般还需要自动滚屏才能显示更多内容
举报 使用道具
QAQ5_2_6 初级会员 发表于 2019-6-12 12:09:31 | 显示全部楼层
是用python的,要用什么库吗
举报 使用道具
Fuller 管理员 发表于 2019-6-12 15:08:40 | 显示全部楼层
QAQ5_2_6 发表于 2019-6-12 12:09
是用python的,要用什么库吗

这里有一组文章,在关键技术的第二篇讲到动态网页的采集方法:https://www.gooseeker.com/doc/thread-1824-1-1.html
举报 使用道具
QAQ5_2_6 初级会员 发表于 2019-6-13 08:32:43 | 显示全部楼层
好的,谢谢
举报 使用道具
Fuller 管理员 发表于 2019-7-1 10:22:14 | 显示全部楼层
现在集搜客有现成的快捷工具,可以采集亚马逊美国站的商品和评论。下载爬虫软件后,把网址添加到美国亚马逊快捷工具,即可采集。
举报 使用道具
zyclarence 新手上路 发表于 2020-3-3 12:15:49 | 显示全部楼层
Fuller 发表于 2019-7-1 10:22
现在集搜客有现成的快捷工具,可以采集亚马逊美国站的商品和评论。下载爬虫软件后,把网址添加到美国亚马逊 ...

没有太多钱充值去下载已经抓取到的数据
举报 使用道具
Fuller 管理员 发表于 2020-3-3 12:37:18 | 显示全部楼层
zyclarence 发表于 2020-3-3 12:15
没有太多钱充值去下载已经抓取到的数据

如果是快捷采集的话,购买旗舰版可以免积分下载
如果是自己定义的规则,每个版本有限定下载数量,旗舰版也是无限量的。

具体参看各版本的价格页面:https://www.gooseeker.com/about/charge.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何使用集搜客分词平台做社会网络图分析?
  • 关于食品安全的美国联邦法规文件的网络爬虫
  • 怎样更有效率地搜索互联网和整理知识—使用
  • 阿里巴巴外包询价网站用集搜客网络爬虫能采
  • 在限定论域的时候,为什么“任何一个”表示

热门用户

GMT+8, 2020-5-26 04:49