有做研究和电商的小伙伴问,如何下载电商图片,比如天猫,京东,淘宝,苏宁,蘑菇街这些网站的搜索结果图片和商品详情图片? GooSeeker的快捷采集版块,有多个图片下载的工具,添加网址启动采集就可以把图片下载下来了。 今天我们就以京东搜索结果图片采集为例,介绍怎样使用快捷采集来下载图片。 1,下载和安装网络爬虫软件 首先下载安装Gooseeker数据管家,是增强版爬虫软件.数据管家实际是一个特殊的浏览器,具有爬虫功能和数据分析功能的浏览器。 安装完毕,数据管家会自启动。关闭数据管家后,要再次启动,可双击桌面上的数据管家图标。 2,运行和登录爬虫软件 在Gooseeker数据管家,打开集搜客官网https://www.gooseeker.com ,登陆爬虫,登陆会员中心(注意爬虫账号和会员中心账号一定要一致),并检查是否已经连上服务器(绿勾连接,红勾未连接)。这个过程不细说了,详细说明参看《如何使用快捷采集-以微博签到数据采集为例》第二章 3,登陆京东网站 根据使用经验,采集电商网站之前,先登录,能够浏览更完整的内容。 在数据管家新开一个页签,在新页签打开京东网站 https://jd.com/,并登陆一个京东账号。 4,进入快捷采集 点击数据管家左侧边栏的“快”按钮,进入快捷采集。 5,选择合适的快捷工具 根据要采集的网页,选择 类别 - 网站 - 网页。 对于京东搜索结果图片采集来说,就是点击:电商 - 京东 - 京东搜索结果图片采集 如下图所示,可以打开示例页面看看,确保后面操作时,添加的链接和示例页面类似。或者浏览网页下方的示例数据,进一步了解选定的快捷工具是否满足要求。 6,操作步骤 6.1 获得网址 在京东商品搜素的页面上,输入要搜索的关键词,点击搜索,把浏览器地址栏的网址复制出来。比如搜索”iphone12”,复制出来的网址就是:https://search.jd.com/Search?keyword=iphone12&enc=utf-8&wq=iphone12&pvid=3aefe0b2ee5f443588f4c441599376cd 6.2 粘贴网址,启动采集 把上一步得到的网址用Ctrl+v粘贴到快捷工具的网址输入栏,启动采集。 6.3 采集中的爬虫窗口 点击获取数据之后,数据管家自动弹出两个采集窗口(窗口右下方有绿色的状态球),一个窗口加载网页,采集数据,一个窗口打包上传数据。两个采集窗口工作时,都不能关闭。 6.4 打包下载数据 数据管家在弹出采集窗口的同时,还弹出了一个快捷采集数据管理窗口。 采集完成后,采集状态会从橙色的“采集中”,变成绿色的”已采集”。然后打包下载数据,下载下来的数据一般保存在电脑的下载文件夹。 如果,采集不成功,采集状态会变成红色的“已停止”,这时,要检查 1. 添加的链接是否和样本页面类似; 2. 需要提前登陆的网站,是否已经登陆; 再重新采集一遍,注意观察采集窗口,网页是否正常加载,如果网页正常加载,但仍然采集失败,请在论坛或者QQ群联系集搜客官方,我们会及时测试维护这些工具。 7,采集到的数据 采集导出的excel数据和图片数据如下截图。excel存储各个抓取内容字段,除此之外还有一个额外的字段:图片_bitmap。这个字段存储每张图片在磁盘文件夹中的位置。利用这个信息,可以在电脑硬盘上找到每个对应的图片。 |