快捷导航

采集图片网址并下载图片——以途牛旅游网为例

2016-10-20 17:16| 发布者: ym| 查看: 3230| 评论: 4

摘要: 一、操作步骤 集搜客爬虫不仅能抓到网页上的文本、网址数据,还可以批量下载图片到电脑中。无论是列表页还是详情页上的图片,只要能获取图片网址都可以用集搜客爬虫来下载图片。下面就以途牛网的自助游网页为案例, ...

一、操作步骤

集搜客爬虫不仅能抓到网页上的文本、网址数据,还可以批量下载图片到电脑中。无论是列表页还是详情页上的图片,只要能获取图片网址都可以用集搜客爬虫来下载图片。下面就以途牛网的自助游网页为案例,介绍一下如何用集搜客来自动下载图片。操作步骤如下:


二、案例规则+操作步骤

如果纯粹采集图片,就不知道图片来源于哪里,所以,我们通常会把网页上的文本信息“旅游名称”“价格”也采集下来,最后可以用excel把它们匹配起来。文章《采集网页数据》已经详细讲过前两步操作了,下面就从第三步操作开始讲。


第三步:采集图片网址

3.1, 点击小图可以定位到它的IMG节点。我们不直接采集大图,因为大图是由小图放大的,并且只显示一张,也就只能抓到一张大图,但是小图可以全部抓到,最后用excel处理就能变成大图,所以,类似这种网页的情况抓小图就容易多了。

3.2,再双击展开IMG,就会在attributes下面找到@src,它就是存储图片网址的节点

3.3,右击@src,选择内容映射->新建抓取内容,再输入标签名“小图网址”


3.4,选中“小图网址”,打勾下载图片

注意:映射@src节点给标签“小图网址”后,只需打勾下载图片,不要勾高级设置->抓取特定内容->网页片段和图片网址,否则输出的图片网址就是错误的,无法下载到图片。


第四步:样例复制

4.1, 在整理箱里右击“小图网址”,添加新标签“列”,再移动位置使“列”包容“小图网址”。 其中,标签“列”只是用来做样例复制的,因为网页上的旅游名称、价格信息只有一条,而小图是多张,所以,要单独对小图做样例复制。


4.2,选中“列”,勾上“启用”,找到第一个小图的网页节点LI映射给样例1,它的下一个LI映射给样例2。关于样例复制可以看文章《采集列表数据》来掌握。


第五步:存规则,爬数据

5.1,点击测试,只抓到第一张小图网址,其他的都抓空了,说明数据规则需要微调一下。通常调整定位,选择绝对定位就可以解决。


5.2,点击存规则、爬数据,采集成功后会在本地DataScraperWorks文件夹中生成xml文件和存储图片的文件夹。参考《查看数据文件》


5.3,最后把xml文件和图片导入到excel中进行匹配,可以调整图片大小,操作见文章《如何把下载的大量图片自动匹配到excel中?》


上篇文章:《定位标志采集列表数据》                                            下篇文章:《xml文件结构怎么看》


若有疑问可以集搜客爬虫软件
1

鲜花

握手

雷人

路过
1

鸡蛋

刚表态过的朋友 (2 人)

相关阅读

发表评论

最新评论

评论 Fuller 2017-1-16 20:43
晴时有风阴有时雨: 这次又遇到问题了,在谋数台制作规则测试的时候,小图网址都显示出来了,但是在保存规则爬数据后,发现爬到的数据xml里面没有小图网址,而且图片也没有下载到, ...
你没有打开DS打数机的滚屏,或者滚屏次数太少,图片多的网页,不会预先加载图片的,img的src属性一开始是一个无效的值,只有滚屏到它的位置上,才替换src,开始加载图片。如果没有滚屏,采集不到真实的src值
评论 晴时有风阴有时雨 2017-1-16 16:56
这次又遇到问题了,在谋数台制作规则测试的时候,小图网址都显示出来了,但是在保存规则爬数据后,发现爬到的数据xml里面没有小图网址,而且图片也没有下载到,这是什么原因呢?
评论 Fuller 2016-12-25 20:17
晴时有风阴有时雨: 我按照本文给的方法做了  但是在测试的时候 一直提示 :映射给两个样例的应该是具有相同父节点的兄弟节点  可是不知道自己哪里和原文不一样了 ,能给一下解答吗 ...
在教程首页有搜索功能,搜索这个提示就行“映射给两个样例的应该是具有相同父节点的兄弟节点”
评论 晴时有风阴有时雨 2016-12-25 19:14
我按照本文给的方法做了  但是在测试的时候 一直提示 :映射给两个样例的应该是具有相同父节点的兄弟节点  可是不知道自己哪里和原文不一样了 ,能给一下解答吗

查看全部评论(4)

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-7-22 06:33