第一层是商品列表,可以获得每一个商品的网址;根据该网址链接到第二层,我想抓取第二层次该商品页面上的所有图片,地址就行,关键想获得图片个数。因为每一页的图片数 都不同,如何实现?能实现吗?谢谢,非常感谢。
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2016-5-20 16:42

沙发
gooseeker_info 金牌会员 发表于 2015-9-25 23:28:40 | 只看该作者
通常有两个位置的图片:
1)左上部的商品主图,通常有一组图
2)商品详情里面的图文
这些图的网址都能抓取,但是图片个数需要在抓完以后从抓取结果文件中数出来。

除了自己做抓取规则以外,马上就要上线天据天眼电商数据挖掘系列中的慧眼软件,主要就是处理图文的。

另外,按照计划,国庆期间发布的GooSeeker网络爬虫不但抓取图片网址,还将下载图片文件
举报 使用道具
板凳
larklee2015 初级会员 发表于 2015-9-26 16:07:30 | 只看该作者
gooseeker_info 发表于 2015-9-25 23:28
通常有两个位置的图片:
1)左上部的商品主图,通常有一组图
2)商品详情里面的图文

2)商品详情里面的图文
这些图的网址都能抓取,但是图片个数需要在抓完以后从抓取结果文件中数出来。
目前这个也行,怎么实现?请赐教,谢谢指教!
举报 使用道具
地板
gooseeker_info 金牌会员 发表于 2015-9-26 17:22:14 | 只看该作者
larklee2015 发表于 2015-9-26 16:07
2)商品详情里面的图文
这些图的网址都能抓取,但是图片个数需要在抓完以后从抓取结果文件中数出来。
目 ...

要数图片个数,爬虫软件做不了,需要一个程序,处理抓取结果,用这个程序数图片个数
举报 使用道具
5#
zjmok9 新手上路 发表于 2015-9-26 17:47:05 | 只看该作者
按照计划,国庆期间发布的GooSeeker网络爬虫不但抓取图片网址,还将下载图片文件 ------
举报 使用道具
6#
larklee2015 初级会员 发表于 2015-9-26 18:49:47 | 只看该作者
gooseeker_info 发表于 2015-9-26 17:22
要数图片个数,爬虫软件做不了,需要一个程序,处理抓取结果,用这个程序数图片个数 ...

我是指,我如何抓取多页的图片?如果每一页的图片个数和内容都不相同,仅仅把网址抓下来就好。谢谢!急用,万分感谢!
举报 使用道具
7#
gooseeker_info 金牌会员 发表于 2015-9-26 23:41:55 | 只看该作者
larklee2015 发表于 2015-9-26 18:49
我是指,我如何抓取多页的图片?如果每一页的图片个数和内容都不相同,仅仅把网址抓下来就好。谢谢!急用 ...


如图,假设抓取内容“图的网址”是用来存储所有图的网址的,那么为这个抓取内容作高级设置,选择“图片网址”,然后把代表一个网页块的div映射给“图的网址”,那么就会把这个块内的所有img标签和它的src网址都抓下来


举报 使用道具
8#
larklee2015 初级会员 发表于 2015-9-28 22:08:36 | 只看该作者
gooseeker_info 发表于 2015-9-26 23:41
如图,假设抓取内容“图的网址”是用来存储所有图的网址的,那么为这个抓取内容作高级设置,选择“图片 ...

成功啦,太感谢啦!!!!
举报 使用道具
9#
larklee2015 初级会员 发表于 2015-9-28 22:08:49 | 只看该作者
gooseeker_info 发表于 2015-9-26 23:41
如图,假设抓取内容“图的网址”是用来存储所有图的网址的,那么为这个抓取内容作高级设置,选择“图片 ...

成功啦,太感谢啦!!
举报 使用道具
10#
Fuller 管理员 发表于 2016-5-20 16:42:18 | 只看该作者
不用另外的软件下载图了,可以同时下载图片啦,教程:http://www.gooseeker.com/doc/article-116-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 19:47