本帖最后由 ym 于 2015-11-12 18:23 编辑

关于怎么做采集京东商品图片的规则,请参考帖子http://www.gooseeker.com/doc/thread-824-1-1.html
想要采集京东商品信息和图片的规则,可以去这里下载http://www.gooseeker.com/res/detail_98898.html ,下载规则后的使用方法参考http://www.gooseeker.com/doc/article-85-1.html

采集过程遇到的问题
采集京东商品信息和下载图片,DS打数机总是滚两三屏还没到底部就翻页了,每页采到10-30多个图片,每页的商品信息可以采到30-40多个,但是有10个左右是采集不到图片网址的,滚屏参数试了很多种组合,但是都滚两三屏就翻页了

分析:
这种就是DS打数机窗口没滚到底部,图片网址都没显示出来就翻页造成的,观察发现,就算滚到底部,也是会漏几个商品。
电商网站大都是JS异步加载的,我们可以看到图片是要等待屏幕滚动到那里才会加载出来,所以,要抓到图片网址,就要等图片显示出来后,才能定位到@src节点,这种情况就要控制滚屏来实现了。

解决:
滚屏速度不要用大的正数,最多1,或者负的,可能就会缓解一些,经过试验,比较合理的滚屏参数组合是,滚屏次数:2  滚屏速度:1 。
PS:如果这种参数组合还是不行就要再调整参数组合了。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2015-11-12 18:17

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的
  • 下载支持win7的集搜客网络爬虫软件

热门用户

GMT+8, 2024-9-21 09:29