采集时，如何添加新的内容？

在实际采集中，获取下图中商品数据的同时，我想同时给这些商品添加一个统一的类目名，但是因为类目名和商品信息，并不在同一层级中
没办法批量抓取，所以导致无法同时将两个信息同时采集下来，感觉应该是个挺简单的事，但是莫名其妙入坑了，没想明白该如何操作，请大侠指点一下。




我最后设想的结果是，采集的数据中，每个商品信息里，都包含一个当前类目名。

从图片上看，类目名和商品信息在同一页面上，给”类目名”做内容映射，类目名和商品信息放在一个整理中，转成excel之后，每个商品信息里就都包含一个当前类目名。

shengchengx 发表于 2017-9-29 15:24
从图片上看，类目名和商品信息在同一页面上，给”类目名”做内容映射，类目名和商品信息放在一个整理中，转 ...

按照你的方法做内容映射，测试的时候无法读取到数据。把catagory删掉，就又可以了。所以不知道你说的那种方法，具体怎么操作

1，把catagory单独出来做内容映射，
2，样例复制不要包含catagory，在top100下面添加一个容器去包含title+star+review+image，给这个抓取内容做样例复制就可以了。
3，这样top100下面就是 catagory和 新建的抓取容器。

shengchengx 发表于 2017-9-29 16:27
1，把catagory单独出来做内容映射，
2，样例复制不要包含catagory，在top100下面添加一个容器去包含title+s ...

理解你的意思了。已经实现，感谢

shengchengx 发表于 2017-9-29 16:27
1，把catagory单独出来做内容映射，
2，样例复制不要包含catagory，在top100下面添加一个容器去包含title+s ...

理解你的意思了。已经实现，感谢

ybaby521 发表于 2017-9-29 17:55
理解你的意思了。已经实现，感谢

实际操作中，遇到了重复采集，但是第二次采集为空的情况，请帮忙指点一下



然后把catagory 和  product  调换一下位置，测试以后发现只有一个结果，不会批量采集了

ybaby521 发表于 2017-9-29 19:34
实际操作中，遇到了重复采集，但是第二次采集为空的情况，请帮忙指点一下

批量采集有两种方式，看你的截图一种都没使用，还是批量采集到了，因为爬虫会自动找批量的规律。为了确保总是能采集到，应该用这两种方式之一：
1，用样例复制批量采集整个列表
2，用定位标志批量采集整个列表
另外，你有采集到空的，看一下是不是网页上有个商品采集漏了，那是规则做的不适应。应该用上定位标志映射提高采集精度。

Fuller 发表于 2017-9-29 20:52
批量采集有两种方式，看你的截图一种都没使用，还是批量采集到了，因为爬虫会自动找批量的规律。为了确保 ...

已解决，非常感谢