为什么使用数据diy采集评论，总是出现重复的数据？

为什么使用数据diy采集评论，总是出现重复的数据？使用的是京东评论采集。

1，京东目前限制评论最多查看100页, 采集的时候在100页前后可能会有少量数据重复。
2，是否进行了重新采集操作
3，如果是大量的数据重复, 你需要检查同一个商品网址是否添加到了多个任务中, 数据是根据商品网址来打包的，如果重复添加了相同的网址就会造成这个商品的评论采集多次 ，如果添加了重复网址，目前的版本下清空任务也不能避免采集，会在下一个版本更新，对于重复数据, 可以在excel里进行去重操作。