集搜客GooSeeker网络爬虫

标题: 怎么对线索去重呢？ [打印本页]

作者: julianchan 时间: 2016-8-14 18:41
标题: 怎么对线索去重呢？
有几万个线索，去重后估计只剩1/3，可是没法在线去重，也没法下载下来本地操作，请教各位大神应该怎么办呢？

作者: Fuller 时间: 2016-8-14 20:27
导入到集搜客的服务器时，会自动去重。

你说的去重是什么意思？是根据url中的特殊内容进行处理吗？比如，电商网站，根据SKU进行去重，是不是这样？如果想做这个，可以联系我们做专门的服务

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)