快捷导航
5 2339

激活失败线索结果会重复吗

玩机 于 2016-10-11 12:04 发表 [复制链接]
有些线索采集失败了,重新激活,那最后采集结果会不会有重复
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2019-3-2 10:16

HJLing 版主 发表于 2016-10-11 12:05:17 | 显示全部楼层
不会的 失败的线索本来就没有生成结果文件 所以不会重复
举报 使用道具
beanbing 中级会员 发表于 2016-10-24 18:21:14 | 显示全部楼层
那如果中途断掉了,是自动在之前断掉的那里继续采集吗   还是会重头采集呢
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-10-24 18:55:37 | 显示全部楼层
对于有翻页的情况,如果执行了一半就失败了,这时候已经有1个或多个结果文件生成
如果激活该条线索后重新抓取,会出现重复采集的情况,可以对结果进行去重处理
举报 使用道具
zyy994514828 中级会员 发表于 2019-3-2 00:43:52 | 显示全部楼层
shenzhenwan10 发表于 2016-10-24 18:55
对于有翻页的情况,如果执行了一半就失败了,这时候已经有1个或多个结果文件生成
如果激活该条线索后重新抓 ...

对于有翻页的情况,可以在导出前去重吗
举报 使用道具
Fuller 管理员 发表于 2019-3-2 10:16:17 | 显示全部楼层
zyy994514828 发表于 2019-3-2 00:43
对于有翻页的情况,可以在导出前去重吗

会员中心的导入导出功能没有去重功能,这点要注意,因为会员中心并不知道应该根据什么去重,比如,有些会员是特意的周期性重复采集,以便跟踪价格、库存等数字的变化,有些会员可能只想要一次结果,而判断重复还可能根据一些很具体的字段,那么会员中心是不知道这么多条件的。

要等导出数据以后,自己在Excel中,利用Excel的功能做处理
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能采集微博内容吗?
  • 怎样使用GooSeeker数据管家启动采集任务?
  • 集搜客数据管家-网络爬虫软件,中文分词,情
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-11-25 16:09