请问一下，就是在抓取网址的过程中有重复的网址线索怎么排重？

TonyJiang

如题

酱紫 · 发表于 2016-9-19 14:37:23

一起抓的话是自动排重的

TonyJiang · 发表于 2016-9-19 14:39:02

酱紫发表于 2016-9-19 14:37
一起抓的话是自动排重的

就是这两个关键词搜索出来的产品有很多重复的，怎么排重

quyixuan · 发表于 2016-9-19 14:39:41

TonyJiang 发表于 2016-9-19 14:39
就是这两个关键词搜索出来的产品有很多重复的，怎么排重

对结果排重就可以了
为啥要对线索排重？

TonyJiang · 发表于 2016-9-19 14:40:27

quyixuan 发表于 2016-9-19 14:39
对结果排重就可以了
为啥要对线索排重？

我是一个关键词一个线索然后抓取网址
对线索排重可以不用抓那么多线索，节约时间啊

TonyJiang · 发表于 2016-9-19 14:41:10

假如10000条网址中有4000条重复，要是能对线索排重只要抓取6000次就ok

quyixuan · 发表于 2016-9-19 14:41:41

TonyJiang 发表于 2016-9-19 14:41
假如10000条网址中有4000条重复，要是能对线索排重只要抓取6000次就ok

线索如果是你自己贴进去的话，你会发现实际线索没有你贴进去的多
系统自动给你排重了

TonyJiang · 发表于 2016-9-19 14:42:14

quyixuan 发表于 2016-9-19 14:41
线索如果是你自己贴进去的话，你会发现实际线索没有你贴进去的多
系统自动给你排重了 ...

应该没有

TonyJiang · 发表于 2016-9-19 14:43:09

quyixuan 发表于 2016-9-19 14:41
线索如果是你自己贴进去的话，你会发现实际线索没有你贴进去的多
系统自动给你排重了 ...

这俩个线索就是那两个关键词的网址

TonyJiang · 发表于 2016-9-19 14:43:25

好像是排重了

共 18 个关于本帖的回复最后回复于 2016-9-19 15:25

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页