请问一下，就是在抓取网址的过程中有重复的网址线索怎么排重？

线索一样的就会去重
你的关键词不一样 所以网址不同 是两条线索 不会去重
你有做下级线索吗？
如果你是想要继续采集商品详细页面的话 会去重的的 相同商品的网址只会生成一次线索

scraper 发表于 2016-9-19 14:47
线索一样的就会去重
你的关键词不一样 所以网址不同 是两条线索 不会去重
你有做下级线索吗？

搜索的关键词虽然一样，但是关键词搜到的产品可能是一样的，链接也是一样的。这样不会去重么？

TonyJiang 发表于 2016-9-19 14:48
搜索的关键词虽然一样，但是关键词搜到的产品可能是一样的，链接也是一样的。这样不会去重么？
...

作为采集结果是会重复出现的 需要你自己去重
但是作为下级线索 程序会自动去重

scraper 发表于 2016-9-19 14:47
线索一样的就会去重
你的关键词不一样 所以网址不同 是两条线索 不会去重
你有做下级线索吗？

这个主题规则帮我看一下怎样才能使得那些线索抓到的网址自动排重？
谢谢啦

TonyJiang 发表于 2016-9-19 14:51
这个主题规则帮我看一下怎样才能使得那些线索抓到的网址自动排重？
谢谢啦

这样解释吧
你的第一级规则是网址抓取 第二级是数据抓取
第一级规则有两个网址（括号为商品链接）
www.1.com（1,2,3,4,5）
www.2.com（2,3,4,5,6）
这样第二级规则的链接只会有（1,2,3,4,5,6）
程序自动去重的

quyixuan 发表于 2016-9-19 14:54
这样解释吧
你的第一级规则是网址抓取 第二级是数据抓取
第一级规则有两个网址（括号为商品链接）

也就是说我那个主题抓取的网址放到另一个主题里系统会根据网址的异同自动排重的吧？

TonyJiang 发表于 2016-9-19 14:56
也就是说我那个主题抓取的网址放到另一个主题里系统会根据网址的异同自动排重的吧？ ...

是的

quyixuan 发表于 2016-9-19 14:56
是的

那会不会有一种页面：网址相同，但加载出来的页面（产品不一样）？

TonyJiang 发表于 2016-9-19 15:25
那会不会有一种页面：网址相同，但加载出来的页面（产品不一样）？

不会