快捷导航
比如淘宝搜索列表,按产品来搜的,可能会多次显示同一个商家的产品,但是我的采集内容就是采集商家,只需要采集一次就够了,后面碰到已经采集过了的商家,怎么判断内容相同和跳过这条线索?
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2020-3-14 18:11

Fuller 管理员 发表于 2020-3-14 18:11:41 | 显示全部楼层
做好采集商家的规则,然后给这个规则添加线索,是会做重复过滤的。

添加线索可能有两种:
1,通过层级采集生成的下级线索
2,手工导入的线索

这两种都能判断重复。但是要注意:
1,如果一个商家已经被采集过了,之后又添加一次,就会再次激活。为了不重复采集,先把所有商家线索都添加好,再启动采集
2,如果网址中含有一些参数,比如, &号紧跟着的参数,那么会把整个作为一个网址,而真正有效的可能只是前面的几个参数就决定了这个商家。那么,后面这些参数应该删除掉再导入网址。在淘宝这样的网站上,原始网址后面往往会加很多参数,用来做营销监测的,把这些参数删除了,才能得到原始的网址。如果含有这些参数,每次得到的网址参数不一样,实际上是同一个商家,这样就形成重复网址了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何使用集搜客分词平台做社会网络图分析?
  • 关于食品安全的美国联邦法规文件的网络爬虫
  • 怎样更有效率地搜索互联网和整理知识—使用
  • 阿里巴巴外包询价网站用集搜客网络爬虫能采
  • 在限定论域的时候,为什么“任何一个”表示

热门用户

GMT+8, 2020-6-1 06:02