如何能去重下级线索不激活?

dfhs_data

一级规则抓取列表页链接，二级规则抓取详细页内容
之前一级规则已经抓取了100条，二级规则已经把这100条线索抓取完成

再次启动一级线索，抓取了102条，如何设置，让二级规则只抓这新增加的两条，之前抓过的线索，就不要抓了

bowieD · 发表于 2018-5-29 09:43:48

在会员中心--规则管理--规则名--调度--高级设置中将激活下级线索改成否，然后启动爬虫群采集，这样列表规则再次采集到已经采集完成的线索将不会激活。
参考《下级线索不激活》

dfhs_data · 发表于 2018-5-29 10:12:24

bowieD 发表于 2018-5-29 09:43
在会员中心--规则管理--规则名--调度--高级设置中将激活下级线索改成否，然后启动爬虫群采集，这样列表规则 ...

好的，谢谢，这种设置，对于抓取失败的线索会激活吗？
如果100条，其中有1条失败了，再抓取的102条过程中，能否实际应该抓取2条(新)+1条(失败)的吗？

bowieD · 发表于 2018-5-29 10:26:55

本帖最后由 bowieD 于 2018-5-29 10:29 编辑

dfhs_data 发表于 2018-5-29 10:12
好的，谢谢，这种设置，对于抓取失败的线索会激活吗？
如果100条，其中有1条失败了，再抓取的102条过程中 ...

如果有抓取失败的线索，激活失败线索就会重新采集，对于抓取失败的线索会再次采集

dfhs_data · 发表于 2018-5-29 11:23:02

bowieD 发表于 2018-5-29 10:26
如果有抓取失败的线索，激活失败线索就会重新采集，对于抓取失败的线索会再次采集 ...

感谢

共 4 个关于本帖的回复最后回复于 2018-5-29 11:23

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页