用爬虫群自动激活层级抓取的两级规则，第二级规则线索越来越多怎么办？

umsung

第一级规则爬取列表，第二级规则爬取内容，都设置了激活，有个疑问：第二级线索是增量的，每次定时激活会全部执行，线索数量越来越多，采集时间越来越长。

bowieD · 发表于 2017-9-14 11:39:12

在一级规则的会员中心--爬虫群--调动--高级设置里面，把调度参数"激活下级线索"选择"否", 这样下一级就只会新增, 已经存在的就不会再自动激活，这样二级规则就只会执行抓取每天新增的线索。

273035815 · 发表于 2017-10-22 22:54:39

bowieD 发表于 2017-9-14 11:39
在一级规则的会员中心--爬虫群--调动--高级设置里面，把调度参数"激活下级线索"选择"否", 这样下一级就只会 ...

请问下，只是对第一级规则调度这样设置吗？

连续动作中第二级规则或第三季规则中需要再这样设置不？

umsung · 发表于 2017-10-23 09:43:24

273035815 发表于 2017-10-22 22:54
请问下，只是对第一级规则调度这样设置吗？

连续动作中第二级规则或第三季规则中需要再这样设置不？

哪一级产生的下级线索，就给那一级设置

共 3 个关于本帖的回复最后回复于 2017-10-23 09:43

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页