下级采集，将两个规则都放入爬虫群中，一级规则与下级规则同时采集，但是下级规则只采集到一部分线索。

黄黄黄辉

下级采集，将两个规则都放入爬虫群中，一级规则与下级规则同时采集，但是下级规则只采集到一部分线索。试了几次还是这样。。。
怎么才能两个规则同时运行，第一级规则采集数据后，下级规则就继续采集呢？

shengchengx · 发表于 2017-4-26 10:12:55

有线索就会采的，爬虫群不能规定一个窗口运行某个规则
你把两个规则都调度了程序会自动选择，可能会出现两个窗口都运行第一级的情况
但是只要爬虫群窗口还在规则还有线索就会一直跑

黄黄黄辉 · 发表于 2017-4-26 10:13:16

shengchengx 发表于 2017-4-26 10:12
有线索就会采的，爬虫群不能规定一个窗口运行某个规则
你把两个规则都调度了程序会自动选择，可能会出现两 ...

恩恩，她是调度的。可是第一级采集完了，下级规则就采集了一部分

shengchengx · 发表于 2017-4-26 10:13:49

黄黄黄辉发表于 2017-4-26 10:13
恩恩，她是调度的。可是第一级采集完了，下级规则就采集了一部分

去统计线索，还有些是重复的，程序会自动对线索去重

共 3 个关于本帖的回复最后回复于 2017-4-26 10:13

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页