集搜客GooSeeker网络爬虫

标题: 层级采集的二层规则可以有多个上级线索吗 [打印本页]

作者: TonyJiang 时间: 2016-10-24 10:13
标题: 层级采集的二层规则可以有多个上级线索吗
我想问一下，层级抓取中，第二层可以有多个上级线索吗？（比如，规则一第一层和规则二第一层的下一级都可以是规则第二层吗）

作者: quyixuan 时间: 2016-10-24 10:19
可以
不影响抓取，但是处理抓取结果的时候，如果要关联两层做处理，要注意处理过程

作者: TonyJiang 时间: 2016-10-24 10:20

quyixuan 发表于 2016-10-24 10:19
可以
不影响抓取，但是处理抓取结果的时候，如果要关联两层做处理，要注意处理过程

第一层重新抓取的话，第二层的线索会覆盖还是有增减会自动替换更新吗

作者: quyixuan 时间: 2016-10-24 10:21

TonyJiang 发表于 2016-10-24 10:20
第一层重新抓取的话，第二层的线索会覆盖还是有增减会自动替换更新吗
...

在会员中心有调度参数，是否激活下级线索，设置成否，就不会重复抓取

作者: TonyJiang 时间: 2016-10-24 10:22

quyixuan 发表于 2016-10-24 10:21
在会员中心有调度参数，是否激活下级线索，设置成否，就不会重复抓取
...

[attach]2027[/attach]
这个吗，可是我想的是，更新下一级线索，并不是不激活呀

作者: quyixuan 时间: 2016-10-24 10:23

TonyJiang 发表于 2016-10-24 10:22
这个吗，可是我想的是，更新下一级线索，并不是不激活呀

那就选是

作者: TonyJiang 时间: 2016-10-24 10:23

quyixuan 发表于 2016-10-24 10:23
那就选是

我想问的是，网页不是在变化吗，可能有些商品会下架，又有新加的，那我在抓一次，不会重复吗
还是线索管理那里默认线索不重复的
下级线索定时更新

作者: quyixuan 时间: 2016-10-24 10:24

TonyJiang 发表于 2016-10-24 10:23
我想问的是，网页不是在变化吗，可能有些商品会下架，又有新加的，那我在抓一次，不会重复吗
还是线索管 ...

如果下级线索网址不一样，那么就不会重叠
那个参数设置成是与否，只对网址一样的时候有效

作者: TonyJiang 时间: 2016-10-24 10:25

quyixuan 发表于 2016-10-24 10:24
如果下级线索网址不一样，那么就不会重叠
那个参数设置成是与否，只对网址一样的时候有效
...

一样呢，系统默认不重复添加么

作者: quyixuan 时间: 2016-10-24 10:25

TonyJiang 发表于 2016-10-24 10:25
一样呢，系统默认不重复添加么

系统不允许重复，所以，抓到相同网址只能选择是否重新激活

作者: TonyJiang 时间: 2016-10-24 10:26

quyixuan 发表于 2016-10-24 10:25
系统不允许重复，所以，抓到相同网址只能选择是否重新激活

就是再选择是的情况下，抓到不同网址的话就加进去，相同就直接激活

作者: quyixuan 时间: 2016-10-24 10:26

TonyJiang 发表于 2016-10-24 10:26
就是再选择是的情况下，抓到不同网址的话就加进去，相同就直接激活

是的

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)