集搜客GooSeeker网络爬虫
标题:
如何让一级规则里的连续动作运行完,再继续下一级规则里的连续动作
[打印本页]
作者:
zla520
时间:
2017-7-14 16:48
标题:
如何让一级规则里的连续动作运行完,再继续下一级规则里的连续动作
规则名:
虾皮全店铺详情_点规格
虾皮全店铺详情_内容
虾皮全店铺详情_点主图
虾皮全店铺详情_抓主图
我运行时为什么一级规则的动作运行采集一次就继续下一级规则的动作采集呢。
我想实现一级规则动作所有采集完了之后,再开始下一级规则的采集。
设置了延时也没有用,只是增加了每一次动作采集的时间。
是哪里设置的问题吗?
作者:
shengchengx
时间:
2017-7-14 17:23
你的规则这边因为一级,二级,后面都会有连续动作,所以他会在做完一级中的点击动作后会跳到二级中,然后采集完了之后会运行二级的点击动作,如果你想把一级采集全部采集完了之后再去采集第二级的数据的话,那样就得分开制作规则,第二级里面就不要做连续动作了,然后在采集二级规则的时候就需要单独做一个一级规则、
作者:
zla520
时间:
2017-7-14 17:33
意思是通过打数机分开来采集这两个动作吗? 如果分开来采集的话,很有可能最后一次采集到网页有更新的信息,在处理数据的时候条数就不对了。
作者:
zla520
时间:
2017-7-14 17:35
有没有一个办法让两个连续动作关联在一起来采集呢。
作者:
wangyong
时间:
2017-7-14 18:45
本帖最后由 wangyong 于 2017-7-14 18:46 编辑
如果是考虑时间不同采集到的数据不同的话
可以自定义设置
crontab
,不同区域的连续动作分别用不同的规则来做
crontab
里的thread代表一个采集窗口,一个thread可以包含多个step,一个step代表一个规则,将不同区域的采集规则写在同一个thread里的不同step
在实际采集中就会采完第一个step里的规则立即采集第二个step里的规则
作者:
zla520
时间:
2017-7-15 20:33
wangyong 发表于 2017-7-14 18:45
如果是考虑时间不同采集到的数据不同的话
可以自定义设置crontab,不同区域的连续动作分别用不同的规则来做 ...
没理解你的意思。
欢迎光临 集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)
Powered by Discuz! X3.2