关于连续动作报错的问题咨询

feimahong 发表于 2020-4-17 09:50
我上传了一张图片附件，节点跟教学视频的节点不一样，没有发现具体地址，这个是不是只要对attributes进行 ...

这里我昨天测试过，做层级采集没有问题，要在attribute下定位到href节点，用鼠标右键做内容映射，就会把网址采集下来，勾上下级线索选项，就定义了层级采集。

这个网址不是一个完整网址，但是不影响生成下级线索，在生成下级线索的时候，爬虫会自动补全

Fuller 发表于 2020-4-17 10:01
这里我昨天测试过，做层级采集没有问题，要在attribute下定位到href节点，用鼠标右键做内容映射，就会把 ...

按照您的指点，我对规则进行了设定，我发现DS机的一级规则进行单搜后会自动将stage2的链接全部获取，然后我直接跳过stage2直接搜索stage3，但是我再集搜stage3时候报错，显示终止加载。

feimahong 发表于 2020-4-17 12:02
按照您的指点，我对规则进行了设定，我发现DS机的一级规则进行单搜后会自动将stage2的链接全部获取，然后 ...

这是第一级的规则，这里不要勾下级线索，勾上也没有用

Fuller 发表于 2020-4-17 12:12
这是第一级的规则，这里不要勾下级线索，勾上也没有用

好的，我改一下。还有，DS机中三个规则stage1-stage3，按照顺序依次点击但搜吗，还有统计线索中显示的是大于1的话是不是就选择集搜了？

我看了你的规则，上面我说不要第一级里面设置的下级线索其实不影响。删掉更好一些。

目前看来规则都是好的。第三级运行的时候加载失败可能是别的原因。第三级运行的时候，失败了会有日志，可以按照这个帖子加载分析一下失败线索，看看失败的原因是什么：https://www.gooseeker.com/doc/thread-13085-1-1.html

加载的时候，如果发现网页显示不出来，可能在第二级运行的时候，采集到的第三级的网址有问题。也可以在会员中心看这些网址有没有什么异常，在会员中心选中stage3，看看列出来的网址，点击几个网址测试一下，看看能否打开网页

feimahong 发表于 2020-4-17 12:17
好的，我改一下。还有，DS机中三个规则stage1-stage3，按照顺序依次点击但搜吗，还有统计线索中显示的是 ...

一个集搜加一个单搜，可以有两个窗口同时运行stage3
还有更快的：设置爬虫群，可以更多并行窗口，但是窗口多了有被封锁的风险。参看：https://www.gooseeker.com/doc/article-474-1.html

Fuller 发表于 2020-4-17 14:54
一个集搜加一个单搜，可以有两个窗口同时运行stage3
还有更快的：设置爬虫群，可以更多并行窗口，但是窗 ...

我打开了会员中心的stage2查看网址，发现所有网址都打不开

Fuller 发表于 2020-4-17 14:54
一个集搜加一个单搜，可以有两个窗口同时运行stage3
还有更快的：设置爬虫群，可以更多并行窗口，但是窗 ...

stage1定义条件的规则是正常的，会自动在stage2文件夹中生成文件。但是如果再对stage2进行集搜的话，就会出现将所有列表全部抓取的问题了，不会按照原来的条件进行。还要stage3无法加载。会员中心显示的网址点击以后都无法加载，网址后半段都是日期，应该都是错的吧。