集搜客GooSeeker网络爬虫

标题: 连续动作下级元素可能不存在导致匹配失败怎么处理啊 [打印本页]

作者: dukewang666 时间: 2017-11-21 23:09
标题: 连续动作下级元素可能不存在导致匹配失败怎么处理啊
我有一套连续动作，通过选择不同的select，得到不同的数据，但是有的数据可能是空的，导致匹配失败，如何处理才能匹配成功呢？有什么校验吗

作者: Fuller 时间: 2017-11-21 23:13
遇到这种情况，爬虫就变慢了，因为要一直等到超时才能进行下一个选择。

遇到空数据的时候，网页上有没有特殊内容，如果有，在同一个主题下定义两个规则，一个抓取正常数据，一个抓取空内容时的标志，他们的主题名相同，用不同的规则编号进行区分

作者: dukewang666 时间: 2017-11-21 23:49
大神你好，如果定义了2个规则，会不会两个规则同时被执行啊？

作者: maomao 时间: 2017-11-22 07:23

dukewang666 发表于 2017-11-21 23:49
大神你好，如果定义了2个规则，会不会两个规则同时被执行啊？

要相同主题名，就不会分别运行，因为DS打数机运行的时候只用主题名，会当成一个，运行的时候会自动判断用哪个

作者: dukewang666 时间: 2017-11-22 10:52

maomao 发表于 2017-11-22 07:23
要相同主题名，就不会分别运行，因为DS打数机运行的时候只用主题名，会当成一个，运行的时候会自动判断用 ...

好的谢谢我下午试试
实在感谢二位

作者: dukewang666 时间: 2017-11-22 16:57
本帖最后由 dukewang666 于 2017-11-22 17:08 编辑

刚刚试了下在同一个主题下定义了两个规则但是第一个规则报错了没有去自动执行第二个规则？请问需要做一下条件判断吗？需要的话怎么去做呢？其实第二个规则是没有唯一性标志的。。这样怎么处理啊
这个网页
http://weixin.dsweishang.com/app ... m=jf_product_search
品牌选择 A 奥迪
车型 A4
就会抱这个错

主题名是guanyu_details

作者: umsung 时间: 2017-11-22 17:29
本帖最后由 umsung 于 2017-11-22 17:34 编辑

这个主题下只有一个规则，没有看到两个规则啊，只看到这个规则有两个整理箱。

是建立两个规则名相同编号不同的规则，所以两个规则必须要都要有唯一标志作为关键内容才行，这是很关键的一点，采集时DS打数机才会自动判断当前页面该使用哪个规则编号的规则。

参考这个教程《怎样采集同一网站的不同网页结构信息》

作者: dukewang666 时间: 2017-11-22 17:51

umsung 发表于 2017-11-22 17:29
这个主题下只有一个规则，没有看到两个规则啊，只看到这个规则有两个整理箱。

是建立两个规则名相同编号不 ...

好吧我是纯小白有空得多看看教程啊
谢谢大神指点

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)