抓取规则匹配失败或超时

因为数据量比较大，大概每100条就会出现10条  错误的情况，我通过xpath该国以后还是有，求大神指导一下主题名：科惠网科技成果电子信息类数据爬取下级数据

这个网页起码能分成三大块：
1，标题和价格
2，成果基本情况
3，成果描述
他们在网页上分属不同区域，如果放在一个整理箱中，应该给尽量多的抓取内容做上定位标志映射。

还可以创建多个整理箱，一个规则中可以有很多个整理箱，每个整理箱分别抓取不同的网页区域

Fuller 发表于 2019-7-25 18:02
这个网页起码能分成三大块：
1，标题和价格
2，成果基本情况

好的，我试一下

Fuller 发表于 2019-7-25 18:02
这个网页起码能分成三大块：
1，标题和价格
2，成果基本情况

想请问一下，定位是采用绝对定位吗？     试了一下还是有匹配失败的情况

holamonica 发表于 2019-7-26 10:17
想请问一下，定位是采用绝对定位吗？     试了一下还是有匹配失败的情况

不能直接用绝对定位，做上定位标志映射可以精确抓取规则https://www.gooseeker.com/doc/article-344-1.html

wangyong 发表于 2019-7-26 14:28
不能直接用绝对定位，做上定位标志映射可以精确抓取规则https://www.gooseeker.com/doc/article-344-1.ht ...

也就是说选择好顶层的定位标志类型，然后再选用对应的定位方式？
还有一个问题在爬取过程中 这个受不受网速影响？我发现有的爬取失败是因为页面没有加载出来

holamonica 发表于 2019-7-26 14:59
也就是说选择好顶层的定位标志类型，然后再选用对应的定位方式？
还有一个问题在爬取过程中 这个受不受网 ...

也受网速影响，如果加载不出来，如果设置了关键内容，就会匹配失败，如果没有设置关键内容，就会抓漏。
如果要设置绝对定位，那么最好给顶层的容器节点做一个定位标志映射，相当于在网页上划定一个范围，在这个范围内容绝对定位。这样就确保规则的适应能力，有可以在划定范围内避免一些不好的class和id影响抓取精度

holamonica 发表于 2019-7-26 14:59
也就是说选择好顶层的定位标志类型，然后再选用对应的定位方式？
还有一个问题在爬取过程中 这个受不受网 ...

默认是超过60秒网页没加载出来就会报错，打数机的配置里可以修改超时时长，爬虫群的调度参数也有超时时长的设置

Fuller 发表于 2019-7-26 15:24
也受网速影响，如果加载不出来，如果设置了关键内容，就会匹配失败，如果没有设置关键内容，就会抓漏。
...

好的，谢谢您，等爬完我再看一下失败的原因再来请教！

wangyong 发表于 2019-7-26 15:25
默认是超过60秒网页没加载出来就会报错，打数机的配置里可以修改超时时长，爬虫群的调度参数也有超时时长 ...

那一般超时时长最多可以设多少在不影响爬取速度的情况下？