主题：手机0803 我采集了2个网址，用其中一个做规则，但这个放在另外一个连接上 采集不出来

https://www.amazon.com/dp/B07DWWLQLK

yhyl580 发表于 2018-8-3 16:37
https://www.amazon.com/dp/B07DWWLQLK

出错的链接

yhyl580 发表于 2018-8-3 16:37
出错的链接

这样测试出错网址：
1，把规则加载到工作台上
2，在地址输入栏输入要测试的网址
3，选择菜单 规则-》刷新页面结构，再选择菜单 规则-》分析页面

我发现就是FBA这个抓取内容没有对应上，如果有的网页上没有这个字段，就不要勾关键内容

Fuller 发表于 2018-8-3 17:13
这样测试出错网址：
1，把规则加载到工作台上
2，在地址输入栏输入要测试的网址

谢谢，我在看看。
在抓取的信息里面，SalesRank 显示的信息，18个结果里面只有2~3有，其它的都没有，不知道是什么情况导致抓不到信息的。请教一下。

yhyl580 发表于 2018-8-3 19:07
谢谢，我在看看。
在抓取的信息里面，SalesRank 显示的信息，18个结果里面只有2~3有，其它的都没有，不知 ...

先观察你现在的数据规则


这里面有position()函数，这个是根据位置数字进行定位的，所以，容易受网页结构的影响，本来都做了定位标志映射的，其实不应该用position()函数。这是因为你采集的内容跨了两个区域，一个区域是上边的产品基本信息区，一个是下面的评价区。

跨区域大的时候，爬虫生成规则的时候，就可能以上面那个区域为基准，其他的都相对于他进行定位，所以出现了好多following-sibling。这个时候可以人工干预。


人工选择一个更大的区域做定位标志映射，映射给最顶上的节点detail，这个大区域包含了上面和下面两个区域。这样生成的规则就好了，这样适应性就会提高很多。

另外，跨度大的可以分成多个整理箱，一个整理箱负责一块

谢谢，虽然我还没有解决，但有你的指导，我还是有方向的。

Fuller 发表于 2018-8-3 19:23
先观察你现在的数据规则

谢谢，虽然我还没有解决，但有你的指导，我还是有方向的。