自定义xpath，无法完全定位所有数据

meicairen

规则主题：点评_商户详情1
自定义有问题字段：

详情链接：//*[@class='item-gray' and contains(./@href,'editmember')]/@href
能正确定位大部分线索，以下几个线索抓取内容是空的，未能定位成功：

辛苦方便的时候，帮忙查看下，谢谢

meicairen · 发表于 2017-1-3 00:22:32

Fuller · 发表于 2017-1-3 09:01:37

meicairen 发表于 2017-1-3 00:22
我调整如下：
//p[@class='info info-indent J-Contribution']/span/span/a/@href

到第二级抓取有漏的？还是在第一级抓网址的时候有漏的？

meicairen · 发表于 2017-1-3 09:59:23

Fuller 发表于 2017-1-3 09:01
到第二级抓取有漏的？还是在第一级抓网址的时候有漏的？

总共只有2级，第一级抓取第二级线索的时候，会有漏抓线索。
另外规则：点评_商户列表，我样本量少的时候，正常，样本量大了，也会有漏抓，漏抓字段是：商户详情，也会漏抓；

反复排查自定义没发现有什么问题，烦请帮忙查看下是什么问题，谢谢。

Fuller · 发表于 2017-1-3 10:26:25

meicairen 发表于 2017-1-3 09:59
总共只有2级，第一级抓取第二级线索的时候，会有漏抓线索。
另外规则：点评_商户列表，我样本量少的时候 ...

我正在看第二级，我发现你只给城市类目勾了关键内容，这样不太好，关键内容不太够，至少应该勾上“商户名”，这才是特定商户自有的内容

meicairen · 发表于 2017-1-3 10:35:47

Fuller 发表于 2017-1-3 10:26
我正在看第二级，我发现你只给城市类目勾了关键内容，这样不太好，关键内容不太够，至少应该勾上“商户 ...

城市类目哪级，是第一级，商户列表这个层级，我是单独做来的，没有做层级。

meicairen · 发表于 2017-1-3 10:57:27

meicairen 发表于 2017-1-3 10:35
城市类目哪级，是第一级，商户列表这个层级，我是单独做来的，没有做层级。
...

我刚又抓了200多个样本线索，抓了3次，数据才抓权，你可以查看下，帮忙分析下是什么原因。

Fuller · 发表于 2017-1-3 11:00:13

meicairen 发表于 2017-1-3 10:35
城市类目哪级，是第一级，商户列表这个层级，我是单独做来的，没有做层级。
...

第二级的城市类目

Fuller · 发表于 2017-1-3 11:01:25

meicairen 发表于 2017-1-3 10:57
我刚又抓了200多个样本线索，抓了3次，数据才抓权，你可以查看下，帮忙分析下是什么原因。
...

第二级的吗？如果关键内容设置不合适，很容易漏抓。“城市类目”是属于网页模板的，所以，总是会显示，即使商家信息没有显示出来，“城市类目”也在，所以，这个关键内容起不到作用

meicairen · 发表于 2017-1-3 14:08:19

Fuller 发表于 2017-1-3 11:00
第二级的城市类目

不是，我城市类目那个规则是第一级，不是第二级。我说的漏抓的意思是，
详情页链接xpath自定义没有问题，但是还是会漏抓。因为同样的线索，同样的规则，我第一次爬取，没有抓到数据，第二次、第三次能抓到

共 10 个关于本帖的回复最后回复于 2017-1-3 17:37

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页