测试的时候提示要勾关键内容,我想问抓取规则不勾关键内容会怎样
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2020-6-5 10:22

Fuller 管理员 发表于 2016-5-26 22:19:52 | 显示全部楼层
不勾关键内容的影响可能是
1,漏采
2,即使抓取规则有错误,也不报错

关键内容是DS打数机用来判断抓取规则有效性的。网页上一定存在的内容,就勾成关键内容,DS抓取网页的时候,判断这些内容在不在,如果不在或者定位不到就会报错。

当网页是动态的ajax内容,很多内容是后加载的,勾上关键内容,DS打数机就会等到这些内容加载上才抓取。
举报 使用道具
beanbing 中级会员 发表于 2016-10-20 15:15:45 | 显示全部楼层
问题来了,关键内容是以HTML所定位的为主对吧,如 price,价格,如果网页上是英文就要写price,而不能写价格,对吗
(小白问题,不要生气)
举报 使用道具
AnswerDSL 版主 发表于 2016-10-20 15:41:00 | 显示全部楼层
beanbing 发表于 2016-10-20 15:15
问题来了,关键内容是以HTML所定位的为主对吧,如 price,价格,如果网页上是英文就要写price,而不能写价 ...

整理箱内的字段是可以自由设置的,不是说网页是英文就一定用英文。
举报 使用道具
beanbing 中级会员 发表于 2016-10-20 15:43:27 | 显示全部楼层
哦  了解  因为在做规则的时候已经映射了  而非用字段去代表
举报 使用道具
goodhanbin 中级会员 发表于 2020-6-5 09:42:34 | 显示全部楼层
Fuller 发表于 2016-5-26 22:19
不勾关键内容的影响可能是
1,漏采
2,即使抓取规则有错误,也不报错

有些字段,网页,有时候空白值 ,比如第一页有数值 ,第二页空白值,如果第二页字段空白值,导致整页数据不整采,如何解决哈
举报 使用道具
Fuller 管理员 发表于 2020-6-5 09:48:06 | 显示全部楼层
goodhanbin 发表于 2020-6-5 09:42
有些字段,网页,有时候空白值 ,比如第一页有数值 ,第二页空白值,如果第二页字段空白值,导致整页数据 ...

这种不要勾关键内容,或者写一个xpath能兼容多种情况的,一般空白也会有一个html元素的,比如,一个空的div,用这个div做内容映射。这要在DOM树上做内容映射,在网页上点击以后,DOM上会定位到一个节点。如果有内容,会定位到div下面的某个元素节点,如果没有内容,就选择那个div做内容映射。
举报 使用道具
goodhanbin 中级会员 发表于 2020-6-5 09:54:40 | 显示全部楼层
Fuller 发表于 2020-6-5 09:48
这种不要勾关键内容,或者写一个xpath能兼容多种情况的,一般空白也会有一个html元素的,比如,一个空的d ...

如何写xpath
举报 使用道具
goodhanbin 中级会员 发表于 2020-6-5 10:19:27 | 显示全部楼层
Fuller 发表于 2020-6-5 09:48
这种不要勾关键内容,或者写一个xpath能兼容多种情况的,一般空白也会有一个html元素的,比如,一个空的d ...

另外,我这边未钩选关键内容,也是整页漏采
举报 使用道具
goodhanbin 中级会员 发表于 2020-6-5 10:22:41 | 显示全部楼层
Fuller 发表于 2020-6-5 09:48
这种不要勾关键内容,或者写一个xpath能兼容多种情况的,一般空白也会有一个html元素的,比如,一个空的d ...

是这样的,这个字段,有些页有内容,可以正常采集,有些页空白值 ,导致整页跳过,漏采了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 15:23