GooSeeker
产品
资源
教程
视频教程
使用交流
资讯
开启辅助访问
切换风格
登录
|
注册
快捷导航
搜索
搜索
本版
文章
帖子
用户
资讯
常见问题
使用交流
python交流
视频教程
资源发布公告
数学建模交流
论坛
›
搜客社区
›
使用交流
1
13951
为什么自定义xpath表达式规则加载失败
Fuller
于 2016-5-21 15:30
发表
[复制链接]
Fuller
积分
21137
精华
0
威望
5494
金钱
5
最后登录 2023-6-2
加为好友
发送消息
访问家园
我自定义xpath,用了substring-before(),勾上专用定位并填上定位表达式,重新加载规则就会报错,不勾专用定位和内容定位,保存后加载规则都不会报错,这是什么情况?
规则名是“百度网页关键词搜索_fuller”
,可以测试一下。
百度网页
,
关键词搜索
,
表达式
相关帖子
•
【微指数——搜索趋势、地域解读、属性分析】#集搜客GooSeeker数据集开放目录#
•
新浪微博数据采集攻略
•
链家理财数据采集攻略
•
知网数据采集攻略
•
安居客数据采集攻略
•
连续动作的定位表达式要怎么写?
•
连续动作的起点是怎么使用的?
•
连续动作的内容表达式有什么用,怎么填?
•
连续动作的合用表达式怎么用?
•
第48期在线培训_微博转发和评论信息、微博视频采集
举报
使用道具
|
回复
共 1 个关于本帖的回复 最后回复于 2016-5-21 15:32
Fuller
积分
21137
精华
0
威望
5494
金钱
5
最后登录 2023-6-2
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
Fuller
管理员
发表于 2016-5-21 15:32:03
|
显示全部楼层
经检查,是定位标志表达式中填写的xpath语法没有问题,但是实际上定位不到网页内容,所以失败了。
这是一个使用技巧:
在一个网页列表中,排在第一个的样例信息不全,有些字段缺失,比如上例,没有“日期”,但是为了做样例复制,不得不用它。此时就能发挥自定义xpath的优势,而且定位标志表达式和抓取内容表达式可以是两个不同的表达式。
1,定位标志表达式:
只在加载抓取规则的时候使用。注意:GooSeeker网络爬虫在整理箱中定义抓取规则,要求每个抓取内容在网页上都映射到某个DOM节点,加载以前的规则的时候,先要把映射关系恢复出来。但是,像这种情况,第一个样例其实是不包含符合条件的节点的,所以,专门用一个定位标志表达式指向一个在网页上总是有的节点,当加载规则的时候,能确保加载成功。本例,完全可以指向代表整个第一个样例的DIV节点。
2,抓取内容表达式:
加载规则的时候不用,而是DS打数机抓取数据的时候采用,这个规则才真正把内容抓下来,加载到MS谋数台上的时候,根本不看这个规则。
题主问的问题,其实是MS谋数台加载规则的时候根据这个定位表达式根本找不到这个DOM节点。
下面讲讲“专用定位”,“兼做定位”的用法。
其实有三种组合
1,哪个都不选:就用MS谋数台的自动定位
2,选择专用定位:MS谋数台加载规则的时候,根据 定位标志表达式 中的xpath恢复映射关系
3,选择兼做定位:MS谋数台加载规则的时候,把 抓取内容表达式 当成定位表达式使用。
例如,substring-before(.//span[contains(@class,'newTimeFactor')]/text(),'-') 是不能选“兼做定位”的,因为这个xpath的结果是一个字符串,不是DOM节点。
举报
使用道具
回复
支持
反对
返回列表
B
Color
Image
Link
Quote
Code
Smilies
高级模式
您需要登录后才可以回帖
登录
|
立即注册
发表回复
回帖并转播
回帖后跳转到最后一页
回复
推荐板块
使用交流
常见问题
数学建模交流
python交流
视频教程
精彩推荐
对共词关系求协方差矩阵后再用Girvan-Newma
社区发现算法Girvan-Newman(GN)是否能应用
使用GooSeeker分词和Gephi进行中文文本分析
Gephi社会网络分析-网络图的统计
范文:亚运短视频对杭州城市形象的建构研究
热门话题
1
【集微库】微博采集工具箱使用常见问题
2
集搜客文本分词标注工具(V1版)
3
怎样使用快捷采集(以采集京东评论为例)
4
有没有办法采集机场的出租车信息?
5
【求助】关于采集阿里巴巴国际站访客详情分
6
获得积分的好方法:转发小程序、QQ群、微信
7
GooSeeker分词,情感分析和关键词抽取平台使
8
新浪微博_博主主页
9
集搜客GooSeeker 网络爬虫版本发布公告
10
【天猫商品搜索列表采集】#GooSeeker数据DI
热门用户
Fuller
帖子:10144
访问主页>>
wangyong
帖子:1686
访问主页>>
gbkuce
帖子:0
访问主页>>
GMT+8, 2023-6-3 02:57
快速回复
快速发帖
返回顶部
返回列表
共 1 个关于本帖的回复 最后回复于 2016-5-21 15:32