我的采集任务是“石油月报详情页面数据抓取”,采集网站的详情页1:http://www.syxb-cps.com.cn/CN/10.7623/syxb202102009;详情页2:http://www.syxb-cps.com.cn/CN/10.7623/syxb201804010;

这2个页面的“摘要”数据结构不一致,导致没法采集“摘要数据”,定位映射也不好使,请问如何解决?
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2021-11-11 10:01

沙发
gz51837844 管理员 发表于 2021-11-6 18:07:20 | 只看该作者
这2个页面的摘要部分,都在@class='panel-body line-height text-justify' 的div下面, 可以据此做定位和内容映射。 不过抓下来的文字不是非常精确,需要在excel里再做一下处理。
也可以同一个任务名下,针对每种结构单独做一个规则, 参看这篇旧版本软件的文档,原理是一样的: 《怎么在同一个主题名下建立多个规则》




举报 使用道具
板凳
z417566919 中级会员 发表于 2021-11-11 09:27:06 | 只看该作者
gz51837844 发表于 2021-11-6 18:07
这2个页面的摘要部分,都在@class='panel-body line-height text-justify' 的div下面, 可以据此做定位和内 ...

同一个任务名下2个规则也不好使,详情页里不仅采集“摘要”数据,还有文章标题、作者等结构一致的信息,运行结果就是按照1个规则采集的
举报 使用道具
地板
shenzhenuser1 版主 发表于 2021-11-11 10:01:37 | 只看该作者
z417566919 发表于 2021-11-11 09:27
同一个任务名下2个规则也不好使,详情页里不仅采集“摘要”数据,还有文章标题、作者等结构一致的信息,运 ...
  1. concat(//*[@class='panel-body line-height text-justify']/p[1],//*[@class='panel-body line-height text-justify']/*[2])
复制代码

只做一个规则就行,按照图中的方式设置自定义xpath

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-10-23 02:36