我在读这篇论文范例《基于依存句法分析的科技政策领域主题词表无监督构建》,看到“依存句法分析”这个概念,具体是什么意思?

我对未登录词识别很感兴趣,依存句法分析能解决这个问题吗?依存句法分析有没有现成的开源代码可以用?最好是Python代码


举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2021-8-26 10:09

沙发
Fuller 管理员 发表于 2021-8-19 11:46:22 | 只看该作者

什么是依存句法分析?

这篇文章写的不错《成分句法分析 & 依存句法分析 Parsing 知识图谱》,我简单整理成下面的脑图


可见,句法分析分成成分句法分析和依存句法分析。

这篇文章指出:

每棵成分语法树都能转换为依存关系树,原理也是先找出每个成分的中心词,然后让另一个非中心词依赖于此中心词。

相比于 CFG,依存关系语法更关注与词语间关系、高度词汇化,能更好的应用于 问答系统 与 关系抽取 等场景。另外,这种语法对就这种词语的顺序要求相对比较低,所以在处理一些语法复杂、次序排列更灵活的语言时,依存关系语法比 CFG 更有优势。

举报 使用道具
板凳
Fuller 管理员 发表于 2021-8-19 11:57:15 | 只看该作者
至于用什么python代码库做依存句法分析,可以在搜索引擎上搜索 “python 依存句法分析”。

比如,《python自然语言处理学习笔记(八)—— 句法分析》使用了nltk,根据搜狗百科词条NLTK来看,NLTK似乎来头也不小。

还有这篇《自然语言处理之句法分析和依存句法分析》使用了pyltp,看起来也很牛,这篇知乎文章《PYLTP使用方法》展示了依存句法分析的样例代码
举报 使用道具
地板
发誓学好内容分析 金牌会员 发表于 2021-8-19 12:01:45 | 只看该作者
能做未登录词识别吗?
举报 使用道具
5#
马涌河畔 金牌会员 发表于 2021-8-26 09:48:53 | 只看该作者

未登录词识别是指识别没有出现在词典中的词?
举报 使用道具
6#
Fuller 管理员 发表于 2021-8-26 10:09:09 | 只看该作者
马涌河畔 发表于 2021-8-26 09:48
未登录词识别是指识别没有出现在词典中的词?

对,比如,集搜客分词和情感分析软件就有词典,词典的词条是有限的,而人类语言是不断发展的,尤其在互联网上,新词汇快速被生成,原先的词典都没有,要用算法识别出来这些未登录词
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 16:41