快捷导航
2 90

分词原理

sysysysy 于 2020-5-23 13:40 发表 [复制链接]
请教一下大家集搜客的分词原理是什么?是基于已有的词典做字符匹配吗?还是说是用统计法来判断一个词是否可以成为一个词?(使用了集搜客做分词,结果老师问我原理,给我整蒙了,所以跪求解答,谢谢)
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2020-5-23 16:57

Fuller 管理员 发表于 2020-5-23 15:41:30 | 显示全部楼层
现在的分词一般都是根据统计结果来分的,不是硬匹配。所以,会出现词被切破的时候,比如,一些人名。假设分析微博上的名人之间的关系,往往会发现一些人名切错了。这时候就要自己加词,自己加的词是硬匹配的。
举报 使用道具
sysysysy 新手上路 发表于 2020-5-23 16:57:13 | 显示全部楼层
Fuller 发表于 2020-5-23 15:41
现在的分词一般都是根据统计结果来分的,不是硬匹配。所以,会出现词被切破的时候,比如,一些人名。假设分 ...

了解了 谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何使用集搜客分词平台做社会网络图分析?
  • 关于食品安全的美国联邦法规文件的网络爬虫
  • 怎样更有效率地搜索互联网和整理知识—使用
  • 阿里巴巴外包询价网站用集搜客网络爬虫能采
  • 在限定论域的时候,为什么“任何一个”表示

热门用户

GMT+8, 2020-6-4 09:22