分词 发表于 2018-05-05 分类于 机器学习 ， app ， nlp ， 分词 阅读次数： 83 本文字数： 246 阅读时长 ≈ 1 分钟 简介 分句 用户词典 NER 新词识别 模型/算法 开源 结巴分词 开源 哈工大LTP 根据中文标点里的句号、问号、感叹号、分号、省略号。 C++ 中科院NLPIR 计算所ICTCLAS CHMM(层叠形马尔可夫模型)。进行原子切分,然后在此基础上进行N-最短路径粗切分,找出前N个最符合的切分结果,生成二元分词表,然后生成分词结果,接着进行词性标注并完成主要分词步骤 C/C++ IKAnalyzer 轻量级 结合词典分词和文法分析算法 java 参考 https://www.zhihu.com/question/19578687
Gitalk 加载中 ...