结巴分词流程
2020-05-07 20:07:30 32 举报
结巴分词的流程图
作者其他创作
大纲/内容
建立tire分词模型
建立分词DAG词图
按词典标识的标注
加载登录词典
token识别,将中英文分开处理
动态规划取得分词和标注,输出
句子清洗,如果含有特殊字符,将其分离
英文、数字
标识特殊字符为未知词性
计算全局概率得到基于前缀词典的最大切分组合
识别英文数字以及时间形式的组合
输出
登录词
加载HMM概率图模型
收藏
0 条评论
回复 删除
下一页