背景
有个同事出去面试,遇到了这个问题
分词主要有2类思路
-
传统算法(前缀树算法+DAG算法): 我们在搜索项目中应用过基于字典树(也就是前缀树)的一个简单分词器
-
机器学习算法:
附录
1.结巴分词原理讲解
2.NLP分词
原创文章转载请注明出处: 面试题-如何实现分词-原理是什么有个同事出去面试,遇到了这个问题
分词主要有2类思路
传统算法(前缀树算法+DAG算法): 我们在搜索项目中应用过基于字典树(也就是前缀树)的一个简单分词器
机器学习算法:
1.结巴分词原理讲解
2.NLP分词
原创文章转载请注明出处: 面试题-如何实现分词-原理是什么