背景

有个同事出去面试,遇到了这个问题

分词主要有2类思路

1. 传统算法(前缀树算法+DAG算法): 我们在搜索项目中应用过基于字典树(也就是前缀树)的一个简单分词器

2. 机器学习算法:

附录

1.结巴分词原理讲解

2.NLP分词

3.NLP分词-本地PDF