分词是 NLP 的基础任务，将句子，段落分解为字词单位，方便后续的处理的分析。本文将介绍分词的原因，中英文分词的3个区别，中文分词的3大难点，分词的3种典型方法。最后将介绍中文分词和英文分词常用的工具。