何谓自动分词？自动分词就是将用自然语言书写的文章、句段经电子计算机处理后，以词为单位给以输出，为后续加工处理提供先决条件。此技术对于信息分析、情报检索、机器翻译、自动标引和人工智能等IT应用方面有着关键性的作用。

自动分词的实现，对于拉丁语系来说并不困难，其语言文字的形成结构中，词与词之间本身就有着明显的间隔符（如：空格、标点符号等），但对于中文来说，就是一个至今仍未能得以很好解决的技术难题，中文词与词之间没有着明显的间隔符，甚至连标点符号都没有的古文更是为难了。当今，国内外IT界的一些仁人志士们还在为此技术不懈努力着。