词法分析器又称扫描器。词法分析是指将我们编写的文本代码流解析为一个一个的记号，分析得到的记号以供后续语法分析使用。词法分析器的工作是低级别的分析：将字符或者字符序列转化成记号.。在谈论词法分析时，使用术语“词法记号”（简称记号）、“模式”和“词法单元”表示特定的含义。

在分析时，一是把词法分析器当成语法分析的一部分，另一种是把词法分析器当成编译程序的独立部分。在前一种情况下，词法分析器不断地被语法分析器调用，每调用一次词法分析器将从源程序的字符序列拼出一个单词，并将其Token值返回给语法分析器。后一种情况则不同，词法分析器不是被语法分析器不断地调用，而是一次扫描全部单词完成编译器的独立一遍任务。

词法分析器主要特点是不依靠语法，而只依靠词法，即处理一个单词时不依赖于外部单词的信息，因此词法分析器一般都很简单。当然，对某些语言在作词法分析时，在有些情况下不得不往前查看多个字符，有时还要做一些特殊处理，还有一些在词法分析中处理不了的，要留到语法分析中进行处理。

本算法主要利用状态转换图生成一个词法分析器，对输入的程序进行词法分析，并将分析得到的单词造表。其中关键字表和界限符表的大小是由高级语言的子集决定的，可以用数组装载；而标识符表和常数表的大小取决于输入的待分析程序中的变量、过程名、常数的个数，所以要用指针组成动态链表来装载。当为未了方便，我们也把它定义成数组处理。

语法分析时，调用词法分析器，根据已知文法利用递归向下分析，检查语法错误。