Lexer

Lexer是一种用于编程语言分析的工具，它能够将源代码分解成一个个的词法单元（tokens），并识别出每个词法单元的类型和值。Lexer通常由词法规则和动作组成，其中词法规则定义了如何从输入流中匹配出不同的词法单元，而动作则定义了在匹配到某个词法单元时应该执行的操作。 例如，对于一个简单的算术表达式“3 + 5”，Lexer会将其分解成三个词法单元：数字3、加号+和数字5。然后，根据这些词法单元的类型和值，编译器可以进一步分析和处理这个表达式，最终生成对应的机器代码。 总之，Lexer是编译器中非常重要的一个组成部分，它能够帮助我们更好地理解和处理复杂的编程语言结构。