FUNCIONES DEL ANALIZADOR LEXICO

El analizador léxico forma parte de la primera fase de un compilador. Un compilador es un programa que lee un programa escrito en un lenguaje, el lenguaje fuente, y lo traduce a un programa equivalente en otro lenguaje, el lenguaje objeto. El proceso para construir un compilador se encuentra dividido en cuatro etapas: 

• El análisis léxico: transforma el código fuente en tokens.

 • El análisis sintáctico: construye un árbol sintáctico 

• El análisis semántico: realiza el chequeo de tipos 

• La generación de código: genera código de maquina. Podemos representar estas sucesivas etapas con el siguiente diagrama: 

La función principal de los analizadores léxicos consiste en leer la secuencia de caracteres de entrada y dar como resultado una secuencia de componentes léxicos que utiliza el analizador sintáctico para hacer el análisis. Esta interacción, esquematizada en la figura 1.2, suele aplicarse convirtiendo al analizador léxico en una subrutina del analizador sintáctico. Recibida la orden “obtener el siguiente componente léxico” del analizador sintáctico, el analizador léxico lee los caracteres de entrada hasta que pueda identificar el siguiente componente léxico.

El analizador léxico puede realizar tareas secundarias en la interfaz del usuario, como eliminar espacios en blanco, tabulaciones y caracteres de fin de línea. En algunas ocasiones, los analizadores léxicos se dividen en una cascada de dos fases: la primera llamada “examen” y la segunda “análisis léxico”. El examinador se encarga de realizar tareas sencillas, mientras que el analizador léxico es el que realiza las operaciones más complejas. Por ejemplo, un compilador de FORTRAN puede utilizar un examinador para eliminar los espacios en blanco de la entrada.