Token (análise léxica)

Um token, em análise léxica, é uma representação de uma cadeia de caracteres, utilizado na construção de árvores sintáticas de linguagens de programação.^[1]:5 Exemplos de tokens poderiam ser palavras-chave (if, else, while, int, ...), identificadores, números, sinail, ou um operador de vários caracteres, (por exemplo, := "':+"' ).

Exemplo

Suponhamos a seguinte linha de um programa:

  SE Novo > MaxNúm ENTÃO

Os tokenes são:

  * "SE"
  * "Novo"
  * ">"
  * "MaxNúm"
  * "ENTÃO"

E descrevem-se pelo geral em duas partes, um tipo ou classe e um valor, assim: Token=(Tipo,Valor)

Para a sequência anterior, os tokenes podem descrever-se

  * [Palavra Reservada, "SE"]
  * [Identificador, "Novo"]
  * [Operador, ">"]
  * [Identificador, "MáxNúm"]
  * [Palavra Reservada, "ENTÃO"]

Ver também

• Lex
• Yacc

Referências

1. Tom Niemann. A compact guide to Lex and Yacc (PDF). [S.l.]: ePaper Press