Token

Um token é o pedaço de texto que um modelo de linguagem (LLM) realmente enxerga. Antes de processar qualquer frase, o modelo a quebra em tokens usando um *tokenizador*: palavras comuns viram um token só, palavras longas ou raras viram vários pedaços, e pontuação e espaços também contam. Em português, uma palavra costuma render um pouco mais de tokens do que em inglês, porque os tokenizadores são treinados majoritariamente com texto em inglês.

Tokens importam por dois motivos práticos:

• Custo: as APIs de LLM cobram por milhão de tokens de entrada (o que você envia) e de saída (o que o modelo gera). Estimar tokens é estimar a conta.
• Limite de contexto: cada modelo tem um número máximo de tokens que consegue considerar de uma vez (a "janela de contexto"). Documentos maiores que isso precisam ser resumidos ou divididos.

Exemplo concreto: a frase "Inteligência artificial generativa" vira algo em torno de 6 a 8 tokens, dependendo do tokenizador. Um contrato de 20 páginas pode passar de 15 mil tokens, o que define se cabe na janela do modelo e quanto custará processá-lo.