Cómo funciona un LLM: tokens, atención y predicción del siguiente token

Escribe una frase corta como "The cat is sleeping." («El gato está durmiendo.») en una ventana de chat y, un instante después, el modelo responde con una línea, una explicación o un párrafo entero. Desde fuera parece que no cuesta nada. ¿Qué ocurre realmente entre medias?

Cualquiera que haya leído sobre IA se ha topado con un montón de términos: tokens, embeddings, Transformers, atención, Q/K/V, predicción del siguiente token. Juntos pueden hacer que los modelos de lenguaje parezcan mucho más difíciles de lo que son. La buena noticia es que la arquitectura básica no exige las matemáticas de fondo. Solo hace falta entender cómo encajan unas cuantas piezas.

Una sola frase servirá de ejemplo a lo largo del texto: "The cat is sleeping." Sigámosla a través de la maquinaria.

La visión de conjunto

Visto desde lejos, un LLM procesa el texto por etapas:

Text
 ↓
Tokens
 ↓
Embeddings
 ↓
Transformer
 ↓
Attention
 ↓
Next-token prediction
 ↓
Next token
 ↓
Repeat

Por debajo de todo hay una gran red neuronal cuyos parámetros se fijaron durante el entrenamiento. Cada etapa merece una mirada más atenta.

1. Redes neuronales, la base

Un modelo de lenguaje grande es, en el fondo, una única red neuronal muy grande. Es decir, un sistema de aprendizaje automático que capta patrones a partir de datos ajustando parámetros numéricos, normalmente llamados pesos.

La imagen más simple es una caja que convierte una entrada en una salida:

Input
  ↓
Neural Network
  ↓
Prediction

Durante el entrenamiento, la red adivina, mide cuánto se ha equivocado y ajusta un poco sus parámetros para acertar mejor la próxima vez. Con suficientes datos, ha absorbido las regularidades del lenguaje. Ante "The cat is ___", aprende que palabras como "sleeping", "hungry", "running" u "outside" son continuaciones plausibles.

La idea que conviene retener: un LLM es una gran red neuronal que aprendió patrones a partir de datos. Puedes saltarte las matemáticas de las redes neuronales y aun así seguir el resto.

2. Tokens, la forma en que lee un modelo

Tú lees palabras. El modelo no maneja las palabras como tú. Primero el texto se trocea en unidades más pequeñas llamadas tokens. Conceptualmente se ve así:

"The cat is sleeping."
          ↓
["The", " cat", " is", " sleeping", "."]

Qué trozos salen depende del modelo y de su tokenizador. Un token puede ser una palabra completa, un fragmento de palabra, un signo de puntuación u otro trozo de texto. Después cada token se asigna a un número, su ID de token, de modo que la canalización por ahora queda así:

Text
 ↓
Tokens
 ↓
Token IDs

En este punto el modelo ya puede tratar el texto como números.

Por qué los tokens importan en la práctica

Los tokens no son una nota al pie. Para cualquiera que use productos de IA, explican varias cosas cotidianas:

• por qué los modelos tienen un límite de contexto
• por qué los prompts largos consumen más tokens
• por qué el uso de la API suele cobrarse por token
• por qué rellenar un prompt con material innecesario encarece la factura

Para quienes crean aplicaciones, los tokens influyen en el diseño de prompts, la gestión del contexto y el control de costes.

Aun así, un ID a secas no basta. El modelo necesita algo más rico para cada token.

3. Embeddings, el significado en números

Toma el token "cat". Su ID podría ser algo como 582, pero ese número no dice nada sobre los gatos. Es una etiqueta y nada más.

Por eso el modelo cambia cada ID por un embedding, un vector con muchos valores numéricos:

"cat"
  ↓
Token ID
  ↓
Embedding
  ↓
[0.21, -0.73, 0.44, ...]

Un embedding es una representación numérica de un token con la que la red neuronal puede hacer cálculos. Vale la pena recordar la diferencia: el ID de token nombra un token, mientras que el embedding lo describe con números. Estos embeddings son los que entran en el Transformer.

4. Transformers, donde ocurre el procesamiento

Hasta ahora, la frase ha recorrido este camino:

Text
 ↓
Tokens
 ↓
Token IDs
 ↓
Embeddings

Los embeddings entran en el Transformer, una arquitectura neuronal pensada para manejar secuencias y, sobre todo en el lenguaje, para captar las relaciones entre tokens. De forma simplificada:

Embeddings
    ↓
Transformer layer
    ↓
Transformer layer
    ↓
Transformer layer
    ↓
...
    ↓
Prediction

Los modelos reales apilan muchas capas de Transformer. Pero ¿cómo averigua una capa qué palabras importan entre sí? Mediante la autoatención (self-attention).

5. Autoatención, aprovechar el contexto

Fíjate en una frase más larga: "The cat climbed onto the couch because it was tired." («El gato se subió al sofá porque estaba cansado»). Para procesar la palabra "it", el modelo tiene que mirar alrededor y decidir a qué se refiere. La autoatención le permite examinar otros tokens y juzgar cuáles son relevantes:

The  cat  climbed  onto  the  couch  because  it  was  tired
      ↑                              ↑       ↑
      └──────── relevant context ────┘

Puedes formular el mecanismo como una pregunta que se hace cada token: ¿qué otros tokens debo mirar para entenderme a mí mismo? El modelo calcula relaciones entre tokens y las usa para construir representaciones conscientes del contexto. Esa capacidad es una de las razones principales por las que los Transformers manejan tan bien el lenguaje.

6. Q, K y V: cómo elige la atención lo que importa

La atención se apoya en tres papeles:

• Query (Q, consulta): ¿qué está buscando este token?
• Key (K, clave): ¿qué ofrece cada token como etiqueta con la que comparar?
• Value (V, valor): ¿qué contenido entrega un token cuando es seleccionado?

En forma de flujo:

Query
  ↓
Compare with Keys
  ↓
Determine relevance
  ↓
Use relevant Values
  ↓
Updated representation

Una biblioteca es una buena comparación. Tu pregunta es la consulta. Cada libro tiene una ficha de catálogo que te dice si encaja, y esa es su clave. Una vez encontrados los libros relevantes, lees lo que contienen, que son los valores. La atención hace algo parecido. No hace falta la fórmula para captar la idea: Q, K y V ayudan al modelo a decidir qué información de otros tokens es relevante.

7. Atención multicabeza, muchos puntos de vista

El lenguaje contiene varios tipos de relaciones a la vez: gramática, significado y qué palabras remiten a cuáles. Por eso los Transformers ejecutan varias cabezas de atención en paralelo:

Input
                   ↓
          ┌────────┼────────┐
          ↓        ↓        ↓
        Head 1   Head 2   Head 3
          ↓        ↓        ↓
       Pattern   Pattern   Pattern
          └────────┼────────┘
                   ↓
                Combined

Cada cabeza puede especializarse en un tipo distinto de relación. Una cabeza ofrece un punto de vista, y varias cabezas ofrecen varios. No hace falta entender el comportamiento de cada cabeza por separado para comprender el diseño general.

8. Enmascaramiento causal, sin mirar adelante

Ahora conectemos la atención con la generación de texto. Supón que el modelo ve "The cat is" y tiene que predecir el siguiente token. No se le puede dejar leer la respuesta antes. El enmascaramiento causal lo impone:

The → can see The

cat → can see The, catis → can see The, cat, issleeping → can see The, cat, is, sleeping

Cada posición puede usar lo que vino antes, pero nada de lo que viene después. Esto importa sobre todo en los modelos autorregresivos al estilo GPT, por una razón sencilla: el modelo tiene que predecir el futuro sin que se lo muestren.

9. Predicción del siguiente token, cómo se produce el texto

Esta es la idea central de los modelos al estilo GPT. Un LLM escribe prediciendo qué token viene a continuación. Dado un comienzo:

"The cat"
    ↓
Predict next token
    ↓
"is"

el contexto pasa a ser:

"The cat is"

y vuelve a predecir:

"The cat is"
       ↓
Predict next token
       ↓
"sleeping"

y una vez más:

"The cat is sleeping"
       ↓
Predict next token
       ↓
"."

y así sucesivamente. Por lo general, una respuesta no se produce de una sola vez. El modelo funciona en bucle:

Read the available context
        ↓
Predict the next token
        ↓
Add that token to the context
        ↓
Predict again
        ↓
Repeat

Por eso la predicción del siguiente token es la idea a la que aferrarse. Todo lo demás en la arquitectura existe para mejorar esas predicciones.

10. Entrenamiento e inferencia

Una última distinción: aprender frente a usar.

Durante el entrenamiento, el modelo fija sus parámetros. A grandes rasgos:

Input
 ↓
Prediction
 ↓
Compare with expected result
 ↓
Calculate error
 ↓
Adjust parameters
 ↓
Repeat

Esto se ejecuta sobre enormes cantidades de datos y, con el tiempo, el modelo mejora prediciendo tokens y reúne patrones útiles del lenguaje.

La inferencia es lo que ocurre cada vez que usas un modelo entrenado. Le das "The cat is" y aplica sus parámetros aprendidos para predecir el siguiente token:

Your prompt
 ↓
Model
 ↓
Next-token prediction
 ↓
Next token
 ↓
Predict again
 ↓
Response

Una forma corta de recordarlo: entrenar es aprender, e inferir es usar lo aprendido.

Todo junto

Volvamos a la frase inicial. Su recorrido es este:

"The cat is sleeping."
          ↓
      Tokenization
          ↓
       Token IDs
          ↓
       Embeddings
          ↓
      Transformer
          ↓
    Self-Attention
          ↓
       Q, K, V
          ↓
  Multi-Head Attention
          ↓
     Causal Mask
          ↓
 Next-Token Prediction
          ↓
       Next Token
          ↓
         Repeat

Por debajo de todo funciona una gran red neuronal con parámetros aprendidos. Esa es la arquitectura básica.

Por qué ayuda saber esto

Para usar ChatGPT no hace falta conocer sus entrañas. Aun así, un modelo mental aproximado te dice lo que estos sistemas pueden y no pueden hacer. Para los usuarios corrientes, aclara por qué importa el contexto, por qué los prompts largos se comen los tokens, por qué un modelo puede sonar seguro y aun así equivocarse, y por qué aportar información relevante da mejores resultados.

Para quienes construyen, cada concepto rinde de forma directa:

• Los tokens explican los límites de contexto y los costes.
• Los embeddings llevan a la búsqueda semántica y a RAG.
• Los Transformers y la atención muestran cómo manejan los modelos el contexto.
• La predicción del siguiente token explica la generación y el comportamiento.
• La separación entre entrenamiento e inferencia marca la línea entre usar un modelo, hacerle fine-tuning y entrenarlo desde cero.

No tienes que dominar las matemáticas de las redes neuronales antes de construir con IA. Conocer la arquitectura sí te ayuda a elegir modelos, decidir qué información aportar, diseñar la aplicación y anticipar los límites.

La versión en un párrafo

Si te quedas con una sola cosa, que sea esta: un LLM divide el texto en tokens, convierte los tokens en representaciones numéricas, los pasa por capas de Transformer que usan atención y va prediciendo el siguiente token una y otra vez.

Text
 ↓
Tokens
 ↓
Embeddings
 ↓
Transformer
 ↓
Attention
 ↓
Next-token prediction
 ↓
Repeat

Una vez claro ese flujo, temas como RAG, las bases de datos vectoriales, el fine-tuning, los agentes, la evaluación y el desarrollo de aplicaciones resultan más fáciles, porque ves dónde encaja cada uno en el panorama.