De las reglas a los Transformers: cómo el NLP aprendió a manejar el contexto

Los ordenadores trabajan con ceros y unos, así que es lógico preguntarse cómo acaba una máquina manejando inglés, griego, hindi y muchas otras lenguas humanas. Los chatbots, los asistentes de voz, los traductores y los sistemas de recomendación ya forman parte de la vida diaria. Responden preguntas, traducen, ofrecen ayuda e incluso redactan respuestas que suenan humanas. Podemos hablar con las máquinas en lenguaje corriente, sin limitarnos a código o comandos fijos. El campo que lo hace posible es el procesamiento del lenguaje natural, o NLP.

Qué es el NLP

El NLP es una rama de la inteligencia artificial, el aprendizaje automático y la lingüística computacional. Su objetivo es que los ordenadores procesen, analicen, entiendan y generen lenguaje humano. El trabajo empezó hacia los años cincuenta, con las primeras investigaciones sobre traducción automática y enfoques computacionales del lenguaje, y desde entonces el campo ha pasado por varias etapas importantes.

Una descripción popular en una línea dice que el NLP convierte el lenguaje humano en algo que un ordenador puede manejar. En parte es cierto, con un matiz importante: hacer que el lenguaje sea legible para un ordenador no es lo mismo que entenderlo. Pasar una frase a binario no le da a la máquina ningún conocimiento de lo que significa.

Tomemos «Thank you». Una máquina basada en reglas muy sencilla podría configurarse así:

IF input = "Thank you"
THEN response = "You're welcome"
ELSE search for another rule

Eso funciona para un número reducido de situaciones predefinidas. Ahora imagina escribir reglas para cada frase que una persona podría llegar a decir. Sería lento, enrevesado y poco realista, porque el lenguaje humano es mucho más rico que un repertorio de frases fijas.

Por qué el lenguaje es difícil para las máquinas

Una persona que entiende una frase no mira palabras aisladas. Pensemos en la frase inglesa «She saw a bat». ¿Se refiere al animal (un murciélago) o al material deportivo (un bate)? Solo el contexto lo resuelve.

Un sistema que trabaja con lenguaje puede tener que lidiar con palabras, frases, orden de las palabras, gramática, categorías gramaticales, estructura de la oración, contexto, significado, relaciones entre palabras, ambigüedad, intención, pronombres y referencias, además de distintas lenguas y dialectos. Las personas aprenden todo esto de forma natural en la infancia: oyen lenguaje constantemente, observan situaciones, hablan con otros, detectan patrones y vinculan palabras con experiencias. Una máquina no adquiere el lenguaje así, de modo que los investigadores crearon métodos computacionales que representan el lenguaje y aprenden patrones de él.

1. NLP basado en reglas y heurísticas

Uno de los primeros enfoques fue el NLP basado en reglas. Programadores y lingüistas escribían a mano cómo debía procesarse el lenguaje, en lugar de que el sistema aprendiera de grandes conjuntos de datos. Las herramientas incluían diccionarios, reglas gramaticales, búsqueda de patrones, expresiones regulares, reglas sintácticas y simples condiciones if-else. Un par de ejemplos:

IF sentence contains "hello"
THEN classify it as a greeting

IF word ends with "ing"
THEN it may represent a verb

Estos sistemas servían para tareas acotadas y bien definidas, pero el lenguaje está lleno de excepciones. «He is going to the bank» apunta a una entidad financiera, mientras que «He sat beside the river bank» apunta a la orilla del río. A una regla fija le cuesta distinguirlas sin suficiente contexto. Ese límite empujó a los investigadores hacia métodos que aprenden patrones del lenguaje a partir de datos y no dependen por completo de reglas escritas a mano.

2. NLP estadístico y aprendizaje automático

Después llegaron los métodos estadísticos y el aprendizaje automático. En lugar de programar explícitamente cada regla lingüística, los investigadores usaron grandes colecciones de texto, llamadas corpus, para aprender patrones estadísticos. La receta: darle ejemplos a la máquina, dejar que encuentre patrones y usarlos después para predecir.

Se parece a cómo las personas aprenden un idioma. Nadie memoriza todas las frases posibles. Los patrones se van absorbiendo poco a poco. «She is eating food» suena natural, mientras que «Food eating is she» suena raro en inglés estándar. Una máquina puede aprender del mismo modo que ciertas palabras y estructuras tienden a aparecer juntas.

Modelos de N-gramas

Un enfoque estadístico clave es el modelo de N-gramas, que predice una palabra a partir de las anteriores. Ante «She is going to », las continuaciones probables incluyen school, college, market y work. El modelo calcula probabilidades a partir de los patrones de sus datos de entrenamiento. Un bigrama mira dos palabras y un trigrama, tres:

I am
am going
going to
to school

A partir de ahí puede aprender probabilidades como estas:

P(school | going to)

Eso no significa que la máquina entienda «school» como lo haría una persona. Ha aprendido una relación estadística entre palabras.

3. Modelos de Markov y modelado de secuencias

Otra idea del NLP estadístico es la suposición de Markov: el siguiente estado o palabra puede predecirse a partir de una cantidad limitada de información anterior.

Word 1 → Word 2 → Word 3 → Word 4

En lugar de tener en cuenta toda la historia, el modelo considera sobre todo las palabras recientes. De ahí surgieron los modelos de Markov, los modelos ocultos de Markov (HMM) y los modelos de lenguaje de N-gramas. Los HMM se volvieron especialmente importantes para el etiquetado gramatical, el reconocimiento del habla, el reconocimiento de entidades nombradas y el etiquetado de secuencias. Tomemos esta frase:

Sonal is learning NLP.

Un etiquetador POS podría anotarla así:

Sonal → Proper Noun
is    → Verb
learning → Verb
NLP   → Noun

El modelo aprende la probabilidad de cada etiqueta a partir de las palabras que la rodean.

4. De palabras a números

Quedaba un problema más profundo. Una máquina no puede hacer cálculos con palabras como estas:

king
queen
man
woman

Había que representar el lenguaje matemáticamente, y así nacieron las representaciones vectoriales. Una palabra se convierte en un vector numérico:

king  → [0.21, 0.73, -0.12, ...]
queen → [0.24, 0.71, -0.10, ...]

Los vectores permiten a los algoritmos de aprendizaje automático trabajar matemáticamente con el lenguaje, y el enfoque evolucionó hacia los word embeddings. Un ejemplo famoso es Word2Vec, que demostró que las palabras que aparecen en contextos similares obtienen vectores similares. Fue un cambio real: en lugar de definir a mano el significado de cada palabra, un modelo puede aprender representaciones útiles a partir de datos lingüísticos.

5. Llegan las redes neuronales

A medida que crecían la potencia de cálculo y los conjuntos de datos, los investigadores aplicaron redes neuronales al NLP. Estas redes aprenden automáticamente representaciones y patrones útiles a partir de los datos, lo que redujo la dependencia de características estadísticas diseñadas a mano. Las arquitecturas principales fueron las redes feed-forward, las redes neuronales recurrentes (RNN), las redes de memoria a largo y corto plazo (LSTM) y las unidades recurrentes con compuertas (GRU).

Las RNN encajaban bien porque el lenguaje es secuencial. Leen una frase paso a paso conservando información de las palabras anteriores:

I → am → learning → NLP

Las LSTM y las GRU se crearon para manejar dependencias más largas mejor que las RNN básicas.

6. El problema del contexto

El contexto a menudo va mucho más allá de las últimas palabras. En «Sonal went to the restaurant because she was hungry», el modelo tiene que vincular «she» con «Sonal». Y cuando un trofeo no cabe en una maleta porque «it is too big», ¿cuál de los dos es «it»? Resolver esos vínculos exige prestar atención a distintas partes de la frase.

Atención

Esa necesidad condujo a uno de los avances más importantes del NLP moderno. El mecanismo de atención permite que un modelo decida qué partes de la entrada importan más mientras procesa una palabra concreta, asignando pesos distintos a palabras distintas en lugar de tratar por igual a todas las anteriores. En «The cat sat on the mat because it was tired», manejar «it» requiere averiguar qué palabra anterior es la relevante, y la atención ofrece una forma de aprender esas relaciones.

7. Transformers

En 2017, el artículo «Attention Is All You Need» presentó la arquitectura Transformer. Cambió el NLP porque captura las relaciones entre palabras mediante atención y no depende de la recurrencia paso a paso como las RNN. El flujo general es este:

Input Text
     ↓
Tokenization
     ↓
Token Embeddings
     ↓
Positional Information
     ↓
Self-Attention
     ↓
Transformer Layers
     ↓
Contextual Representation
     ↓
Prediction / Generation

La autoatención (self-attention) es la idea central. Cada token mira a los demás tokens de la secuencia y valora hasta qué punto están relacionados con él, lo que permite a los modelos captar relaciones en contextos mucho más largos.

8. De los Transformers a los grandes modelos de lenguaje

Los Transformers se convirtieron en la base de muchos sistemas de NLP modernos. Modelos como BERT, GPT y T5, junto con muchos otros basados en Transformers, mostraron capacidades lingüísticas cada vez más sólidas. Con enormes conjuntos de datos, grandes redes neuronales y mucha capacidad de cálculo, aprenden una cantidad inmensa de patrones lingüísticos, y así surgieron los grandes modelos de lenguaje (LLM).

Un LLM no se limita a guardar una lista de respuestas enlatadas. Durante el entrenamiento aprende patrones estadísticos y semánticos de cantidades enormes de texto. Ante «The capital of India is...», puede predecir «New Delhi». Ante una pregunta, puede generar una secuencia de tokens que forme una respuesta pertinente.

9. De emparejar palabras a entender el contexto

La evolución se ve fácilmente en una sola imagen:

Rule-Based NLP
      ↓
Statistical NLP
      ↓
Machine Learning
      ↓
Word Representations
      ↓
Neural Networks
      ↓
RNN / LSTM / GRU
      ↓
Attention
      ↓
Transformers
      ↓
Large Language Models

Así que la historia del NLP no es solo lenguaje humano convertido a binario. El camino va de las reglas escritas a mano a los patrones estadísticos, luego a los vectores, las representaciones aprendidas, los modelos sensibles al contexto, la atención y, por último, los modelos de lenguaje a gran escala. Los sistemas modernos siguen sin entender el lenguaje exactamente como las personas. Pero aprenden patrones muy complejos y los aplican en la práctica: traducen, resumen, responden preguntas, clasifican textos, extraen información, procesan el habla y generan texto. Todo el esfuerzo es un intento de tender un puente entre el lenguaje humano y el cálculo de las máquinas, y el camino desde las reglas simples hasta modelos con miles de millones de parámetros aprendidos es uno de los más fascinantes de la IA.