Qué significa realmente GPT y por qué la ingeniería de IA sigue siendo ingeniería

Muchos desarrolladores saben decir qué hace GPT sin saber decir qué es. Usas las palabras "GPT", "LLM", "transformer", "embeddings" y "RAG" durante años, y parece que lo entiendes, hasta que haces un curso estructurado de ingeniería de IA y descubres que debajo de cada una de esas palabras hay un sótano entero. Basta un sprint de siete días para darse cuenta.

Generative, pre-trained, transformer

Las siglas GPT significan Generative Pre-trained Transformer. Suena sencillo hasta que te preguntas qué aporta cada palabra.

Generative significa que el modelo produce contenido. En un modelo de lenguaje eso es texto, construido al predecir qué debería venir a continuación a partir de patrones que aprendió antes. Pre-trained significa que no te encuentras con un modelo en blanco: antes de tu primer prompt ya se ha hecho un gran entrenamiento con cantidades enormes de datos.

Transformer es la palabra en la que la gente se detiene. Parece el nombre de un producto, pero designa toda una arquitectura, y una de sus ideas centrales es la atención.

La atención y el problema de los apretones de manos

Un acertijo de apretones de manos da una primera imagen bastante decente de la atención. Pon a cinco personas en una sala y haz que cada una estreche la mano de todas las demás. La persona 1 estrecha cuatro manos, la persona 2 otras cuatro, y así sucesivamente, lo que da:

5 × 4 = 20

Esa cifra cuenta cada apretón dos veces, así que la divides entre dos:

20 / 2 = 10

En forma general, el recuento es N(N - 1) / 2. Es un ejercicio de combinatoria, pero también modela algo mayor: el número de relaciones entre tokens. Un mecanismo de atención no recorre la frase de izquierda a derecha tratando cada palabra como una isla. Tiene que decidir qué partes de la entrada importan para qué otras partes.

Ahí entran Query, Key y Value. Piensa en ellos como un sistema de búsqueda aproximado:

• Query es lo que estás buscando.
• Key es la información disponible.
• Value es lo que realmente se devuelve.

Las matemáticas reales son mucho más pesadas, pero esta imagen te da un punto de partida. También apunta a un hábito que vale la pena conservar: si no puedes decir qué hace un fragmento de código o de matemáticas, probablemente todavía no lo entiendes.

Qué abarca un sprint de siete días

El temario va mucho más allá de los transformers: estructuras de datos de Python, Pandas, valores ausentes, valores atípicos, preprocesamiento, modelos de machine learning, métricas de evaluación, APIs, despliegue y RAG. El código que antes parecía algo que simplemente tecleas empieza a tener consecuencias. Fíjate en esta línea:

model.fit(X_train, y_train)

Seguramente has visto ese patrón cien veces. Significa que el modelo se entrena con los datos de entrenamiento que le pasas y aprende sus parámetros a partir de esos ejemplos. La siguiente línea es una operación distinta:

model.predict(X_test)

Aquí le pides al modelo entrenado que aplique lo aprendido y genere predicciones para datos con los que nunca se entrenó. Las dos líneas parecen casi triviales. Lo difícil es saber qué representan.

La ingeniería de IA sigue siendo ingeniería

La lección más importante no tiene que ver con ninguna librería. Un modelo no elimina la necesidad de un buen diseño de software, y sigues teniendo que ocuparte de:

• validar y limpiar lo que entra, y la calidad de los propios datos
• las APIs y cómo se gestionan los errores
• la velocidad, las pruebas y el despliegue
• la monitorización y la seguridad
• un flujo constante de compromisos

A veces la decisión de ingeniería correcta es no usar IA en absoluto. Que un LLM pueda resolver un problema no lo convierte en la herramienta adecuada. Si una regla determinista resuelve el caso de forma fiable, barata y de manera que la gente pueda revisarla, añadir encima un modelo probabilístico suele hacer el sistema más difícil de entender, no mejor.

Mejores preguntas antes que palabras de moda

Siete días no convierten a nadie en experto. Lo que sí te dan son mejores preguntas, y valen más que otra lista de vocabulario:

• ¿Qué hace realmente esta línea de código?
• ¿Por qué el diseño incluye este componente en concreto?
• ¿Cómo se comporta el sistema cuando la entrada es mala?
• ¿Dónde acaban mis datos?
• ¿Qué está aprendiendo el modelo de sus ejemplos?
• ¿Podría hacerlo un código normal sin modelo?

El objetivo no es sonar como si entendieras la IA. Es entenderla lo suficiente para construir con ella de forma responsable, y el primer paso es el descubrimiento nada glamuroso de que GPT significa Generative Pre-trained Transformer.