Quince conceptos de LLM analizados a través de una única solicitud de un bot de soporte

Un cliente abre el widget de chat de la tienda y pregunta si los auriculares comprados diez días antes aún pueden ser devueltos. Unos segundos después, el asistente lee la pregunta, consulta la política de devoluciones de la tienda y explica las opciones disponibles. Ese intercambio parece trivial, pero pasa por una cadena de componentes distintos: el texto se convierte en números, un modelo entrenado realiza cálculos con ellos, la aplicación puede buscar documentos internos y también puede llamar a una herramienta para iniciar el proceso de devolución.

El vocabulario que utilizan los ingenieros de vocabularios para esos pasos (tokens, embeddings, inferencia, RAG y demás) es fácil de repetir y también fácil de usar incorrectamente. Esta guía explica quince términos clave en el orden en que son importantes para esa solicitud específica, agrupados según lo que ocurre antes de que llegue el cliente, lo que sucede mientras se genera la respuesta y los elementos necesarios para permitir que el sistema actúe y generar confianza en él. Para cada concepto se explica qué es, por qué es importante desde el punto de vista ingenieril y qué concepto erróneo suele generar con más frecuencia. Considere esta lista como una base, no como el conjunto completo del campo; para un mapa más amplio de lo que aprender a continuación, consulte nuestro mapa jerárquico de conceptos de ingeniería de IA.

Antes de que llegue la pregunta: el modelo y cómo aprendió

Todo lo que ocurre en esta sección sucedió mucho antes de que el cliente abriera el chat. Esto determina qué puede hacer el asistente en general.

1. Modelo: una función de entrada a salida aprendida

Un modelo es un sistema matemático que relaciona una entrada con una salida mediante patrones extraídos de los datos. Un modelo clasifica fotos de animales; otro predice los tiempos de entrega. Un modelo de lenguaje funciona con texto y lo genera al predecir los tokens siguientes más probables, paso a paso.

Una analogía aproximada es un estudiante que ha resuelto miles de problemas de práctica. Al enfrentarse a uno nuevo, aplica lo que aprendió en la práctica en lugar de buscar una pregunta idéntica. La analogía no es perfecta, ya que los modelos ni aprenden ni entienden como lo hacen las personas, pero captura la idea central de generalizar a partir de ejemplos.

En el escenario de la tienda, el modelo de lenguaje interpreta la pregunta y redacta la respuesta. Sin embargo, el producto final también incluye una interfaz de usuario, fuentes de datos y posiblemente herramientas.

• Relevancia en ingeniería: los modelos están especializados. Uno que es capaz de escribir texto fluido no es necesariamente bueno para la previsión de demanda o la evaluación de fraudes.
• Error común: equiparar “el modelo” con “la aplicación”. El modelo es solo uno de los componentes.

2. Parámetros: los números que codifican el comportamiento

Una red neuronal contiene una gran cantidad de valores ajustables llamados parámetros. Los pesos son el tipo más discutido; los sesgos son otro. Juntos determinan cómo se transforma la información a medida que fluye por la red.

Imagínese una mesa de mezclas llena de botones: al girarlos se modifica el sonido, y al cambiar los parámetros se modifican las salidas. El entrenamiento es el proceso que permite ajustar esos botones.

Lo que ha aprendido un modelo de lenguaje está distribuido en enormes arrays numéricos. Generalmente no existe una ubicación específica donde esté almacenada la frase “París es la capital de Francia”. Algunos textos de entrenamiento pueden memorizarse literalmente, pero el modelo no es un archivo indexable de los documentos que ha visto.

• Relevancia en ingeniería: la cantidad de parámetros determina las necesidades de almacenamiento, memoria y procesamiento, e influye en sus capacidades. Un modelo más grande no garantiza necesariamente ser mejor para su tarea específica.
• Error común: pensar que los parámetros son una base de datos con respuestas almacenadas. En realidad, se trata de configuraciones aprendidas.

3. Entrenamiento: práctica con retroalimentación

El entrenamiento ajusta los parámetros de un modelo utilizando datos y un objetivo. Para los modelos de lenguaje, un objetivo estándar es la predicción del siguiente token.

Tomemos la oración de entrenamiento “La capital de Francia es París”. Se muestra al modelo el inicio de la oración, este genera una predicción sobre lo que vendrá a continuación, y el sistema de entrenamiento mide la diferencia entre esa predicción y el verdadero siguiente token. Luego se modifican los parámetros para reducir el error. Al repetir este proceso con una enorme cantidad de ejemplos, se parece mucho más a un ejercicio de práctica con correcciones que a copiar un libro y guardarlo.

El modelo de la tienda fue entrenado antes de que llegara ningún cliente. Eso le otorgó competencias lingüísticas generales, pero nada garantiza que conozca las reglas actuales de devoluciones de esa tienda en particular.

• Relevancia en ingeniería: la elección de los datos y las formas objetivas determina tanto lo que puede hacer el modelo como los tipos de errores que comete.
• Error común: asumir que un modelo que ha absorbido patrones lingüísticos también ha verificado hechos. Eso no es cierto.

4. Transformer: la arquitectura que comparten la mayoría de los modelos de lenguaje

Un transformer es un diseño de red neuronal que combina la atención con otras capas de procesamiento para convertir las representaciones de entrada en resultados útiles. Imagínese una línea de montaje: cada estación perfecciona el trabajo que recibe en lugar de empezar de nuevo desde el texto original.

Dentro de un modelo de lenguaje basado en transformadores, las representaciones de los tokens pasan por una serie de capas repetidas. La atención combina información de diferentes posiciones, otros componentes transforman la representación de cada posición, y la información posicional permite al modelo distinguir entre “el perro muerde al hombre” y “el hombre muerde al perro”. La representación final se convierte en una puntuación para cada token posible, estas puntuaciones se transforman en probabilidades y luego se elige un token.

• Relevancia en ingeniería: conocer la arquitectura conecta los demás conceptos. Los tokens son la entrada, las incrustaciones las representan, la atención las relaciona, y el marco de contexto determina cuánto puede ver el modelo.
• Error común: confundir la arquitectura con un modelo entrenado. Un transformador es un plano de diseño; un modelo entrenado es una instancia específica con parámetros aprendidos.

Mientras se genera la respuesta: del texto a los tokens hasta la salida

Ahora el cliente hace clic en enviar. Esta sección explica lo que ocurre durante esa solicitud.

5. Inferencia: ejecución del modelo entrenado

La inferencia consiste en ejecutar un modelo entrenado con nuevos datos de entrada para obtener una salida. Si el entrenamiento es la práctica, la inferencia es tomar el examen.

Cuando llega la pregunta relacionada con los auriculares, el modelo calcula sobre la entrada proporcionada utilizando los parámetros que ya posee. En operación normal no se vuelve a entrenar con cada mensaje; sus parámetros permanecen fijos mientras responde. Para la generación de texto, la inferencia funciona como un bucle: se calculan las probabilidades para el siguiente token, se selecciona uno, se agrega y se repite hasta que la respuesta está completa. Cómo funciona ese paso de “seleccionar uno” es un tema por sí mismo, abordado en nuestra guía sobre temperatura, top-k y top-p.

• Relevancia en ingeniería: la inferencia es donde se manifiestan la latencia y el costo de cálculo por solicitud, por lo que influye en la experiencia del usuario y en tu factura.

Error común: asumir que todo lo dicho en una conversación se aprende de forma permanente. El modelo puede utilizar la información del contexto actual sin guardarla en sus parámetros.

6. Token: la unidad de texto que realmente ve el modelo

Un token es un fragmento de texto definido por un tokenizador. Dependiendo del tokenizador, puede tratarse de una palabra completa, un fragmento de palabra, un signo de puntuación o algún otro bloque. Solo a modo ilustrativo, “headphones” podría mantenerse completo con un tokenizador y dividirse en “head” y “phones” con otro. Nunca asuma que una palabra equivale a un token.

Cada token se asigna un ID numérico, y el modelo convierte esos IDs en representaciones numéricas antes de procesarlos.

• Relevancia en ingeniería: el conteo de tokens determina si la entrada cabe, cuán largos pueden ser los resultados y, con frecuencia, cuánto cuesta una llamada a la API. El mismo significado puede requerir diferentes cantidades de tokens en idiomas o formatos distintos; por ejemplo, JSON y código suelen tokenizarse de manera diferente a la prosa simple.
• Error común: confundir tokens con IDs de tokens. Los tokens son fragmentos de texto; los IDs son sus etiquetas numéricas.

7. Incrustación: el significado como una posición en el espacio

Una incrustación es una representación numérica de algún elemento: un token, una oración, un documento o una imagen. Por lo general, se trata de un vector, es decir, una lista ordenada de números.

Imagínese organizar una biblioteca en un mapa de modo que los libros sobre temas similares estén cerca unos de otros. Un embedding asigna a cada elemento coordenadas en dicho mapa, lo que permite medir la similitud. Un modelo de embedding para búsquedas bien elegido podría colocar “¿Cómo se envía de vuelta este artículo?” cerca de “¿Cuál es su política de devoluciones?”, aunque los dos no compartan casi ninguna palabra.

Es útil distinguir entre estos dos usos. Dentro de un modelo de lenguaje, los embeddings de tokens forman parte de la forma en que se representa la entrada. En un sistema de búsqueda, los embeddings de documentos se utilizan para encontrar material relevante. Las ideas están relacionadas, pero la representación e incluso el modelo que la genera suelen ser diferentes.

• Relevancia técnica: los embeddings son lo que hace posible la búsqueda y recuperación basadas en el significado.

Error común: confundir cercanía con corrección. El documento más cercano aún puede ser la política incorrecta, por ejemplo, una versión obsoleta.

8. Inducción: las instrucciones y el material que proporcionas

La inducción es todo lo que se le entrega al modelo para guiar su respuesta: instrucciones, la pregunta del usuario, ejemplos y texto de apoyo.

Compara dos solicitudes. “Explica las devoluciones” es vago. “Utilizando la política a continuación, decide si los auriculares comprados hace diez días pueden ser devueltos; si falta un detalle necesario, pídelo y no inventes reglas” define la tarea, las pruebas y el comportamiento de respaldo. Es la diferencia entre pedirle a un amigo que “consiga algo en la tienda” y entregarle una lista con un presupuesto.

En el asistente, la instrucción final suele ser elaborada por la aplicación: instrucciones del desarrollador, el mensaje del cliente y texto de políticas obtenidos de una base de conocimientos.

• Relevancia técnica: las instrucciones precisas reducen la ambigüedad y permiten probar el comportamiento esperado.
• Error común: confiar en las instrucciones como medida de seguridad. Las instrucciones influyen en el comportamiento, pero no imponen permisos. Todo lo que nunca debe ocurrir necesita un control fuera del modelo.

9. Ventana de contexto: espacio de trabajo limitado

La ventana de contexto indica cuánto material puede considerar el modelo de una sola vez, medida en tokens. Imagina un escritorio: puedes extender notas sobre él mientras trabajas, pero su superficie es finita.

Lo que ocupa ese espacio incluye instrucciones del sistema, historial de conversaciones, documentos recuperados y resultados de herramientas; dependiendo del sistema, la salida generada también cuenta dentro del límite. Cuando una conversación se alarga demasiado, la aplicación debe intervenir, por ejemplo eliminando turnos antiguos, resumiéndolos o recuperando nuevamente las partes seleccionadas cuando sea necesario.

El contexto y los parámetros son cosas diferentes. Los parámetros se fijaron durante el entrenamiento; el contexto es información proporcionada únicamente para la tarea actual.

• Relevancia en ingeniería: es necesario planificar deliberadamente el espacio disponible. Incluir más texto no implica proporcionar texto más útil, y el material irrelevante puede distraer al modelo.
• Error común: tratar una ventana grande como memoria ilimitada, o asumir que cada detalle en ella será utilizado correctamente.

10. Atención: relación entre las partes de la entrada

La atención es el mecanismo mediante el cual un modelo combina información extraída de diferentes partes de su entrada. Tomemos un mensaje que indica que los auriculares fueron entregados ayer, pero se solicitaron diez días antes. En una pregunta relacionada con devoluciones, saber si el cronómetro comienza a contar desde la entrega o desde la compra puede ser decisivo, y es la atención lo que permite que la representación de la pregunta refleje la relación entre la entrega, el pedido y esos dos momentos en el tiempo.

La analogía cotidiana es volver a leer las frases relevantes de un texto antes de responder una pregunta sobre él. Técnicamente, la atención calcula puntuaciones numéricas de relevancia entre las posiciones y las utiliza para formar mezclas ponderadas de información. Diferentes componentes y capas pueden detectar diferentes tipos de relaciones.

• Relevancia en ingeniería: la atención explica por qué la redacción, el orden y el texto circundante modifican la respuesta, lo cual es importante al diseñar instrucciones y dividir documentos en partes.
• Error común: interpretar los pesos de atención como una explicación completa del razonamiento del modelo. Ellos son una señal matemática, no un relato transparente de por qué se produjo una respuesta.

Anclaje y adaptación del modelo

Solo con el entrenamiento del modelo no se puede conocer la política actual de esta tienda. Dos técnicas abordan esa brecha de maneras muy diferentes.

11. RAG: buscar la información y luego responder

La generación reforzada por recuperación de información consiste en encontrar datos relevantes en el momento de la solicitud y colocarlos en el contexto del modelo para que la respuesta pueda basarse en ellos. Se asemeja a un examen con libro abierto: el libro está disponible, pero el estudiante aún debe comprender la pregunta, localizar la página adecuada y aplicarla correctamente.

Para el asistente de tienda, el flujo suele ser el siguiente:

• Llega la pregunta del cliente.
• La aplicación busca en los documentos de política los pasajes relevantes.
• Los pasajes que mejor se ajustan se insertan en la instrucción junto con la pregunta.
• El modelo escribe una respuesta basada en esos pasajes.

La recuperación de información puede basarse en búsquedas por palabras clave, embeddings o una combinación de ambos. Lo importante es que deja intactos los parámetros del modelo. El artículo existente RAG explicado: cómo los sistemas de IA recuperan conocimiento actualizado bajo demanda profundiza en el aspecto relacionado con la recuperación.

• Relevancia técnica: RAG es la forma en que las aplicaciones utilizan documentos privados, especializados o que cambian con frecuencia sin necesidad de volver a entrenar el modelo.
• Error común: asumir que RAG garantiza respuestas correctas. Aunque reduce las respuestas sin fundamento, el sistema aún puede obtener el pasaje incorrecto o interpretar erróneamente al correcto.

12. Ajuste fino: práctica adicional en una tarea más específica

El ajuste fino continúa entrenando un modelo que ya está entrenado, generalmente con un conjunto de datos más pequeño y específico orientado a un objetivo concreto. Es como si un hablante nativo de inglés practicara respuestas concisas para el servicio al cliente de forma específica.

Una empresa podría realizar ajustes finos con pares de preguntas de clientes y respuestas ideales para enseñar un tono consistente, un formato de salida o un comportamiento especializado en tareas específicas. A diferencia de incluir una política en el prompt, el ajuste fino modifica los parámetros aprendidos o agrega componentes entrenados que alteran el comportamiento. También puede incorporar conocimiento del dominio, pero es un mecanismo deficiente para hechos que cambian con frecuencia, ya que cada cambio requeriría otro ciclo de entrenamiento.

• Relevancia en ingeniería: el ajuste fino resulta útil cuando no se puede lograr de forma fiable un comportamiento repetitivo mediante prompts.

Error común: considerar que RAG y el ajuste fino son rivales. RAG proporciona material de referencia en el momento de dar la respuesta; el ajuste fino modifica el comportamiento a través del entrenamiento. Muchos sistemas utilizan ambos.

Cuándo actúa el sistema y cómo saber si funciona

El último grupo aborda qué puede salir mal, qué cambia cuando el asistente puede realizar tareas y cómo medir todo en conjunto.

13. Alucinaciones: fluidas, seguras y sin sustento

Una alucinación es una salida que es falsa, inventada o no respaldada por pruebas relevantes. Supongamos que la tienda permite devoluciones dentro de siete días, y el asistente responde con seguridad que todos los auriculares pueden devolverse en un plazo de treinta días. La frase es plausible y bien formulada; también es incorrecta.

La causa raíz es que los modelos de lenguaje generan continuaciones probables en lugar de verificar si las afirmaciones coinciden con la realidad. Una alta probabilidad para el siguiente token no dice nada sobre si la declaración completa es verdadera. Las alucinaciones se manifiestan como políticas, citas, personas, cifras inventadas e incluso resultados de herramientas fabricados.

• Relevancia en ingeniería: una respuesta incorrecta pero bien redactada puede causar daños reales, por lo que los sistemas necesitan evidencias fiables, validación de resultados y una forma autorizada de admitir la incertidumbre.
• Error común: interpretar un lenguaje seguro como indicio de fiabilidad.

14. Agente: elegir y ejecutar pasos hacia un objetivo

Un agente de IA es un sistema que utiliza un modelo para decidir y llevar a cabo pasos hacia un objetivo, generalmente invocando herramientas. Un chatbot simple puede explicar el proceso de devolución; un agente puede buscar el pedido, verificar la elegibilidad y redactar la solicitud de devolución.

Un bucle típico para el caso de las devoluciones:

• Leer el objetivo del cliente.
• Determinar qué información falta, como el registro del pedido.
• Llamar a una herramienta de búsqueda de pedidos proporcionada por la aplicación.
• Evaluar el resultado según las políticas establecidas.
• O bien preparar la devolución, hacer una pregunta de aclaración o transferir el caso a un humano.

El modelo nunca accede por sí mismo a una base de datos. La aplicación expone la herramienta, verifica los permisos y ejecuta la operación; el modelo solo propone la llamada. La autonomía varía enormemente, desde una sola llamada a herramientas hasta secuencias largas y multifásicas, y no toda automatización fija merece el título de “agente”. Para más información sobre el bucle en sí, consulte comprendiendo los agentes de IA: objetivos, herramientas, memoria y el bucle del agente.

• Relevancia en ingeniería: las acciones necesitan límites, manejo de errores y puntos de verificación para la aprobación. Redactar un reembolso no es lo mismo que autorizarlo.
• Error común: equiparar la capacidad de actuar con el permiso para hacerlo sin supervisión.

15. Evaluación: evidencia de que la aplicación funciona

La evaluación es la medición sistemática de cuán bien un modelo o una aplicación de IA completa realiza la tarea para la que fue diseñado. Piense en una bicicleta: debe superar pruebas de frenos, dirección y ruedas en condiciones variadas antes de poder usarla en el tráfico, sin importar cuán bonita se vea.

Para el asistente de devoluciones, un conjunto de pruebas útil incluiría al menos:

• Una devolución que cumpla claramente con los requisitos.
• Una devolución solicitada después del plazo permitido.
• Una pregunta que omite la fecha de compra.
• Dos documentos de política que se contradicen entre sí.
• Una búsqueda de pedido que falla.
• Un intento de obtener un reembolso al cual el cliente no tiene derecho.

Mida la corrección de las respuestas: si están respaldadas por evidencias, si la incertidumbre se expresa adecuadamente, si las herramientas se utilizan de forma segura, además de la latencia y el costo. Incluya casos que el equipo no utilizó al construir el sistema; probar solo con ejemplos conocidos sobreestima la calidad.

• Relevancia ingenieril: una demostración muestra que un ejemplo funcionó. La evaluación indica con qué frecuencia funciona el sistema y dónde falla.
• Error común: juzgar el texto generado por el modelo en lugar de probar toda la aplicación de principio a fin.

Puntos clave

• El modelo es solo una parte de una aplicación de IA; las fuentes de datos, los prompts, las herramientas, los permisos y las pruebas determinan la mayor parte del comportamiento en el mundo real.

Los parámetros se fijan en el momento de la inferencia. Todo lo que el modelo debe saber hoy, como una política actual, debe llegar a través del contexto, generalmente mediante recuperación de información.

Los tokens y la ventana de contexto son recursos limitados. Decida deliberadamente qué elementos merecen ocupar un lugar en ellos.

La similitud, la fluidez y la confianza no equivalen a corrección; la validación y las pruebas sí lo son.

Las herramientas permiten que un sistema actúe, pero la autoridad reside en el código de la aplicación y en los pasos de aprobación, no en las instrucciones del prompt.

Evalúe todo el proceso frente a casos realistas y adversarios antes de confiarlo a los clientes.

Lecturas relacionadas

• Mejorando las respuestas RAG con un cambio medido a la vez — Un flujo de trabajo basado en mediciones para corregir respuestas RAG deficientes: ajustar el particionamiento de los datos, top_k, la reclasificación, la búsqueda híbrida y la reescritura de consultas una por una, mientras se monitorean las métricas de recuperación.
• Por qué un llamado a un LLM no es una aplicación: dónde encaja LangChain en un pipeline RAG — Aprenda qué hace realmente LangChain siguiendo el proceso de una aplicación de respuesta a preguntas con documentos, desde la carga de PDF hasta obtener respuestas fundamentadas, y descubra cuándo otro marco es más adecuado.