Afinamiento agente: Entrenar una wiki de conocimientos en lugar de los pesos del modelo.
Ejecutar el bucle de entrenamiento de ML en una wiki con conocimientos extraídos de documentos corporativos: puntos de referencia creados a partir de datos brutos, preguntas confidenciales y un certificado con límites honestos.
Fuentes: Agentic Finetuning: Your Data Knows Things Nobody in Your Company Knows
Conocimiento que una empresa posee pero no puede acceder
Imagínese a un fabricante de maquinaria que tiene unos 900 informes de servicio. Esa pila oculta respuestas a preguntas que valen mucho dinero: qué series de maquinaria se dañan con más frecuencia y por qué, qué reparaciones son efectivas, y qué fallas ocurren en las instalaciones de invierno pero nunca en las de verano.
Aquí está la parte complicada: nadie puede entregar esas respuestas. Algunos empleados veteranos conservan fragmentos de esa información en su memoria, pero ningún documento explica todo por completo. Leer los 900 informes está más allá de las capacidades de cualquier persona sola. Por lo tanto, ese conocimiento permanece dentro de la empresa y sigue sin poder ser utilizado por ella. Casi todas las organizaciones con cierta antigüedad conviven con esta situación, y la mayoría de los proyectos de inteligencia artificial actuales la ignoran.
Lo que realmente quieren las empresas
Las empresas no quieren buscar en sus datos, ya que Ctrl+F resolvió hace tiempo la necesidad de búsqueda. Lo que desean son los conocimientos obtenidos. Compare las versiones de consulta de las preguntas con las versiones orientadas al aprendizaje:
- Una consulta pregunta qué dice el protocolo de prueba 214. Una pregunta orientada al aprendizaje pregunta cómo se comporta una mezcla concreta en vertidos en frío según quince años de informes de pruebas.
- Una consulta solicita el documento de patente de un caso específico. Una pregunta orientada al aprendizaje pregunta cómo es en realidad el proceso de presentación, qué objeciones se repiten y qué hace que una solicitud sea rechazada desde el primer intento.
- Una consulta busca el ticket 8812. Una pregunta orientada al aprendizaje pregunta qué hacen los empleados de soporte más experimentados cuando una máquina falla dos veces en un mes y qué prometen al cliente.
Los conocimientos tienen valor, pero se comportan de manera cruel: existen únicamente como fragmentos y nunca permanecen en un mismo lugar. Nada escrito los mantiene. Aparecen entre documentos, como patrones que abarcan cientos de informes, como el proceso que se cristaliza a partir de trescientos casos, como una regla que dos personas senior tienen en mente. Si esas dos se van, lo que sale por la puerta es la memoria de la empresa, no simplemente dos empleados.
Por qué “chatear con sus documentos” no es suficiente
La receta habitual en la industria es incrustar todo, obtener los fragmentos más cercanos y generar texto a partir de ellos. Para búsquedas simples, esto funciona bien, y no se trata de un ataque contra RAG. Sin embargo, la recuperación solo devuelve lo que alguien escribió. Si se plantea una pregunta de aprendizaje, como cuál serie falla más y por qué, el sistema extrae tres fragmentos de tres informes, luego improvisa sobre la marcha una síntesis que suena convincente, y otra distinta la próxima vez. Nadie extrae el conocimiento subyacente, lo verifica ni le da una forma estable. En lugar de consultar conocimientos existentes, el sistema los reconstruye para cada pregunta, y lo hace de forma deficiente.
El propio conjunto de datos también está desorganizado, con versiones contradictorias de las políticas, especificaciones obsoletas y errores que se transmiten sin corregirse. Cualquier sistema que lea esos datos en bruto hereda esas deficiencias. Imagínese dos PDFs: uno promete 12 meses de garantía y el otro 24. Ambos se recuperan, y la respuesta se convierte en una cuestión de suerte.
Incluso una síntesis humana realizada una sola vez, ya sea un informe de consultor o un resumen en wiki elaborado por un pasante, se enfrenta a dos preguntas cruciales: ¿cómo sabe alguien que es correcto y cómo sabe alguien que está completo? No existe una verdad objetiva, ni pruebas, ni definición de terminación, por lo que el documento comienza a deteriorarse en silencio desde el mismo día en que se finaliza.
Por lo tanto, el verdadero problema radica en algo distinto a la recuperación de información. Se trata de convertir grandes cantidades de datos en conocimientos en los que las personas puedan confiar, y de mantener esos conocimientos precisos a lo largo del tiempo. En una frase: extraer diamantes de una mina de carbón. Están allí, pero tamizar manualmente el carbón no resulta atractivo para nadie.
Por qué el ajuste fino del modelo falla
El ajuste fino es un instinto natural, y parece correcto por una razón. Se trata de un aprendizaje automático convencional genuino: datos, etiquetas, una función de pérdida, actualizaciones de pesos y un conjunto de prueba que el modelo nunca vio. Ese es exactamente el rigor que carece el mundo de los documentos y chats.
Pero modifica la capa incorrecta. Los pesos son opacos. Cuando la respuesta generada está equivocada, no existe ningún neurona disponible para repararla. Todo lo que se aprendió se congela en el momento del entrenamiento y envejece con cada nueva oleada de informes, y cada actualización requiere otro ciclo de entrenamiento, evaluación e implementación. El ajuste fino también tiene la reputación de enseñar habilidades y estilo al mismo tiempo que almacena hechos de manera poco fiable. En resumen, el bucle correcto está aplicado al objeto equivocado.
Ejecutar el bucle un nivel por encima
La propuesta consiste en mantener todo el ciclo de entrenamiento convencional de ML y ejecutarlo un nivel más alto, sobre el conocimiento en lugar de sobre los pesos. A esto se le denomina afinamiento agente.
La correspondencia es estructural y no poética: cada parte del ciclo de entrenamiento estándar tiene un equivalente directo, y lo que se entrena es el conocimiento.
El artefacto entrenable es una wiki, un conjunto de páginas legibles con los aprendizajes extraídos, donde cada afirmación está vinculada a sus fuentes. Una página podría tratar sobre el comportamiento en condiciones extremas y otra sobre cómo se realizan realmente los registros. Un humano puede abrir esas páginas y discutirlas. El agente que opera en la capa superior se mantiene deliberadamente sencillo y solo lee la wiki, por lo que toda la inteligencia reside en lo que contiene la wiki. Una respuesta incorrecta se corrige reparando el conocimiento, al igual que backprop corrige los pesos, y nunca ajustando un prompt con la esperanza de que funcione.
Lea el diagrama en una sola pasada por el bucle: primero la minería profunda, luego un punto de referencia extraído de los datos brutos, el ajuste hasta que se estabilicen las puntuaciones, y finalmente las preguntas secretas, a las que ningún paso anterior llega nunca.
Paso 1: carga sin clasificar y propósito
Todo se sube sin ordenar, junto con una respuesta a una pregunta subestimada: ¿qué se debe aprender de esto? Ejemplos son cómo se comportan los materiales o cómo transcurren realmente los trámites. El propósito establecido orienta la minería hacia el aprendizaje y no hacia resúmenes.
Paso 2: minería profunda, wiki v0
A continuación, se explora cuidadosamente todo el conjunto de documentos, uno por uno y región por región, hasta la profundidad que exija el objetivo. Es la etapa más costosa y se realiza una sola vez. La profundidad es importante desde el principio por una razón: si solo se considerara en los puntos donde más tarde presente problemas el estándar de referencia, la wiki adoptaría su estructura según ese examen, y los conocimientos se adaptarían al test en lugar de a los datos reales. Al explorar primero las capas más profundas, el propio conjunto de documentos determina su completitud, por lo que el papel del estándar de referencia se reduce a realizar verificaciones y correcciones.
Las contradicciones encontradas en el proceso, como la diferencia entre garantías de 12 y 24 meses, se colocan en una cola para ser revisadas por un humano. No impiden la exploración de los documentos y se resuelven al final, ya que ningún modelo sabe cuál PDF está desactualizado.
Paso 3: un estándar de referencia creado a partir de los datos, nunca de la wiki
La gente suele tropezar aquí primero. Si las preguntas de los exámenes provienen del wiki, todo lo que falta en él no cuenta con ninguna pregunta que lo aborde, por lo que el punto ciego crea su propio examen y lo aprueba. Por eso las preguntas necesitan otras tres fuentes: los documentos originales (¿qué debería extraer un lector de este informe?), el propósito declarado (preguntas que vinculen documentos sobre tendencias, causas y procesos) y las personas involucradas (qué es lo que realmente se les pregunta). Luego se divide el conjunto: el 75 por ciento para la formación y el 25 por ciento se guarda como preguntas secretas con el mismo equilibrio temático, sin solapamientos ni paráfrasis, y nadie puede verlas. Enseñar basándose únicamente en el examen le quitaría todo su sentido.
Paso 4: responder, calificar, diagnosticar, reescribir
Cada respuesta incorrecta recibe una causa raíz, y cada causa tiene su propio camino a seguir:
- Si la información de aprendizaje existe en los datos y el wiki la pasó por alto, explórela nuevamente, con más profundidad.
- Si no existe en ningún lugar, consulta a un humano y nunca inventes una respuesta.
- Si dos fuentes difieren, saca a la luz el conflicto.
- Si la pregunta en sí es defectuosa, corrige la pregunta y deja al agente en paz.
Una regla supera a todas las demás: la respuesta a una pregunta nunca se copia al wiki. Los puntos de referencia indican dónde es necesario investigar, los documentos deciden qué se registra, y lo que se registre debe ser páginas generales que cualquier pregunta posterior pueda utilizar. Si se viola esa regla, el wiki se convierte en una clave de respuestas sin que nadie se dé cuenta.
Paso 5: la verificación de honestidad
Cuando las puntuaciones de entrenamiento dejan de aumentar, las preguntas secretas se aplican una sola vez. Si los resultados del entrenamiento y los de las preguntas secretas están cerca, la wiki realmente contiene los conocimientos adquiridos, y se puede certificarla, versionarla y entregarla con sus limitaciones indicadas en la caja. Si están muy separados, lo que se ha creado no sirve de nada. Entonces se renueva el examen: las preguntas usadas se retiran, se elaboran nuevas a partir del conjunto de datos con redacción y ejemplos nuevos, se guarda un nuevo conjunto sellado y se reanuda el proceso de ajuste. Dado que la wiki se había inclinado hacia las preguntas antiguas, las rondas posteriores enfrentan objetivos que no había visto antes. Una caída de 95 en las pruebas de entrenamiento a 71 en las preguntas secretas es problemática, aunque el mismo sobreajuste habría aparecido en cualquier notebook de Kaggle en 2019. Las lecciones aprendidas se mantienen, y esa es precisamente la idea principal.
La producción luego proporciona un conjunto de pruebas interminable. Una pregunta que el agente maneja incorrectamente se convierte tanto en una corrección para la wiki como en una nueva entrada de referencia, y los informes recientes reinician el ciclo. Al final, la empresa posee una memoria viva y probada que sobrevive a los cambios de personal.
Todo el método se resume en una sola oración:
Las referencias indican dónde buscar, los datos dicen qué escribir, y el conjunto secreto indica cuándo detenerse.
Dónde encaja
Este método es adecuado para organizaciones cuyo valor radica en conjuntos finitos que poseen. Se aplican a empresas de ingeniería y materiales con décadas de informes y protocolos de pruebas, así como a prácticas legales y de propiedad intelectual, donde el proceso real se desarrolla a través de cientos de casos. También son aptos los fabricantes con manuales e historiales de servicio, junto con equipos de soporte que han mantenido conversaciones a lo largo de los años, cuya referencia prácticamente ya está lista para ser exportada.
También se benefician los compradores que exigen pruebas, ya que un certificado con resultados de preguntas secretas tiene más peso que una afirmación de que el producto utiliza el modelo más reciente.
Dos efectos secundarios se convierten en productos en sí mismos. Una wiki limpia constituye un material de inducción excelente, ya que los recién llegados pueden leer directamente lo aprendido. Y el hallazgo de la auditoría, de que dos políticas se contradicen mientras el personal improvisa, es precisamente lo que los consultores cobran caro a las empresas para descubrir. El ciclo lo revela en el transcurso del proceso.
Límites
El método gana confianza al conocer sus límites, y estos son:
- Habilidades, estilo y voz están fuera del alcance. Si el modelo no puede razonar o escribir de la manera que requiere una tarea, eso corresponde al ámbito del ajuste fino real del modelo. El ajuste fino agente se enfoca en lo que el agente sabe y no en lo que puede hacer.
Partes aburridas, verdadero valor
Nada de esto representa un avance en la investigación. Los conjuntos de prueba son antiguos, las herramientas para evaluar LLMs son algo rutinario y la extracción de conocimiento es un campo ya establecido. La ventaja radica en que casi nadie se ocupa de las partes aburridas. Los equipos comparan modelos mientras que los aprendizajes realmente importantes permanecen sin leer en una carpeta llamada FINAL_v2_old_DO_NOT_DELETE.
Los modelos siguen mejorando por sí solos, pero las lecciones contenidas en los datos de una empresa no se extraerán por sí mismas. La parte que realmente vale la pena entrenar es aquella que pertenece a la propia empresa.
Lecturas relacionadas
- IA tradicional, IA generativa e IA agencial: cómo difieren — Predecir, crear, actuar: una comparación en lenguaje sencillo de la IA tradicional, generativa y agencial, con ejemplos de soporte técnico, ciencia de datos y contratación, además de indicaciones sobre cuándo utilizar cada una.
- Análisis agencial en la práctica: un Slackbot, una capa semántica y la opción de comprar o desarrollar — El relato de un científico de datos sobre cómo crear un Slackbot que permite interactuar con los datos, implementarlo, escalar la capa semántica, adquirir Omni y por qué fueron importantes la adopción de estas tecnologías y las habilidades necesarias.