Siete formas en que una respuesta de RAG falla y cómo encontrar la etapa problemática.
Una forma práctica de diagnosticar respuestas incorrectas de RAG: siete puntos de fallo agrupados en tres etapas, cuatro campos para registrar y una prueba que identifica al culpable.
Fuentes: The RAG Pipeline as Building Blocks: Seven Ways an Answer Goes Wrong
Cuando un sistema RAG da una respuesta incorrecta, la falla ocurre en exactamente uno de siete puntos, y es necesario decidir cuál de ellos se debe modificar. Aunque se ajuste una etapa que funcionaba bien, la respuesta sigue estando igual de errónea.
Una solicitud pasa por procesamiento y fragmentación, incrustación e indexación, recuperación, montaje de contexto y generación. Cualquiera de estas etapas puede fallar, y el resultado final es el mismo independientemente de cuál haya fallado. Sin conocer la etapa defectuosa, cualquier solución es solo una conjetura: un nuevo tamaño de fragmento, otro modelo de incrustación o un reordenador de resultados modifica todas las consultas al mismo tiempo.
A continuación se presenta un método de diagnóstico. Identifica siete puntos en los que puede fallar una respuesta, los agrupa en las tres etapas responsables de la corrección y enumera cuatro elementos que deben registrarse para diferenciarlos.
Una mala respuesta oculta su causa
Cada uno de los siete puntos de fallo se manifiesta como un texto fluido, convincente, incorrecto o incompleto. Nada en el resultado indica en qué etapa ocurrió la falla.
- Todos los siete se ven iguales al llegar: un párrafo que nadie escribió, un fragmento enterrado en la posición ocho y un modelo que leyó la columna incorrecta de la hoja de cálculo terminan siendo una respuesta convincente.
- Pero las soluciones no son transferibles. La ingestión determina qué existe, la recuperación qué se encuentra, el ensamblaje qué se envía y la instrucción qué le sucede. El esfuerzo invertido en la capa incorrecta no cambia nada en la que falla.
- Adivinar cuesta más que el error en sí. Volver a incrustar todo un corpus para corregir un problema de formato lleva días y deja el problema intacto.
La mejor pregunta es dónde estuvo el texto de respuesta intacto por última vez y en qué etapa se perdió.
Siete fallos en tres etapas
Los siete casos provienen de un estudio publicado sobre sistemas RAG en funcionamiento (arXiv 2401.05856); aquí se les ha dado un nuevo nombre en función del problema que presentaron. Están agrupados según dónde se encuentra la reparación, por lo que localizar una falla dentro de un grupo ya reduce las opciones posibles.
Ingestión: contenido faltante
El dato necesario nunca se convirtió en texto que el índice pudiera buscar. Quizás no existe ningún documento de origen que lo contenga, o bien desapareció durante el análisis, la limpieza o la división en fragmentos.
- Contenido faltante. Se consulta a una wiki interna sobre la licencia parental en Irlanda. Solo se había redactado la política de EE. UU., pero el sistema responde de todos modos.
Ambas causas producen el mismo síntoma, pero requieren reparaciones diferentes. Si nadie registró nunca ese dato, el sistema debería poder rechazar la solicitud. Si la ingestión lo dañó, hay que examinar el analizador, las reglas de limpieza o una tarea de sincronización que se haya detenido silenciosamente.
Recuperación y contexto: no se recuperó, se cortó antes del prompt, se leyó un valor incorrecto
El dato en realidad se encuentra en algún fragmento, pero el modelo recibió algo distinto.
- No se recuperó. El fragmento está en el índice, pero la búsqueda simplemente no lo mostró. Imagina un valor de par de torsión dentro de una tabla de especificaciones en un manual, que queda eclipsado por una página genérica de solución de problemas.
- Se cortó antes del prompt. La búsqueda lo devolvió, pero nunca formó parte del contexto. Doce tickets de soporte coinciden con una consulta sobre importaciones fallidas, y el presupuesto de tokens solo permite conservar cinco.
- Se leyó un valor incorrecto. El fragmento estaba en el prompt junto a una versión duplicada, obsoleta o con mucho ruido, y el modelo utilizó la fuente equivocada. Aparecen tanto el contrato como su enmienda sustituta, y la fecha de renovación proviene del contrato antiguo.
Tanto el orden como la adecuación son importantes. Investigaciones en contextos extensos (arXiv 2307.03172) demuestran que los modelos utilizan mejor el material al principio y al final que el del medio, por lo que una parte del texto puede llegar hasta la instrucción de entrada y aun así ser ignorada.
¿Por qué aparece aquí un valor incorrecto? El modelo generó el error, por lo que parece ser un problema de generación. Pero la solución suele estar en las fases previas: eliminar duplicados, descartar versiones obsoletas, reducir ruido y reorganizar el contexto. Reescribir la instrucción de entrada rara vez ayuda.
Generación: formato incorrecto, alcance incorrecto, incompleto
A pesar de tener toda la información necesaria, el modelo siguió generando una respuesta deficiente.
- Formato incorrecto. Hechos correctos en una estructura inadecuada: se solicitó una lista de verificación y se recibió un párrafo.
- Ámbito incorrecto. La respuesta abarca un rango demasiado amplio o demasiado estrecho. Una pregunta sobre un límite de gastos incluye la política aplicable a todo el personal, aunque quien la plantea sea un freelancer con reglas diferentes.
- Incompleto. Se omite una parte de una pregunta que consta de varias partes. Alguien pregunta por cuatro colas de tickets y recibe datos solo para tres.
Lo incompleto es lo que la gente pasa por alto al leer, ya que nada de lo escrito es falso. Una auditoría de citas lo detecta: si una fuente aparece en la solicitud pero nunca se cita, se ha dejado algo fuera. Dado que el contexto es correcto, la corrección debe realizarse en la solicitud, en el formato de respuesta o en la interfaz.
Cómo diagnosticar
Registar cuatro campos por solicitud
El diagnóstico implica reconstruir una solicitud posteriormente, a partir de una queja que aparece horas después. Volver a hacer la solicitud manualmente no es una alternativa, ya que el índice probablemente haya cambiado y el fallo podría no reproducirse. Cuatro campos son suficientes:
- La pregunta original, antes de cualquier reescritura, porque la reescritura en sí misma es un punto de fallo.
- Lo que devolvió la búsqueda: cada fragmento candidato con su
chunk_id,doc_id,versiony puntuación. - Lo que se le dio al modelo: los valores de
chunk_idque quedaron después de aplicar el presupuesto de tokens. - La respuesta final, carácter por carácter.
# The retrieved list and the prompt list stay separate. Collapsed into one,
# a chunk lost at ranking and a chunk lost at the token budget leave the
# same record, and no later reading of the log can separate them.
log_request({
"question": question,
"retrieved": [
{"chunk_id": c.chunk_id, "doc_id": c.doc_id,
"version": c.version, "score": c.score}
for c in candidates
],
"in_prompt": [c.chunk_id for c in context],
"answer": answer,
})
Mantenga separadas las listas de recuperación y de prompts. Un registro que solo contenga el prompt procesado y la respuesta no puede distinguir entre un fallo en el ranking y un fallo presupuestario.
Una prueba, tres resultados
Elija el fragmento que debería haber influido en la respuesta. Búsquelo en el registro y anote hasta qué punto del proceso llegó. Solo existen tres puntos de detención, y cada uno corresponde a una etapa.
- No se encontró en ningún fragmento: este es un problema de la fase de ingestión. El corpus no lo contiene, o se perdió antes de la indexación.
- El texto está en un fragmento que nunca llegó al prompt. La recuperación y el contexto se encargan de ello: el ranking no devolvió el fragmento, o el presupuesto lo eliminó.
- Se encontró en el prompt, pero la respuesta sigue siendo incorrecta: el modelo tenía todo lo necesario. Si eligió un valor erróneo, busque duplicados o ruido en las fases anteriores. Si la forma, el alcance o la completitud son inadecuados, revise la fase de generación.
Lo que los siete no cubren
Estos siete determinan si una respuesta es correcta. Hay varias cosas que hacen que un sistema no sea viable para su uso que para ellos son invisibles.
- Permisos. Una respuesta que cita un documento que el solicitante no puede leer es correcta, pero inaceptable. Se necesita
acl_principalsalmacenado junto a cada fragmento y un filtro en el momento de la consulta. - Documentos dañinos. Un archivo que contiene instrucciones dirigidas al modelo puede superar todas y cada una de las siete verificaciones, ya que la respuesta sigue siendo fiel a lo que se le proporcionó.
- Propiedad del usuario. Que los fragmentos del cliente A aparezcan en la respuesta del cliente B se soluciona mediante un
tenant_iden los fragmentos almacenados y en cada consulta, nunca mediante la redacción del prompt. - Escala y costo. La latencia y el gasto por consulta en corpus de gran tamaño no aparecen en ninguno de los siete criterios.
Todos los siete pueden aprobar aunque sigan filtrándose datos. Este marco explica las respuestas incorrectas; no dice nada sobre la seguridad.
Problemas comunes
- Ampliar la búsqueda de una respuesta cuyo fragmento ya llegó hasta el prompt. Más resultados significan más ruido, lo que hace que sea más probable que se interprete un valor incorrecto.
- Registrar solo el prompt procesado. Los fragmentos no recuperados y recortados antes del prompt parecen idénticos, por lo que se ajusta la búsqueda cuando el problema radica en el presupuesto, o al revés.
- Usar la negativa como solución. Si la respuesta se encuentra en una tabla que el analizador aplanó, negarse a responder solo oculta un error de procesamiento detrás de buenas maneras.
- Añadir metadatos de fragmento después del lanzamiento. Introducir una versión o ruta de sección más tarde reescribe cada fragmento, y volver a incrustarlo es la parte costosa.
- Discutir sobre el alcance según los gustos. Si una respuesta es demasiado general sigue siendo un tema de debate hasta que una pregunta de prueba contenga la respuesta exacta que debería haber generado.
Poniéndolo en práctica
Imagínese la cadena de procesamiento como una cadena: una respuesta incorrecta significa que un eslabón falló, y el diagnóstico consiste en localizar el último eslabón donde el texto de la respuesta sobrevivió.
- Comience a registrar los cuatro campos antes de modificar cualquier configuración. Un registro por solicitud pone fin a la mayoría de los debates antes incluso de que comiencen.
- Ejecute primero la prueba única: ¿el texto está sin dividir en partes, en una parte que omitió la instrucción, o en la propia instrucción? Esa respuesta determina la etapa y, por lo tanto, el tipo de corrección más probablemente efectiva.
- Dé al sistema una forma de indicar que no sabe. Un conjunto de pruebas en el que cada pregunta tenga una respuesta nunca revelará contenido faltante.
- Almacenar
doc_id,version,section_pathyupdated_aten cada fragmento desde la primera incorporación, añadiendotenant_idyacl_principalssi el acceso es importante. - Posponer el resto hasta que una falla específica lo exija. La recuperación gráfica, multimodal y basada en agentes abordan cada uno de estos casos de no recuperación de forma distinta, y ninguno debería ser el predeterminado.
Las etapas varían según su arquitectura de recuperación, pero los cuatro campos registrados permanecen iguales en todas ellas.
Leer más
- Explicación de un pipeline básico de RAG: de documentos en bruto a respuestas fundamentadas — Cómo funciona un pipeline básico de generación mejorada por recuperación: limpieza, fragmentación, embeddings, búsqueda vectorial, formulación de preguntas, evaluación y los puntos de fallo habituales.
- Construyendo un pipeline ETL de producción para RAG con LangChain y FAISS — Diseño de procesos de fragmentación, incrustación e indexación vectorial para 40,000 PDFs relacionados con normativas, incluyendo mecanismos de reintentos, colas de mensajes no procesados, métricas de Prometheus y pruebas de rendimiento.
- Fragmentación: La decisión en RAG que se pasa por alto y que causa respuestas incorrectas — Por qué una mala división de los documentos reduce la calidad de la recuperación de información, cómo la fragmentación consciente de la estructura y la relación entre elementos ayuda, y cómo medir si las fragmentaciones utilizadas son efectivas.
- Un pipeline estratificado de sanitización de la privacidad para aplicaciones de LLM — Combine reglas de Presidio, detección de entidades con NLP y clasificación con un motor de políticas para enmascarar datos sensibles en aplicaciones de LLM sin destruir su utilidad para los registros.