Por qué RAG no encuentra la página que contiene la respuesta: pan, levadura y vectores
La búsqueda de similitud en RAG puede devolver páginas sobre el tema correcto y, aun así, pasar por alto la que contiene la respuesta. Por qué las tablas y el método top-k empeoran la situación, y qué probar primero.
Imagínese un pan que sale del horno plano y denso. Pregunta a un asistente de inteligencia artificial que ha procesado todo su libro de recetas por qué sucede eso. La respuesta llega al instante, con total seguridad: revise su técnica de amasado, verifique la temperatura del horno. Todo lo que dice se refiere al pan, pero nada de ello es correcto.
El libro de recetas sí contenía la respuesta. Una página titulada “Activación de la levadura” indica que el agua a una temperatura superior a unos 50°C mata la levadura. El agua estaba demasiado caliente, la levadura murió, nada subió y el pan se mantuvo plano. Esa página nunca se abrió. La razón merece ser comprendida, porque lo mismo está sucediendo en silencio dentro de muchos sistemas de inteligencia artificial empresarial.
Cómo funcionan estos sistemas
La técnica se denomina generación reforzada por recuperación de información, o RAG. Un modelo no puede memorizar todos sus documentos, por lo que el sistema obtiene los pasajes relevantes y permite que el modelo los lea antes de responder.
Hay un detalle importante que afecta el funcionamiento posterior. El sistema no conserva documentos completos; los divide en fragmentos de unas pocascientas palabras, llamados chunks, y busca entre ellos. En una receta, un chunk corresponde aproximadamente a una página.
Una imagen útil es la de un bibliotecario que trabaja con un experto. Su pregunta llega al bibliotecario, quien recorre los estantes, recoge varias páginas que parecen relevantes y las pasa a través de una abertura a un experto encerrado en una habitación. Ese experto solo puede utilizar esas páginas y no tiene forma de solicitar más.
¿Cuántas páginas se transmiten? Por defecto, a menudo cinco, como en Amazon Bedrock Knowledge Bases y Azure OpenAI On Your Data, mientras que LangChain comienza en cuatro. Aumentar la cantidad es la primera solución a la que recurren la mayoría de las personas. Cada plataforma lo denomina de manera diferente: numberOfResults en Bedrock, topNDocuments en Azure OpenAI On Your Data, y k en LangChain y en Azure AI Search. Todos ellos se refieren a cuántos fragmentos puede leer el modelo.
Cuando el bibliotecario elige bien, el experto parece brillante. Cuando la elección es deficiente, el experto no indica que las páginas están equivocadas; responde de todos modos, de forma fluida, segura e incorrecta.
Cómo elige el bibliotecario
Todo lo demás deriva de este paso. El sistema convierte cada fragmento en una lista de números que describen de qué trata ese fragmento, y hace lo mismo con su pregunta. Luego devuelve los fragmentos cuyos números están más cerca de los de la pregunta.
Hay dos términos que aparecen constantemente. La lista de números de un fragmento se denomina embedding, y la medida de cercanía es la similitud coseno. Puede omitir los cálculos matemáticos, ya que la idea es simplemente cuán similares son en significado dos cosas.
El defecto es visible en el mecanismo
Imagínese cada fragmento como una flecha dirigida hacia alguna dirección. La puntuación de similitud refleja el ángulo entre dos flechas: un ángulo pequeño indica similitud, mientras que uno grande indica falta de relación. Dado que la fórmula elimina la longitud de cada flecha, solo queda la dirección del texto. La fuerza, la precisión y el énfasis se pierden por completo.
Puede demostrar la consecuencia en aproximadamente un minuto. Tome pares de oraciones que difieren por una sola palabra, donde esa palabra contiene toda la instrucción, como “hacer” frente a “no hacer”. A simple vista, cada par parece casi idéntico. Si el sistema selecciona el miembro incorrecto del par, la respuesta final no es vaga: está claramente equivocada.
Haga una verificación rápida con su propio material antes de confiar en un sistema. Elija dos oraciones que difieran únicamente en una negación, un número de versión o un umbral, incorpórelas y compare las puntuaciones. Esto es más convincente que cualquier prueba de rendimiento publicada, ya que utiliza su propio corpus.
Para ser justos, este enfoque no consiste en una coincidencia de palabras clave. Compara el significado, por lo que los sinónimos no representan problema: si pregunta por un coche, encontrará texto sobre automóviles. La gente suele pensar que una redacción mejor es la solución, pero la redacción no es el problema.
Lo que mide la puntuación es si un fragmento trata sobre lo mismo que la pregunta. Lo que no mide es si el fragmento contiene la respuesta. La mayoría de las veces ambas cosas coinciden y nadie se da cuenta. Una pregunta sobre cuándo se construyó la Torre Eiffel se responde con un fragmento sobre la Torre Eiffel, lo cual es sencillo.
Ahora, volvamos al pan.
Cuando la respuesta está en un tema diferente
La pregunta trata sobre el pan. La página que contiene la respuesta trata sobre la levadura. Se trata de temas diferentes, no de palabras distintas para un mismo tema, por lo que las frases ingeniosas no pueden unirlos. Lo que los conecta es una secuencia causal:
el agua está demasiado caliente, la levadura muere, no hay gas, no hay levantamiento, pan plano
Un panadero experimentado sigue esa secuencia sin pensarlo dos veces. Una búsqueda de similitudes no puede superarla en absoluto, ya que para hacerlo se necesita razonamiento, y la búsqueda solo mide la cercanía.
La situación empeora. Preguntaste precisamente porque no conocías la causa. Si hubieras sabido buscar las temperaturas de la levadura, no habría habido necesidad de preguntar. Estos sistemas son útiles solo para preguntas que podrías haber respondido tú mismo.
Por qué obtener más páginas ayuda solo un poco
Aumentar la configuración de cinco a cincuenta parece la solución obvia, y ahora la página sobre la levadura podría ser recopilada. Pero el ranking no ha cambiado. La página sigue estando oculta porque sigue tratando sobre otro tema. La red es más amplia y uno espera que eso ayude.
También hay un costo adicional: más texto significa mayor gasto, respuestas más lentas y material casi relevante adicional que entorpece lo que lee el modelo, lo cual, como se muestra a continuación, empeora activamente los resultados.
Las tablas se pierden incluso antes de que comience la búsqueda
Otra pérdida ocurre antes, cuando se ingieren los documentos. Antes de que se pueda buscar algo, un documento se convierte en texto plano. El texto narrativo sobrevive a la conversión, pero la estructura a menudo no.
Imagínese una tabla que enumera los tiempos de corrección, con una columna para cada tipo de pan. Al convertirla a texto, las cifras permanecen, pero las columnas desaparecen. Si se pregunta cuánto tiempo necesita el centeno, el texto almacenado no ofrece ninguna relación entre la cifra de 45 minutos y el hecho de que se trate de centeno en lugar de pan de masa fermentada. Solo las columnas de la tabla indicaban esa relación, y estas no sobrevivieron a la conversión. Por lo tanto, una tabla convertida a texto plano puede entregar al modelo una lista de números y nombres sueltos.
Un libro de cocina puede ignorar este problema. En cambio, una hoja de especificaciones, una tabla de precios, una matriz de compatibilidad o una referencia de configuración no pueden hacerlo, ya que en esos documentos el significado reside en el diseño y no en las frases.
Actualmente, ambas plataformas ofrecen una mejor capacidad de análisis: Bedrock cuenta con un analizador basado en modelos fundamentales, mientras que Azure dispone de la función de extracción de estructura de Document Intelligence. Aunque son de gran ayuda, no eliminan el problema y no están incluidos de forma predeterminada.
Evidencia medible
Un benchmark llamado BRIGHT se centra en preguntas en las que el razonamiento, y no la coincidencia temática, permite encontrar el documento correcto. Los modelos de recuperación que obtienen unos 59 de 100 puntos en búsquedas habituales bajan a aproximadamente 18 en este tipo de preguntas. Lo único que cambia es el tipo de pregunta. Tampoco más recursos computacionales los ayudan: de los trece modelos probados, el mejor resultado en el conjunto más difícil fue de 24 puntos.
La parte peligrosa
Si el sistema respondiera “no se encontró nada”, sería un pequeño fastidio. Pero nunca lo hace. Un motor de búsqueda ordena los resultados según su cercanía y no descarta ninguno. Incluso cuando sus documentos no contienen la respuesta, aún se reciben resultados que parecen indicar un éxito, y no existe un umbral de puntuación que haga que el sistema admita no haber encontrado nada útil.
Un trabajo presentado en ICLR 2025 analizó este fenómeno. Cuando un modelo recibía material relacionado que en realidad no contenía la respuesta, sus respuestas incorrectas aumentaron de aproximadamente el 10 % al 66 %, lo cual es peor que no ofrecer respuesta alguna. Además, los modelos mostraron una disposición notablemente menor a admitir que no sabían la respuesta.
El material que es parcialmente relevante causa más daño que ninguno, ya que genera una confianza falsa. Es fácil asumir un resultado mediocre. El mismo error en una revisión de cumplimiento, una pregunta médica o una elección arquitectónica no lo es, y por eso este fallo merece atención.
Qué hacer
Tres pasos pueden ayudar, más o menos en orden de utilidad:
- Utilice preguntas realistas. Los equipos suelen probar con consultas redactadas por los autores de los documentos, usando sus propias palabras. Pida a colegas que no hayan leído el material que escriban las preguntas en su lugar, y los puntos débiles saldrán a la luz rápidamente.
- Mida la recuperación por sí sola. Antes de juzgar si una respuesta es buena, verifique si siquiera se obtuvo el fragmento correcto. Si no fue así, ajustar el modelo no servirá de nada, porque se está corrigiendo la parte incorrecta del sistema.
El RAG convencional tiene dificultades para abordar preguntas técnicas complejas por varias razones, y esta brecha entre la recuperación de información y el razonamiento es solo una de ellas. Otra es el fragmentado que destruye el significado, al igual que un sistema que pasa las pruebas pero falla en entornos reales. Para solucionar cualquiera de estos problemas, primero hay que determinar dónde se perdió el pasaje adecuado, en lugar de adivinar, y asumir que el primer intento de recuperación a veces fallará.
Leer más
- Por qué RAG sigue dando respuestas incorrectas: búsqueda híbrida, reclasificación y Recall@K — Los fragmentos bien estructurados no garantizan respuestas adecuadas. Conozca dónde falla la recuperación vectorial y cómo la fusión, un reclasificador con codificador cruzado, HyDE y la métrica Recall@K lo solucionan.
- Recuperación contextual para RAG: Qué oculta la cifra del 67%, cuánto cuesta y cuándo falla — Cómo los prefijos ayudan a solucionar los bloques huérfanos, por qué el aumento del 67% se debe a tres intervenciones sucesivas, qué ahorra el caché de prompts y cuatro casos en los que la técnica no da resultados.
- Un pipeline RAG local con Qdrant, fastembed y Gemini en Python — Crea una herramienta de línea de comandos RAG incremental: divide en bloques los documentos locales, incrusta su contenido sin conexión, almacena los vectores en Qdrant y responde a preguntas con Gemini.
- Qué significa realmente GPT y por qué la ingeniería de IA sigue siendo ingeniería — Explica el Transformador generativo preentrenado, la atención, el ajuste y la predicción, y muestra por qué un buen trabajo en IA sigue dependiendo del juicio ingenieril habitual y de preguntas más adecuadas.