Inicio / Artículos

Evaluación de la recuperación RAG más allá de la recuperación ANN, tomando como ejemplo a Turbopuffer.

Un índice vectorial rápido aún puede no encontrar la respuesta. Aprenda sobre los compromisos de almacenamiento de Turbopuffer, la búsqueda híbrida BM25 más búsqueda vectorial, y cómo un conjunto dorado mide la recuperación real.

Editor: REACTAPP.TOP7 min de lectura1671 palabras

Fuentes: Turbopuffer Made Me Rethink RAG: A Fast Index Does Not Mean Correct Retrieval

Los equipos que inician un proyecto RAG suelen empezar con una pregunta: ¿qué base de datos vectorial elegir? Es una pregunta legítima, pero no es la principal. Una base de datos mejor puede reducir costos, acelerar las búsquedas y hacer que un sistema grande sea más fácil de operar. Lo que no puede indicar es si el usuario realmente obtuvo la información que necesitaba.

Turbopuffer es un buen caso de estudio por dos razones. Su modelo de almacenamiento y servicio es inusual, y destaca el paso que la mayoría de los equipos RAG omiten: probar adecuadamente la recuperación de información.

Cómo almacena y sirve datos Turbopuffer

La copia duradera de los datos se encuentra en almacenamiento de objetos, mientras que la memoria y NVMe funcionan como caché. Las máquinas de consulta no tienen estado, por lo que una sola máquina puede servir a muchos espacios de nombres y no necesita conservar los datos de un único cliente para siempre.

Eso es adecuado para un corpus grande compartido entre muchos usuarios. Imagine un producto B2B en el que cada cliente posee un conjunto de documentos, pero solo unos pocos clientes están activos en cualquier momento. Almacenar el índice completo de cada cliente en RAM sería costoso. Los datos inactivos pueden almacenarse de forma económica en almacenamiento de objetos, mientras que los namespaces activos se procesan más rápidamente en NVMe y memoria.

Este diseño conlleva un compromiso. Para un namespace con un millón de documentos, Turbopuffer ofrece un tiempo de respuesta p50 de 14 ms para consultas activas, mientras que la primera consulta en un namespace inactivo del mismo tamaño tiene un tiempo de respuesta p50 de 874 ms. Por lo tanto, describirlo como “siempre rápido” es incorrecto. Es mejor decir que es económico mientras los datos están inactivos y rápido una vez que los datos se vuelven activos. Muchos sistemas RAG de gran tamaño deberían aceptar este equilibrio, aunque resulta deficiente cuando cada solicitud debe ser rápida incluso para datos a los que nadie ha accedido recientemente.

El producto también se centra en la recuperación en la primera etapa, reduciendo un corpus enorme a un conjunto más reducido de candidatos. El resto corresponde a la aplicación: búsqueda híbrida, reclasificación y la lógica que decide qué llega al modelo. Esa división mantiene una verdad clara: la base de datos puede hacer posible la recuperación, pero la aplicación sigue decidiendo si dicha recuperación es útil.

Por qué el flujo básico no es suficiente

El pipeline RAG más simple se ve así:

User question → vector search → top 5 chunks → LLM answer

Adecuado para una demostración, pero deficiente en entornos de producción. Los usuarios reales no se limitan a hacer preguntas semánticas simples; copian códigos de error, preguntan sobre excepciones en las políticas, utilizan abreviaturas y nombres de productos, necesitan una versión más antigua del documento o desean una respuesta que abarque varios documentos.

Tiene sentido utilizar ambos tipos de búsqueda:

  • Búsqueda vectorial: se ocupa del significado. Puede relacionar “permiso por nacimiento de un hijo” con una página titulada “permiso parental”.
  • BM25: se encarga de los términos literales, de modo que una consulta que contenga ERR_PAYMENT_042, SKU-78291 o AuthMiddleware lleva a la página correcta.

Ambos están disponibles en Turbopuffer a través de multi_query, y los resultados pueden combinarse con Reciprocal Rank Fusion, conocido como RRF. La aplicación puede luego reordenar los 20 a 50 mejores resultados y proporcionar al LLM solo unos pocos fragmentos relevantes. La búsqueda híbrida no es automáticamente superior. La recuperación de vectores y palabras clave falla de maneras diferentes, por lo que el propio conjunto de pruebas de la aplicación debe determinar si ambos métodos son útiles.

Tres aspectos a medir

Un alto valor de vector-recall hace que muchos equipos asuman que RAG funciona. Pero ese no es el significado real del número.

Se deben medir tres cualidades distintas:

  1. Fidelidad del índice: ¿la búsqueda de vectores aproximada devuelve lo mismo que daría una búsqueda de vectores exacta?
  2. Relevancia de la recuperación: ¿la búsqueda devuelve las pruebas que responden a la pregunta?
  3. Calidad de la respuesta: ¿utiliza el modelo esa evidencia de manera correcta y segura?

Turbopuffer aborda bien el primer punto. Muestra el 1% del tráfico de consultas en tiempo real, compara los resultados aproximados basados en vecinos más cercanos con búsquedas vectoriales exhaustivas y registra cuánto se superponen. Según sus indicaciones, un porcentaje de recuperación del 90 al 95%@10 representa un equilibrio razonable para muchas cargas de trabajo. Esto muestra si el índice encuentra lo mismo que encontraría una búsqueda vectorial exacta, pero no indica si dicha búsqueda vectorial exacta era adecuada para la pregunta.

Considere a un usuario que pregunta:

What does ERR_PAYMENT_042 mean?

La respuesta se encuentra en la base de conocimientos, en una página de códigos de error, pero el código solo aparece una vez dentro de una tabla enorme. La búsqueda vectorial podría devolver tres guías generales de pago porque están cercanas en significado a la pregunta, y la búsqueda vectorial exacta devolvería esas mismas tres. La base de datos entonces indica un porcentaje de recuperación ANN del 100%, mientras que la respuesta real nunca llega al modelo.

Una sola búsqueda BM25 para ERR_PAYMENT_042 podría solucionar esto. Ninguna cantidad de ajuste del índice vectorial serviría, ya que el índice vectorial nunca estuvo dañado. Cumplió su función perfectamente y simplemente se le asignó la tarea incorrecta. De ahí la idea central: la recuperación ANN no es la recuperación RAG. Uno mide cuán bien el índice coincide con una búsqueda matemática, y el otro mide si el usuario recibió la evidencia correcta.

Crear un pequeño conjunto de referencia

Antes de cambiar el tamaño del bloque, las incrustaciones, el top-K o los reordenadores, reúna un conjunto reducido de preguntas reales y marque qué bloques deben responder a cada una. Cien preguntas son suficientes para comenzar, y no necesitan ser perfectas. Utilice registros de búsqueda, tickets de soporte y los fallos reportados por los usuarios, y añada algunas de expertos en el área. Cada entrada requiere muy poco:

{
  "query": "How much parental leave do employees get?",
  "relevant_chunk_ids": ["benefits/parental-leave#3"],
  "query_type": "semantic_paraphrase",
  "must_contain": ["16 weeks"],
  "must_abstain": false
}

El conjunto debe combinar diferentes tipos de preguntas:

  • identificadores y acrónimos exactos,
  • preguntas semánticas comunes,
  • preguntas largas y extensas de los usuarios,
  • preguntas que requieren dos documentos,
  • preguntas sin respuesta, y
  • preguntas sensibles a la autorización en las que existe la respuesta pero el usuario no debe verla.

El grupo de preguntas sin respuesta es importante. Un sistema RAG debería poder indicar que no encontró algo en los documentos disponibles, lo cual es mejor que inventar una respuesta con seguridad.

Una regla útil de seguir: convierta cada fallo real del RAG en un caso de prueba antes de solucionarlo. Si lo omite, el error se corrige, el ejemplo se olvida y el mismo defecto vuelve a aparecer seis semanas después.

Comience con métricas simples de recuperación

No debería utilizarse primero un juez basado en LLM. Las métricas simples de recuperación realizan el trabajo inicial:

  • Recall@K verifica si el fragmento correcto apareció entre los primeros K resultados.
  • Mean Reciprocal Rank (MRR) mide en qué posición temprana apareció el primer fragmento correcto. Un fragmento correcto en el puesto 1 no es lo mismo que uno en el puesto 5, detrás de cuatro fragmentos irrelevantes.
  • Normalized Discounted Cumulative Gain (nDCG) resulta útil cuando algunos fragmentos pueden calificarse como “muy relevantes” y otros como “algo relevantes”. La guía de búsqueda híbrida de Turbopuffer sugiere crear un conjunto de pruebas con resultados ideales y evaluar el nDCG.

Un único promedio general oculta demasiada información, por lo que los resultados deben dividirse por tipo de pregunta. Un hallazgo útil podría ser: la búsqueda híbrida mejoró el recuerdo general, pero casi todo el beneficio provino de códigos de error y abreviaturas, con pocos efectos adicionales en las preguntas semánticas comunes. Un promedio no puede indicar eso.

Compare las configuraciones cambiando una cosa a la vez

Mantenga el experimento pequeño y reproducible, y ejecute el mismo conjunto de datos de referencia con varias configuraciones:

  • Ejecución A: búsqueda solo con vectores, la línea de base.
  • Ejecución B: búsqueda solo con BM25, para mostrar dónde ganan las palabras exactas.
  • Ejecución C: vectores más BM25 combinados con RRF, para probar si el enfoque híbrido es útil.
  • Ejecución D: Ejecución C más un reordenador, para ver si la mejora en calidad justifica la mayor latencia y costo.

Modifique solo una cosa por ejecución y registre estos números: el porcentaje de recuperación a los 5 y a los 10, el MRR (más nDCG una vez calificados los etiquetados), manteniendo separadas las latencias de inicio en frío y las de inicio en caliente, y cuánto costaron 1,000 consultas. El soporte para nombres de espacio de nombres de prueba y ramas de un nombre de espacio de nombres de producción en Turbopuffer simplifica el ejercicio, ya que se pueden probar datos reales sin afectar el nombre de espacio de nombres en producción.

También se debe seguir de cerca el propio porcentaje de recuperación del ANN de Turbopuffer, como verificación del estado del índice. Si disminuye, el índice no está realizando búsquedas exactas de manera eficaz. Si está en buen estado pero la puntuación del conjunto de referencia es baja, el problema radica en otro lugar: embeddings, particionamiento, búsqueda híbrida, filtros o reclasificación. Esa es una diagnosis muy útil.

Luego verifique la respuesta

Una vez que los fragmentos adecuados lleguen al LLM, examine la respuesta final con cinco preguntas. ¿Es correcta? ¿Cada afirmación importante está respaldada por texto recuperado? ¿Incluye toda la información clave? ¿Las citas respaldan las afirmaciones junto a ellas? ¿Se negó a responder cuando no existía respuesta?

Los hechos simples merecen verificaciones simples: una respuesta que debe indicar “16 semanas” puede buscarse simplemente con esa frase. Reserve un evaluador LLM para casos más difíciles, como determinar si una respuesta larga está fundamentada y es completa. Herramientas como Ragas pueden ayudar, aunque no pueden reemplazar un buen conjunto de pruebas.

El caso riesgoso ocurre cuando la recuperación falla y el LLM sigue dando una respuesta plausible basada en su propio entrenamiento. Una verificación de extremo a extremo podría indicar que la respuesta parece correcta mientras que el pipeline RAG ha fallado. Esto se vuelve peligroso cuando la respuesta es específica de la empresa, ha cambiado recientemente o es sensible.

La lección más importante

Turbopuffer es adecuado cuando la recuperación debe abarcar una gran cantidad de datos y muchos nombres de espacio, con un modelo de costos que no hace que los datos inactivos sean caros. Sin embargo, la lección principal no se refiere al producto, sino a la medición. Turbopuffer verifica si su búsqueda aproximada coincide con una búsqueda exhaustiva en tráfico en tiempo real, lo cual constituye una buena práctica de ingeniería. Un sistema RAG debería adoptar este hábito, preguntándose si se recuperaron las pruebas adecuadas, si el modelo las utilizó bien y si un cambio reciente empeoró el flujo de trabajo del usuario real.

La velocidad no es sinónimo de precisión, ya que un recuperador rápido puede entregar el documento incorrecto en pocos milisegundos. La solución consiste en crear el pequeño conjunto ideal, cambiar una variable a la vez y convertir cada fallo en una prueba de regresión. Así es como RAG pasa de algo que parece magia a un sistema que puede mejorarse paso a paso.

Leer más