30 preguntas de entrevista sobre RAG y bases de datos vectoriales con respuestas concisas.

Estas treinta preguntas surgen repetidamente cuando los equipos realizan entrevistas para puestos relacionados con la generación mejorada por recuperación de información y la búsqueda vectorial. Las respuestas están redactadas de la manera en que un candidato competente podría darlas: breves, con la contrapartida indicada y el parámetro de medición mencionado.

Lo básico

1. ¿Qué es RAG en una sola oración?

Es un patrón en el que el sistema obtiene evidencia de una fuente de conocimiento externa en el momento de hacer la pregunta y la presenta al modelo antes de que este escriba algo. El proceso habitual va desde el procesamiento de la consulta, pasando por la recuperación de información, el reordenamiento y la creación de contexto, hasta la generación y un paso final de verificación. Permite a una organización utilizar material privado, actual y citable sin tener que volver a entrenar un modelo. Sin embargo, la recuperación de información no garantiza la veracidad, por lo que sigue siendo necesario verificar los fundamentos, las citaciones, los permisos y la calidad de las respuestas.

2. ¿Cuándo tiene sentido usar RAG?

Úsalo cuando las respuestas dependan de documentos privados, información que cambia con frecuencia, grandes colecciones, pruebas rastreables o reglas de acceso por usuario y por inquilino. Por lo general, no es necesario para resumir texto que el usuario ya ha pegado, para cálculos exactos, para cambiar el estilo de escritura, ni para datos estructurados en tiempo real que una API o una base de datos puedan devolver directamente.

3. ¿En qué difieren RAG, el ajuste fino y la inducción de contexto largo?

RAG proporciona conocimiento en el momento de la inferencia. El ajuste fino modifica el comportamiento aprendido por el modelo. La inducción de contexto largo incluye más texto de origen dentro del propio prompt.

• Elige RAG para conocimiento que cambia, es privado o debe citarse.
• Elige el ajuste fino para el comportamiento, el tono, el formato o una tarea especializada.
• Elige el contexto largo cuando el corpus cabe y la tarea requiere comparaciones a través de todo él.
• Elija herramientas o APIs para datos transaccionales en tiempo real.

Se combinan bien: un modelo ajustado puede obtener documentos de pólizas mediante RAG y consultar las cifras de las cuentas en tiempo real a través de una llamada a API.

4. ¿Es una base de datos vectorial lo mismo que un sistema RAG?

No, es un solo componente. Almacena embeddings, responde a consultas de similitud, filtra por metadatos y se encarga del mantenimiento del índice. Un sistema de producción funcional necesita mucho más: análisis de documentos, fragmentación, control de acceso, recuperación híbrida, reclasificación, composición de prompts, generación, citas, evaluación, monitoreo y gestión de eliminación. Cuando un sistema RAG falla, la causa suele ser una preparación descuidada del corpus o la falta de evaluación, y no la elección de la base de datos.

5. ¿En qué difieren la recuperación densa, léxica y dispersa?

La recuperación densa compara embeddings y maneja bien la paráfrasis y los conceptos, pero puede pasar por alto identificadores exactos. La recuperación léxica, como BM25, califica los términos según su frecuencia y rareza, y es eficaz con nombres, códigos de producto, mensajes de error y jerga. La recuperación neural dispersa, como SPLADE, aprende la expansión de términos mientras mantiene un índice invertido. Una base sólida para producción suele combinar resultados léxicos y densos.

6. ¿Por qué mantener BM25 en una pila de búsqueda semántica?

Es excelente con palabras exactas, términos raros, acrónimos, códigos de error, citas legales e identificadores de producto, que los embeddings pueden representar de manera deficiente. También es económico y transparente. Dado que los dos métodos tienden a fallar con consultas diferentes, combinarlos suele mejorar la capacidad de recuperación.

7. ¿Codificador bilateral versus codificador cruzado?

Un bi-encoder incrusta la consulta y cada documento por separado, de modo que los vectores de los documentos pueden calcularse con antelación y buscarse entre millones de registros. Un cross-encoder lee la consulta y un documento juntos, lo que permite evaluar la relevancia con mayor precisión, pero requiere un proceso separado para cada candidato. El diseño estándar utiliza un bi-encoder para lograr una amplia recuperación de resultados y un cross-encoder para reordenarlos y mejorar la precisión.

8. ¿Coseno, producto escalar o distancia euclidiana?

El coseno compara el ángulo entre los vectores, el producto escalar tiene en cuenta la alineación y la magnitud, mientras que la distancia euclidiana mide la distancia en línea recta. Cuando los embeddings están normalizados en L2, el coseno y el producto escalar dan resultados idénticos. Sigue el objetivo de entrenamiento del modelo de embeddings y su ficha técnica, ya que una métrica inadecuada puede afectar negativamente a la recuperación de información.

Búsqueda y recuperación vectorial

9. ¿Qué es la búsqueda de vecino más cercano aproximada?

ANN encuentra los vectores que probablemente estén más cerca de la consulta sin compararlos con cada vector almacenado. Reduce la latencia y el costo a gran escala, pero podría pasar por alto algunos vecinos reales, por lo que se debe medir la tasa de recuperación en comparación con una búsqueda exacta. El equilibrio principal es entre velocidad y costo frente a una posible pérdida en la tasa de recuperación.

10. ¿Cómo se comparan los métodos flat, HNSW, IVF y la cuantización?

• Flat: compara todo y es preciso, pero es costoso a gran escala.
• HNSW: recorre un grafo navegable para lograr una alta tasa de recuperación y baja latencia, a costa de más memoria.
• IVF: agrupa los vectores en particiones de centroides y busca solo algunos de ellos; aumentar nprobe mejora la tasa de recuperación pero incrementa la latencia.
• Cuantización por producto o escalar: comprime los vectores para ahorrar memoria y almacenamiento, con un costo medible en precisión.

Elija según el tamaño del corpus, los filtros, la memoria, el patrón de actualización, la concurrencia y el nivel de recuperación que necesite.

11. ¿Qué es la búsqueda híbrida y por qué usarla?

Combina resultados densos con otros léxicos o dispersos. Las coincidencias semánticas provienen del lado de los embeddings y la terminología exacta del lado de las palabras clave; las listas se fusionan mediante fusión de rangos recíprocos, puntuaciones ponderadas o fusión de puntuaciones normalizadas. La ventaja es máxima en datos empresariales que mezclan conceptos en lenguaje natural con números de caso, códigos de políticas, identificadores de piezas y mensajes de error.

12. ¿Qué es la fusión de rangos recíprocos?

RRF combina las listas ordenadas utilizando las posiciones y no las puntuaciones brutas. Cada documento recibe, para cada lista, el valor 1 dividido entre (k más su posición en la lista), y se suman esos valores. Dado que las puntuaciones densas y léxicas se encuentran en escalas diferentes, sumarlas directamente no es fiable. RRF evita la calibración y premia a los documentos que obtienen altas posiciones en varios recuperadores.

13. ¿Por qué reordenar?

Los recuperadores de primera etapa se optimizan para la velocidad y la recuperación, por lo que sus listas de candidatos contienen coincidencias débiles. Un reordenador aplica un modelo más preciso a un conjunto limitado de documentos y eleva las pruebas más relevantes a la parte superior, lo que mejora la precisión contextual y evita que el generador incluya texto irrelevante. Ajuste la cantidad de candidatos en función de Recall@k, la latencia del reordenador, el costo y el rendimiento en tipos de consultas clave.

14. ¿Qué hace la relevancia marginal máxima?

Al elegir los fragmentos, MMR equilibra la relevancia con la redundancia: aproximadamente, una puntuación de relevancia ponderada por lambda menos el complemento de lambda multiplicado por la similitud con lo que ya se ha seleccionado. Sin este mecanismo, el sistema podría devolver varios fragmentos casi idénticos de una misma sección. Mejora la cobertura cuando los resultados son repetitivos, pero demasiada diversidad hace que se incluyan menos fragmentos relevantes.

15. ¿Por qué los filtros de metadatos pueden perjudicar la calidad de ANN?

Si la búsqueda ANN se ejecuta primero y luego se aplican los filtros, muchos de los principales candidatos podrían descartarse por pertenecer al inquilino, producto, rango de fechas o versión del documento incorrecto, lo que deja menos resultados de los solicitados. Las soluciones incluyen búsquedas integradas o prefiltradas, índices de metadatos, muestreo excesivo de candidatos, particiones por inquilino, búsquedas iterativas y búsquedas exactas para filtros muy selectivos. Los filtros de autorización deben aplicarse como restricciones de recuperación confiables y no como instrucciones temporales.

Preparación de datos

16. ¿Cómo se elige una estrategia de particionamiento?

Decida mediante pruebas, guiado por la estructura del documento y la forma en que las personas realizan búsquedas. Los fragmentos pequeños ofrecen una coincidencia precisa pero pierden el contexto, mientras que los grandes mantienen el contexto pero diluyen las representaciones, aumentan el costo y ocultan las pruebas. El menú incluye técnicas de fragmentación por token fijo, recursiva, sensible a la estructura, semántica, ventana de oración y padre-hijo. Compare estas técnicas según el tipo de documento en términos de precisión en la recuperación, si los límites dividen las ideas en dos, la duplicación, el tamaño del contexto y la calidad de las respuestas finales.

17. ¿Qué es la recuperación padre-hijo?

Los pequeños fragmentos hijos se indexan para una coincidencia precisa, pero el modelo recibe la sección padre más grande. Si un párrafo de una política coincide, el sistema devuelve la sección circundante con sus definiciones, excepciones y condiciones. Esto equilibra la precisión con la exhaustividad, siempre y cuando la expansión esté limitada para no saturar la ventana de contexto.

18. ¿Qué son la recuperación contextual y el chunking tardío?

La recuperación contextual enriquece cada fragmento con contexto específico del documento, como el título, la ruta de la sección o una breve explicación, antes de su incrustación. El chunking tardío codifica primero una sección más extensa del documento y luego combina las representaciones de los tokens en incrustaciones de fragmentos, de modo que los fragmentos locales conserven información del texto más amplio. Ambos métodos ayudan con los fragmentos ambiguos, pero añaden complejidad en el proceso de procesamiento, por lo que deben validarse frente a líneas de base más simples.

19. ¿Qué contiene un pipeline de procesamiento sólido?

1. Recopilar documentos y registrar su propiedad, clasificación, ACLs y período de retención.
2. Analizar el texto, los títulos, las tablas, las páginas y el diseño.
3. Eliminar ruido de OCR y texto genérico repetido.
4. Dividir el texto en fragmentos teniendo en cuenta su estructura.
5. Adjuntar metadatos, información de origen y enlaces de tipo padre-hijo.
6. Generar embeddings densos y representaciones dispersas.
7. Realizar operaciones de inserción o actualización con identificadores deterministas.
8. Verificar conteos, checksums, ACLs, eliminaciones y canarios de recuperación.
9. Versionar el analizador, el fragmentador, el modelo de embeddings y la generación del índice.

También debe manejar actualizaciones, reprocesamiento, reversión y eliminaciones verificadas.

20. ¿Cómo se deben manejar los PDFs y tablas complejos?

Analice los PDFs digitales desde su creación con una herramienta que tenga en cuenta el diseño, de modo que los títulos, columnas, orden de lectura, subtítulos, tablas y números de página permanezcan vinculados. Las escaneos requieren OCR con puntuaciones de confianza, y a veces cuadros delimitadores o imágenes de página. Guarde los encabezados, unidades, identidad, coordenadas de página y celdas de cada tabla. Para cuestiones numéricas, obtenga la estructura de la tabla y calcule el resultado de manera determinista. Mejorar el analizador suele dar mejores resultados que cambiar el modelo de embeddings.

Patrones avanzados

21. ¿Qué son la reescritura de consultas, la recuperación con múltiples consultas y HyDE?

La reescritura convierte una pregunta vaga o conversacional en una adecuada para búsquedas. La recuperación con múltiples consultas genera varias variantes y fusiona los resultados para mejorar la precisión en la recuperación. HyDE escribe una respuesta hipotética e incluye dicha respuesta para cerrar la brecha entre la pregunta y las pruebas disponibles. Los tres métodos añaden demoras, costos, duplicaciones y suposiciones generadas, por lo que la consulta original suele seguir siendo parte del proceso.

22. ¿En qué se diferencian Self-RAG, CRAG, RAPTOR y GraphRAG?

• Self-RAG: el modelo decide si realizar la recuperación y reflexiona sobre lo que obtiene.
• CRAG: evalúa la calidad de la recuperación y activa correcciones como la reescritura o el cambio de fuentes.
• RAPTOR: agrupa los fragmentos en una jerarquía de resúmenes para que la recuperación pueda funcionar a diferentes niveles de detalle.

GraphRAG: extrae entidades y sus relaciones para formar un grafo, dirigido a preguntas que abarcan varios documentos o todo el corpus.

Úselos solo cuando la evaluación revele un fallo específico en el enfoque base. GraphRAG es adecuado cuando las preguntas relacionales o que abarcan todo el corpus no pueden responderse de manera fiable mediante recuperación híbrida más descomposición de consultas.

23. ¿Qué es el RAG agente?

El modelo elige entre un conjunto de herramientas controladas para la recuperación de información y el razonamiento: búsqueda de documentos, lectura de un archivo específico, SQL, APIs o un grafo de conocimiento. Una versión para producción necesita herramientas tipadas y con permisos definidos, presupuestos de recuperación y tokens, límites de pasos, reglas de detención y rechazo, autorización en cada punto de uso de herramientas, registros completos de la trayectoria, pruebas reutilizables y aprobación humana para acciones de consecuencias importantes. La evaluación debe calificar tanto la respuesta final como el camino seguido en la selección de herramientas.

Evaluación y diagnóstico

24. ¿Qué métrica se utiliza primero?

Recall@k del candidato: la proporción de consultas cuya evidencia requerida aparece en el conjunto recuperado, calculada como los elementos relevantes encontrados en los k primeros divididos entre todos los elementos relevantes. Si falta la evidencia, ni el reordenador ni el generador pueden recuperarla. Después, se evalúa el ranking con MRR o nDCG, y luego la precisión contextual, la corrección, la fidelidad, la calidad de las citaciones, la latencia y el costo.

25. ¿MRR frente a nDCG?

El promedio recíproco medio es 1 respecto al rango del primer resultado relevante, por lo que es adecuado para casos en los que un buen texto es suficiente. nDCG califica todo el ranking y permite una evaluación graduada de la relevancia, lo que es útil cuando varios textos tienen diferentes niveles de utilidad. Utilice MRR para el rendimiento en el primer intento y nDCG cuando el orden entre varios resultados es importante.

26. ¿Cómo se evalúa la calidad de la respuesta?

Evalúe por separado la recuperación y la generación. Para la recuperación, supervise Recall@k, Precision@k, MRR o nDCG, así como la corrección y la actualidad de las versiones. Para la generación, supervise la corrección, la fidelidad a las pruebas disponibles, la completitud, el soporte mediante citas, las negativas apropiadas y el cumplimiento de las políticas. Añada también la latencia de extremo a extremo, el costo, la aceptación por parte del usuario y los resultados en los casos de alto riesgo.

27. ¿Qué es la prueba oracle-context?

Omita la fase de recuperación y proporcione al generador pruebas que se sepan correctas. Si responde bien con esas pruebas pero falla en todo el proceso, sospeche problemas en la recuperación, el filtrado, el reordenamiento o la construcción del contexto. Si sigue fallando, sospeche problemas en el prompt, el razonamiento, la generación o la verificación. Es una de las formas más rápidas de distinguir entre fallos en la recuperación y fallos en el generador.

28. ¿Cómo se diagnostica una alta fidelidad junto con una baja corrección?

“Fiel” significa que la respuesta coincide con el contexto proporcionado, mientras que “incorrecto” indica que ese contexto era incompleto, irrelevante, obsoleto o insuficiente. Compare, en orden: las pruebas de calidad frente a los candidatos obtenidos, los candidatos frente a los resultados reordenados, los resultados reordenados frente al contexto final, la generación final frente a una ejecución con contexto oráculo, y finalmente las versiones de origen, los filtros y los documentos en conflicto. Los culpables típicos son un bajo nivel de recuperación, una mala clasificación, pruebas desactualizadas, excepciones faltantes, una compresión de contexto excesiva o una respuesta de referencia defectuosa.

Ejecutarlo de forma segura a gran escala

29. ¿Cómo mantiene seguro un sistema RAG multiinquilino?

Obtenga la identidad de los inquilinos y usuarios a partir de autenticaciones confiables y nunca a partir de las solicitudes recibidas. Entre los controles útiles se incluyen filtros ACL impuestos por el almacén de datos, índices o particiones específicas para cada inquilino, cachés conscientes de los ACL, roles de servicio con los menores privilegios, cifrado y registros de auditoría, pruebas de aislamiento entre inquilinos, detección de inyección de solicitudes, listas de permisos de origen con verificaciones de procedencia, y eliminación verificada de principio a fin. Trate el contenido recuperado como no confiable, ya que los documentos pueden contener instrucciones maliciosas.

30. ¿Cómo diseñaría una plataforma a gran escala?

Comience definiendo el volumen de documentos, la tasa de consultas, los inquilinos, la frecuencia de actualizaciones, el SLA de eliminación, la latencia, las necesidades de citación, los objetivos de seguridad y calidad. Luego divida el diseño en fases:

• Ingestión: conectores, análisis, fragmentación, enriquecimiento, incrustación, indexación, reconciliación y eliminación.
• Consulta: autenticación, enrutamiento, recuperación híbrida, filtrado con ACL, fusión, reclasificación, montaje de contexto, generación, verificación y rechazo.
• Evaluación: conjuntos de datos etiquetados, experimentos offline, pruebas de regresión, revisión humana y puntos de control de lanzamiento.
• Observabilidad: rastros de cada solicitud, qué se recuperó, qué versiones de modelo e índice lo sirvieron, además de señales de latencia, uso de tokens, gastos, frescura, calidad y seguridad.
• Control: onboarding de usuarios, configuración, cuotas, lanzamientos, selección de modelos y políticas.

Para lograr resiliencia, se deben añadir IDs deterministas, índices versionados detrás de alias, migraciones que ejecutan dos índices simultáneamente, interruptores de circuito, cargas de trabajo limitadas, caché, lanzamientos canario, funcionalidades de reversión y SLOs explícitos. GraphRAG o la recuperación por agentes deberían utilizarse solo cuando un fallo medido en la línea base lo justifique.