Elección de un modelo de embeddings para RAG: comparación entre MTEB, BGE, Voyage y OpenAI
Elegir un modelo de embedding para RAG: cómo leer correctamente MTEB, notas sobre BGE, Voyage, OpenAI y otros tres, un pipeline de cinco pasos para Milvus y un marco de toma de decisiones.
Fuentes: Picking the Right Embedding Model for Your RAG Pipeline: What I’ve Learned the Hard Way
Tres semanas es mucho tiempo para intentar mejorar un chatbot RAG que da respuestas sorprendentemente seguras pero completamente erróneas. Las métricas de recuperación parecían buenas en teoría: el modelo LLM era GPT-4 y la base de datos vectorial era fiable. El culpable resultó ser el modelo de embedding, tomado del primer tutorial que encontramos y que nunca volvimos a cuestionar. Estaba mal adaptado al dominio específico. Una lección así obliga a analizar detenidamente qué componentes forman la parte inicial de un pipeline RAG; por lo tanto, lo importante al elegir un modelo de embedding es el ranking de MTEB, los modelos de estilo SBERT, y los compromisos entre opciones de código abierto y propietarias.
Ubicación de los embeddings en un pipeline RAG
RAG se ejecuta en tres etapas.
Ingestión. Cada fragmento de documento pasa por un modelo de incrustación, el cual genera una incrustación vectorial, un resumen numérico de tamaño fijo del significado del fragmento. Los vectores se almacenan en una base de datos vectorial como Milvus.
Recuperación. Cuando un usuario hace una pregunta, esta se incrusta con exactamente el mismo modelo, y una búsqueda de vecinos más cercanos encuentra los fragmentos más similares.
Generación. Los K fragmentos más relevantes se incluyen como contexto en una prompt de LLM, de modo que el modelo responde basándose en su conocimiento del dominio en lugar de depender únicamente de sus datos de entrenamiento.
La restricción crítica es que los embeddings de las consultas y los documentos comparten un espacio vectorial únicamente cuando un mismo modelo los genera a ambos. Si se cambia el modelo en un lado sin volver a indexar el otro, la calidad de la recuperación se deteriora drásticamente. También existen investigaciones relacionadas con la importancia de mantener un rango top-K reducido. El artículo “Lost in the Middle” demostró que la calidad de las respuestas disminuye cuando demasiados fragmentos recuperados abarrotan la ventana de contexto; por lo tanto, la recuperación debe mantenerse enfocada y relevante, en lugar de ser amplia y ruidosa.
SBERT: el diseño detrás de la mayoría de los modelos de embeddings
La mayoría de los modelos de incrustación que encontrarás descienden de SBERT, Sentence-BERT. El BERT tradicional fue creado para comprender tokens individuales en contexto. SBERT va más allá al entrenar al modelo para que genere un vector de tamaño fijo que capture el significado de toda una oración. El método se basa en un entrenamiento siamés: dos oraciones se codifican por separado, y el modelo aprende a colocar aquellas semánticamente similares cerca unas de otras en el espacio vectorial.
En la práctica, SBERT puede detectar que una oración sobre un gato sentado en una alfombra tiene un significado distinto al de las mismas palabras con el gato y la alfombra intercambiados, una distinción que el BERT básico no lograría identificar de manera fiable. Para la recuperación de información, donde las preguntas se relacionan con pasajes relevantes, es esta comprensión a nivel de oración lo que hace que este enfoque funcione.
Los LLM como GPT-4 se desarrollan a partir del lado del decodificador del modelo transformer y están ajustados para la generación. Los modelos de embedding, por su parte, se desarrollan a partir del lado del codificador y están ajustados para la representación. Son herramientas diferentes que realizan tareas distintas dentro de la misma pipeline.
Uso adecuado de la tabla de clasificación MTEB
La tabla de clasificación MTEB de Hugging Face es el estándar de la industria para comparar modelos de embedding, pero a menudo se utiliza incorrectamente. MTEB evalúa a los modelos en 8 tipos de tareas, como la recuperación de información, el clustering, la clasificación y la similitud textual semántica, en 58 conjuntos de datos. Para una pipeline RAG, solo una columna es importante: Retrieval Average, medida como NDCG@10, que representa el ganancia acumulada descontada normalizada en el décimo resultado. Esta métrica otorga mayor peso a los resultados mejor clasificados, lo cual coincide con la realidad de RAG, donde los primeros fragmentos de texto tienen la mayor influencia.
Un procedimiento práctico de selección:
- Ordene la tabla de clasificación por la columna de recuperación, de mayor a menor puntuación.
- Conserva solo los modelos que se ajusten al presupuesto de memoria y latencia.
- Elija el modelo más pequeño cuyas puntuaciones de recuperación sean aceptables.
- Pruebe con una muestra de consultas reales del dominio, ya que se sabe que MTEB premia el sobreajuste en algunos modelos.
El paso final es innegociable. Muchos modelos obtienen altas puntuaciones en MTEB pero tienen dificultades para escribir en dominios técnicos o especializados. Considere la clasificación como un punto de partida, no como una respuesta definitiva.
Seis modelos de producción y sus particularidades
La comparación abarca a tres proveedores:
- BAAI
bge-base-en-v1.5: 768 dimensiones, contexto de 512 tokens, código abierto, puntuación de recuperación en MTEB de 53. - BAAI
bge-base-zh-v1.5: 768 dimensiones, contexto de 512 tokens, código abierto, puntuación de 69 en pruebas en chino. - VoyageAI
voyage-2: 1024 dimensiones, 4K tokens, de propiedad exclusiva. - VoyageAI
voyage-code-2: 1536 dimensiones, 16K tokens, de propiedad exclusiva. - OpenAI
text-embedding-3-small: de 512 a 1536 dimensiones, 8K tokens, de propiedad exclusiva, puntuación 62. - OpenAI
text-embedding-3-large: de 256 a 3072 dimensiones, 8K tokens, de propiedad exclusiva, puntuación 65.
BGE en inglés y chino básico
Estas son las opciones predeterminadas para prototipado o cuando el costo de la infraestructura debe ser cercano a cero. Están disponibles en Hugging Face, funcionan razonablemente bien en CPU y no tienen costos de API. El límite real es la ventana de 512 tokens. La mayoría de los fragmentos a nivel de párrafo quedan por debajo de este límite, por lo que no se nota, pero los largos pasajes técnicos que dificultan una división clara se truncan, lo que afecta silenciosamente la calidad de la recuperación de información. Para contenido en chino, bge-base-zh-v1.5 es la opción más práctica, y su puntuación de 69 en las pruebas de referencia en chino es realmente alta.
VoyageAI voyage-2 y voyage-code-2
Un estudio de caso publicado mostró claramente un mejor NDCG@10 en documentación técnica que con la generación ada-002, y eso es lo que a menudo atrae a las personas hacia estos modelos. voyage-2 fue entrenado con datos de diálogo y conversación, por lo que relaciona las preguntas con los pasajes de manera más eficaz que los modelos de uso general en ciertas áreas. En los sistemas RAG de soporte al cliente superó claramente a bge en consultas cortas con un enfoque intencional fuerte.
voyage-code-2 es el más interesante. Está entrenado en código y ofrece una ventana de contexto de 16K, la más larga de este grupo. Para búsquedas de código o documentación RAG, eso significa que se pueden incluir funciones completas o strings de documentación largos sin tener que dividirlos en segmentos en puntos críticos. VoyageAI reporta un 14% más de precisión en la recuperación de código, una cifra que resultó creíble en las pruebas. La desventaja es que ambos son propietarios y solo están disponibles a través de API, sin posibilidad de auto-hospedaje y con total dependencia de la disponibilidad y precios del proveedor.
OpenAI text-embedding-3
Estos modelos reemplazaron a ada-002, y las mejoras son significativas: mayores puntuaciones en la recuperación MTEB, un mejor rendimiento multilingüe y precios más bajos. La elección de ingeniería más interesante es el aprendizaje de representaciones tipo Matryoshka. En lugar de entrenarse en una sola dimensión fija, el modelo aprende representaciones en varias escalas al mismo tiempo, de modo que la representación incrustada puede truncarse en el momento de la consulta con una pérdida sorprendentemente pequeña en precisión.
Para text-embedding-3-large, al pasar de 3072 dimensiones a 256, la puntuación de recuperación MTEB disminuye de 65 a 62. Esto representa aproximadamente una caída del 5% en la precisión a cambio de una reducción de 12 veces en el almacenamiento y la memoria, un intercambio que suele valer la pena cuando se almacenan decenas de millones de vectores. En pruebas RAG con la documentación técnica de Milvus, text-embedding-3-small con 256 dimensiones proporcionó respuestas indistinguibles de la versión de 1536 dimensiones para la mayoría de las consultas. Los casos en los que la mayor dimensionalidad era importante eran preguntas de disambiguación sutil, quizás el 5% del tráfico real.
Código de extremo a extremo: embeddings de OpenAI con Milvus
El pipeline completo que se muestra a continuación se conecta a Zilliz Cloud, que gestiona Milvus, aunque el mismo código funciona con una instancia de Milvus autohospedada.
Paso 1: conectarse:
from pymilvus import connections, utility
import os
from dotenv import load_dotenv
load_dotenv()
TOKEN = os.getenv("ZILLIZ_API_KEY")
CLUSTER_ENDPOINT = "https://in03-xxxx.api.gcp-us-west1.zillizcloud.com:443"
connections.connect(
alias='default',
uri=CLUSTER_ENDPOINT,
token=TOKEN,
)
Paso 2, define el modelo de embedding:
import openai
from openai import OpenAI
openai_client = OpenAI()
EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIM = 512 # Using reduced dim - good enough for most use cases
Paso 3: crear la colección:
from pymilvus import MilvusClient
COLLECTION_NAME = "my_rag_collection"
mc = MilvusClient(uri=CLUSTER_ENDPOINT, token=TOKEN)
mc.create_collection(
COLLECTION_NAME,
EMBEDDING_DIM,
consistency_level="Eventually",
auto_id=True,
overwrite=True
)
Paso 4: dividir en fragmentos, incrustar e insertar:
# Assumes `chunks` is a list of LangChain Document objects
chunk_list = []
for chunk in chunks:
response = openai_client.embeddings.create(
input=chunk.page_content,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
embeddings = response.data[0].embedding
chunk_list.append({
'vector': embeddings,
'chunk': chunk.page_content,
'source': chunk.metadata.get('source', ''),
})
mc.insert(COLLECTION_NAME, data=chunk_list, progress_bar=True)
mc.flush(COLLECTION_NAME)
Paso 5, consultar y generar:
SAMPLE_QUESTION = "What do the parameters for HNSW mean?"
response = openai_client.embeddings.create(
input=SAMPLE_QUESTION,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
query_embeddings = response.data[0].embedding
results = mc.search(
COLLECTION_NAME,
data=[query_embeddings],
output_fields=["chunk", "source"],
limit=3,
consistency_level="Eventually"
)
context = [r['entity']['chunk'] for r in results[0]]
contexts_combined = ' '.join(context)
llm_response = openai_client.chat.completions.create(
messages=[
{"role": "system", "content": f"Answer using only the context below. Context: {contexts_combined}"},
{"role": "user", "content": SAMPLE_QUESTION}
],
model="gpt-3.5-turbo",
temperature=0.1,
)
print(llm_response.choices[0].message.content)
Un cuaderno de trabajo completo y funcional se encuentra en el repositorio del bootcamp de Milvus en GitHub.
Un marco de toma de decisiones
Después de muchos experimentos, la elección suele ser la siguiente:
- Prototipado, trabajos sensibles al costo o autohospedados: comience con
bge-base-en-v1.5. Es gratuito, rápido y lo suficientemente bueno como para validar la arquitectura del pipeline. - Chatbots en inglés o multilingües para producción:
text-embedding-3-smallcon dimensiones reducidas es difícil de superar en cuanto a relación costo-calidad. - Aplicaciones de RAG en áreas críticas como documentos legales, médicos o técnicos: evalúe seriamente
voyage-2, ya que MTEB no captura todo y la calidad de la recuperación de información en cada área puede sorprender. - Búsqueda de código y herramientas para desarrolladores:
voyage-code-2y su ventana de 16K justifican la dependencia de la API. - Límites de memoria extremos o miles de millones de vectores:
text-embedding-3-largecon 256 dimensiones, donde el enfoque Matryoshka representa una ingeniería ingeniosa.
Cualquiera que sea la elección, pruébela con una muestra de consultas reales de producción. MTEB es un indicador aproximado; solo la calidad de la recuperación en datos reales es lo que realmente importa.