Accueil / Articles

Pourquoi le réclassement est la meilleure solution économique dans un pipeline RAG

Récupérer 50 éléments, puis les réclasser en 5 : comment le réclassement par encodeur croisé corrige l’ordre dans une pipeline RAG, les avantages et les latences à attendre, quand l’omettre, et ce qui doit être intégré.

Éditeur : REACTAPP.TOP8 min de lecture1755 mots

Sources: Reranking: The Highest-Return Fix in RAG

Même lorsque un retriever trouve le fragment correct, il peut le classer si bas que le modèle ne le voit jamais. Une deuxième étape d’évaluation corrige ce problème : on sélectionne un ensemble large de candidats, on les réévalue à l’aide d’un modèle plus puissant, et on ne présente au LLM que les meilleurs résultats.

Deux tâches cachées dans une même chaîne de traitement

La récupération de données dans un système RAG effectue deux actions distinctes. Il doit d’abord trouver le passage approprié, puis le placer suffisamment en hauteur dans la hiérarchie pour que le modèle puisse l’utiliser. Les équipes ont tendance à concentrer leurs efforts sur la première tâche et à négliger la seconde, ce qui explique pourquoi les métriques de récupération peuvent sembler excellentes tandis que les réponses restent décevantes.

Le modèle ne voit que ce qui est inclus dans la requête. Un fragment correct classé à la 7e place est perdu si seules les 5 premières positions sont transmises, et à des fins pratiques, il vaut presque autant que s’il était à la 700e place. C’est pourquoi le Recall@50 peut donner l’impression d’être excellent alors que les réponses sont fausses : les informations ont bien été trouvées, mais elles n’ont jamais atteint la fenêtre de contexte.

Le reranking comble cette lacune. En tant que deuxième étape, il réévalue les candidats déjà identifiés par le système de récupération et les réordonne en fonction de leur capacité à répondre à la requête. Pour de nombreux systèmes, il représente l’une des meilleures améliorations de qualité par unité d’effort, puisque l’architecture reste inchangée et que le reste du stack n’est pas modifié.

Pourquoi les deux étapes diffèrent

Un retriever dense incorpore à l’avance chaque document. Lors de la recherche, il incorpore la requête et cherche des vecteurs proches. La requête et le document ne se rencontrent jamais réellement, car chacun est compressé en son propre vecteur avant comparaison, et cette compression élimine les détails précis concernant leur degré de correspondance. L’avantage est la vitesse, suffisamment faible pour analyser des millions de documents.

Un encodeur croisé fonctionne différemment. Il fait passer la requête et un seul document ensemble dans le modèle en tant qu’une seule entrée, et effectue une passe complète en avant sur ce couple. Comme les deux textes sont visibles ensemble, les négations, les qualificatifs ainsi que la formulation spécifique qui permet à un passage de répondre réellement à une question peuvent tous être pris en compte, au lieu d’une simple ressemblance approximative.

Cette précision a un coût. Rien ne peut être calculé à l’avance, il faut donc effectuer une passe par candidat au moment de la requête. Avec un million de documents, c’est impossible, tandis qu’avec 50 documents, la première étape ayant déjà fait le tri, c’est rapide et pratique. D’où l’idée en deux étapes : récupérer de manière économique et à grande échelle, puis réclasser de manière précise et ciblée.

Les guides de Cohere, les manuels RAG d’OpenAI et la plupart des architectures de production suivent tous plus ou moins la même méthode en trois étapes :

  1. Récupérer à grande échelle. Sélectionner les 50 meilleurs résultats, souvent grâce à une recherche hybride où les résultats obtenus par des méthodes comme dense et BM25 sont fusionnés via une technique de rank fusion. Un champ de recherche large augmente les chances d’inclure le fragment pertinent.
  2. Réclasser. Un encodeur croisé évalue chacune des 50 paires requête-document, puis la liste est triée en fonction de cette évaluation.
  3. Conserver cinq. Envoyer uniquement les quelques résultats les plus pertinents à l’LLM.

La règle de base qui se révèle efficace dans les tests est simple : récupérer 50 résultats, puis les réclasser pour n’en garder que 5. La première étape assure le taux de rappel en incluant les fragments pertinents dans la liste, tandis que l’étape de réclassification améliore la précision en plaçant les meilleurs résultats en tête. Aucun ré-encodage n’est nécessaire, aucun index n’est reconstruit, et l’outil de récupération reste inchangé, ce qui explique pourquoi cette solution est si efficace et si bénéfique.

Quels sont les avantages et quelles en sont les conséquences ?

Les améliorations en termes de précision sont stables et suffisamment importantes pour avoir un impact réel :

  • +5 à 15 NDCG@10 est la valeur typique dans les tests MTEB et BEIR.
  • Une précision@3 40 à 60 % plus élevée est observée avec des outils de récupération sujettes au bruit, situation ciblée par la réclassification.
  • Un 35 % moins d’hallucinations apparaît lors des tests Databricks comparés à la similarité d’encodage brute, car les fragments mieux fondés laissent moins de place au modèle pour inventer des informations.

La latence augmente effectivement, mais l’augmentation est mineure par rapport à l’ensemble du processus :

  • Évaluer 50 candidats prend moins de 50 ms sur une GPU.
  • Sur une CPU, ces mêmes 50 candidats nécessitent de 100 à 300 ms lorsque les paires sont traitées dans une seule requête groupée.
  • Une bibliothèque ultra-légère comme FlashRank ne nécessite que de 15 à 30 ms.
  • La complétion par LLM reste la solution la plus efficace en termes de temps et de coût, de sorte que le reclassement modifie à peine le résultat final.

Payer environ 120 à 200 ms pour une amélioration de plus de 40 % de la précision dans le top-3 représente, dans la plupart des applications, le meilleur compromis possible au sein de l’ensemble du processus.

Quand cela aide et quand cela ne sert à rien

Le reclassement offre de bons résultats, mais il n’est pas universel ; son principe fondamental est de corriger le classement, et non de trouver de nouveaux résultats. Il est utile lorsque :

  • Un meilleur résultat en tête malgré une bonne capacité de rappel. Le bon fragment figure parmi les 50 meilleurs, mais occupe la 6e ou 12e place. Un fort taux de rappel à 50 éléments associé à une faible précision à 3 éléments constitue l’argument le plus convaincant en faveur d’un réclassement.
  • Un budget de prompts limité. Lorsque seuls 3 à 5 fragments parviennent au modèle, l’ordre des résultats est déterminant, et une mauvaise sélection des 3 meilleurs résultats entraîne une mauvaise réponse.
  • Des questions difficiles ou ambiguës. Lorsque le sens dépend d’un qualificatif ou d’une négation, comme transformer des factures en CSV plutôt que des rapports en PDF, évaluer les paires conjointement permet de distinguer des résultats proches que un encodeur binaire mélangerait.
  • Le corpus est plein de quasi-dupliques. Les documents de support et de politique contiennent de nombreux passages similaires qui répondent à des questions différentes, et un outil de réclassement permet de les différencier.

C’est décevant lorsque :

  • Rappel faible au premier stade. Un réordonneur ne peut que réorganiser les données d’entrée. Lorsque le bon fragment manque parmi les 50 premiers résultats, il convient d’améliorer d’abord la récupération des données, grâce à une meilleure segmentation ou à une recherche hybride.
  • Rappel déjà excellent. Si le fragment correct se trouve généralement en tête des résultats, le réordonneur ne fait que perturber une liste déjà correcte sans grand avantage. Vérification rapide : lorsque le même fragment remporte la plupart des requêtes, avec ou sans réordonneur, il ne remplit pas réellement sa fonction.
  • Générateur tolérant. Un modèle à contexte étendu capable de gérer 20 fragments peu liés entre eux tire moins de bénéfices d’une liste restreinte aux 3 meilleurs résultats qu’un modèle alimenté uniquement par 5 fragments.
  • Budget de latence strict. Avec un SLA en temps réel strict, 150 ms peuvent déjà être trop élevés. Préférez un réordonneur rapide comme FlashRank, ou aucun du tout.

Pour déterminer quel cas s’applique, mesurez séparément le taux de rappel@50 et la précision en haut. Le taux de rappel indique si la récupération trouve le fragment, la précision indique si celui-ci est classé, et le reclassement ne corrige que ce dernier aspect.

Encodage croisé ou reclasseur LLM

Il existe deux familles de solutions, et le choix relève d’un compromis simple entre précision et latence.

  • Les encodages croisés sont la solution par défaut. Ils sont rapides, peu coûteux, prévisibles et produisent une note numérique pouvant faire l’objet d’un seuil. Pour la grande majorité des systèmes en production, ce sont la réponse appropriée et définitive.
  • Les réordonneurs LLM demandent à un grand modèle d’évaluer lui-même sa propre pertinence. Pour des requêtes vraiment difficiles nécessitant beaucoup de raisonnement, ils peuvent gagner de 5 à 8 % sur certaines tâches, mais ils ajoutent 4 à 6 secondes et coûtent bien plus cher. Les utilisateurs ont tendance à abandonner après environ 3 secondes, ce qui fait qu’ils conviennent aux travaux hors ligne ou en lots à haute valeur, mais rarement aux fonctionnalités interactives.

Commencez par un encodage croisé. N’envisagez un réordonneur LLM qu’après avoir mesuré un véritable écart sur des requêtes difficiles et confirmé que le temps supplémentaire est acceptable.

Deux façons de le déployer

Les équipes choisissent généralement un encodage croisé auto-hébergé ou une API hébergée, et chacun ne nécessite que quelques lignes de code.

L’auto-hébergement via sentence-transformers fonctionne bien avec BGE-reranker-v2-m3, la version open source par défaut, qui est multilingue et licenciée sous Apache 2.0 :

from sentence_transformers import CrossEncoder

# ~568M params, multilingual, Apache 2.0; load once at startup
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)

def rerank(query, candidates, top_n=5):
    pairs = [(query, doc) for doc in candidates]   # one batched pass
    scores = reranker.predict(pairs)
    ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
    return ranked[:top_n]

# candidates = the top 50 chunks from the retriever
best = rerank("How do I cancel my subscription?", candidates, top_n=5)

Lorsqu’il n’est pas souhaitable d’exécuter un modèle, Cohere Rerank est l’option hébergée :

import cohere

co = cohere.ClientV2()
resp = co.rerank(
    model="rerank-v3.5",
    query="How do I cancel my subscription?",
    documents=candidates,   # the top 50 from the retriever
    top_n=5,
)
# resp.results carries the reranked indices and relevance scores

Les deux approches utilisent la même entrée, les 50 meilleurs résultats du retriever, et renvoient une liste des 5 meilleurs encore plus ciblée. Des frameworks tels que LangChain regroupent ces solutions derrière une interface commune, ce qui permet de passer d’une à l’autre en une seule modification.

Choix du modèle

Le domaine se concentre désormais sur des options claires qui dépendent du budget de latence, de la langue et de la possibilité d’hébergement propre :

  • Option par défaut open source : BGE-reranker-v2-m3, multilingue et sous licence Apache 2.0, avec un temps d’exécution d’environ 80 ms sur CPU pour 50 candidats. Pour des tâches axées sur l’anglais, on peut utiliser bge-reranker-large.
  • Approche d’hébergement la plus simple : Cohere Rerank nécessite une seule appel API et ne requiert aucun serveur, au prix d’environ 1 dollar pour mille recherches.
  • Cible de vitesse la plus stricte : FlashRank, ou un encodeur croisé MiniLM compact, permet un reclassement en moins de 30 ms sur CPU, avec un coût modéré en termes de qualité.
  • Documents longs : choisissez un outil de réclassement à contexte étendu comme Jina Reranker v2, car les encodeurs croisés standard coupent silencieusement l’entrée après 512 tokens.

Comme guide approximatif, une API hébergée représente le moyen le moins cher pour commencer avec environ dix mille requêtes par jour. Au-delà de ce chiffre, un modèle BGE auto-hébergé a tendance à se rembourser rapidement.

En résumé

Le réclassement apporte la précision nécessaire pour transformer une bonne capacité de récupération en réponses fiables. Un récupérateur lance un filet peu coûteux mais large, fournissant un ensemble hétérogène de résultats, puis un encodeur croisé réévalue ces résultats grâce à une analyse tenant compte de la requête, que le récupérateur ne peut pas effectuer, ce qui permet de placer les fragments véritablement pertinents là où le modèle examine réellement les données.

C’est la solution RAG offrant le meilleur rendement, car elle reste maîtrisée : récupérez 50 résultats, réclassez-en 5, ne changez rien d’autre et mesurez l’amélioration sur vos propres données. L’amélioration de la précision est généralement importante, le coût en latence faible, et la décision dépend d’une seule question : le système de récupération classe-t-il les résultats aussi bien qu’il les trouve ? En général, ce n’est pas le cas, et c’est le réclassement qui comble cette différence.

Sources des chiffres

  • Documentation sur le réclassement de Cohere
  • Fiche du modèle BGE-reranker-v2-m3 de BAAI
  • Documents de CrossEncoder de sentence-transformers
  • ARAGOG, une comparaison détaillée des méthodes avancées RAG y compris le réclassement (arXiv 2404.01037)
  • Évaluation par Databricks du RAG à contexte long et du réclassement
  • FlashRank, une bibliothèque de réclassement à faible latence sur GitHub

Lectures complémentaires

  • Le reranking dans RAG avec Spring AI et Pinecone : faire passer une réponse de la 4e à la 1re place — Démonstration Spring Boot comparant la similarité vectorielle simple à une étape de reranking bge de Pinecone sur un manuel RH, montrant comment une réponse auparavant peu visible atteint la première position grâce aux scores de pertinence.