rag information-retrieval evaluation bm25 llm

Fünfzig Jahre Forschung im Bereich Informationsabrufung – verborgen in Ihrem RAG-Pipeline.

Das RAG-Chunking, die hybride Suche, HyDE, das Neuranking sowie die Bewertungsmethoden haben alle seit Jahrzehnten existierende Vorgänger in der Informationsabrufung. Ein Überblick über die Forschung und deren Grenzen.

Verlag: REACTAPP.TOPAuf dieser Website hinzugefügt 28. Okt. 202617 Min. Lesezeit3864 Wörter

Quellen: We deleted fifty years of information retrieval and called it RAG

Eine Chunking-Spirale, die nichts löste

Stellen Sie sich vor, Sie entwickeln einen Dokumentenpipeline für einen Finanzkunden und verbringen mehrere nächtliche Stunden mit der Optimierung der Chunk-Größen. Der Anfangswert liegt bei 256 Tokens, steigt auf 512 und dann auf 1024, kehrt mit einer Überlappung von 64 Tokens wieder zu 512 zurück und endet schließlich bei 384 – weil ein Forum-Thread dies empfohlen hat. In einem Notizbuch befindet sich ein kleines Bewertungstool, und in anderen Tabs sind zwei Chat-Assistenten aktiv. Einer wird nach seiner Chunking-Strategie befragt, als wäre er ein erfahrener Ingenieur, und seine Antworten werden mit dem Vergleichstext verglichen, der im Internet an diesem Monat veröffentlicht wurde. Die Arbeit fühlt sich an wie die Erkundung einer neuen Grenzregion, und jede Runde endet mit einem Gewinner und einem Diagramm.

Dann wächst das Korpus. Je mehr Dokumente in den Vektor-Speicher aufgenommen werden, desto schlechter wird die Suche. Was anhand einer kleinen Stichprobe noch präzise aussah, wird in größerem Maßstab ungenau und liefert Abschnitte, die sich im Vektorraum nahe beieinander befinden, aber in Wirklichkeit nutzlos sind. Die natürliche Reaktion ist es, die Aufteilung in Blöcke stärker anzupassen, denn das Anpassen der Blöcke ist der Hebel, mit dem jeder umgehen kann. Die Tage vergehen, bei jedem Durchlauf wird eine Zahl geändert, und jede Änderung wird fälschlicherweise als Fortschritt angesehen. Dabei wird das eigentliche Problem gar nicht angegangen.

Dann wirft ein Teamkollege einen Blick auf die Konfiguration und fragt völlig ohne Ironie: „Was ist BM25?“ Es gibt keine klare Antwort parat. BM25 ist alt und kann grob als „einfache Schlüsselwortsuche“ beschrieben werden – etwas, das alle angeblich bereits hinter sich gelassen haben. Was dieser Moment wirklich zeigt, ist, dass die ganze Anstrengung innerhalb eines fünfzig Jahre alten Diskurses stattgefunden hat, ohne dass die Namen der bereits Beteiligten bekannt wurden.

Das ist die Bekenntniserklärung hinter diesem Text, und sie gilt im Allgemeinen. Fast jeder Schritt beim „Aufbau von RAG“ hat bereits einen Namen, und die meisten dieser Namen stammen aus einer Zeit, die älter ist als die Menschen, die diese Ideen mit einem Pitch-Deck wieder verkaufen. Diese Verkäufer kennen meistens auch nicht die Herkunft dieser Begriffe. Das „Wir“ und „das Feld“, die hier verwendet werden, beziehen sich auf Praktiker im Allgemeinen, und jeder dieser Fehler ist ein häufiger.

Andere haben dieses Muster ebenfalls bemerkt. Ein langjähriger Suchengineer von Vespa schrieb 2024, dass hybride Such- und Rangierungsverfahren es ermöglichen, Signale aus unüberwachten Methoden wie BM25 mit überwachten neuronalen Rangierern zu kombinieren. Das Heranziehen von Dokumenten, um sie in einen Prompt einzubetten, ist Informationsabruf – und diese Tätigkeit umfasst weitaus mehr als nur einen einzigen Kosinuswert, sondern beinhaltet auch Abfragen umformulieren, Fusionen, Neurangierung sowie schrittweisen Informationsabruf. Ein erfahrener Relevanzengineer hat diesen Punkt wiederholt dargelegt: Die Suchtechnologie ist nicht verschwunden, sie ist nur unter die Oberfläche gegangen und setzt weiterhin stillschweigend die Welt in Bewegung.

Sowohl Beobachtungen sind zutreffend, obwohl „RAG ist einfach nur Informationsabruf“ ein Slogan ist – und Slogans kosten nichts. Was die Arbeitsgewohnheiten verändert, ist das Lesen der Ergebnisse. Was folgt, ist eine Übersicht dieser Ergebnisse, die nicht 2020 beginnt, nachdem die ersten fünfzig Jahre weggelassen wurden.

Chunking, Embeddings und Bedeutung

Man beginnt mit dem Chunking – dort, wo die Verwirrung ihren Anfang nahm. Dokumente in Abschnitte aufzuteilen anstatt sie als Ganzes zu behandeln, ist eine seit Jahrzehnten bekannte Idee. Die Suche nach Abschnitten war bereits 1993 ein Forschungsthema (Salton, Allan und Buckley), und im folgenden Jahr untersuchte Callan Belege auf Abschnittsebene. Bis 1997 veröffentlichten Kaszkiel und Zobel „Passage Retrieval Revisited“, sodass das Thema alt genug war, um erneut betrachtet zu werden. Ihre Experimente zur Größe und Segmentierung der Abschnitte zeigten, dass einfache Abschnitte fester Länge überraschend gut funktionierten – genau das, was eine Nacht voller Anpassungen der Chunk-Größe mit einer schlechteren Methode erneut ergibt.

TextTiling von Marti Hearst im selben Jahr legt die Grenzen dort fest, wo sich das Thema tatsächlich ändert, und ignoriert dabei die Anzahl der Tokens. Die heutigen Anbieter von „semantischem Chunking“ verkaufen diese Vorstellung weiter, obwohl die zugrundeliegende Veröffentlichung älter ist als die ersten Computer der meisten ihrer Gründer.

Danach kommt die Embedding-Technik, die als der wirklich moderne Schritt gilt, der die Nutzer von der Masse derjenigen mit reinen Schlüsselwörtern abhebt. Die Darstellung von Dokumenten und Abfragen als Vektoren sowie ihre Bewertung mittels Kosinuswinkel stammt aus der Arbeit von Salton, Wong und Yang aus dem Jahr 1975, dem Vektorraummodell. Der zusätzliche Gewichtung seltener Begriffe, eine Aufgabe, die heute von Embedding-Modellen in ihren Parametern übernommen wird, wurde bereits 1972 von Karen Spärck Jones vorgeschlagen. Der Schritt, der in der Regel als Kern dieser Methode angesehen wird – das Abgleichen auf Bedeutung statt auf wörtliche Wörter, sodass Wortschatzunterschiede keine Rolle mehr spielen –, ist die latente semantische Analyse, die 1990 von Deerwester und Kollegen veröffentlicht wurde und dabei eine SVD der Term-Dokument-Matrix verwendet, um verborgene Strukturen aufzudecken.

Durch den Ersatz des SVD durch einen Transformer konnten viele Menschen behaupten, die Idee gehöre ihnen. Der Transformer stellt eine echte Verbesserung dar und nicht nur eine kosmetische, denn er betrachtet jedes Wort im Zusammenhang mit den umliegenden Wörtern – etwas, was ein statischer LSA-Vektor niemals könnte. Das zugrundeliegende Prinzip blieb unverändert: Die Bedeutung hat Vorrang vor der äußeren Form.

Fusion, Abfrageschreiben und Neuranking

Die hybride Suche ist derzeit der Favorit – dabei werden lexikalische und dichte Bewertungen miteinander vermischt, sodass jeder das Gefühl hat, klug zu sein. Die in Elasticsearch, OpenSearch, Weaviate und Azure AI Search verwendete Mischmethode ist die rekursive Rangfusion, die 2009 von Cormack, Clarke und Büttcher auf der SIGIR-Konferenz vorgestellt wurde. Ein Detail in dieser Arbeit verdient mehr Aufmerksamkeit, als es bisher bekommt: Eine äußerst einfache Fusion unter Verwendung der Konstante 60, die niemals angepasst wurde, übertraf die mit ihr verglichenen, trainierten Lernalgorithmen für die Rangbestimmung. Ein unangepasster Standardwert war somit leistungsfähiger als von Menschen trainierte Modelle. Die Kombination von Ergebnissen mehrerer Suchmaschinen war bereits 1994 übliche Praxis, als Fox und Shaw dazu CombSUM und CombMNZ einsetzten.

Die Abfragenumformung ist ein Bereich, in dem manche Methoden zu problematischen Ergebnissen führen können. In HyDE erzeugt ein Modell ein falsches Antwortdokument, und das System setzt dieses anstelle der ursprünglichen Frage ein – mit der Begründung, dass eine plausibel erscheinende falsche Antwort näher an den richtigen Dokumenten liegt als die Frage selbst. Es handelt sich dabei um einen cleveren Trick, der zugleich auf der Idee von Rocchio aus dem Jahr 1971 beruht.

Rocchios Relevanzrückkopplung verschiebt den Abfragesatz in Richtung von Dokumenten, die als relevant erscheinen, und weg von solchen, die es nicht sind. Crofts und Harpers pseudo-relevante Rückkopplung aus dem Jahr 1979 bewirkt denselben Verschiebungsmechanismus ohne jeglichen menschlichen Eingriff, indem sie einfach davon ausgeht, dass die am höchsten rangierten Ergebnisse gut genug sind, um daraus zu lernen. Aus dieser Sicht ist HyDE eine neuronale pseudo-relevante Rückkopplung – derselbe Ansatz, der viele Jahre später mithilfe von Transformern umgesetzt wurde. In ihrer Veröffentlichung wird Rocchio nicht zitiert, was zeigt, dass dieses Vergessen nicht nur auf Schulungsmaterialien und Forum-Beiträge beschränkt ist, sondern manchmal auch die wissenschaftlichen Artikel selbst betrifft.

Die älteren Arbeiten gaben auch dem Problem einen Namen, das Systeme im HyDE-Stil in der Produktion heimsucht: Query Drift. Wenn die besten Ergebnisse schlecht sind, verschlimmert das Erweitern der Abfrage auf dieser Grundlage die Situation noch weiter, weshalb erfahrene Entwickler die Rückkopplung nur einmal ausführten und dann aufhörten. Agierende Schleifen wiederholen dies nun immer wieder, und dann tun alle so, als wären sie überrascht, wenn die Ergebnissuche in unverwandte Bereiche abdriftet.

Auch die verbleibenden Ansätze folgen demselben Muster. Ein nach der ersten Suchphase hinzugefügter Cross-Encoder zur Verbesserung der besten Ergebnisse stellt eine zweistufige Kaskade dar. Die Kaskaden-Ranking-Methode wurde 2011 von Wang, Lin und Metzler formalisiert, und RankNet führte bereits 2005 einen neuronalen Ranker für das Learning-to-Rank ein. Ein Pipeline, der zunächst BM25 und anschließend einen Cross-Encoder verwendet und innerhalb eines Jahres mehrfach veröffentlicht wurde, ist unter einem anderen Namen ebenfalls eine Standard-Zweistufig-Kaskade.

Die Bewertung ist der größte Schmerzpunkt

Die Bewertung ist der Bereich, in dem der Unterricht am meisten schmerzt, weil er am schlechtesten gehandhabt wird. Die Praxis, ein Korpus einzufrieren, Testabfragen zu schreiben, menschliche Relevanzbeurteilungen sowie Bewertungssysteme offline zu sammeln, ist das Cranfield-Paradigma, das auf Arbeiten von Cleverdon und Kollegen aus dem Jahr 1966 zurückgeht. NIST erweiterte dieses Konzept ab 1992, und Voorhees sowie Harman dokumentierten es in einem Buch aus dem Jahr 2005. Das Pooling, das es ermöglicht, Ergebnisse zu bewerten, ohne die gesamte Sammlung durchzulesen, entstand bereits vor Jahrzehnten aus dieser Arbeit, genauso wie sinnvolle Metriken wie MAP und nDCG.

Eine typische „Bewertung“ bei RAG ist ein winziger, undokumentierter Ableger davon. Es gibt keine Relevanzbeurteilungen, ein unvalidierter LLM fungiert als Bewertungsinstanz, und der Testdatensatz wurde heimlich aus bereits funktionierenden Abfragen zusammengestellt.

Der klassische IR trägt für diese letzte Angewohnheit einen wenig schmeichelhaften Namen: Stichprobenahme an der abhängigen Variable. Wenn die Bewertung anhand von Abfragen durchgeführt wird, von denen bekannt ist, dass sie gute Ergebnisse liefern, ist der Test erfolgreich – doch das System versagt bei allen Fällen, an die niemand gedacht hat. Diese Fehlschläge werden als „Halluzination“ bezeichnet, weil kein Instrument auf die eigentliche Ursache hinweist. Der manipulierte Datensatz hat dennoch einen gewissen Wert, da er echte Rückschritte bei Abfragen, die für die Nutzer wichtig sind, aufzeigt – doch er sagt nichts über die Fragen aus, die niemand gestellt hat, und genau diese führen in der Produktion zu Fehlern. Im Finanzprozess traten solche Probleme bereits bei der ersten Abfrage außerhalb des Datensatzes auf, beispielsweise bei Werten über einem Schwellenwert oder Zeitraumen – der alltägliche Aufbau von Finanzabfragen, den niemand getestet hatte.

Die Zahlen lassen sich schwer in Frage stellen. Betrachten wir die Annahme, dass Menschen die Größe der Tuning-Blöcke anpassten, obwohl sie eigentlich eine Baseline verwenden sollten – nämlich dass dichte Abfragemethoden standardmäßig einer lexikalischen Suche überlegen sind. Die BEIR-Studie von Thakur und Kollegen aus dem Jahr 2021 verglich zehn Systeme mit achtzehn Datensätzen und ergab Erkenntnisse, die in jedem RAG-Repo veröffentlicht werden sollten. Die Leistung im Trainingsbereich sagt wenig über die Leistung an anderen Orten aus. BM25 lag bei in-domenen Daten sieben bis achtzehn Punkte hinter neuronalen Modellen, übertraf diese jedoch, sobald die Daten aus einer anderen Verteilung stammten. Der stärkste dichte Bi-Encoder gewann nur bei acht der achtzehn Datensätze.

Ein Nischen-Finanzkorpus ist genau das spezialisierte, außerhalb der üblichen Verteilung liegende Material, vor dem BEIR warnt. Die Annahme, dass das Verfahren „dense“ weiterhin überlegen sei, war so fest verankert, dass niemand die lexikalische Baseline ausprobierte – obwohl die Empfehlung dafür bereits seit vier Jahren öffentlich zugänglich war.

Es gilt jedoch Vorsicht, da sich die Grenzen ständig verschieben. Einige kommerzielle Ranking-Tools berichten mittlerweile, dass das Verfahren „dense“ bei BEIR um fünfzehn bis fünfundzwanzig Prozent besser abschneidet als BM25. Möglicherweise ist das der Fall, doch diese Zahlen stammen von Anbietern unter von ihnen selbst gewählten Bedingungen und verdienen daher den gleichen Zweifel wie jede von ihrem Verkäufer durchgeführte Benchmark. Peer-reviewte Arbeiten kommen weiterhin zu dem trockenen, korrekten Schluss: BM25 ist eine starke Baseline und das Hybridenverfahren die sichere Standardlösung. Sollte sich das ändern, sollte das von jemandem nachgewiesen werden, der nichts zu verkaufen hat.

Eine traurigere, ältere Gewohnheit besteht darin, schwache Baselines abzubauen und das Ergebnis als Fortschritt zu bezeichnen. Jimmys Paper aus dem Jahr 2018 mit dem köstlich mürrischen Titel „The Neural Hype and Comparisons Against Weak Baselines“ argumentierte, dass viele Erfolge bei neuronalen Suchverfahren in Wirklichkeit Siege gegen eine BM25-Konfiguration waren, die niemand die Mühe gemacht hatte, anzupassen. Eine Nachuntersuchung im Jahr 2019 analysierte jahrelange Forschungspapiere zu einer Standard-Testsammlung und fand keinen Anstieg in der Effektivität; die besten veröffentlichten Ergebnisse waren zehn Jahre alt, und nichts Neueres näherte sich ihnen an. Wenn also ein RAG-Benchmark zeigt, dass Vektoren die „Schlüsselwortsuche“ ersetzen, sollte die erste Anfrage an die BM25-Konfiguration gerichtet werden. Das häufigste Szenario in diesem Bereich ist, dass eine effektive alte Methode gegen eine nachlässig kopierte Version von sich selbst verliert.

Positionsbias – neu entdeckt

Positionsbias ist die Erkenntnis, die auf seltsame Weise amüsant ist. In „Lost in the Middle“ (Liu und Kollegen, 2023) nutzten die Modelle Informationen am besten, wenn sie am Anfang oder Ende des Kontexts standen, und am schlechtesten in der Mitte – was zu einer U-förmigen Kurve führte. Die Ergebnisse sind eindeutig. Bei der Mehrdokumenten-Fragebeantwortung mit zwanzig oder dreißig abgerufenen Dokumenten schnitt GPT-3.5-Turbo mit der Antwort in der Mitte schlechter ab als mit seinem Ergebnis von 56,1 Prozent bei der Beantwortung ohne Hilfsmittel; dadurch war es sogar schlechter dran als bei der Beantwortung aus dem Gedächtnis. In einem synthetischen Test fielen die schwächsten Modelle bei der Antwort in der Mitte des Eingabestoffs unter vierzig Prozent, und die U-Form zeigte sich bei GPT-4, Claude sowie mehreren anderen offenen Modellen. Die Forschungsgemeinschaft betrachtete dies als Neuigkeit über eine exotische neue Maschine.

Joachims und seine Kollegen führten im Jahr 2005 eine Augenverfolgungsstudie durch, um herauszufinden, wie Menschen geordnete Suchergebnisse lesen, und setzten diese Untersuchungen 2007 fort. Die Aufmerksamkeit konzentrierte sich auf die oberen Positionen der Liste, und die Nutzer klickten weiterhin auf die obersten Links, selbst wenn etwas weiter unten relevanter war. In der Fachliteratur wird dies als Vertrauensbias bezeichnet. Die Reihenfolge, in der Beweise präsentiert werden, beeinflusst, wie sie genutzt werden – unabhängig davon, ob die Beweise überhaupt gut sind – und das war bereits achtzehn Jahre vordem jemand dies in Modellen „entdeckte“, bei Menschen bekannt.

Der Vergleich ist unvollkommen, und die Behauptung, er sei exakt, würde denselben Fehler beinhalten, der kritisiert wird. Der klassische Positionsbias ist monoton, am stärksten an der Spitze und nach unten hin abnehmend, während der Modelleffekt U-förmig ist mit einer mittleren Totzone und einem späten Anstieg aufgrund der Kürze der Zeit. Die Formen unterscheiden sich, obwohl die Problemfamilie dieselbe ist. Auch die Modellversion ist instabil: Spätere Arbeiten, einige aus dem Jahr 2025, zeigen, dass die mittlere Strafe sich verändert, wenn die Eingaben dem Kontextlimit nahekommen, anstatt zu verschwinden. Das ist ein weiterer Grund, warum „Lost in the Middle“ nicht als heilige Schrift zitiert werden sollte. Was bleibt, ist die Erkenntnis, dass die Reihenfolge die Nutzung verfälscht, und die genaue Kurve ist ein wandelndes Ziel – was für die Messung statt des Auswendiglernens spricht.

Wo die alten Karten nicht mehr ausreichen

Wenn man nachgibt, wird die Entlarvung weniger befriedigend, doch bei den reinen Belegen zu bleiben würde zu einer raffinierten Entlarvung führen, was letztlich eine Art, lange Zeit im Unrecht zu sein, darstellt. Alte Karten gehen tatsächlich zur Neige, und gerade die Stellen, an denen sie versagen, sind am wichtigsten.

Die tiefste Problematik betrifft die Frage, wer oder was die Auswertung vornimmt. Ein halbes Jahrhundert lang überflog ein Mensch eine rangierte Liste, wodurch Relevanz alles bedeutete, was ein Mensch auf den ersten Blick beurteilen konnte. Heute übernimmt eine Maschine diese Auswertung, und aktuelle Forschungen machen diesen Wandel deutlich: Es handelt sich dabei um eine Suche nach einer KI, nicht nach einem Menschen. Relevanz hängt daher von deren Umgebung ab und lässt sich im Voraus nur schwer bestimmen.

Die Veränderung stellt die alten Annahmen völlig auf den Kopf. In einem 2024 veröffentlichten SIGIR-Artikel von Cuconasu und Kollegen mit dem Titel „The Power of Noise“ wurde dieses Experiment durchgeführt. Ein Ergebnis ist erwartet: Die am besten bewerteten Dokumente des Retrievers lieferten eine schlechtere Ausgabe, wenn sie thematisch ähnlich waren, aber keine Antwort enthielten. Das andere Ergebnis ist überraschend: Zufällige, nicht verwandte Dokumente steigerten die Genauigkeit um bis zu 35 Prozent. Cranfield betrachtete die Relevanz eines Dokuments als eine eigenständige, additive Eigenschaft. Bei RAG hängt die Nützlichkeit eines Abschnitts von allem anderen im Kontext sowie davon ab, wie der Generator ihn kombiniert. Die grundlegende Einheit der Relevanz hat sich geändert, und die meisten Metriken zählen weiterhin die bisherige Einheit.

Ein weiterer Fehlermodus hat keinen klassischen Vorgänger, denn alte Systeme konnten ihn nicht verursachen. Klassische IR-Systeme konnten zwar eine schlechte Bewertung erhalten, aber sie konnten nicht lügen. Sie lieferten Dokumente, die tatsächlich existierten, und schrieben niemals einen fließenden, selbstbewussten Absatz, der diesen Dokumenten völlig widerspricht. Die Treue – also ob der generierte Text tatsächlich durch das Abrufte unterstützt wird – ist eine neue Dimension. Werkzeuge wie RAGAS, die 2023 erschienen, messen etwas, was das gesamte frühere Feld noch nie benennen musste.

Die agentbasierte Informationsabrufung ist nur teilweise neu. Ein Suchaufruf existiert bereits seit Langem. Was sich unterscheidet, ist ein Modell, das eine Frage zerlegt, eigene Unterabfragen stellt, die Ergebnisse liest und seinen Plan anpasst – was einem autonomen Kontrollzyklus um den herkömmlichen Informationsabruf entspricht. Dieser Zyklus ist die Innovation. Khattabs DSP- und DSPy-Projekte stellen eine ernsthafte Herangehensweise dar, und es passt, dass sie von jemandem stammen, der mit der älteren Literatur vertraut ist.

Auch die Bewertungsmethoden müssen neu überdacht werden. nDCG, MAP und MRR bewerten eine sortierte Liste für eine Person, die diese durchliest, und sie sagen nichts darüber aus, ob die letztendlich erzeugte Antwort korrekt, vollständig und fundiert ist. Die unveränderte Übernahme der alten Metriken reicht nicht aus, um die Aufgabe zu erledigen.

Die Forscher sind immer noch da

Die Menschen, die all das geschaffen haben, sind nicht an den Strand gezogen. Mehrere von ihnen arbeiten still daran, RAG in die Bewertungstradition einzubinden – eine Tradition, die RAG zwei Jahre lang ignoriert hat.

Jimmy Lin betreibt Anserini und Pyserini, Werkzeuge, die einen gut abgestimmten BM25 auf einen einzigen Befehl reduzieren und damit die Ausrede mit schwachen Baselines beseitigen. Nach den kontroversen Artikeln über „neuronale Hype-Technologien“ veröffentlichte er 2019 „The Neural Hype, Justified! A Recantation“, in dem er zugab, dass neuronale Methoden aus der BERT-Ära in Umgebungen mit begrenzten Ressourcen gegenüber starken Baselines tatsächlich Vorteile boten. Zuvor hatte er behauptet, das Feld sei überhyped; nach Prüfung stärkerer Beweise änderte er seine Meinung schriftlich – und hatte dennoch teilweise recht mit seiner Kritik am Hype. Diese Einstellung lohnt es, sie aus beiden Richtungen zu übernehmen: Erfahrene sollten sich neuen Arbeiten zuwenden, während Neueinsteiger weit genug in die Vergangenheit blicken sollten, um zu erkennen, was sie eigentlich aktualisieren.

Bhaskar Mitra und Nick Craswell verfassten 2018 ein Einführungswerk zu neuronalen IR-Methoden, das neuronale Modelle fest in die klassische Tradition einordnete und BM25 als einen respektablen Grundstandard betrachtete. Ab 2019 leiteten sie den TREC Deep Learning-Schwerpunkt und bewerteten die gesamte neuronale Ära anhand der zusammengeführten, wiederverwendbaren Datensammlungen, die Cranfield und TREC über Jahrzehnte hinweg weiterentwickelt hatten. Die Revolution wurde mit den Instrumenten des alten Fachgebiets, von denjenigen, die sie entwickelt hatten, bewertet – und sie bestand. Die Strenge dieser Bewertungsmethoden war von Anfang an übertragbar, falls jemand sie haben wollte.

Ellen Voorhees und Donna Harman haben das Standardwerk zur TREC-Bewertung herausgegeben. Vorhees widmete sich jahrelang einem problematischen Aspekt: Die Beurteilungen der Relevanz durch Menschen widersprechen sich gegenseitig – genau diese Schwierigkeit stellt jeden, der menschliche Beurteiler durch einen LLM ersetzen will, vor Herausforderungen. Als die IR-Gemeinschaft diesen Austausch in Betracht zog, argumentierte sie schriftlich dafür und warnte Forscher davor, dass dies die Wissenschaft heimlich beeinträchtigen könnte. Pilotdaten zeigten, dass die Urteile der Modelle mit denen der Menschen bei einem Kendall’schen Tau von fast 0,86 übereinstimmten. Das mag beruhigend erscheinen, doch eine Korrelation sagt nichts darüber aus, an welchen Stellen sich die beiden Methoden unterscheiden – und gerade diese Unterschiede sind entscheidend für die Dokumente, die das siegreiche System bestimmen.

Es gibt nun eine Disziplin dafür. Im Jahr 2024 startete das NIST eine TREC RAG-Disziplin mit 301 Themen auf einer deduplizierten MS MARCO-Sammlung von 113 Millionen Textabschnitten. Diejenigen, die die Bewertung als Ausführung von pytest betrachten, sollten sich die mühsame Arbeit ansehen, die für ein vertrauenswürdiges Testset erforderlich ist. In dieser Disziplin werden die Erinnerung an relevante Informationen sowie die Unterstützung durch Zitate bewertet – wobei Letzteres prüft, ob generierte Aussagen durch abgerufte Textabschnitte gestützt werden. Im Jahr 2025 wechselten die Abfragen von kurzen Schlüsselwortketten zu langen, unstrukturierten, mehrsätzigen Erzählungen, die der Art realer Fragen näherkommen. Die etablierte Struktur wurde nicht vollständig beseitigt; stattdessen wurde eine neue Disziplin eingerichtet und RAG eingebunden, was ein typischer TREC-Schritt ist.

Was ändert sich, wenn die Historie gelesen wird

Das Abrufen von Informationen ist nicht tot, und RAG hat nicht alles verändert. Jeder, der eine dieser Behauptungen verkauft, verdient Misstrauen, da beide Möglichkeiten es einem Menschen ermöglichen, die Arbeit zu umgehen. Die Wahrheit ist kleiner und nützlicher. Das Feld hat eine bemerkenswerte Methode zum Verarbeiten des abgerufenen Textes entwickelt und hat in der Eile fünfzig Jahre an angesammeltem Wissen darüber, wie man Informationen gut abruft, beiseitegeworfen.

Dieses Wissen kann jederzeit wieder aufgenommen werden. Das Zitierungsnetzwerk ist öffentlich, die Benchmarks sind öffentlich, und die Forscher sind am Leben und überrascht – wenn auch positiv –, wenn jemand Jüngerer mit einer fundierten Frage auftaucht.

Die praktischen Änderungen sind absichtlich langweilig:

Stellen Sie zunächst die BM25-Grundlage ein, bevor Sie sich mit den Embeddings beschäftigen.
Erstellen Sie Bewertungssätze aus den Anfragen, die Probleme bereiten, und überspringen Sie diejenigen, die bereits funktionieren.

Betrachten Sie den Abschnitt zu den verwandten Arbeiten als den Ort, an dem ein Fachgebiet seine „Erinnerung“ speichert, und verfolgen Sie die Zitate rückwärts, bis sie enden.

Keines davon vermittelt das Aufregende, das mit der Anpassung der Blockgröße einhergeht. Eine als Siegerin erwartete Basislinie fehlt es an der Begeisterung, eine neue Grenze zu ermitteln – und dieser fehlende Enthusiasmus hat tatsächlich Kosten. Zudem trennt dies einen gut funktionierenden Workflow von einem, der bei einem Korpus, das niemand extrahiert hat, versagt.

Der Teamkollege, der nach BM25 gefragt hat, war nicht veraltet. Er hatte dieselbe Übersicht wie alle anderen – eine Version, die 2020 beginnt und die ersten fünfzig Jahre weglässt. Die Lösung besteht darin, die fehlenden Seiten zu finden; das Glückliche daran ist, dass sie nie verloren gegangen sind. Die Leute haben einfach aufgehört, sie zu lesen.

Die ursprünglichen Arbeiten, gruppiert

Das Lesen von mindestens einem dieser Artikel ist besser als das Nehmen von Worten anderer für bare Münze zu halten.

Auszüge, Blockierung und Embeddings:

Salton, Allan und Buckley (1993) zur Abschnittsuche in Volltextsystemen – Jahre bevor das Internet über Suchmaschinen verfügte.
Callan (1994), „Passage-Level Evidence in Document Retrieval“, in dem Absätze sowie feste Abschnittsbereiche innerhalb eines echten Suchsystems verglichen wurden. Die „Chunking-Strategie“ hat einen Vorläufer.
Kaszkiel und Zobel (1997), „Passage Retrieval Revisited“, deren Experimente zur Abschnittsgröße zeigten, dass feste Längen effektiv sind – ein Ergebnis, das jede Bewertungsumgebung erneut feststellen würde, wenn es ihr möglich wäre.
Hearst (1997), „TextTiling“, zur Aufteilung von Texten bei wechselnden Untertopiken. Jeder Ansatz der semantischen Chunking verfügt über eine ältere Quelle.
Salton, Wong und Yang (1975) das Vektorraummodell, das bereits 1975 die Operationen beschrieb, die eine Vektordatenbank bei Abfragen ausführt.

Spärck Jones (1972) zur Term-Spezifität und dem Ursprung des IDF, das Embedding-Modelle heute kostenlos erlernen.

Deerwester und Kollegen (1990), „Indexing by Latent Semantic Analysis“ – deren SVD auf einer Term-Dokument-Matrix ist die Idee, von der viele glauben, sie sei 2020 erfunden worden.

Fusion, Feedback und Neuranking:

Cormack, Clarke und Büttcher (2009), rekursive Rangfusion, die hybride Suchmethode in mehreren großen Suchmaschinen, mit einer ungetunten Konstante von 60, die trainierte Methoden übertraf.
Fox und Shaw (1994), Kombination mehrerer Suchen, wobei CombSUM und CombMNZ bereits Standard waren.
Gao, Ma, Lin und Callan (2022), das HyDE-Paper – ein eleganter Trick mit falschen Antworten, der im Grunde auf neuronalem pseudo-relevantem Feedback beruht.
Rocchio (1971), der ursprüngliche Ansatz des relevanten Feedbacks, der die Suche in Richtung dessen lenkt, was relevant erscheint.
Croft und Harper (1979), pseudo-relevanter Feedback-Mechanismus, der auch als Query-Drift bezeichnet wird.
Wang, Lin und Metzler (2011), das formale Kaskaden-Ranking-Modell hinter den BM25-then-cross-Encoder-Pipelines.
Burges und Kollegen (2005), RankNet – ein Beweis dafür, dass es bereits 2005 einen funktionsfähigen neuronalen Ranker für das Ranking gab.

Bewertung:

Cleverdon, Mills und Keen (1966), Cranfield II – das sechzig Jahre alte Muster für Korpus, Abfragen, Bewertungen und Offline-Bewertung.
Voorhees und Harman (2005), das TREC-Bewertungsbuch – zur Überprüfung der Informationsauswertung ohne Selbsttäuschung.
Järvelin und Kekäläinen (2002), der Ursprung von nDCG und seine Begründung.
Voorhees (2000), darüber, inwieweit menschliche Bewertungsexperten unterschiedlicher Meinung sind – das genaue Problem hinter der Einführung eines LLM-Bewerters.
Faggioli, Dietz, Clarke und Kollegen (2023), Perspektiven zu LLMs für die Relevanzbewertung, woher die Warnung vor der Verfälschung der Wissenschaft stammt.
Mitra und Craswell (2018), die Einführung in das neuronale IR, die neuronale Modelle in die klassische Tradition einordnet.
Craswell und Kollegen (2019), Übersicht zum Deep-Learning-Schwerpunkt bei TREC 2019.

Empirische Ergebnisse:

Thakur und Kollegen (2021), BEIR, die Studie, die zeigt, dass BM25 die meisten dichten Modelle außerhalb der Verteilung schlägt.
Lin (2018) sowie Yang, Lu, Yang und Lin (2019), zu schwachen Baselines und dem fehlenden Aufwärtstrend in der Effektivität.
Lin (2019), die Rücknahme, ein Kritiker, der seine Meinung schriftlich ändert.
Liu und Kollegen (2023, veröffentlicht 2024), „Lost in the Middle“.
Joachims und Kollegen (2005, mit einer Nachuntersuchung im Jahr 2007) zum Klickverhalten als impliziter Rückmeldung und zum Vertrauensbias, den es aufzeigt.
Veseli, Chibane, Toneva und Koller (2025) zu den Positionsfehlern, die sich ändern, wenn die Eingaben der Grenze des Kontextfensters nahekommen.

Was wirklich neu ist:

Cuconasu und Kollegen (2024), „The Power of Noise“, bei dem zufällige, unverwandte Dokumente die Genauigkeit erhöhten.
Es, James, Espinosa-Anke und Schockaert (2023), RAGAS – ein Werkzeug zur Messung der Treue der Ergebnisse.
Khattab und Kollegen (2022 und 2023), Demonstrate-Search-Predict und DSPy – die ernsthafte Version der agierenden Informationsabrufung.
Der TREC 2024 RAG-Wettbewerb beim NIST mit 301 Themen, 113 Millionen Textabschnitten sowie Unterstützung für die Wiedererkennung von relevanten Informationen und Zitierfunktionen.