grep übertraf bei Tests zur Agentenmemorie die Vektorsuche, und das Harness spielte genauso eine wichtige Rolle.

Systeme, die auf Retrieval-augmented Search basieren, stützen sich seit Langem auf einen Glauben: Vektorbasiertes Suchen ist besser als Schlüsselwortsuche, weil es Bedeutungen erfassen kann. Eine Anfrage nach „Dokumenten zu Quartalsergebnissen“ führt zu einem „Q3-Umsatzzahlenbericht“, obwohl die beiden Phrasen keine gemeinsamen Wörter enthalten, da der Embedding-Raum sie als ähnlich betrachtet. Dieser Glaube hat zu enormen Investitionen in Infrastruktur geführt – von Pinecone und Weaviate über Chroma bis hin zu Qdrant. Frühe Arbeiten zur Suche in dichten Textabschnitten zeigten, dass diese Methode bei der Beantwortung von Fragen in offenen Domänen besser abschneidet als das spärliche BM25-Verfahren; die Branche übernahm dieses Ergebnis, und die Vektorsuche wurde zur Standardmethode.

In einer Studie aus dem Jahr 2026 wurde ein anderes Experiment durchgeführt. Den Agenten wurde eine Abrufaufgabe aus LongMemEval gestellt, einem Benchmark, bei dem ein Agent Fragen durch das Durchsuchen langer Konversationshistorien beantworten muss. Dabei wurde grep, eine einfache exakte Zeichenkettenabgleichsmethode, gegen Vektorabrufverfahren getestet. Der Test wurde mit mehreren Agenten-Plattformen durchgeführt: einer benutzerdefinierten Plattform namens Chronos sowie den vom Anbieter bereitgestellten Kommandozeilenwerkzeugen Claude Code, Codex und Gemini CLI.

In der Hauptuntersuchung lag grep in Bezug auf die Genauigkeit vor den Vektorabrufverfahren – und das bei allen Plattformen, nicht nur bei einer.

Kurzfassung

• Setup: 116 LongMemEval-Fragen, Vergleich von grep und Vektorabrufverfahren, vier Plattformen, identische Konversationsdaten.
• Hauptergebnis: Bei den inline zurückgegebenen Ergebnissen übertraf grep in allen getesteten Fällen die Vektorabrufverfahren in Bezug auf die Genauigkeit.

Zweiter Befund: Der Gurt hatte etwa denselben Einfluss wie die Extraktionsmethode. Derselbe Extraktionsansatz führte bei unterschiedlichen Gurten zu sehr unterschiedlichen Genauigkeitswerten.

Warum grep hier vorteilhaft ist: Die Fragen verlangen nach spezifischen Fakten: Namen, Daten, genauen Phrasen. Semantische Ähnlichkeit fügt bei dieser Art der Suche Störungen hinzu, denn grep gibt den String selbst zurück, während die Vektorsuche Abschnitte liefert, die ihm nur ähneln.

Das Problem mit dem Gurt: Wie das Ergebnis eines Tools dem Modell präsentiert wird, bestimmt, ob das Modell es richtig nutzen kann. Ein perfektes Ergebnis, das schlecht dargestellt wird, ist nutzlos.

Die schwierige Frage: Welchen Anteil des Vorteils, der einer besseren Extraktion in produktiven RAG-Systemen zugeschrieben wird, lässt sich tatsächlich durch ein besseres Gurtdesign erklären?

Warum grep für Fragen zum Speichern geeignet ist

Der Mechanismus lässt sich leicht erklären. LongMemEval stellt Fragen wie nach dem von jemandem am bestimmten Tag in einem Gespräch genannten Lieblingsrestaurant oder dem Titel eines von einer Person empfohlenen Buches. Jede Antwort ist ein bestimmter String in der Gesprächshistorie.

Bei der Vektorabrufung wird die Frage eingebettet, Gesprächsteile mit nahegelegenen Vektoren gefunden und zurückgegeben. Das Problem ist, dass eine ähnliche Bedeutung nicht gleichbedeutend mit der genauen Information ist. Ein Abschnitt über Essen im Allgemeinen liegt im Vektorraum in der Nähe von „Lieblingsrestaurant“. Er nennt das Restaurant möglicherweise gar nicht, erreicht aber trotzdem eine hohe Platzierung und enthält keine Antwort.

Die Suche mit grep nach „restaurant“ gibt alle Abschnitte zurück, die das Wort enthalten – darunter auch jenen, in dem das Lieblingsrestaurant erwähnt wurde. grep ist präzise, die Vektorabrufung hingegen annähernd; bei der Suche nach genauen Fakten fügt die Annäherung nur Störungen hinzu.

Vector retrieval:  high recall on semantically related segments
                   lower precision on exact-fact queries
                   noise from semantically similar but fact-absent segments

grep:              perfect precision on string matches
                   lower recall on paraphrased or implicit facts
                   no noise from semantic neighbors

Die Fragen des Benchmarks sind so formuliert, dass eine genaue Wiedererkennung gefordert wird, wodurch die Bewertungskriterien einer exakten Zeichenkettenübereinstimmung Vorrang einräumen. Das ist jedoch kein Beweis dafür, dass grep im Allgemeinen besser ist als die Vektorabrufmethode. Es zeigt lediglich, dass die Aufgabenzuordnung darüber entscheidet, welche Methode gewinnt. Die richtige Frage ist, wie die tatsächliche Mischung der Abrufaufgaben bei der Implementierung von Produktionsagenten aussieht und welche Methode in dieser Mischung den Vorteil hat.

Der Harness-Effekt

Die wichtigere Erkenntnis ist nicht das Suchen mit grep gegenüber Vektoren, sondern das verwendete Framework. Bei derselben Suchmethode, denselben Daten und denselben Fragen ändert sich die Genauigkeit stark je nach Framework. Die angegebenen Zahlen zeigen das Ausmaß: Ein Claude Opus-Modell erreicht 93,1 % unter Chronos und 76,7 % unter Claude Code – somit bewirkt das Wechseln des Frameworks eine Änderung der Genauigkeitsgrenze, die etwa der Änderung durch das Wechseln des Suchtools innerhalb eines festen Frameworks entspricht. Der größte Unterschied zwischen grep und Vektoren lag bei Chronos mit Gemini 3,1 Flash-Lite, mit 86,2 % gegenüber 62,9 %.

Ein Framework erfüllt vier Funktionen:

1. Es ruft das Suchtool mit einer Abfrage auf.
2. Es erhält die Ergebnisse.
3. Es präsentiert diese Ergebnisse dem Modell.
4. Das Modell analysiert sie, um eine Antwort zu geben.

Für eine bestimmte Abrufmethode sind die Schritte eins, zwei und vier überall gleich. Schritt drei unterscheidet sich, und die Art und Weise, wie die Ergebnisse dargestellt werden, bestimmt, was das Modell mit ihnen macht. Zu den Darstellungsoptionen gehören:

• Format: eine gerankte Liste, der beste Treffer oder alles zusammengefügt.
• Kontext: ob jeder Treffer seine Quelle, das Zeitstempel sowie den umgebenden Text enthält.
• Hervorheben: ob der relevante Teil markiert wird oder das Modell darin suchen muss.
• Filtern: ob Treffer mit geringer Zuverlässigkeit weggelassen werden oder alle angezeigt werden.

Niemand hat diese Optionen standardisiert, und jede CLI des Anbieters verwendet eigene Regeln. Der Übertragungsstil erwies sich als äußerst wichtig: Die Rückgabe der Ergebnisse direkt im Text bevorzugte grep, während die Übermittlung als Dateien, die vom Modell separat gelesen wurden, den Vergleich veränderte – bei etwa der Hälfte der Kombinationen aus Harness und Modell übertraf die Vektorabrufmethode grep. Eine Codex-Einrichtung fiel von 93,1 % mit grep in-line auf 55,2 %, als die grep-Ergebnisse als Dateien übergeben wurden.

Falls dem so ist, messen Studien, die Abrufmethoden bei konstantem Harness vergleichen, möglicherweise die falsche Variable. Ein besseres Abrufsystem in einem schlechteren Harness kann gegen ein schlechteres Abrufsystem in einem besseren verlieren.

Mischung mit Störeinflüssen

In einem zweiten Experiment wurden von den korrekten Gesprächstexten ausgehend immer mehr unverwandte Gesprächshistorien hinzugefügt, wobei die Genauigkeit im Laufe der Zunahme des Störsignals überwacht wurde.

Sowohl Methoden verlieren an Genauigkeit, je mehr Störelemente vorhanden sind, was zu erwarten ist. Die Kurven unterscheiden sich jedoch. Bei Abfragen mit exakten Informationen verschlechtert sich die Leistung von grep sanfter. Wenn der relevante Abschnitt die Abfragesuche enthält, findet grep ihn unabhängig davon, wie viele Störelemente ihn umgeben, da diese nicht mit der Suche übereinstimmen und daher nie in den Ergebnissen erscheinen.

Die Vektorabrufmethode leidet schneller unter dem Einfluss von Störelementen. Störelemente, die semantisch der Abfrage ähneln, tauchen tatsächlich in den Ergebnissen auf, wodurch der Anteil nützlicher Treffer in den oberen Ergebnissen abnimmt, je mehr Unordnung vorhanden ist, und das Modell gezwungen ist, die Antwort aus einem stärker gestörten Datensatz herauszufinden.

Accuracy = f(retrieval_precision × harness_quality)

grep retrieval precision: high for exact facts, stable with distractors
vector retrieval precision: moderate, degrades with semantically similar distractors

Für Agenten, die mit großen, gemischten Kontextspeichern arbeiten, die über lange Konversationshistorien verfügen, mehrere Dokumenttypen enthalten und bei denen die Relevanz ungleichmäßig ist, stellt diese Widerstandsfähigkeit gegen Ablenkungen einen echten praktischen Vorteil bei Aufgaben mit exakten Fakten dar.

Was das für die Recherche-Literatur bedeutet

Papers, die dichte gegen spärliche Rechercheverfahren, Embedding-Modelle oder Neuranking-Strategien vergleichen, fixieren in der Regel das Hilfsframework und variieren nur den Rechercher, wobei das Framework als Konstante angesehen wird. Die hier vorliegenden Erkenntnisse zeigen jedoch, dass es keine Konstante ist – es interagiert mit der Recherche Methode. Ein für Vektorrecherche abgestimmtes Framework kann Grep-Ergebnisse schlecht darstellen, und umgekehrt gilt dasselbe.

Möglicherweise wurden die Rechercheverfahren an Frameworks angepasst, die zufällig Vektoransätze bevorzugen. Absolute Vergleiche könnten weiterhin gültig sein, während relative Rangfolgen das nicht tun.

In der Praxis investieren Teams, die agierende RAG-Lösungen entwickeln, viel Aufwand in die Auswahl von Embedding-Modellen, Anbietern von Vektordatenbanken sowie Ähnlichkeitsmetriken. Nur wenige widmen einen vergleichbaren Aufwand dem Tool, das die Suchergebnisse dem Modell anzeigt. Diese Erkenntnisse deuten darauf hin, dass diesem Tool mindestens genauso viel ingenieurtechnische Aufmerksamkeit zuteilwerden sollte wie dem Suchmechanismus selbst, doch die ingenieurtechnische Praxis hat dies noch nicht umgesetzt.

Die Ergebnisse sorgfältig interpretieren

Diese Arbeitsrichtung wird wahrscheinlich nicht die Aufmerksamkeit erhalten, die sie verdient – und das nicht, weil die Ergebnisse schwach wären. Sie sind für eine auf Vektorsuche basierende Branche unpraktisch, da grep manchmal vorteilhaft ist und die Gestaltung solcher Tools unterschätzt wird.

Sie sollten dennoch sorgfältig gelesen werden. LongMemEval verfügt über eine spezifische Aufgabenzuweisung, die die präzise Wiederfindung von Fakten bevorzugt, und Grep’s Vorteil in diesem Bereich bedeutet nicht, dass es überall gewinnt. Semantische Wiederfindung leistet sichere Ergebnisse bei Aufgaben mit vielen Paraphrasen, bei mehrsprachiger Wiederfindung sowie bei Abfragen auf Konzeptebene. Die Studie untersuchte außerdem wörtliche Belege aus mehrteiligen Chats; hybride Wiederfindungsmethoden oder stärkere lexikalische Baselines gehörten nicht dazu.

Die Schlussfolgerung ist nicht, Grep zu verwenden. Passen Sie die Wiederfindungsmethode der Verteilung der Wiederfindungsaufgaben an und entwerfen Sie das zugrundeliegende System genauso sorgfältig wie den Wiederfindungsmechanismus selbst. Beides ist bisher noch keine Standardpraxis – doch es sollte es werden.

Fragen für Ihr eigenes System

Bei den agierenden Abrufaufgaben in Ihrem Produktionsystem: Welcher Anteil erfordert eine genaue Wiederholung von Fakten und welcher Anteil eine semantische Konzeptvergleichung? Und wann haben Sie zuletzt überprüft, wie Ihr System die Ergebnisse präsentiert – mit derselben Sorgfalt, die Sie der Auswahl des Embedding-Modells entgegengebracht haben?