ReAct erklärt: Wie KI-Agenten Schlussfolgerungen mit Handlungen in der realen Welt verbinden

KI entwickelt sich weit über einfache Chatbots zur Textgenerierung hinaus.

Die heutigen KI-Systeme können im Internet surfen, API-Anfragen stellen, Datenbankabfragen ausführen, Code interpretieren, Dokumente herunterladen und anschließend das Gesammelte nutzen, um ihre nächsten Schritte zu bestimmen. Doch was ermöglicht es einer KI tatsächlich, von dem bloßen Nachdenken über eine Aufgabe zur Ausführung konkreter Handlungen überzugehen?

Ein zentrales Konzept hinter diesem Wandel ist ReAct – abgekürzt für Reason + Act.

ReAct ist sowohl eine Technik zur Anleitung von KI-Modellen als auch ein umfassenderes Framework für agierende Systeme. Es verbindet Überlegungsprozesse mit konkreten Aktionen wie Suchvorgängen, API-Aufrufen, Berechnungen und dem Einsatz weiterer Tools. Anschließend liest das Modell die Ergebnisse dieser Aktionen und nutzt sie, um zu entscheiden, was als Nächstes zu tun ist. Yao und seine Kollegen stellten dieses Framework im Jahr 2022 vor.

Was ist ReAct?

Eine einfache Art, sich ReAct vorzustellen, ist durch diesen Kreislauf:

Denken → Handeln → Beobachten → Denken → Handeln → Beobachten → Endgültige Antwort

Nehmen wir an, Sie fragen ein KI-System:

">Finden Sie die neuesten Informationen über ein Unternehmen und fassen Sie dessen jüngste Entwicklungen zusammen."

Ein einfaches Modell könnte einfach mit dem antworten, was es intern bereits weiß.

Ein auf ReAct basierendes System geht dabei anders vor:

1. Logisches Denken: Ermitteln, welche Informationen tatsächlich benötigt werden.
2. Aktion: Eine Suche durchführen, um diese zu finden.
3. Beobachtung: Prüfen, was die Suche ergeben hat.
4. Logisches Denken: Entscheiden, ob weitere Informationen noch benötigt werden.
5. Aktion: Erneut suchen oder auf ein anderes Werkzeug wechseln.
6. Endgültige Antwort: Sobald genügend Informationen gesammelt wurden, die Antwort erstellen.

Diese Schleife des Hin- und Herwechsels ist genau das, was ReAct für Aufgaben wertvoll macht, die von externen Informationen oder Zugriff auf Tools abhängen.

ReAct gegenüber Chain-of-Thought

ReAct hat viel mit dem Konzept des schrittweisen Denkens gemeinsam, doch es gibt einen entscheidenden Unterschied zwischen ihnen.

Chain-of-Thought bezieht sich hauptsächlich darauf, ein Problem intern durch logisches Denken zu lösen.

ReAct verbindet dieses Denken mit einer tatsächlichen Interaktion mit der Außenwelt.

Hier ist ein schneller mentaler Hinweis:

CoT = Denken ReAct = Denken → Handeln → Beobachten → Denken

Deshalb ist ReAct besonders wertvoll, wenn ein System nach außen vordringen und mit einer externen Umgebung interagieren muss, anstatt sich ausschließlich auf sein eingebautes Wissen zu verlassen.

ReAct ist kein Verstärkungslernen

Dieser Punkt verwirrt viele Menschen.

Auch wenn der ReAct-Zyklus einem Agenten ähnelt, der mit einer Umgebung interagiert und an Verstärkungslernen erinnert, ist er selbst keine Methode des Verstärkungslernens.

Ein Ergebnis, das durch einen Tool-Aufruf zurückgegeben wird, ist nicht automatisch ein Belohnungssignal im Sinne des Verstärkungslernens.

Was zählt, ist einfacher: Beobachtungen, die aus Aktionen resultieren, können beeinflussen, was das System als Nächstes tut.

Wo passen Reasoning-Modelle hin?

Ein weiteres Konzept, das verstanden werden sollte, ist die Idee eines Reasoning-Modells.

Diese Modelle sind so konzipiert, dass sie zusätzliche Rechenleistung für schwierigere Probleme aufwenden, wie zum Beispiel:

• Mathematik
• Programmierung
• Planung
• Mehrschrittige Problemlösung

Allgemeinzweckmodelle sind ebenfalls in der Lage zu reasoning, werden aber eher darauf ausgelegt, eine schnelle und effiziente Alltagsinteraktion zu ermöglichen, anstatt tiefgehende Problemlösungen anzustreben.

Das liefert uns einen weiteren nützlichen Kontrast:

Allgemeines Modell → breite, effiziente Interaktion Reasoning-Modell → zusätzliche Berechnungen für schwierige Probleme

Trotzdem garantiert mehr Reasoning bei einem Problem kein korrektes Ergebnis.

Selbst ein Reasoning-Modell kann Fakten falsch interpretieren, logische Fehler machen oder auf fehlerhaften Annahmen beruhen. Mehr Berechnungen erhöhen zwar die Chancen, ein schwieriges Problem zu lösen, beseitigen aber nicht die Möglichkeit von Fehlern.

Die Rolle der Berechnung zur Inferenzzeit

Ein Grund dafür, dass Reasoning-Modelle bei schwierigen Aufgaben anders funktionieren, liegt in der Berechnung zur Inferenzzeit.

Anstatt für jede Anfrage dieselbe feste Menge an Rechenleistung zu verwenden, kann ein System die Rechenleistung gezielt für schwierigere Probleme erhöhen.

Muster sieht so aus:

Einfaches Problem → weniger Abwägung → schnellere Antwort

Schwieriges Problem → mehr Abwägung → mehr Rechenleistung → potenziell besseres Ergebnis

Dies gibt KI-Systemen eine weitere Hebelwirkung: Die Leistung hängt nicht nur davon ab, was während des Trainings gelernt wurde, sondern auch davon, wie viel Rechenleistung zum Zeitpunkt der Lösung eines bestimmten Problems eingesetzt wird.

ReAct, Tool Calling, RAG und Agents

In der Praxis überschneiden sich diese vier Konzepte, doch jedes bezieht sich auf etwas Eigenständiges.

Tool Calling bedeutet, dass ein Modell um die Ausführung eines externen Tools im eigenen Namen bittet.

ReAct ist der wiederholte Zyklus aus Abwägen, Handeln und Beobachtung der Ergebnisse.

RAG zieht externe Informationen heran und übermittelt sie dem Modell, sodass dessen Ausgabe auf echten Daten beruht.

Ein KI-Agent ist ein umfassenderes System, das durch Planung, Einsatz von Werkzeugen, Überwachung des Zustands sowie die Entscheidungsfindung im Laufe der Zeit an einem Ziel arbeiten kann.

Ein typischer moderner Agent folgt möglicherweise einer solchen Abfolge: Er beginnt mit dem, was der Benutzer wünscht, geht dann dazu über, über dieses Ziel nachzudenken, wählt ein Werkzeug aus, führt dieses aus, prüft das Ergebnis, beurteilt, ob es ausreicht, und setzt entweder fort oder passt seinen Plan an, bevor er eine endgültige Antwort gibt.

Zu den verwendeten Werkzeugen können alles Mögliche gehören – von Websuche und APIs über Datenbanken, Umgebungen zur Ausführung von Code, Dateisuche bis hin zu anderen externen Anwendungen.

Verifizierung macht Agenten zuverlässiger

Neben Handeln und Beobachten können agierende Systeme Ebenen der Überprüfung und Reflexion hinzufügen.

Ein gängiges Muster ist:

Erstellen → Überprüfen → Bei Bedarf korrigieren → Endgültige Antwort

Bei der Überprüfung prüft das System, ob das von ihm abgerufene oder erzeugte Ergebnis tatsächlich korrekt ist.

Bei der Reflexion blickt das System auf seinen vorherigen Versuch zurück und entscheidet, ob es erneut versuchen muss.

Sowohl diese Techniken als auch andere können bestimmte Arbeitsabläufe zuverlässiger machen, doch sie haben ihren Preis: zusätzliche Verzögerungen, höherer Rechenaufwand – und weiterhin keine absolute Garantie dafür, dass das Endresultat korrekt ist.

Das größere Bild

Man kann die Entwicklung von KI-Systemen als eine Reihe schichtweiser Fähigkeiten betrachten.

Anweisungen geben bedeutet, dem Modell Vorgaben zu machen.

Logisches Denken befähigt es, schwierigere Probleme zu bewältigen.

Toolaufrufe ermöglichen es ihm, mit anderen Systemen zu interagieren.

ReAct verbindet das logische Denken mit Handlung und Beobachtung.

Agenten fassen all das zu zielorientierten Systemen zusammen, die planen, handeln, beobachten, überprüfen und bei Bedarf den Kreislauf wiederholen können.

Die wichtigste Erkenntnis ist einfach:

KI ist nicht darauf beschränkt, nur eine einzige Antwort zu liefern. Heutige KI-Systeme können darüber nachdenken, was sie tatsächlich benötigen, auf dieser Grundlage handeln, beobachten, was passiert, und diese Beobachtungen nutzen, um ihre nächste Entscheidung zu treffen.

Diese Veränderung – vom einfachen Erzeugen von Ausgaben zum aktiven Verfolgen eines Ziels durch Handlungen – ist einer der grundlegenden Bausteine moderner KI-Agenten.