Startseite / Artikel

GCA erklärt: Ein Auftragsvertrag zur Behebung von Problemen bei räumlichem Denken in VLMs

Der geometrisch eingeschränkte Agent trennt die Formalisierung der Aufgabe von der geometrischen Ausführung, sodass VLMs ohne Training besser über Raum nachdenken können. Wie es funktioniert.

Verlag: REACTAPP.TOP6 Min. Lesezeit1333 Wörter

Quellen: Paper Walkthrough — Geometrically-Constrained Agent for Spatial Reasoning

Stellen Sie sich ein Vision-Language-Modell vor, dem gesagt wird, es solle sich vorstellen, auf einem Sofa zu sitzen, und angeben, wo der Couchtisch ist. Im Prinzip ist das machbar: Man bestimmt, in welche Richtung das Sofa zeigt, dreht die imaginäre Sichtweise entsprechend und platziert anschließend den Tisch in Bezug darauf. In der Praxis klappt das jedoch meist nicht, weil der klassische ReAct-Zyklus keine Mechanismen besitzt, um die Mehrdeutigkeit vor dem Handeln zu klären. Der Grund liegt nicht im Fehlen von Wissen, sondern in einem Übersetzung-Fehler zwischen vagen sprachlichen Beschreibungen und präziser Geometrie.

Der CVPR 2026-Artikel Geometrically-Constrained Agent for Spatial Reasoning (GCA) schlägt eine Lösung vor: Vor jeder Berechnung muss der VLM eine formale Aufgabenbeschränkung erzeugen und sich daran halten. Dadurch wird die Aufgabe in eine Phase der semantischen Formalisierung und anschließend in eine Phase der eingeschränkten Ausführung unterteilt. Es ist außerdem kein Training erforderlich. Der VLM sowie seine Tools erhalten weder Feinabstimmungen noch zusätzliche Datensätze oder Gradientenaktualisierungen. Eine Feinabstimmung würde versuchen, dem Modell durch Gewichtsanpassungen grundlegende Geometrie beizubringen. GCA formt hingegen die Anfragen um, sodass ein Referenzrahmen sowie ein Ziel bereits vor jedem Toolaufruf festgelegt werden. Jeder herkömmliche VLM kann anschließend als Kernsystem dienen, wobei die Disziplin ausschließlich durch die zweistufige Struktur gewährleistet wird.

Die folgenden Abschnitte behandeln die Beschränkung selbst, die darauf folgende eingeschränkte Berechnung sowie die Ergebnisse.

Zwei Rollen, verbunden durch einen Vertrag

Die Kernidee besteht darin, das Denken des VLM in zwei Aufgaben zu unterteilen, die durch eine explizite, maschinenlesbare Vereinbarung miteinander verbunden sind:

C_task ← F_formalize(q, v)
r_t = F_compute(C_task, T, r_{t-1})

Hier ist q die mehrdeutige Frage in natürlicher Sprache, v die visuelle Eingabe, T das Werkzeugset und r der laufende Zustand der Berechnung.

Phase 1: Formalisierung der Aufgabe. Hier fungiert der VLM als semantischer Analytiker. Ihm werden die vage Frage sowie das Bild übergeben, und anstatt sie zu beantworten, bestimmt er zunächst, was die Frage bedeutet. Im Fall des Sofas muss das Modell vor dem Einsatz eines Tools angeben, was unter „in Bezug auf Sie“ geometrisch zu verstehen ist (die Ausrichtung des Sofas und nicht die der Kamera) sowie welche Größe gesucht wird (die Position des Tisches in diesem Bildausschnitt). Die Ausgabe ist eine Spezifikation und kein Zahlwert: C_task = (C_R, C_O), eine Einschränkung für den Referenzrahmen und eine für das Ziel, die bereits vor jeder Berechnung festgehalten werden. Nach dieser Festlegung kann die Bedeutung später nicht stillschweigend geändert werden, was verhindert, dass der Agent auf die Kameraperspektive ausweicht.

Phase 2: eingeschränkte geometrische Berechnung. Der VLM verwandelt sich nun in einen Aufgabenerlediger, der Tool-Aufrufe erstellt und ausführt – stets innerhalb der festgelegten deterministischen Grenzen C_task. Im Sofa-Beispiel bindet bereits C_R den Rahmen an die Ausrichtung des Sofas, und C_O gibt bereits die Position des Tisches darin an, sodass beide Aspekte bereits geklärt sind. Was übrig bleibt, ähnelt einer mechanischen Routine: Das Sofa finden, in Segmente aufteilen, seine Ausrichtung schätzen, dasselbe für den Tisch tun und anschließend die Koordinatenumwandlung anwenden, um sie miteinander zu verbinden. Falls zwei Tische auftauchen, muss der VLM dennoch einen auswählen – doch er entscheidet dabei welches Objekt zum Ziel passt und nicht was das Ziel ist. Dadurch verhindert man, dass ein ungenaues Tool-Ergebnis den Agenten vom bereits definierten Problem ablenkt.

Der Referenzrahmen, C_R

C_R ist das Koordinatensystem, auf das sich jede Messung bezieht. Es besteht aus einem Ursprung und drei sich gegenseitig senkrecht durchschneidenden Achsen, die nach der OpenCV-Methode angeordnet sind: Die z-Achse zeigt nach vorne, die y-Achse nach unten und die x-Achse vervollständigt das rechtsdrehige System. GCA bezieht es auf eine der drei geometrischen Primitiven, die in der Szene vorhanden sind:

  • objektorientiertes Koordinatensystem. Es ist an die eigene Ausrichtung eines Objekts gebunden. In einem Satz wie „beim Händewaschen“ zeigt die +z-Achse des Koordinatensystems in die entgegengesetzte Richtung zur Ablaufbecken-Achse, weil eine Person sich dem Ablaufbecken zuwendet, um es zu benutzen.
  • kamerabasiertes Koordinatensystem. Es ist an die Sichtweise einer bestimmten Kamera gebunden. „Aus der Sichtweise von Abbildung 1“ setzt die +z-Achse des Koordinatensystems auf die +z-Achse dieser Kamera.
  • richtungsorientiertes Koordinatensystem. Es ist an einen Vektor zwischen zwei Punkten gebunden. „Owen befindet sich nördlich des Ablaufbeckens“ setzt die +z-Achse auf den normalisierten Unterschied zwischen den beiden Mittelpunkten.

Das Ziel, C_O

Sobald der Rahmen festgelegt ist, legt C_O fest, was darin gemessen werden soll. Betrachten wir eine Anfrage, die prüft, ob ein Stuhl westlich eines Toasters steht. Der Toaster bildet den Anker für C_R, während die Beziehung zwischen Stuhl und Toaster zu C_O wird. Durch Aufteilung der Anfrage wird eine verwickelte, mehrdeutige Frage in zwei kleinere umgewandelt: Welcher Rahmen gilt und was wird darin gemessen.

Da das VLM hier die Sprache qualitativ interpretiert und nichts numerisch berechnet, entspricht diese Phase dem, was es am besten kann. Die Studie weist bereits allein durch die Formalisierung eine Genauigkeit von etwa 70 % aus, was darauf hindeutet, dass der Schwachpunkt in den Schritten liegt, die nach dem Verständnis der Anfrage folgen.

Ausführung innerhalb des Vertrags

Wenn C_task festgelegt ist, arbeitet das VLM in einem ReAct-ähnlichen Zyklus, bei dem jeder Schritt gegen eine unveränderliche Vereinbarung überprüft wird und nichts frei gestaltet ist. Drei Mechanismen sind dabei besonders hervorzuheben.

Datenbeschaffung. C_task listet die erforderlichen geometrischen Parameter auf. Ein objektorientiertes Rahmenwerk, das an einen Empfänger gebunden ist, benötigt beispielsweise die Orientierung dieses Empfängers. Der Agent sendet Tool-Aufrufe genau für diese Variablen und nichts anderes.

Auflösung von Mehrdeutigkeiten. Reale Szenen sind unübersichtlich. Angenommen, C_O bedeutet „der linkeste Stuhl“ und der Detektor meldet fünf Stuhlkontexte. Der VLM analysiert die visualisierten Erkennungsergebnisse und wählt den richtigen Index aus. Diese Schleifenprüfung verhindert, dass störende Wahrnehmungen das Endresultat unbemerkt verfälschen, wobei die Auswahl dennoch dem entsprechen muss, was C_task ursprünglich angefordert hat.

Wissensunterstützte Codegenerierung. Das Auswendiglernen komplexer 3D-Transformationsformeln ist eine klassische Falle der Halluzinationen. GCA hält hingegen eine feste Bibliothek vorab überprüfter geometrischer Formeln bereit, wie beispielsweise Transformationen von lokalen zu weltweiten Koordinaten. Sobald alle Variablen festgelegt sind, wählt das System die entsprechenden Formeln anhand der verwendeten Datentypen aus und injiziert sie in den Kontext des Codegenerators. Es handelt sich dabei um eine statische, auf Abruf basierende Lösung für mathematische Aufgaben und nicht für Texte. Der VLM schreibt anschließend Python-Code auf dieser Basis und führt ihn aus, ohne dabei unklare numerische Schätzungen zu erzeugen.

Das Werkzeugset umfasst zwei Kategorien. Geometrie- und Wahrnehmungswerkzeuge (3D-Rekonstruktion mit VGGT, Erkennung offener Wörterbücher, Segmentierung) wandeln die visuelle Szene in Parameter um. Berechnungs- und Hilfswerkzeuge (ein Python-Sandbox, Hilfsmittel für Koordinatenprojektion) konvertieren diese Parameter in ein deterministisches Ergebnis.

Ergebnisse

Mit Qwen3-VL-Thinking als Kern wurde GCA an fünf Benchmarks für räumliches Denken (MMSI-Bench, MindCube-tiny, OmniSpatial, SPBench und CV-Bench) getestet und erreichte dabei einen neuen Stand der Technik. Es übertrifft den besten Basismodell-Referenzwert, Gemini-2.5-Pro, um etwa 12 %, den auf Training basierenden Spezialisten SpatialLadder um etwa 27 % sowie den mit Werkzeugen ausgestatteten Agenten TIGeR um etwa 38 %.

Bei den schwierigsten mehrstufigen Tests steigt der Erfolgswert. MMSI-Bench stellt Fragen mit vier Antwortmöglichkeiten, und die meisten konkurrierenden VLMs liegen knapp über dem 25%-Niveau. GCA erreicht 47,6 %, was einem relativen Zuwachs von 28 % gegenüber Gemini-2.5-Pro entspricht. Die Autoren des Artikels führen C_task als Grund an, da es das Modell daran hindert, vor jeder tatsächlichen Berechnung einen fehlerhaften semantischen Shortcut anzuwenden, wie beispielsweise „Ihre Perspektive“ als die der Kamera zu interpretieren.

Die Wahl des Backbone-Modells spielt nur eine geringe Rolle. GLM-4.5V, GPT-4o und Gemini-2.5-Pro verbessern jeweils ihre eigenen Chain-of-Thought-Baselines – bei MMSI-Bench liegen die Zuwächse bei GPT-4o bei +19 % und bei Gemini-2.5-Pro bei bis zu +49 %, wobei diese Werte im Großen und Ganzen den bereits vorhandenen agierenden und räumlichen Fähigkeiten der jeweiligen Modelle entsprechen.

Die allgemeinere Lehre

Der Punkt geht über räumliches Denken hinaus. Ein Modell kann versagen, weil es ein schlecht gestelltes Problem korrekt gelöst hat, anstatt ein gut gestelltes Problem falsch zu lösen – in diesem Fall helfen weder mehr Trainingsdaten noch ausgefeiltere Werkzeuge. Was hilft, ist, das Modell dazu zu bringen, seine eigene Problemdefinition als etwas Überprüfbares zu externalisieren, bevor es irgendetwas berechnet. Da GCA trainingsfrei ist, liegt die Lösung in der Architektur und nicht in statistischen Methoden. Die Tatsache, dass es problemlos auf vier völlig unterschiedliche Foundation-VLMs übertragen werden kann, deutet darauf hin, dass die Lücke zwischen Semantik und Geometrie strukturell ist – eine Folge der Art und Weise, wie diese Modelle zum Denken aufgefordert werden – und nicht ein Mangel an den Gewichten eines einzelnen Modells.