GCA wyjaśnione: umowa zadań, która poprawia rozumowanie przestrzenne w VLMach
Agent z ograniczeniami geometrycznymi oddziela formalizację zadania od jego realizacji geometrycznej, dzięki czemu modele VLM lepiej rozumieją przestrzeń bez konieczności szkolenia. Jak to działa.
Źródła: Paper Walkthrough — Geometrically-Constrained Agent for Spatial Reasoning
Wyobraź sobie model językowo-wizualny, od którego wymaga się, aby wyobraził sobie siedzenie na sofie i powiedział, gdzie znajduje się stolik kawowy. W zasadzie jest to możliwe: należy określić, w którą stronę jest zwrócona sofa, obrócić wyobrażony punkt widzenia, aby się z tym zgodził, a następnie umieścić stolik względem niej. W praktyce jednak takie rozwiązanie często zawodzi, ponieważ klasyczny cykl ReAct nie zawiera mechanizmu pozwalającego rozstrzygnąć niejednoznaczność przed podjęciem działań. Przyczyną nie jest brak wiedzy, lecz błąd tłumaczenia pomiędzy swobodnym językiem a precyzyjną geometrią.
Artykuł z CVPR 2026 zatytułowany Geometrically-Constrained Agent for Spatial Reasoning (GCA) proponuje rozwiązanie: przed jakimikolwiek obliczeniami VLM musi stworzyć formalną ograniczającą zasadę zadania i trzymać się jej. Dzieli to proces na etap semantycznej formalizacji, a następnie etap wykonywania zgodnie z tymi ograniczeniami. Nie wymaga to również żadnego szkolenia. VLM oraz jego narzędzia nie podlegają dopracowaniu, nie otrzymują dodatkowych zbiorów danych ani aktualizacji gradientów. Dopracowanie modelu miałoby na celu nauczenie go geometrii poprzez zmiany wag. Zamiast tego GCA zmienia sposób formułowania zapytań, tak aby ramy odniesienia i cel zostały określone z góry przed każdym wywołaniem narzędzia. Wtedy każdy dostępny VLM może pełnić rolę podstawy, a dyscyplina jest zapewniana wyłącznie przez dwuetapową strukturę.
Poniższe sekcje omawiają samą zasadę ograniczenia, następujące po niej obliczenia oraz wyniki.
Dwie role połączone umową
Główna idea polega na podziale procesu rozumowania VLM na dwa zadania połączone wyraźną, czytelną dla mas umową:
C_task ← F_formalize(q, v)
r_t = F_compute(C_task, T, r_{t-1})
Tutaj q to niejednoznaczne pytanie w języku naturalnym, v to dane wizualne, T to zestaw narzędzi, a r to bieżący stan obliczeń.
Etap 1: formalizacja zadania. W tym momencie VLM pełni rolę analityka semantycznego. Otrzymuje niejasne pytanie wraz z obrazem i zamiast na nie odpowiadać, określa dokładnie, co oznacza to pytanie. W przypadku sofy model musi, zanim użyje jakiegoś narzędzia, określić, co oznaczają słowa „w odniesieniu do ciebie” z punktu widzenia geometrii (kierunek sofy, a nie kamery) oraz jaką wielkość jest potrzebna (pozycja stołu w tym kadrze). Wynikiem jest specyfikacja, a nie liczba: C_task = (C_R, C_O) – jedno ograniczenie dotyczące układu odniesienia i jedno dotyczące celu, zapisane przed jakimikolwiek obliczeniami. Po tym ustaleniu znaczenie nie może zostać potem potajemnie zmienione, co zapobiega użyciu przez agenta widoku kamery.
Etap 2: obliczenia geometryczne w ograniczeniach. VLM staje się teraz rozwiązywaczem zadań, który tworzy i uruchamia wywołania narzędzi, zawsze w ramach ustalonych deterministycznych ograniczeń C_task. W przykładzie z sofą C_R już powiązuje ramę z kierunkiem sofy, a C_O już określa pozycję stołu w jej obrębie, więc oba te aspekty są już ustalone. To, co pozostaje, przypomina rutynę mechaniczną: znaleźć sofę, podzielić ją na segmenty, oszacować jej orientację, zrobić to samo ze stołem, a następnie zastosować transformację współrzędnych łączącą je. Jeśli pojawią się dwa stoły, VLM nadal musi wybrać jeden, ale decyduje o tym, który obiekt pasuje do celu, a nie o tym, jaki jest cel. Dzięki temu szumliwy wynik narzędzia nie odciąga agenta od już zdefiniowanego problemu.
Rama odniesienia, C_R
C_R to system współrzędnych, do którego odnoszą się wszystkie pomiary. Składa się on z początku układu oraz trzech wzajemnie prostopadłych osi zgodnie z zasadami OpenCV: oś z wskazuje do przodu, oś y w dół, a oś x tworzy układ praworęczny. GCA przytwierdza go do jednej z trzech prostych geometrycznych obecnych w scenie:
- Układ oparty na obiekcie. Powiązany z orientacją samego obiektu. W zwrocie takim jak „podczas mycia rąk” oś +z układu wskazuje w kierunku przeciwnym do osi z umywalki, ponieważ osoba korzystająca z umywalki zwraca się w jej stronę.
- Układ oparty na kamerze. Powiązany z punktem widzenia konkretnej kamery. Wyrażenie „z punktu widzenia Rysunku 1” ustawia oś +z układu na poziomie osi +z tej kamery.
- Układ oparty na kierunku. Powiązany z wektorem łączącym dwa miejsca. Stwierdzenie „Owen znajduje się na północ od umywalki” ustawia oś +z na poziomie znormalizowanej różnicy między dwoma środkami mas.
Cel, C_O
Gdy ramy są już ustalone, C_O określa co należy w nich zmierzyć. Weźmy na przykład zapytanie dotyczące tego, czy krzesło znajduje się na zachód od tostera. Toster stanowi punkt odniesienia C_R, natomiast związek między krzesłem a tosterem staje się C_O. Podzielenie zapytania przekształca jedno skomplikowane i niejednoznaczne pytanie w dwa prostsze: jakie ramy są stosowane i co w nich jest mierzone.
Ponieważ VLM interpretuje tu język w sposób jakościowy i nie oblicza niczego numerycznie, ten etap odpowiada temu, w czym radzi sobie najlepiej. W artykule podano około 70% dokładności już przy samej formalizacji, co wskazuje, że słaby punkt leży w kroku następującym po zrozumieniu zapytania.
Działanie w ramach umowy
Gdy C_task jest ustalony, VLM działa w pętli w stylu ReAct, w której każdy krok jest sprawdzany pod kątem niezmiennej umowy, a nic nie jest swobodne. Wyróżniają się trzy mechanizmy.
Pobieranie danych. C_task wymienia niezbędne elementy geometryczne. Na przykład ramka oparta na obiekcie przymocowanym do pewnego punktu potrzebuje informacji o orientacji tego punktu. Agent wysyła żądania dotyczące dokładnie tych zmiennych, bez żadnych dodatkowych rozwiązań improwizowanych.
Rozwiązywanie niejednoznaczności. Rzeczywiste sceny są skomplikowane. Załóżmy, że C_O oznacza „najlepszy z lewej strony krzesło”, a detektor wykrywa pięć obiektów przypominających krzesła. VLM analizuje te wykrycia i wybiera właściwy indeks. Ta kontrola w zamkniętym obiegu zapobiega temu, by zniekształcone informacje zakłócały ostateczny wynik, przy czym wybór musi nadal odpowiadać temu, o co najpierw prosił C_task.
Generowanie kodu wzbogacone wiedzą. Przypominanie sobie skomplikowanych wzorów transformacji 3D z pamięci to klasyczna pułapka halucynacji. GCA zamiast tego przechowuje stałą bibliotekę wcześniej sprawdzonych wzorów geometrycznych, takich jak transformacje od lokalnych do globalnych układów współrzędnych. Gdy wszystkie zmienne są określone, system wybiera odpowiednie wzory na podstawie typów danych i wprowadza je do kontekstu generatora kodu. Jest to statyczne rozwiązanie wzbogacone o możliwość wyszukiwania informacji, przeznaczone do obliczeń matematycznych, a nie do tekstu. Następnie VLM pisze i uruchamia kod w Pythonie na tej bazie, nie generując nieprzejrzystych, numerycznych domysłów.
Narzędziownica składa się z dwóch grup. Narzędzia do geometrii i percepcji (rekonstrukcja 3D za pomocą VGGT, wykrywanie otwartego słownictwa, segmentacja) przekształcają scenę wizualną w parametry. Narzędzia obliczeniowe i pomocnicze (sandbox w Pythonie, narzędzia do projekcji współrzędnych) przekształcają te parametry w określoną odpowiedź.
Wyniki
Wykorzystując Qwen3-VL-Thinking jako podstawę, GCA został przetestowany na pięciu testach rozumowania przestrzennego (MMSI-Bench, MindCube-tiny, OmniSpatial, SPBench i CV-Bench) i osiągnął nowy poziom doskonałości. Przewyższa najlepszy model bazowy, Gemini-2.5-Pro, o około 12%, specjalistyczny model oparty na szkoleniu, SpatialLadder, o około 27%, a agent integrujący narzędzia, TIGeR, o około 38%
Przewaga rośnie w najtrudniejszych testach wieloetapowych. MMSI-Bench zawiera pytania z czterema opcjami odpowiedzi, a większość konkurencyjnych VLMów osiąga poziom szansy nieco powyżej 25%. GCA uzyskuje 47,6%, co stanowi wzrost o 28% w porównaniu z Gemini-2.5-Pro. Autorzy artykułu wskazują na C_task jako przyczynę, ponieważ zapobiega on modelowi w przyjmowaniu błędnego semantycznego skrótu, takiego jak interpretacja „twojej perspektywy” jako perspektywy kamery, zanim nastąpi jakakolwiek rzeczywista obliczanie.
Wybór podstawowej architektury ma niewielkie znaczenie. GLM-4.5V, GPT-4o i Gemini-2.5-Pro wszystkie poprawiają wyniki w porównaniu ze swoimi bazowymi wersjami opartymi na metodzie łańcucha myśli, przy czym MMSI-Bench daje wzrost od +19% dla GPT-4o do +49% dla Gemini-2.5-Pro, co w przybliżeniu odpowiada istniejącym umiejętnościom agentowym i przestrzennym każdego z modeli.
Szersza lekcja
Kwestia ta wykracza poza rozumowanie przestrzenne. Model może zawieść się, ponieważ poprawnie rozwiązał problem źle sformułowany, zamiast błędnie rozwiązać problem dobrze sformułowany, a w takim przypadku więcej danych treningowych czy bardziej zaawansowanych narzędzi nie pomoże. Pomaga natomiast sprawienie, by model eksternalizował własną definicję problemu jako coś sprawdzalnego, zanim cokolwiek obliczy. Ponieważ GCA nie wymaga treningu, rozwiązanie ma charakter architektoniczny, a nie statystyczny. To, że przenosi się on skutecznie na cztery zupełnie różne modele VLM oparte na fundamentach, wskazuje, że luka między semantyką a geometrią ma charakter strukturalny – jest konsekwencją sposobu, w jaki te modele są proszone o rozumowanie, a nie słabością wag jakiegokolwiek pojedynczego modelu.
Literatura pokrewna
- Kiedy dwa agenci pokonują jednego: Copilot do przeglądania kodu w LangGraph dostępny w obu wersjach — Stwórz jednego recenzenta kodu jako pojedynczego agenta, a następnie jako Analyzer wraz z Risk Reviewer w LangGraph, a potem dowiedz się o trzech przypadkach, gdy system wielu agentów jest opłacalny.
- Testowanie bramy rubrykowej, która próbuje ponownie wykonać błędną końcową akcję agenta — Eksperyment z 30 przypadkami pokazuje, że sędzia w połączeniu z jedną próbą korekty zmniejsza liczbę błędnych działań wsparcia z 6 do 2, oraz dlaczego wykrycie naruszenia nie zawsze je naprawia.