GCA: Контракт задачы, які выправляе прычыннае мышленне ў VLM-ах
Агент, які выконваецца пад геаметрычнымыя абмежэннямі, аддзеляе формалізацыю задачы ад геаметрычнага выканання, таму VLM-ы лепей разумеюць прастор без падготовкі. Як гэта працуе.
Крыніцы: Paper Walkthrough — Geometrically-Constrained Agent for Spatial Reasoning
Уявіце мадэль, якая працюе з візуальнай і мовай інформацыяй, каротаяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяя
У стацыянце CVPR 2026 пад назвам Geometrically-Constrained Agent for Spatial Reasoning (GCA) пропонуецца спосаб прыняць: перад выкананнем будзь-яых расчыткаў VLM павінен стварыць формальную абмежэння задачы і прыдбацца яе. Гэта дзеліць работу на стадыю семантычнай формалізаціі, якай следуе стадыяя выканання з абмежэннямі. Не трэба таксама ніякога трэнінгу. VLM і яго інструменты не патрапляюць пад тонкую наладку, не атрымуюць дадзеных надзеі і не маюць апдэйтаў градыентаў. Тонкая наладка падмагала бы навучыць мадэль геаметрыі праз змены ваг. GCA замест таго пераформатавае запіты, так што кантэкстныя рамкі і цэль затверджуюцца ўсё раней, чым выкананы які-небудзь вызов інструменту. Які-небудзь готовы VLM можа тады служыць основай, пры чым дысцыпліна забезпечваецца выключна за дапамогою двухстадыйнага падходу.
У наступных раздзелах рассматрываюцца сама абмежэння, выкананне расчыткаў пад яе абмежэннямі і рэзультаты.
Две ролі, з’еднаныя кантрактом
Асалёвая ідэя — гэта раздзелэнне процэса разумавання VLM на два завадкі, якія з’яўляюцца за дапамогою чыста выражанага, чытальнага для машыны правіла:
C_task ← F_formalize(q, v)
r_t = F_compute(C_task, T, r_{t-1})
Хутчэй q — гэта неодназначны запіт на адмовасці, v — візуальны вхід, T — набор засобаў, а r — стан выканання вычыслаў.
Этап 1, формалізацыя задачы. Чырвоны глобальны мовны мадэль выступае як семантычны аналізавальнік. Йому даюць нечыярыя запітанні разам з адпаведнымі зображэннямі, і замест таго, каб на яныя адпаведзець, ён выявляе сэнс запітанняў. У разе дзвінкага крэсла мадэль, перш чым выкарыстаць інструмент, должна чытко з’ясавіць, што пад «становішчам па вазе да вас» маесяцца на увазе з геаметрычнай точкі зору (напрамак крэсла, а не камеры), а таксама якую велічыну трэба з’ясавіць (пазіцыя стола ў тым кадрэ). Рэзультатам яе працы ёст канкрэтныя спецыфікацыі, а не цыфры: C_task = (C_R, C_O) — адна умова для сістэматы калярання і адна для цялевай вялічыны, якія фіксуюцца ўсё раней, чым пачынаюцца вычысленні. Пасля такога падтверджэння сэнс запітання не можа буць таямніча зменены пазней, і гэта самэ не дазволяе агенту апісвацца на відображэнні камеры.
Этап 2: вычысканыя геаметрычныя расчыткі. VLM цяпер прымоўляе ролю раскладчыка задач, які стварае і запускае вызывы інструментаў, завжды за межамі дэтэрміністычных лімітав C_task, установленых раней. У прыкладзе з дзвінам, C_R вялікі час з’яўляеся для прыўязкі рамкі да направлення дзвіна, а C_O вялікі час называе пазіцыю стола ўнутры яго, таму оба пытанні ужо рашаны. Тое, што застаецца, нагадвае механічную процедуру: знайсці дзвін, разбіць яго на часткі, ацэніць яго орыентацыю, зробіць тое ж для стола, а потым застосавіць трансфарматазію коордынатаў, якая ўз’яўляе іх у зв’язак. Калі з’яўляюцца два столы, VLM все рава павінен выбраць адны, але ён вялікі час выбірае канкрэтны об’ект, які падходзіць пад цялевую задачу, а не што ёй ёсць. Гэта не дазволяе некантрольваным рэзультатам інструментаў адвячыць агента ад ўжо візначанага задання.
Рэферэнсная рамка, C_R
C_R — гэта сістэма коордынат, даючая адрэс кожнай віміруванні. Яна складаецца з начала коордынат і трохі ціўко перпендыкулярных восьў, расташоўваных за прыемамі OpenCV: вось X спрамована вперэд, вось Y — вніз, а вось Z завершае правае троекутнік. GCA прыкрэпляе яе да аднаго з трохі геаметрычных прымітав, якія знаходзяцца ў сцэне:
- Фрэйм, заснованы на об’екце. Прыўязаны да власнай орыентацыі об’екта. У фразе „пад час мытва рук“ вось +Z фрэйма спрамована працупаку ўпрацы змывальніка, таму што чалавек стоіць спраку яго, каб яго вжываць.
- Фрэйм, заснованы на камеры. Прыўязаны да точкі зору аднай конкрэтнай камеры. Фраза „з точкі зору Рысунка 1“ задае вось +Z фрэйма роўнай вось +Z той камеры.
- Фрэйм, заснованы на направленні. Прыўязаны да вектара між двума месцамі. Фраза „Оуэн знаходзіцца на паўночы ад змывальніка“ задае вось +Z як нормалізаваную разліку між двума центрамі мас.
Цель, C_O
Калі ўжо встановлена структура, C_O апісвае што неабходна змерыць у ёй. Разглянем прыклад запіту пра тое, чыі столец стоіц захадней ад тостэра. Тостэр выступае вадрасункам для C_R, а адносы столеца і тостэра стаюць C_O. Разбіўка запіту ператварае адну заплутаную, неодназначную запітанне на два маленькія: якая структура паслужыць, і што будзе змервана.
Паколькі VLM тут інтэрпрэтуе мову кантэкстуальна і не вырахоўвае нічога чыслова, гэты этап адпавядае таму, у чым ён найкрашчы. У студзіі паведамляецца пра прыблізна 70% точнасці толькі за рахунак формалізаціі, што свідчыць пра тое, што слабыя месцы знаходзяцца пасля розумеўні запіту.
Выконанне ў межах кантракту
Калі C_task ўжо фіксаваны, VLM працуе ў цыкле у стылі ReAct, у якім кожны крок пераглядаецца за адносна незменным правілам, і нічога не ўзводзіцца без правіл. Выдзеляюцца тры механізмы.
Збір дадзейнаў. C_task пераказвае неабходныя геаметрычныя параметры. Напрыклад, канструкцыя, заснованая на об’ектах і прычаленая да певнага элемента, патрабуе інформацыю пра ўпорадкуванне гэтага элемента. Агент выкананае запіты да інструментаў толькі для гэтых параметраў, без жадных імпровізацый.
Распакаванне неодназначнасцяў. Рэальныя сцэны ёсць складнымі. Падазроўцам, C_O значыць „самы левы стол“, а датчык фіксуе пяць об’ектаў, якія можна прыродзіць столамі. VLM аналізуе этыя даны і выбірае правільны індэкс. Такая перакрытая петля контролю запобегае таму, каб шумлівыя даны таямна пашкадзілі канечны рэзультат, пры чым выбор все рава павінен адпавядаць таму, што спачатку запрашаў C_task.
Генераванне коду з падагоджэннем знанняў. Адзычэнне сложных формул 3D-трансфармацыі з памяці — гэта класычная пастка галюцынацый. У падходу GCA зберагаецца фіксаваная бібліятэка загадзя перакананых геаметрычных формул, такіх як трансфармацыі з локальных коордынатаў у светавыя. Калі всі зменныя заданы, сістэма выбірае адпаведныя формулы на аднойчыну з тыпамі дадзеных і вводзіць іх у кантэкст генератора коду. Гэта статычная схема з падагоджэннем за дапамою адзычэння даных для матэматыкі, а не для тэксту. Пасля чаго VLM запісвае і запускае Python на гэтый фундамент і не стварае незрозумелых чысловых прыбліжэнняў.
Інструментарыя складаецца з двух груп. Інструменты геаметрыі і спрыяння спрыянню (3D-рэканструкцыя з VGGT, адказванне на запыткі з адкрытым слоўнікам, сегментацыя) ператвараюць візуальную сцэну на параметры. Інструменты вычыслаў і практычных задач (сандбокс на Python, адказванні на запыткі па проекцыі коордынатаў) ператвараюць гэтыя параметры ў пэўны, незменны адказ.
Рэзультаты
Іспользуючы Qwen3-VL-Thinking як основу, GCA быў ацэнены на пяці тэстах просторовага разумавання (MMSI-Bench, MindCube-tiny, OmniSpatial, SPBench і CV-Bench) і досяг новага рэкорда. Ён перавышае найкрашчы базовы мадэльны фон — Gemini-2.5-Pro — прыблізна на 12%, спецыялістскую мадэль SpatialLadder, падготавленую на адпаведных тэстах, — прыблізна на 27%, а агента TIGeR, які іспользуе інструменты, — прыблізна на 38%.
На самых складных багатыякорных тэстах розкід рэзультатаў стае большым. У тэсце MMSI-Bench задаюцца запытанні з чатырма варункамі, і большасць супернікаючых VLM-модэляў паставляюць рэзультаты трохкі вышэй за 25% паводлівасці. GCA паставіў рэзультат 47,6%, што на 28% больш, чым у Gemini-2.5-Pro. Аварыя статыі называюць прычыной C_task, каліж той не дазволяе модэлю выкорыстоўваць хыбныя семантычныя спрыткі, напрыклад, спрыяць „ваашу пазіцыю“ за пазіцыю камеры, прычым не выконваючы жадных рэальных вычыслаў.
Выбор основнага якора мае малая значымасць. GLM-4.5V, GPT-4o і Gemini-2.5-Pro кожны палягчаюць свае базовыя рэзультаты, каліж у тэсце MMSI-Bench розкід рэзультатаў для GPT-4o становіць +19%, а для Gemini-2.5-Pro — +49%, што ў зв’язку з існуючымі агентнымі і прасторовымі здольнасцямі кожнага модэля.
Шырэйшы урок
Эта проблема выходзіць за межы простага прасторовага разумавання. Мадэль можа зазнаць няўспэху, таму што правільна рашыла паспраўна сформульаваную задачу, на адміну з тым, калі неправільна рашыла добра сформульаваную задачу, і ў такім случае большыя запісы дадзеных чы аднойчыннейшыя інструменты не дапаможуць. Дапамагае тое, што мадэль экстэрналізуе сябея вызначэнне задачы як нешта, што можна пераканацца, прытым як толькі яна прыначынае вычысленні. Паколькі GCA не выкарыстоўвае трэнавання, рашэнне ўжо ў архітэктурным аспекце, а не статыстычным. Тое, што ён эфектыва праўяецца між чатырма аблічна разнымі фундаментальнымі VLM-амі, парадзіць, што разліка між сэмантычным і геаметрычным ёсць структурная, наследком таго, як ад эўтых модэляў выкарыстоўваецца прасторовае разумаванне, а не слабасцю ваг канкрэтнай модэлі.