Головна / Статті

GCA пояснено: контракт завдань, який виправляє проблеми просторового мислення у VLMs

Агент із геометричними обмеженнями розділяє формалізацію завдання та його геометричну реалізацію, тому VLMи краще міркують щодо простору без необхідності тренування. Як це працює.

Видавець: REACTAPP.TOP6 хв читання1333 слів

Джерела: Paper Walkthrough — Geometrically-Constrained Agent for Spatial Reasoning

Уявіть собі модель мови та зору, від якої просять уявити, що вона сидить на дивані, та сказати, де знаходиться кавовий столик. У принципі це можливо: визначити, до кого спрямований диван, повернути уявний кут огляду відповідно та розмістити столик відносно нього. На практиці це зазвичай не спрацьовує, оскільки класичний цикл ReAct не містить механізму для усунення неоднозначностей перед тим, як приймати дію. Причина не в браку знань — це переклад між нечіткою мовою та точною геометрією.

Стаття для CVPR 2026 під назвою Geometrically-Constrained Agent for Spatial Reasoning (GCA) пропонує рішення: перед будь-якими обчисленнями VLM має створити формальну обмежувальну умову завдання та дотримуватися її. Це дозволяє розділити процес на етап семантичної формалізації та етап виконання з обмеженнями. Також не потрібне жодне навчання. VLM та його інструменти не піддаються додатковій налаштуванню, не отримують додаткових наборів даних та оновлень градієнтів. Налаштування моделі намагалося б навчити її геометрії через зміни ваг. GCA замість цього змінює формулювання запитів, тож система заздалегідь визначає систему відліку та ціль перед кожним викликом інструменту. Будь-який готовий VLM може слугувати основою, причому дисципліна забезпечується виключно двоетапною структурою.

У наступних розділах розглядаються сама обмежувальна умова, обчислення з її дотриманням та результати.

Дві ролі, об’єднані контрактом

Основна ідея полягає у розділенні процесу міркування VLM на два завдання, які пов’язані чітким, для машини зрозумілим правилом:

C_task ← F_formalize(q, v)
r_t = F_compute(C_task, T, r_{t-1})

Тут q — це неоднозначне запитання у природній мові, v — візуальний вхід, T — набір інструментів, а r — поточний стан обчислень.

Етап 1: формалізація завдання. Тут VLM виступає у ролі семантичного аналітика. Йому надають нечітке запитання разом із зображенням, і замість того, щоб на нього відповісти, він з’ясовує, що саме означає це запитання. У випадку з диваном модель повинна перед тим, як використати інструмент, визначити, що означає «відносно вас» у геометричних термінах (напрямок дивана, а не камери), а також яку величину потрібно визначити (позиція столу в цьому кадрі). Результатом є специфікація, а не число: C_task = (C_R, C_O) — одне обмеження для системи відліку та одне для цілі, які фіксуються ще до будь-яких обчислень. Після цього рішення значення не можна потім мовчки змінити, що запобігає тому, щоб агент звертався до зображення, отриманого камерою.

Етап 2: обчислення в умовах геометричних обмежень. VLM тепер перетворюється на рішувач завдань, який створює та виконує виклики інструментів, завжди залишаючись у межах визначених детерміністичних обмежень C_task. У прикладі з диваном C_R вже прив’язує кадр до напрямку дивана, а C_O вже визначає положення столу в межах цього кадру, тож обидва параметри вже встановлені. Те, що залишилося, нагадує механічну процедуру: знайти диван, розділити його на сегменти, оцінити його орієнтацію, зробити те саме зі столом, а потім застосувати координатну трансформацію для їх з’єднання. Якщо з’являються два столи, VLM все одно мусить обрати один, але він вирішує який об’єкт відповідає завданню, а не яким є саме завдання. Це запобігає тому, щоб неточні результати використання інструментів відволікали агента від вже визначеної проблеми.

Основна система координат, C_R

C_R — це система координат, до якої відносяться всі вимірювання. Вона складається з початкової точки та трьох взаємно перпендикулярних осей, розташованих за принципом OpenCV: ось z вказує вперед, ось y — вниз, а ось x утворює правохідну систему. GCA прив’язує її до одного з трьох геометричних примітивів, які є у сцені:

  • Координатна система, заснована на об’єкті. Прив’язана до власної орієнтації об’єкта. У фразі на кшталт "під час миття рук" ось +z системи вказує у протилежному напрямку від осі +z раковини, оскільки людина звернена до раковини, щоб нею скористатися.
  • Координатна система, заснована на камері. Прив’язана до точки зору певної камери. Фраза "з точки зору рисунка 1" встановлює ось +z системи відповідно до осі +z цієї камери.
  • Координатна система, заснована на напрямку. Прив’язана до вектора між двома точками. Фраза "Оуен знаходиться на північ від раковини" встановлює ось +z як нормалізовану різницю між центрами цих двох точок.

Ціль, C_O

Як тільки рамка визначена, C_O вказує що потрібно вимірювати всередині неї. Розглянемо запит про те, чи знаходиться стілець на захід від тостера. Тостер є точкою відліку C_R, а взаємозв’язок між стільцем та тостером стає C_O. Розділення запиту перетворює одне складне, неоднозначне питання на два простіші: яка рамка застосовується та що вимірюється в ній.

Оскільки VLM тут інтерпретує мову кількісно та не виконує жодних числових обчислень, цей етап відповідає тому, у чому він найкраще справляється. У статті повідомляється про приблизно 70% точності лише завдяки формалізації, що свідчить про те, що слабке місце полягає у етапах, які слідують після розуміння запиту.

Робота всередині контракту

З фіксованим C_task VLM працює у циклі у стилі ReAct, де кожен крок перевіряється за незмінною угодою, і ніщо не є вільним за формою. Виділяються три механізми.

Отримання даних. C_task вказує необхідні геометричні параметри. Наприклад, фрейм, заснований на об’єктах та прив’язаний до певної точки, потребує інформації про орієнтацію цієї точки. Агент виконує виклики інструментів саме для цих змінних, без жодних імпровізацій.

Усунення неоднозначностей. Реальні сцени є складними. Припустимо, C_O означає „найлівіше крісло“, а детектор фіксує п’ять об’єктів, що нагадують крісла. VLM аналізує отримані візуальні дані та обирає правильний індекс. Ця перевірка у замкнутому циклі запобігає тому, щоб шум у сприйнятті таємно пошкодив кінцевий результат, причому обраний варіант все одно має відповідати тому, про що спочатку просив C_task.

Генерація коду з підсиленням знаннями. Відтворення складних формул 3D-трансформацій з пам’яті є класичною пасткою галюцинацій. GCA натомість зберігає фіксовану бібліотеку попередньо перевірених геометричних формул, таких як трансформації від локальних до світових координат. Коли всі змінні визначені, система обирає відповідні формули на основі типів даних та вставляє їх у контекст генератора коду. Це статична система з підсиленням через пошук для математики, а не для тексту. Потім VLM пише та запускає код на Python на цій основі, не створюючи нечітких числових припущень.

Інструментарій складається з двох груп. Інструменти геометрії та сприйняття (3D-реконструкція за допомогою VGGT, виявлення відкритого словникового запасу, сегментація) перетворюють візуальну сцену на параметри. Інструменти обчислень та корисні функції (середовище Python sandbox, засоби для проєкції координат) перетворюють ці параметри на детерміновану відповідь.

Результати

Використовуючи Qwen3-VL-Thinking як основу, модель GCA була протестована на п’яти тестах просторового мислення (MMSI-Bench, MindCube-tiny, OmniSpatial, SPBench та CV-Bench) та досягла нового рівня ефективності. Вона випереджає найкращу базову модель Gemini-2.5-Pro приблизно на 12%, спеціалізовану модель SpatialLadder, побудовану на основі навчання, — приблизно на 27%, а агента TIGeR з інтегрованими інструментами — приблизно на 38%.

Різниця у результатах зростає під час найскладніших багатокрокових тестів. У тесті MMSI-Bench ставляться запитання з чотирма варіантами відповіді, і більшість конкуруючих VLM мають шанс на правильну відповідь трохи вище 25%. GCA досягає 47,6%, що на 28% більше, ніж у Gemini-2.5-Pro. Автори статті вказують на C_task як на причину, оскільки він заважає моделі використовувати хибні семантичні швидкі шляхи, наприклад, сприймати „вашу точку зору“ як точку зору камери, ще до початку будь-яких реальних обчислень.

Вибір основної архітектури має незначне значення. GLM-4.5V, GPT-4o та Gemini-2.5-Pro кожен покращує свої базові результати з використанням методу ланцюга думок; у тесті MMSI-Bench показники GPT-4o зростають з +19% до +49% у Gemini-2.5-Pro, що відповідає існуючим здібностям кожної моделі до агентної діяльності та роботи з простором.

Ширші висновки

Це питання виходить за межі просторового міркування. Модель може зазнати невдачі, тому що правильно вирішила погано сформульовану проблему, на відміну від ситуації, коли вона неправильно вирішує добре сформульовану проблему, і в такому випадку більше даних для навчання чи складніші інструменти не допоможуть. Допомагає те, що модель екстерналізує власне визначення проблеми як щось перевірюване ще до того, як почне щось обчислювати. Оскільки GCA не потребує навчання, рішення є архітектурним, а не статистичним. Те, що він ефективно працює з чотирма досить різними фундаментальними VLM, свідчить про те, що прогалина між семантикою та геометрією є структурною — наслідком способу, у який від цих моделей вимагають міркувати, а не слабкістю ваг будь-якої окремої моделі.