GCA: контракт задачи, исправляющий проблемы пространственного рассуждения в VLM
Агент с геометрическими ограничениями разделяет формализацию задачи и её геометрическую реализацию, благодаря чему VLM могут лучше анализировать пространство без дополнительной подготовки. Как это работает.
Источники: Paper Walkthrough — Geometrically-Constrained Agent for Spatial Reasoning
Представьте модель, способную работать с изображениями и языком, к которой обращаются с просьбой представить себя сидящим на диване и сказать, где находится кофейный столик. В принципе это возможно: определить, куда обращен диван, повернуть воображаемую точку обзора соответственно и затем разместить столик относительно него. На практике это часто не срабатывает, поскольку классический цикл ReAct не включает механизмов для устранения неоднозначности перед принятием действий. Причина не в отсутствии знаний, а в переводческой ошибке между расплывчатым языковым описанием и точной геометрией.
В статье для CVPR 2026 под названием Geometrically-Constrained Agent for Spatial Reasoning (GCA) предлагается решение: перед любыми вычислениями VLM должен сформулировать формальное ограничение задачи и строго к нему придерживаться. Это делит процесс на этап семантической формализации и этап выполнения с соблюдением ограничений. При этом не требуется никакой обучающей выборки. VLM и его инструменты не подвергаются доработке, не получают дополнительных данных и обновлений градиентов. Доработка модели пыталась бы научить её геометрии через изменение весов, тогда как GCA изменяет формулировку запросов, так что система заранее определяет систему координат и цель перед любым вызовом инструмента. Любой готовый VLM может служить основой, причем дисциплина обеспечивается исключительно за счёт двухэтапной структуры.
В следующих разделах рассматриваются сами ограничения, вычисления с их соблюдением и полученные результаты.
Два компонента, связанные контрактом
Основная идея заключается в разделении процесса рассуждения VLM на два этапа, связанных явным, читаемым машиной соглашением:
C_task ← F_formalize(q, v)
r_t = F_compute(C_task, T, r_{t-1})
Здесь q — это неоднозначный вопрос на естественном языке, v — визуальный ввод, T — набор инструментов, а r — текущее состояние вычислений.
Этап 1: формализация задачи. На этом этапе VLM выступает в роли семантического аналитика. Ему передаются нечеткий вопрос и изображение, и вместо того чтобы ответить на него, он определяет его смысл. В случае с диваном модель должна до использования инструмента указать, что под «относительно вас» подразумевается с геометрической точки зрения (ориентация дивана, а не камеры), а также какое значение необходимо получить (положение стола в этой кадровой рамке). Результатом является спецификация, а не число: C_task = (C_R, C_O) — одно ограничение для системы отсчета и одно для цели, которые фиксируются до любых вычислений. После такого определения смысл нельзя изменить без объяснения, что предотвращает использование камерной точки зрения агентом.
Этап 2: ограниченные геометрические вычисления. VLM теперь превращается в решатель задач, который создаёт и выполняет вызовы инструментов, всегда в рамках установленных детерминистичных ограничений C_task. В примере с диваном C_R уже связывает его координаты с направлением дивана, а C_O уже определяет положение стола внутри него, так что оба параметра уже установлены. Оставшаяся часть процесса напоминает механическую процедуру: найти диван, разделить его на сегменты, оценить его ориентацию, сделать то же самое со столом, затем применить координатную трансформацию для их связи. Если появляются два стола, VLM всё равно должен выбрать один, но он решает какой объект соответствует цели, а не что представляет собой цель. Это предотвращает ситуацию, когда шумные результаты работы инструментов отвлекают агента от уже определённой проблемы.
Основная система координат, C_R
C_R — это система координат, к которой относятся все измерения. Она состоит из начала координат и трех взаимно перпендикулярных осей, расположенных по принципам OpenCV: ось z указывает вперед, ось y — вниз, а ось x образует правую систему координат. GCA привязывает её к одному из трех геометрических примитивов, присутствующих в сцене:
- Фрейм, основанный на объекте. Привязан к собственной ориентации объекта. В выражении вроде «при мытье рук» ось +z фрейма указывает в противоположную сторону от оси раковины, поскольку человек обращён к раковине, чтобы ею пользоваться.
- Фрейм, основанный на камере. Привязан к точке зрения конкретной камеры. Фраза «с точки зрения рисунка 1» устанавливает ось +z фрейма в соответствии с осью +z этой камеры.
- Фрейм, основанный на направлении. Привязан к вектору между двумя точками. Фраза «Оуэн находится к северу от раковины» устанавливает ось +z как нормализованную разницу между центрами этих двух точек.
Цель, C_O
После установления контекста C_O определяет, что необходимо измерить внутри него. Рассмотрим запрос о том, находится ли стул к западу от тостера. Тостер служит ориентиром для C_R, а отношение между стулом и тостером становится C_O. Разделение запроса превращает один запутанный и неоднозначный вопрос в два более простых: какой контекст применим и что будет измеряться в нем.
Поскольку VLM здесь интерпретирует язык качественно и не выполняет никаких числовых вычислений, этот этап соответствует его сильным сторонам. В статье указывается примерно 70% точности при использовании только формализации, что говорит о том, что слабое место заключается в этапах, следующих за пониманием запроса.
Работа внутри контракта
При фиксированном значении C_task VLM работает в цикле в стиле ReAct, при котором каждый шаг проверяется по неизменному соглашению, и ничего не происходит произвольно. Выделяются три основных механизма.
Получение данных. В C_task перечисляются необходимые геометрические параметры. Например, фрейм, основанный на объектах и закреплённый на определённой точке, требует информации об ориентации этой точки. Агент выполняет запросы к инструментам именно для этих переменных, без каких-либо импровизаций.
Устранение неоднозначности. Реальные сцены сложны для анализа. Предположим, что C_O означает «самое левое кресло», но детектор обнаруживает пять объектов, соответствующих креслам. VLM анализирует полученные данные и выбирает правильный индекс. Такая проверка в замкнутом цикле предотвращает влияние шумов на окончательный результат, при этом выбор всё равно должен соответствовать тому, что сначала было указано в C_task.
Генерация кода с усилением знаний. Воспроизведение из памяти сложных формул трехмерных преобразований — это классическая ловушка галлюцинаций. Вместо этого GCA использует фиксированную библиотеку заранее проверенных геометрических формул, таких как преобразования от локальных координат к мировым. После того как все переменные определены, система выбирает соответствующие формулы в зависимости от типов данных и вставляет их в контекст генератора кода. Это статическая система поиска с дополнительными возможностями, предназначенная для математики, а не для текста. Затем VLM пишет и запускает код на Python на этой основе, не создавая неясных числовых оценок.
В наборе инструментов есть две группы. Инструменты геометрии и восприятия (3D-реконструкция с использованием VGGT, обнаружение элементов из открытого словаря, сегментация) преобразуют визуальную сцену в параметры. Инструменты вычислений и утилиты (среда Python Sandbox, инструменты для проекции координат) преобразуют эти параметры в определенный результат.
Результаты
Используя Qwen3-VL-Thinking в качестве основы, модель GCA была протестирована на пяти тестах пространственного рассуждения (MMSI-Bench, MindCube-tiny, OmniSpatial, SPBench и CV-Bench) и показала новый рекорд эффективности. Она превосходит лучшую базовую модель Gemini-2.5-Pro примерно на 12%, специализированную модель SpatialLadder, основанную на обучении, — примерно на 27%, а агента TIGeR с интегрированными инструментами — примерно на 38%.
Разница в результатах увеличивается при самых сложных многоэтапных тестах. В тесте MMSI-Bench задаются вопросы с четырьмя вариантами ответа, и большинство конкурирующих VLM показывают результаты немного выше уровня 25%. GCA достигает 47,6%, что на 28% лучше, чем у Gemini-2.5-Pro. Авторы статьи указывают на C_task как на причину этого, поскольку он не позволяет модели использовать ошибочные семантические упрощения, например, интерпретировать фразу «ваша точка зрения» как точку зрения камеры, до начала любых реальных вычислений.
Выбор основной архитектуры имеет небольшое значение. GLM-4.5V, GPT-4o и Gemini-2.5-Pro улучшают свои базовые результаты в режиме цепочки мыслей; при этом в тесте MMSI-Bench результаты GPT-4o улучшаются на +19%, а у Gemini-2.5-Pro — на +49%, что в целом соответствует уже имеющимся у каждой модели способностям к агентному поведению и обработке пространственных данных.
Более общий вывод
Этот вопрос выходит за рамки простого пространственного рассуждения. Модель может дать неверный результат, потому что правильно решила плохо сформулированную задачу, в отличие от случая, когда она неправильно решает хорошо сформулированную задачу, и в таком случае дополнительные данные для обучения или более сложные инструменты не помогут. Помогает то, что модель внешнизирует собственное определение задачи во что-то проверяемое ещё до того, как начнёт выполнять расчёты. Поскольку GCA не требует обучения, решение заключается в изменении архитектуры, а не в статистических методах. То, что он эффективно работает с четырьмя совершенно разными фундаментальными VLM, указывает на то, что разрыв между семантикой и геометрией имеет структурный характер — это следствие способа, в котором от этих моделей требуется рассуждать, а не слабость весов какой-либо одной модели.
Связанные материалы
- Когда два агента побеждают одного: копилот для ревью кода в LangGraph, работающий в обоих режимах — Создайте ревизор кода в виде отдельного агента, а затем в LangGraph — в виде анализатора с модулем проверки рисков; после этого изучите три случая, когда использование нескольких агентов оправдано с точки зрения затрат.
- Тестирование механизма контроля, позволяющего перепробовать неверное окончательное действие агента — Эксперимент с 30 случаями показал, что наличие судьи и возможность перепробовать действие сокращает количество неверных действий с 6 до 2, а также объясняет, почему обнаружение нарушения не всегда приводит к его устранению.