GCA explicado: un contrato de tarea que corrige el razonamiento espacial en los VLMs
El agente con restricciones geométricas separa la formalización de tareas de la ejecución geométrica, lo que permite a los VLM razonar sobre el espacio de manera más eficaz sin necesidad de entrenamiento. Cómo funciona.
Fuentes: Paper Walkthrough — Geometrically-Constrained Agent for Spatial Reasoning
Imagínese un modelo de lenguaje visual al que se le pide que imagine que está sentado en un sofá y diga dónde está la mesa de café. En principio, eso es posible: determinar hacia dónde está orientado el sofá, rotar la perspectiva imaginada para que coincida y luego colocar la mesa en relación con él. En la práctica, suele fallar, porque el bucle clásico ReAct no cuenta con mecanismos para resolver la ambigüedad antes de actuar sobre ella. La causa no es la falta de conocimiento, sino un error de traducción entre un lenguaje vago y una geometría precisa.
El artículo de CVPR 2026 Geometrically-Constrained Agent for Spatial Reasoning (GCA) propone una solución: antes de realizar cualquier cálculo, el VLM debe generar una constricción formal de la tarea y ceñirse a ella. Esto divide el proceso en una etapa de formalización semántica seguida de una etapa de ejecución bajo restricciones. Tampoco se requiere entrenamiento alguno. El VLM y sus herramientas no reciben ajustes finos, ni conjuntos de datos adicionales, ni actualizaciones de gradientes. Los ajustes finos intentarían enseñar al modelo la geometría mediante cambios en los pesos. En cambio, GCA remodela las instrucciones, de modo que un marco de referencia y un objetivo se definen con antelación a cualquier llamada a herramienta. Cualquier VLM disponible puede entonces funcionar como núcleo, con la disciplina impuesta exclusivamente por este esquema en dos etapas.
Las secciones siguientes tratan sobre la propia restricción, el cálculo sujeto a ella y los resultados obtenidos.
Dos roles unidos por un contrato
La idea central consiste en dividir el razonamiento del VLM en dos tareas vinculadas por un acuerdo explícito y legible por máquinas:
C_task ← F_formalize(q, v)
r_t = F_compute(C_task, T, r_{t-1})
Aquí q es la pregunta en lenguaje natural ambigua, v es la entrada visual, T es el conjunto de herramientas y r es el estado actual del cálculo.
Etapa 1: formalización de la tarea. Aquí el VLM actúa como un analista semántico. Se le proporciona la pregunta vaga junto con la imagen, y en lugar de responderla, determina cuál es el significado real de la pregunta. En el caso del sofá, el modelo debe indicar, antes de utilizar una herramienta, qué significa “en relación con usted” en términos geométricos (la dirección del sofá y no de la cámara) y qué cantidad se desea obtener (la posición de la mesa en ese encuadre). El resultado es una especificación y no un número: C_task = (C_R, C_O), una restricción para el marco de referencia y otra para el objetivo, registradas antes de realizar cualquier cálculo. Una vez hecho este compromiso, el significado no puede cambiarse silenciosamente posteriormente, lo que impide que el agente recurra a la vista de la cámara.
Etapa 2: cálculo geométrico restringido. El VLM pasa a ser un resolutor de tareas que crea y ejecuta llamadas a herramientas, siempre dentro de los límites deterministas C_task establecidos. En el ejemplo del sofá, C_R ya vincula el marco con la dirección del sofá, y C_O ya asigna un nombre a la posición de la mesa dentro de él, por lo que ambos ya están definidos. Lo que queda se asemeja a una rutina mecánica: encontrar el sofá, segmentarlo, estimar su orientación, hacer lo mismo con la mesa y luego aplicar la transformación de coordenadas que las conecta. Si aparecen dos mesas, el VLM debe elegir una, pero decide qué objeto se ajusta al objetivo y no cuál es el objetivo. Esto evita que un resultado impreciso de una herramienta desvíe al agente del problema ya definido.
El marco de referencia, C_R
C_R es el sistema de coordenadas al que se refiere toda medición. Consiste en un origen y tres ejes perpendiculares entre sí dispuestos según el método de OpenCV: z apunta hacia adelante, y apunta hacia abajo, y x completa el conjunto de dirección diestra. GCA lo ancla a una de las tres primitivas geométricas presentes en la escena:
- Marco basado en objetos. Vinculado a la orientación propia de un objeto. En una frase como “al lavarse las manos”, el eje +z del marco apunta en dirección opuesta al del fregadero, ya que una persona se enfrenta al fregadero para usarlo.
- Marco basado en cámara. Vinculado al punto de vista de una cámara específica. “Desde el punto de vista de la Figura 1” establece el +z del marco en el +z de esa cámara.
- Marco basado en dirección. Vinculado a un vector entre dos puntos. “Owen está al norte del fregadero” establece +z como la diferencia normalizada entre los dos centroides.
El objetivo, C_O
Una vez establecido el marco, C_O indica qué se debe medir dentro de él. Considere una consulta que pregunta si una silla se encuentra al oeste de una tostadora. La tostadora sirve como punto de referencia para C_R, mientras que la relación entre la silla y la tostadora se convierte en C_O. Al dividir la consulta, se transforma una pregunta complicada y ambigua en dos más simples: qué marco es aplicable y qué se mide en él.
Dado que el VLM interpreta el lenguaje de forma cualitativa y no realiza cálculos numéricos, esta etapa coincide con lo que hace mejor. El artículo indica una precisión aproximada del 70% solo con la formalización, lo que sugiere que el punto débil radica en las etapas posteriores a la comprensión de la consulta.
Ejecución dentro del contrato
Con C_task fijo, el VLM opera en un bucle al estilo ReAct en el que cada paso se verifica contra un acuerdo inmutable y no hay espacio para decisiones libres. Destacan tres mecanismos en este proceso.
Adquisición de datos. C_task enumera los elementos geométricos necesarios. Un marco basado en objetos anclado a un punto de referencia, por ejemplo, requiere la orientación de dicho punto de referencia. El agente realiza llamadas a herramientas específicamente para esas variables y no improvisa nada.
Resolución de ambigüedades. Las escenas reales son complejas. Supongamos que C_O significa “la silla más a la izquierda” y el detector detecta cinco objetos que podrían ser sillas. El VLM analiza las detecciones visuales y elige el índice correcto. Esta verificación en bucle cerrado evita que las percepciones erróneas dañen silenciosamente el resultado final, al tiempo que la elección sigue coincidiendo con lo que C_task solicitó inicialmente.
Generación de código con refuerzo de conocimiento. Recordar de memoria fórmulas complejas de transformación 3D es una trampa clásica que conduce a alucinaciones. En cambio, GCA mantiene una biblioteca fija de fórmulas geométricas previamente verificadas, como las transformaciones de espacio local a espacio mundial. Cuando todas las variables están definidas, el sistema selecciona las fórmulas relevantes según los tipos de datos involucrados e las introduce en el contexto del generador de código. Se trata de un sistema estático que refuerza la recuperación de información para cálculos matemáticos, no para texto. A continuación, el VLM escribe y ejecuta código en Python sobre esa estructura, sin generar conjeturas numéricas opacas.
La caja de herramientas cuenta con dos familias. Herramientas de geometría y percepción (reconstrucción 3D con VGGT, detección de vocabulario abierto, segmentación) convierten la escena visual en parámetros. Herramientas de cálculo y utilidad (un entorno aislado de Python, ayudantes para proyección de coordenadas) transforman esos parámetros en una respuesta determinista.
Resultados
Al utilizar Qwen3-VL-Thinking como núcleo, GCA fue evaluado en cinco pruebas de razonamiento espacial (MMSI-Bench, MindCube-tiny, OmniSpatial, SPBench y CV-Bench) y alcanzó un nuevo estándar de excelencia. Supera al mejor modelo base, Gemini-2.5-Pro, en aproximadamente un 12%, al especialista basado en entrenamiento SpatialLadder en aproximadamente un 27% y al agente integrado con herramientas TIGeR en aproximadamente un 38%.
El margen de ventaja aumenta en las pruebas más complejas y de múltiples pasos. MMSI-Bench plantea preguntas de cuatro opciones, y la mayoría de los VLMs competidores se mantienen apenas por encima del 25% de probabilidad de acierto. GCA obtiene un 47,6%, lo que representa un aumento relativo del 28% respecto a Gemini-2.5-Pro. Los autores del artículo atribuyen esto al C_task, ya que impide que el modelo adopte atajos semánticos erróneos, como interpretar “tu perspectiva” como la de la cámara, antes de realizar cualquier cálculo real.
La elección del modelo base tiene poca importancia. GLM-4.5V, GPT-4o y Gemini-2.5-Pro mejoran todos en comparación con sus respectivos modelos de razonamiento en cadena, siendo los resultados en MMSI-Bench de +19% para GPT-4o hasta +49% para Gemini-2.5-Pro, siguiendo de forma aproximada las capacidades ya existentes de cada modelo en términos de agencia y comprensión espacial.
La lección más amplia
El problema trasciende el razonamiento espacial. Un modelo puede fallar porque resolvió correctamente un problema mal planteado, en lugar de resolver incorrectamente uno bien planteado, y en ese caso más datos de entrenamiento o herramientas más avanzadas no ayudarán. Lo que sí ayuda es hacer que el modelo externalice su propia definición del problema como algo verificable antes de calcular cualquier cosa. Dado que GCA no requiere entrenamiento, la solución es arquitectónica y no estadística. El hecho de que se transfiera de manera eficaz entre cuatro VLMs de fundamentos muy diferentes indica que la brecha entre lo semántico y lo geométrico es estructural, una consecuencia de cómo se les pide a estos modelos que razonen, y no una debilidad en los pesos de un modelo en particular.
Leer más
- Cuando dos agentes vencen a uno: un Copilot de revisión de código de LangGraph creado de ambas maneras — Construye un revisor de código como un único agente y luego como Analizador más Revisor de Riesgos en LangGraph; después analiza los tres casos en los que usar múltiples agentes vale la pena.
- Prueba de una barrera rúbrica que vuelve a intentar la acción final incorrecta de un agente — Un experimento con 30 casos muestra que un juez más una repetición redujeron las acciones de soporte incorrectas de 6 a 2, y explica por qué detectar una violación no siempre la corrige.