Accueil / Articles

GCA expliqué : un contrat de tâche qui améliore le raisonnement spatial dans les VLM

L’agent soumis à des contraintes géométriques sépare la formalisation de la tâche de son exécution géométrique, permettant ainsi aux VLM de raisonner plus efficacement sur l’espace sans aucune formation. Comment cela fonctionne.

Éditeur : REACTAPP.TOP6 min de lecture1333 mots

Sources: Paper Walkthrough — Geometrically-Constrained Agent for Spatial Reasoning

Imaginez un modèle langage-visionnaire à qui l’on demanderait d’imaginer qu’il est assis sur un canapé et de dire où se trouve la table basse. En principe, c’est faisable : il suffit de déterminer la direction vers laquelle le canapé est tourné, de faire pivoter le point de vue imaginé pour correspondre, puis de placer la table par rapport à celui-ci. En pratique, cela échoue souvent, car le cycle classique ReAct ne dispose d’aucun mécanisme intégré pour résoudre l’ambiguïté avant d’agir dessus. La cause n’est pas un manque de connaissances, mais plutôt une traduction défaillante entre un langage vague et une géométrie précise.

La thèse présentée au CVPR 2026, Geometrically-Constrained Agent for Spatial Reasoning (GCA), propose une solution : avant toute calcul, le VLM doit générer une contrainte formelle de tâche et s’y tenir. Cela divise le processus en une étape de formalisation sémantique suivie d’une étape d’exécution contrainte. Aucun entraînement n’est nécessaire non plus. Le VLM et ses outils ne subissent ni affinage, ni ensemble de données supplémentaire, ni mises à jour de gradients. Un affinage tenterait d’enseigner au modèle la géométrie concrète par le biais de modifications de poids. GCA, quant à elle, redéfinit la manière de formuler les demandes, de sorte qu’un cadre de référence et un objectif soient définis à l’avance pour chaque appel d’outil. Tout VLM commercial peut alors servir de base, la discipline étant assurée uniquement par cette structure en deux étapes.

Les sections suivantes traitent de la contrainte elle-même, du calcul contraint qui en découle, ainsi que des résultats obtenus.

Deux rôles unis par un contrat

L’idée fondamentale consiste à diviser le raisonnement du VLM en deux tâches reliées par un accord explicite lisible par la machine :

C_task ← F_formalize(q, v)
r_t = F_compute(C_task, T, r_{t-1})

Ici, q représente la question en langage naturel ambiguë, v l’entrée visuelle, T l’ensemble d’outils et r l’état en cours de traitement du calcul.

Étape 1 : formalisation de la tâche. Ici, le VLM agit comme un analyste sémantique. On lui soumet la question vague ainsi que l’image, et au lieu de y répondre, il détermine précisément ce que signifie la question. Dans le cas du canapé, le modèle doit indiquer, avant d’utiliser un outil, ce que signifie « par rapport à vous » en termes géométriques (l’orientation du canapé et non celle de la caméra) ainsi que quelle quantité est requise (la position de la table dans ce cadre). La sortie est une spécification et non un nombre : C_task = (C_R, C_O), une contrainte pour le cadre de référence et une pour l’objectif, enregistrées avant toute computation. Une fois cette décision prise, le sens ne peut pas être modifié discrètement par la suite, ce qui empêche l’agent de recourir à la vue de la caméra.

Étape 2 : calcul géométrique contraint. Le VLM devient alors un résolveur de tâches qui crée et exécute des appels d’outils, toujours dans les limites déterministes C_task fixées. Dans l’exemple du canapé, C_R lie déjà le cadre à l’orientation du canapé, et C_O définit déjà la position de la table à l’intérieur de celui-ci, de sorte que ces deux éléments sont déjà déterminés. Ce qui reste ressemble à une routine mécanique : trouver le canapé, le segmenter, estimer son orientation, faire de même pour la table, puis appliquer la transformation de coordonnées qui les relie. S’il y a deux tables, le VLM doit néanmoins en choisir une, mais il décide quel objet correspond à l’objectif et non quel est l’objectif. Cela empêche qu’un résultat bruité provenant d’un outil n’éloigne l’agent du problème déjà défini.

Le cadre de référence, C_R

C_R est le système de coordonnées auquel se réfère chaque mesure. Il se compose d’un origine et de trois axes perpendiculaires entre eux, organisés selon la méthode OpenCV : z pointe vers l’avant, y pointe vers le bas, et x complète le système droitier. GCA l’ancre à l’une des trois primitives géométriques présentes dans la scène :

  • Frame basé sur l’objet. Lié à l’orientation propre d’un objet. Dans une phrase comme « en se lavant les mains », l’axe +z du frame pointe dans la direction opposée à celle du lavabo, car une personne se tourne vers le lavabo pour l’utiliser.
  • Frame basé sur la caméra. Lié au point de vue d’une caméra spécifique. « Du point de vue de la Figure 1 » définit l’axe +z du frame comme étant celui de la caméra en question.
  • Frame basé sur une direction. Lié à un vecteur entre deux points. « Owen se trouve au nord du lavabo » définit l’axe +z comme étant la différence normalisée entre les deux centres de masse.

L’objectif, C_O

Lorsque le cadre est défini, C_O précise ce qu’il faut mesurer à l’intérieur. Prenons l’exemple d’une question demandant si une chaise se trouve à l’ouest d’un grille-pain. Le grille-pain sert de point de référence pour C_R, tandis que la relation entre la chaise et le grille-pain devient C_O. En divisant la question, on transforme une interrogation complexe et ambiguë en deux questions plus simples : quel cadre s’applique, et qu’est-ce qui est mesuré dans ce cadre.

Comme le VLM interprète ici le langage de manière qualitative sans effectuer de calculs numériques, cette étape correspond à ce pour quoi il est le plus performant. L’étude indique une précision d’environ 70 % uniquement grâce à la formalisation, ce qui suggère que le point faible réside dans les étapes suivant la compréhension de la question.

Exécution au sein du contrat

Avec C_task fixé, le VLM fonctionne dans un cycle de type ReAct, où chaque étape est vérifiée contre un accord immuable et rien n’est laissé à l’interprétation libre. Trois mécanismes se distinguent particulièrement.

Acquisition des données. C_task énumère les éléments géométriques requis. Un cadre basé sur des objets ancré à un point de référence a, par exemple, besoin de l’orientation de ce point de référence. L’agent effectue des appels d’outils pour ces variables précises et n’improvise rien.

Résolution de l’ambiguïté. Les scènes réelles sont complexes. Supposons que C_O signifie « la chaise la plus à gauche » et que le détecteur signale l’existence de cinq boîtes représentant des chaises. Le VLM analyse les détections visualisées et sélectionne l’index correct. Ce contrôle en boucle fermée empêche une perception perturbée de corrompre discrètement le résultat final, tout en garantissant que le choix corresponde toujours à ce que C_task avait demandé en premier.

Génération de code améliorée par les connaissances. Rappeler de mémoire des formules de transformation 3D complexes est une source classique d’hallucinations. GCA conserve plutôt une bibliothèque fixe de formules géométriques prévérifiées, telles que les transformations de local vers mondial. Lorsque toutes les variables sont définies, le système sélectionne les formules appropriées en fonction des types de données concernés et les injecte dans le contexte du générateur de code. Il s’agit d’un système statique d’obtention d’informations améliorée pour les calculs mathématiques, et non pour le texte. Le VLM écrit ensuite du Python sur cette structure et l’exécute, sans produire de supposition numérique opaque.

La boîte à outils comprend deux familles. Les outils de géométrie et de perception (reconstruction 3D avec VGGT, détection à vocabulaire ouvert, segmentation) transforment la scène visuelle en paramètres. Les outils de calcul et d’utilité (un environnement sandbox Python, des outils d’aide à la projection des coordonnées) convertissent ces paramètres en une réponse déterministe.

Résultats

En s’appuyant sur Qwen3-VL-Thinking comme moteur principal, GCA a été évalué sur cinq benchmarks de raisonnement spatial (MMSI-Bench, MindCube-tiny, OmniSpatial, SPBench et CV-Bench), atteignant ainsi un nouveau niveau de performance. Il devance le meilleur modèle de base, Gemini-2.5-Pro, d’environ 12 %, le modèle spécialisé SpatialLadder basé sur l’entraînement d’environ 27 %, et l’agent intégrant des outils TIGeR d’environ 38 %.

Le score diminue lors des tests les plus complexes à plusieurs étapes. MMSI-Bench pose des questions à choix multiples, et la plupart des modèles VLM concurrents se situent juste au-dessus du seuil de 25 % de réussite. GCA obtient 47,6 %, ce qui représente une amélioration relative de 28 % par rapport à Gemini-2.5-Pro. Les auteurs de l’étude attribuent cela à C_task, car il empêche le modèle d’adopter un raccourci sémantique erroné, comme interpréter « votre perspective » comme celle de la caméra, avant toute véritable computation.

Le choix du noyau du modèle a peu d’importance. GLM-4.5V, GPT-4o et Gemini-2.5-Pro améliorent tous leurs résultats de base basés sur la chaîne de pensée ; les gains sur MMSI-Bench vont de +19 % pour GPT-4o à +49 % pour Gemini-2.5-Pro, suivant globalement les capacités agissantes et spatiales existantes de chaque modèle.

La leçon plus large

Ce problème dépasse le cadre du raisonnement spatial. Un modèle peut échouer parce qu’il a résolu correctement un problème mal posé, au lieu de résoudre incorrectement un problème bien posé, et dans ce cas davantage de données d’entraînement ou des outils plus sophistiqués ne seront d’aucune aide. Ce qui aide, c’est de faire en sorte que le modèle extériorise sa propre définition du problème en quelque chose de vérifiable avant de calculer quoi que ce soit. Comme GCA ne nécessite pas d’entraînement, la solution est d’ordre architectural et non statistique. Le fait qu’il transfère efficacement ses capacités entre quatre VLMs fondamentaux très différents suggère que le fossé entre le sémantique et le géométrique est structurel, conséquence de la manière dont ces modèles sont amenés à raisonner, et non une faiblesse liée aux poids d’un modèle en particulier.