API Agents, Voix full-duplex, SWE-2 et routage Copilot Auto : La semaine dans le développement d’IA
L’API Agents gérée par OpenAI ainsi que la couche vocale GPT-Live-1, les affirmations d’efficacité SWE-2 de Cognition et les préférences de routage Copilot Auto, accompagnées de notes pratiques sur les coûts, la sécurité et l’évaluation.
Sources: AI Dev Weekly #26: Agents API, Full-Duplex Voice, SWE-2 and Cost-Aware Copilot
Les modèles ne constituent plus l’ensemble du produit. OpenAI loue désormais le cycle d’agent géré qui alimente Codex, ainsi qu’une couche vocale permettant de maintenir la conversation en cours tandis qu’un agent travaille en arrière-plan. SWE-2 de Cognition cherche à terminer les tâches de codage avec moins d’erreurs. GitHub Copilot permet aux développeurs de choisir entre un niveau bon marché et un niveau performant, au lieu de sélectionner des modèles un par un. Une question commune se pose pour ces quatre solutions : qu’est-ce qu’une équipe devrait gérer elle-même dans sa pile d’agents, et quoi devrait-elle externaliser ? La couverture de cet article s’étend du 10 septembre au 17 septembre.
1. OpenAI met le framework Codex derrière l’API Agents
Le 10 septembre, OpenAI a mis la Agents API en bêta public. Il s’agit d’un environnement de exécution géré pour des agents durables et ne doit pas être confondu avec le Agents SDK sous un nouveau nom. OpenAI s’occupe de l’orchestration des sessions, de la compression et du récupération du contexte, tandis que l’application fournit des outils et décide de la manière dont l’agent s’intègre au produit.
Le aperçu d’OpenAI divise la conception en quatre éléments : la configuration de l’agent, l’environnement dans lequel il fonctionne, une session durable ainsi que le flux d’événements et d’éléments qui transitent par cette session. Les mises à jour peuvent se faire par flux continu ou via un webhook. Une session accepte de nouvelles tâches en s’appuyant sur ce qu’elle connaît déjà, de sorte que rien ne redémarre à partir d’un contexte vierge.
Le guide d’architecture précise où a lieu l’exécution. Il existe trois options :
- Sans environnement, le harness permet d’accéder à des connexions MCP éloignées ainsi qu’aux outils fonctionnels gérés directement par l’application. Aucun shell ni fichiers d’espace de travail ne sont disponibles.
- Dans un environnement hébergé par OpenAI, c’est OpenAI qui configure le sandbox dans lequel le code s’exécute, les fichiers sont modifiés et les artefacts sont générés.
- Dans un environnement auto-hébergé, un exécuteur sur votre propre infrastructure se connecte, tandis qu’OpenAI continue de gérer le harness. La mise en service, la réconnexion, l’arrêt ainsi que la gestion des fichiers deviennent alors de votre responsabilité.
La dernière option ne signifie pas auto-héberger l’agent dans son intégralité. Déplacer l’exécution vers un réseau privé ne transfère pas avec elle la couche d’orchestration gérée.
La facture additionne les tarifs API du modèle sélectionné, les frais normaux d’outil ainsi que les tarifs standards de conteneur lorsque OpenAI héberge le sandbox. Un budget réaliste prend en compte l’ensemble du processus, y compris les sous-agents et les tentatives de réessai, car une session comprend bien plus qu’une seule réponse du modèle.
La documentation de sécurité met également en garde contre le fait que le code écrit par l’agent peut lire toutes les identifiants exposés dans son environnement. La clé API de l’application doit rester en dehors du sandbox, les destinations sortantes doivent être restreintes et, si possible, les identifiants de tiers doivent être gérés par un intermédiaire. Un sandbox ne protège pas un secret une fois qu’il a été injecté dans le processus.
En résumé : Les calculs liés à la création versus à l’achat changent dans ce cas. La récupération des sessions et la compression coûtent cher à entretenir, il est donc raisonnable de les louer. Les données commerciales fiables ainsi que l’approbation des actions irréversibles doivent figurer directement dans l’application. Il est plus judicieux de commencer avec un outil d’analyse en lecture seule plutôt que de passer directement à un agent capable de résoudre les problèmes. La véritable comparaison concerne l’achat d’un espace de travail de codage par rapport à l’intégration d’un environnement d’exécution d’agent dans son propre produit.
2. GPT-Live-1 sépare la conversation du travail
GPT-Live-1 est devenu disponible dans l’API ce même jour. Sa fonction principale est la communication full duplex. Le modèle vocal écoute en même temps qu’il parle, ce qui permet de poursuivre l’échange oral tandis qu’un agent en arrière-plan effectue des raisonnements et utilise des outils.
Dans les documents d’introduction d’OpenAI, Realtime représente le cas contraire, un seul modèle gérant à la fois la parole, le raisonnement et le choix des outils. Live permet de sélectionner séparément le backend. Quelqu’un peut poser une question concernant une commande, corriger un détail au cours de la recherche et recevoir la réponse sans pause due à l’appel à l’outil.
Le guide de délégation décrit deux modes :
- Délégation des réponses : Live rédige les demandes pour un backend OpenAI configuré et renvoie les réponses dans le cadre de l’appel.
- Délégation au client : l’application crée le contexte, exécute son propre agent ou service et transmet le résultat. Choisissez ce mode lorsque des routages ou des vérifications doivent avoir lieu avant que la sortie du backend n’atteigne le modèle vocal.
La délégation de client comporte un requis d’intégration subtil : les événements de délégation contiennent des métadonnées, et non le texte de la tâche. Les requêtes backend doivent être construites à partir des événements de transcription et de l’état de l’application, puisque l’événement ne constitue pas un en-tête de commande prêt à l’emploi.
Selon la page du modèle, les sessions vocales coûtent 0,05 $ par minute, facturées au second, et l’utilisation du modèle backend ainsi que des outils s’ajoute à ce montant. Dix minutes de conversation coûtent donc 0,50 $ uniquement pour la voix, avant les frais liés au raisonnement, aux outils ou à l’hébergement.
Quoi qu’il en soit, les permissions, la confirmation et l’état de la tâche restent gérés par l’application. Même lorsque les résultats du backend sont en cours d’examen, rien ne force le modèle vocal à rester silencieux pendant la validation ; par conséquent, les tests doivent examiner ce que dit l’assistant avant que toute action ne soit confirmée, et non seulement déterminer si l’outil réussit finalement.
En résumé : La voix devient une interface via un agent plutôt qu’un pipeline de reconnaissance vocale étroitement couplé, ce qui convient aux workflows de support et à la collaboration sans mains des développeurs. Une première évaluation doit examiner les interruptions, les instructions modifiées lors d’une recherche lente, ainsi que la capacité de l’assistant à distinguer correctement les tâches demandées de celles qui ont été achevées. Une conversation naturelle n’a de valeur que si l’état de la tâche reste fidèle à la réalité. Cette question diffère du choix du moteur de reconnaissance vocale.
3. Cognition SWE-2 vise moins d’échanges, et non seulement un score plus élevé
Cognition a annoncé SWE-2 le 10 septembre. Il est d’abord disponible dans Devin Desktop et la CLI, suivi de Devin Web et Fusion. Selon l’article de lancement, le modèle a été entraîné à partir de Kimi K3 et permet d’identifier plusieurs niveaux d’effort de raisonnement au cours d’une seule séance d’apprentissage par renforcement.
Le numéro opérationnel se distingue. Avec FrontierCode 1.1 Main à un effort moyen, SWE-2 a nécessité 58 % de moins de tours et coûté 81 % de moins que SWE-1.7. Cognition lui attribue une note de 50,0 % dans ce test, mais seulement 27,3 % sur Terminal-Bench 4, ce qui le place bien en retrait des modèles les plus performants dans sa propre comparaison.
Ces évaluations proviennent de l’éditeur et combinent des résultats publics avec des essais internes effectués à l’aide d’outils spécifiques aux modèles, de sorte qu’elles ne constituent pas un classement indépendant et uniforme. L’annonce ne mentionne ni les prix de l’API SWE-2 en tant que produit indépendant, ni les poids du modèle pouvant être téléchargés.
En résumé : La compétence essentielle pour un agent de codage est de savoir quand cesser d’explorer et commencer à modifier. Éviter les lectures répétées du dépôt et les appels de outils redondants peut être plus important que de réduire le coût des tokens. Moins d’itérations ne signifie pas toujours un meilleur travail, car cela peut refléter des vérifications omises. Une évaluation équilibrée comprend une petite correction de bug, une migration et un refactoring qui doivent préserver le comportement initial, en enregistrant ce qui a été accepté, quels tests ont manqué, ce que les reviewers ont corrigé et comment le produit a réellement été utilisé. Ce qu’il faut tester, c’est la capacité de Devin disponible aujourd’hui, et non un point d’entrée indépendant qui n’existe pas.
4. Copilot Auto bénéficie d’un contrôle qualité-prix
Le 14 septembre, GitHub a introduit trois préférences de routage automatique. L’option « Efficacité » vise à réduire les coûts, « Équilibre » prend en compte le coût, la qualité et la latence, tandis que « Intelligence » privilégie la qualité. Selon l’annonce, VS Code, Copilot CLI et l’application Copilot le recevront progressivement.
Deux limites proviennent de la documentation relative au routage automatique. Ce dernier continue de respecter les politiques d’accès du plan et celles de l’administrateur, et il fonctionne en tenant compte des limites naturelles du cache afin que les coûts liés à ce dernier ne augmentent pas. La politique de modèles restreints d’une organisation n’est pas contournée.
Une préférence ne constitue pas non plus une limite de dépenses. L’option « Efficacité » peut choisir un modèle plus performant lorsque tâche l’exige, et « Intelligence » ne garantit pas l’utilisation du modèle le plus puissant pour chaque réponse. Le modèle sélectionné et l’usage réel méritent d’être examinés avant de tirer des conclusions à partir de cette étiquette.
En résumé : La configuration est préférable à l’exigence faite à chaque développeur de mémoriser un classement des modèles, bien qu’elle complique les comparaisons à moins que les choix de routage ne soient enregistrés. Exécuter des tâches représentatives identiques sous chaque préférence et comparer le coût par modification acceptée, la latence ainsi que l’effort requis des évaluateurs permet d’obtenir des données réelles. Le choix explicite du modèle reste approprié chaque fois que les résultats doivent être reproductibles. La préférence de routage et la politique de facturation relèvent de questions distinctes.
Points clés
- Automatisations des agents VS Code. La version 1.137 propose en prévisualisation publique des tâches récurrentes toutes les heures, tous les jours et toutes les semaines. Les rapports de maintenance ou les propositions de demande de fusion conviennent pour une première tentative, et les règles relatives aux exécutions superposées doivent être définies à l’avance. Les notes de version hebdomadaires mentionnent également le routage local, cloud et composé d’HydraFusion dans le menu expérimental de la CLI, ce qui est distinct des préférences Auto décrites ci-dessus.
- Revue de code Copilot.Lors d’une nouvelle revue, il ferme les commentaires qu’il a déjà traités et met à disposition des outils en ligne de commande pour les compilations, les tests et les scripts ciblés, fonctionnant derrière le pare-feu de l’agent. GitHub ajoute également un ensemble d’agents pour les revues Lite. Une validation supplémentaire est utile, mais la nécessité d’une revue humaine relève d’une autre configuration du dépôt.
Questions fréquentes
L’API Agents n’est-elle qu’un renommage du SDK Agents ? Non. L’API fournit un cadre géré par OpenAI ainsi que des sessions durables, tandis que le SDK offre des éléments de base pour l’orchestration contrôlée par l’application. L’API reste en version bêta publique.
L’agent backend est-il inclus dans le tarif de GPT-Live-1 ? Non. La fonctionnalité vocale coûte 0,05 dollar par minute, facturée au second, tandis que l’utilisation du modèle backend et des outils est facturée séparément.
Le SWE-2 peut-il être téléchargé ou utilisé via sa propre API ? L’annonce de lancement ne précise ni les coûts ni le prix d’une API indépendante, il faut donc procéder à l’évaluation par le biais des interfaces Devin décrites dans la documentation.
Le choix de l’option « Efficiency » permet-il de réduire la facture mensuelle ? Pas du tout. Elle gère le routage sans fixer de plafond aux dépenses. Les frais dépendent du modèle sélectionné, il convient donc de mesurer l’utilisation et d’imposer des budgets en conséquence.