Startseite / Artikel

Agents API, Voll-Duplex-Stimme, SWE-2 und Copilot Auto Routing: Die Woche in der KI-Entwicklung

OpenAI’s verwaltete Agents API und GPT-Live-1-Stimmlayer, Effizienzversprechen von Cognition SWE-2 sowie Routing-Einstellungen von Copilot Auto, zusammen mit praktischen Hinweisen zu Kosten, Sicherheit und Bewertung.

Verlag: REACTAPP.TOP7 Min. Lesezeit1619 Wörter

Quellen: AI Dev Weekly #26: Agents API, Full-Duplex Voice, SWE-2 and Cost-Aware Copilot

Modelle sind nicht mehr das gesamte Produkt. OpenAI vermietet nun den verwalteten Agentenzyklus, der Codex antreibt, zusammen mit einer Sprachschicht, die das Gespräch am Laufen hält, während ein Agent im Hintergrund arbeitet. Cognitions SWE-2 versucht, Codetauglichkeitsaufgaben mit weniger Fehlern zu erledigen. GitHub Copilot ermöglicht Entwicklern, zwischen günstig und leistungsstark zu wählen, anstatt Modelle einzeln auszuwählen. Eine gemeinsame Frage stellt sich bei allen vier Lösungen: Was sollte ein Team in seinem Agentenstack selbst betreuen und was sollte es auslagern? Der Berichtsumfang umfasst den Zeitraum vom 10. September bis zum 17. September.

1. OpenAI stellt das Codex-Tool hinter der Agents API zur Verfügung

Am 10. September brachte OpenAI die Agents API in den öffentlichen Beta-Zustand. Es handelt sich um einen verwalteten Laufzeitumfeld für dauerhafte Agentenarbeit, der nicht mit dem unter neuem Namen verfügbaren Agents SDK verwechselt werden sollte. OpenAI übernimmt die Sitzungsorchestrierung sowie die Komprimierung und Wiederherstellung des Kontexts, während die Anwendung Tools bereitstellt und entscheidet, wie der Agent in das Produkt integriert wird.

OpenAI’s Übersicht teilt die Architektur in vier Komponenten auf: die Konfiguration des Agenten, die Umgebung, in der er läuft, eine dauerhafte Sitzung sowie der Strom an Ereignissen und Elementen, die durch diese Sitzung fließen. Aktualisierungen können über Streaming oder Webhooks erfolgen. Eine Sitzung nimmt neue Aufgaben auf der Grundlage dessen entgegen, was sie bereits weiß, sodass nichts von einem leeren Kontext aus neu gestartet wird.

Der Architekturleitfaden legt dar, wo die Ausführung stattfindet. Es gibt drei Möglichkeiten:

  • Selbst ohne Umgebung erreicht das Harness entfernte MCP-Verbindungen sowie Funktionswerkzeuge, die von der Anwendung selbst verarbeitet werden. Eine Shell sowie Arbeitsplatzdateien sind nicht verfügbar.
  • In einer von OpenAI gehosteten Umgebung stellt OpenAI den Sandbox bereit, in dem der Code ausgeführt wird, Dateien bearbeitet werden und Ergebnisse erzeugt werden.
  • In einer selbst gehosteten Umgebung verbindet sich ein Executor auf Ihrer eigenen Infrastruktur, während OpenAI weiterhin das Harness betreibt. Die Bereitstellung, Wiederverbindung, Herunterfahren sowie die Verwaltung der Dateien fallen in Ihre Verantwortung.

Die letzte Option bedeutet nicht, den gesamten Agent selbst zu hosten. Das Verschieben der Ausführung in ein privates Netzwerk bewirkt nicht automatisch, dass auch die verwaltete Orchestrierungsschicht mitgeführt wird.

Die Rechnung addiert die API-Gebühren des ausgewählten Modells, die normalen Tool-Kosten sowie die Standard-Container-Gebühren, wenn OpenAI den Sandbox betreibt. Ein realistisches Budget berücksichtigt die gesamte Ausführung einschließlich Subagenten und Wiederholungsversuchen, da eine Sitzung weitaus mehr ist als nur eine Antwort des Modells.

In der Sicherheitsdokumentation wird zudem gewarnt, dass vom Agenten geschriebener Code alle in seiner Umgebung verfügbaren Anmeldeinformationen lesen kann. Der API-Schlüssel der Anwendung sollte außerhalb des Sandboxes bleiben, Ausgangsziele sollten eingeschränkt werden und Drittanbieter-Anmeldeinformationen sollten soweit möglich über einen Vermittler bereitgestellt werden. Ein Sandbox schützt ein Geheimnis nicht, sobald es in den Prozess eingeschleust wurde.

Fazit: Die Abwägung zwischen Selbstbau und Kauf ändert sich hier. Die Wiederherstellung von Sitzungen sowie die Komprimierung sind aufwendig in der Wartung, weshalb ihr Leasing sinnvoll ist. Autoritäre Geschäftsdaten sowie die Freigabe für irreversible Aktionen sollten in der Anwendung selbst liegen. Es ist klüger, mit einem nur zum Lesen geeigneten Analysewerkzeug zu beginnen, anstatt direkt auf einen Agenten zurückzugreifen, der Probleme behebt. Der eigentliche Vergleich besteht darin, zwischen dem Kauf eines Programmierarbeitsplatzes und der Einbettung eines Agenten-Runtimes in das eigene Produkt zu entscheiden.

2. GPT-Live-1 trennt Gespräch und Arbeit

GPT-Live-1 wurde am selben Tag in der API allgemein verfügbar. Seine herausragende Eigenschaft ist die Voll-Duplex-Verbindung. Das Sprachmodell hört zu, während es spricht, sodass der mündliche Austausch weitergeht, während ein Backend-Agent durch Logikverarbeitung und Tools vorgeht.

In den Einführungsmaterialien von OpenAI dient Realtime als Gegenbeispiel, bei dem ein Modell Sprache, Logikverarbeitung und Werkzeugauswahl übernimmt. Bei Live kann der Backend getrennt ausgewählt werden. Jemand kann nach einer Bestellung fragen, während der Abfrage einen Detailfehler korrigieren und ohne Wartezeit auf die Werkzeugaufrufantwort erhalten.

Der Delegierungsleitfaden beschreibt zwei Modi:

  • Antwortdelegation: Live erstellt Anfragen an einen konfigurierten OpenAI Backend und leitet die Antworten wieder in den Aufruf zurück.
  • Kundendelegation: Die Anwendung erstellt den Kontext, führt ihren eigenen Agenten oder Dienst aus und gibt das Ergebnis zurück. Wählen Sie diesen Modus, wenn Routing- oder Überprüfungen vor dem Erreichen des Sprachmodells durch den Backend stattfinden müssen.

Die Delegation an den Client erfordert eine feine Integration: Die Delegationsereignisse enthalten Metadaten, nicht den Text der Aufgabe. Backend-Anfragen sollten aus Transkriptionsereignissen und dem Anwendungsstatus erstellt werden, da das Ereignis kein fertig vorbereiteter Befehlspayload ist.

Laut der Modellseite kosten Sprachgespräche 0,05 US-Dollar pro Minute, abgerechnet nach Sekunden, und dazu kommen noch die Kosten für das Backend-Modell sowie die verwendeten Tools. Zehn Minuten Gespräch kosten daher allein für die Sprachverarbeitung 0,50 US-Dollar, noch bevor Überlegungen, Tools oder Hosting hinzukommen.

Egal wie, Berechtigungen, Bestätigungen und der Status der Aufgabe bleiben bei der Anwendung. Selbst wenn die Backend-Ergebnisse noch geprüft werden, zwingt nichts das Sprachmodell dazu, während der Validierung stillzubleiben; daher sollte der Test prüfen, was der Assistent sagt, bevor eine Aktion bestätigt wird, und nicht nur, ob das Tool letztendlich erfolgreich ist.

Fazit: Die Sprachsteuerung wird über einen Agenten zu einer Schnittstelle statt über ein eng vernetztes Sprachverarbeitungssystem – was sich gut für Support-Arbeitsabläufe sowie kollaboratives Arbeiten ohne Hände eignet. Eine erste Bewertung sollte Störungen, sich ändernde Anweisungen während langsamer Abfragen sowie die korrekte Trennung von angeforderten und abgeschlossenen Aufgaben überprüfen. Ein natürlicher Dialog ist nur dann wertvoll, wenn der Status der Aufgabe stets korrekt bleibt. Diese Frage unterscheidet sich von der Wahl des Sprach-zu-Text-Engines.

3. Cognition SWE-2 zielt auf weniger Interaktionsschritte ab, nicht nur auf eine höhere Punktzahl

Cognition kündigte SWE-2 am 10. September an. Zunächst ist es in Devin Desktop und der CLI verfügbar, gefolgt von Devin Web und Fusion. Laut dem Veröffentlichungspost wurde das Modell auf Basis von Kimi K3 nachtrainiert und kann innerhalb einer einzigen Verstärkungslern-Sitzung mehrere Ebenen des Denkaufwands erkennen.

Die Leistungszahlen sind auffällig. Bei FrontierCode 1.1 Main bei mittlerer Rechenlast benötigte SWE-2 58 % weniger Umdrehungen und kostete 81 % weniger als SWE-1.7. Cognition verlieh SWE-2 in diesem Test 50,0 % Punkte, während es auf Terminal-Bench 4 nur 27,3 % erreichte – deutlich hinter den stärksten Modellen in derselben Vergleichsgruppe.

Diese Bewertungen stammen vom Verlag und kombinieren öffentliche Ergebnisse mit internen Tests in modellspezifischen Umgebungen, weshalb sie keine unabhängige, einheitliche Rangliste darstellen. In der Ankündigung werden weder Preise für die eigenständige SWE-2-API noch herunterladbare Gewichte angegeben.

Fazit: Die wertvolle Fähigkeit für einen Programmier-Assistenten besteht darin, zu erkennen, wann das Erkunden endet und das Bearbeiten beginnt. Das Vermeiden wiederholter Lesevorgänge des Repositoriums sowie überflüssiger Tool-Aufrufe kann wichtiger sein als das Senken der Token-Kosten. Wenigere Schritte bedeuten nicht immer bessere Arbeit, da dies auf übersprungenen Überprüfungen zurückzuführen sein kann. Ein ausgewogener Test umfasst eine kleine Fehlerbehebung, eine Migration sowie einen Refaktoringschritt, der das Verhalten beibehalten muss, wobei festgehalten werden sollte, was akzeptiert wurde, welche Tests fehlten, was die Prüfer korrigierten und wie das Produkt tatsächlich genutzt wurde. Getestet werden sollte die heutige Devin-Funktionalität, nicht ein eigenständiger Endpunkt, der nicht existiert.

4. Copilot Auto erhält eine Kosten-gegen-Qualitätskontrolle

Am 14. September führte GitHub drei Auto-Routing-Einstellungen ein. „Effizienz“ senkt die Kosten, „Ausgewogenheit“ berücksichtigt gleichzeitig Kosten, Qualität und Latenz, während „Intelligenz“ die Qualität bevorzugt. Laut der Ankündigung erhalten VS Code, Copilot CLI sowie die Copilot-App diese Funktionen schrittweise.

Zwei Beschränkungen ergeben sich aus der Auto-Dokumentation. Das Routing berücksichtigt weiterhin die Zugriffsrechte des Plans sowie die Richtlinien der Administratoren und arbeitet innerhalb natürlicher Cache-Grenzen, damit cachebezogene Kosten nicht ansteigen. Die Richtlinien zur Nutzung eingeschränkter Modelle einer Organisation werden nicht überschrieben.

Eine Einstellung stellt außerdem keine Ausgabengrenze dar. „Effizienz“ kann bei Bedarf ein leistungsstärkeres Modell wählen, und „Intelligenz“ garantiert nicht für jede Antwort das größte Modell. Bevor man aufgrund der Bezeichnung Schlüsse zieht, sollten das ausgewählte Modell sowie die tatsächliche Nutzung überprüft werden.

Fazit: Die Einstellung ist besser als das Erfordernis, dass jeder Entwickler sich eine Rangliste der Modelle einprägt, obwohl sie Vergleiche erschwert, sofern die Routing-Entscheidungen nicht aufgezeichnet werden. Durch Ausführung identischer Beispielaufgaben unter jeder Vorliebe und Vergleich der Kosten pro akzeptierter Änderung, der Latenzzeit sowie des Aufwands der Prüfer erhält man echte Daten. Eine explizite Modellwahl bleibt sinnvoll, wo immer die Ergebnisse reproduzierbar sein müssen. Routing-Vorlieben und Abrechnungspolitik sind separate Fragen.

Kurzüberblick

  • Automatisierung von VS Code Agenten. Version 1.137 bietet als öffentliche Vorabversion wiederkehrende Aufgaben für Stunde, Tag und Woche an. Wartungsberichte oder Entwürfe von Pull Requests eignen sich für den ersten Versuch, wobei die Regeln für überschneidende Ausführungen im Voraus festgelegt werden sollten. In den wöchentlichen Veröffentlichungshinweisen werden außerdem Hydrafusions lokale, cloudbasierte sowie kombinierte Routing-Möglichkeiten im experimentellen Menü der CLI aufgelistet – dies ist etwas anderes als die oben beschriebenen Auto-Einstellungen.
  • Copilot-Code-Review. Beim erneuten Überprüfen schließt Copilot die Kommentare, die es bereits bearbeitet hat, und stellt Shell-Tools für Builds, Tests sowie fokussierte Skripte zur Verfügung, die hinter dem Firewall des Agenten laufen. GitHub fügt außerdem ein Agent-Ensemble für Lite-Reviews hinzu. Zusätzliche Validierungen helfen, doch die Anforderung an eine menschliche Überprüfung ist eine separate Einstellung des Repositoriums.
  • Verwaltung der API-Schlüssel. Am 15. September führte OpenAI Organisationssysteme und Projektkontrollen ein, die die Erstellung neuer Schlüssel auf Service-Konten, von Benutzern gehaltene Projekt-Schlüssel oder gar keine Einschränkung beschränken. Die Organisationsregeln haben Vorrang, und bereits ausgestellte Schlüssel bleiben unverändert. Die Kontrollen zur Ablaufzeit der Schlüssel vom 10. September sind im API-Changelog aufgeführt. Das Blockieren neuer Schlüssel führt nicht zur Erneuerung alter Zugangsdaten.
  • Häufig gestellte Fragen

    Ist die Agents API nur ein umgenanntes Agents SDK? Nein. Die API stellt eine von OpenAI betriebene Infrastruktur sowie dauerhafte Sitzungen bereit, während das SDK Bausteine für die Orchestrierung der Anwendungssteuerungen liefert. Die API befindet sich weiterhin in der öffentlichen Beta-Phase.

    Ist das Backend-Agent im Preis von GPT-Live-1 enthalten? Nein. Die Sprachverarbeitung kostet 0,05 US-Dollar pro Minute und wird sekundengenau abgerechnet, während die Nutzung des Backend-Modells sowie der Tools separat in Rechnung gestellt wird.

    Kann SWE-2 heruntergeladen werden oder über seine eigene API aufgerufen werden? Die Veröffentlichung zur Einführung gibt weder Gewichte noch Preise für eine eigenständige API an, sodass eine Bewertung über die dokumentierten Devin-Optionen erfolgen muss.

    Führt die Auswahl von „Efficiency“ dazu, dass die Monatsrechnung geringer wird? Überhaupt nicht. Es steuert die Routenwahl, ohne die Ausgaben zu begrenzen. Die Gebühren hängen davon ab, welches Modell gewählt wird, weshalb die Nutzung gemessen und eigene Budgets eingehalten werden sollten.