Vergleich der Frontier AI Agents: Astra, Flash, Fable und Mythos
Eine Aufschlüsselung darüber, wie die neuesten Versionen der Modelle GPT, Gemini und Claude bei echten agierenden Aufgaben wie Programmieren, Surfen und Tool-Nutzung abschneiden – nicht nur bei Benchmarks.
Die Regeln für Vergleiche von KI-Systemen waren früher vorhersagbar.
GPT gegen Gemini gegen Claude.
Man gab jedem System denselben Prompt, ordnete die Antworten nebeneinander an und wählte die aus, deren Antwort am besten klang. Dieser Ansatz berücksichtigt heute nicht mehr das Wesentliche.
Diese neuesten Versionen – darunter OpenAI’s Astra, Googles Flash-Update sowie Anthropics Fable und Mythos – werden nach weitaus anspruchsvolleren Kriterien beurteilt:
Kann ein KI-System ein Ziel erfassen, die richtigen Werkzeuge nutzen, Code schreiben und debuggen, im Internet navigieren, eine Computeroberfläche steuern, von Fehlern wieder aufstehen und eine komplexe Aufgabe mit minimalem menschlichen Eingreifen zu Ende führen?
Diese Veränderung ist für Entwickler von enormer Bedeutung, und nach genauer Prüfung der jüngsten Benchmark-Ergebnisse sowie den dazugehörigen Systembeschreibungen zeigt sich ein Bild, das komplexer ist als eine einfache Rangliste:
GPT-6 Astra erweist sich als der leistungsfähigste Allround-Agent, Gemini 3.8 Flash könnte das beste Verhältnis zwischen Leistung und Kosten bieten, Claude Fable 5.1 bleibt weiterhin hervorragend in der umfangreichen Softwareentwicklung und Forschungsarbeit, und Mythos 5.1 gibt Aufschluss darüber, wohin spezialisierte Frontier-Modelle next gehen.
Im Folgenden erhalten Sie einen genaueren Blick auf jedes Modell.
1. GPT-6 Astra: OpenAI setzt alles auf Agenten
OpenAI positioniert GPT-6 Astra als sein bislang intelligentestes und am besten abgestimmtes Modell und weist auf Verbesserungen in Bereichen wie Computeroperationen, Programmierung, wissenschaftlichem Denken, Cybersicherheit sowie professionellen Arbeitsabläufen hin.
Doch was wirklich hervorsticht, ist kein einzelner Platzierungswert auf der Leaderboard.
Es ist die Fähigkeit des Modells, tatsächlich agierende Aufgaben auszuführen.
Astra ist in der Lage:
- Webseiten zu durchsuchen
- Grafische Benutzeroberflächen zu steuern
- Formulare auszufüllen
- Tabellenkalkulationen zu bearbeiten
- Webseiten zu erstellen
- Qualitätsprüfungen am Frontend durchzuführen
- Software zu installieren und zu testen
- Fehler in Anwendungen aufzuspüren
- Code-Aufgaben, die über längere Zeiträume andauern, zu bewältigen
- Mit wissenschaftlichen Werkzeugen und Software zu interagieren
- Dokumente sowie Präsentationsfolien zu erstellen
Laut OpenAI erreicht Astra im OSWorld 2.0-Wertungssystem 72,6 %, im Vergleich zu 65,7 % beim vorherigen GPT-5.6 Sol, und erledigt dabei ähnliche Aufgaben deutlich schneller.
Vor allem im Bereich der Softwareentwicklung zeigt Astra wirklich überzeugende Leistungen.
Die Ergebnisse bei Terminal-Bench 4.0 veranschaulichen dies:
Aber allein die Codegenerierung erzählt nicht die ganze Geschichte.
OpenAI hat außerdem dauerhafte Kontextwerkzeuge in Codex integriert, sodass ausgedehnte Programmier Sessions nicht mehr zu immer ungenaueren Zusammenfassungen früherer Arbeiten werden. Stattdessen bleibt der bisherige Kontext suchbar und auffindbar.
Für alle, die Software entwickeln, ist das eine weitaus bedeutendere Verbesserung als ein paar zusätzliche Prozentspunkte bei einem Benchmark, da die reale Ingenieurarbeit nicht in kurzen Austauschen von 20 Nachrichten stattfindet.
Sie entfaltet sich über Hunderte miteinander verbundener Entscheidungen, die über mehrere Tage getroffen werden.
2. Gemini 3.8 Flash: Das „Warum ist das so billig?“-Modell
Dann veröffentlichte Google etwas, das die Leute überraschte.
Gemini 3.8 Flash.
Google bezeichnet es als das leistungsstärkste Modell der Flash-Reihe bislang, das für umfangreiche Softwareentwicklungsarbeiten, Workflows autonomer Agenten sowie anspruchsvolle Reasoning-Aufgaben konzipiert ist – und dabei weiterhin die Geschwindigkeit sowie Zugänglichkeit bewahrt, für die die Flash-Serie bekannt ist.
Der Einstiegspreis für die API liegt bei 0,75 US-Dollar pro 1 Mio. Eingabetoken und 3,75 US-Dollar pro 1 Mio. Ausgabetoken.
Das liegt deutlich unter den von Astra angegebenen API-Preisen von 10 US-Dollar pro 1 Mio. Eingabetoken und 50 US-Dollar pro 1 Mio. Ausgabetoken.
Interessant ist, dass Gemini 3.8 Flash nicht ausschließlich aufgrund seiner Leichtgewichtigkeit konkurriert.
Es setzt seine Kräfte dort ein, wo es wirklich zählt.
Google erklärt, dass das Modell bei Bedarf zusätzliche Reasoning-Schritte ausführen und Tools wiederholt aufrufen kann.
Zu seinem Funktionsumfang gehören:
- Kontextfenster mit bis zu 1 Mio. Tokens
- Ausgabekapazität von bis zu 64 K Token
- Einstellbare Intensität der Logikverarbeitung
- Integration von Tools
- Unterstützung für autonome Agenten
- Erweiterte Programmierfähigkeiten
- Für Unternehmen geeignete Workflows
Google betont insbesondere die sehr starke Leistung bei DeepSWE v1.1, einem Benchmark, der auf der Lösung komplexer Ingenieurprobleme ohne menschliche Einmischung basiert.
Das Modell erzielt außerdem 54,9 % bei HLE-Verified.
Die zugrunde liegende Strategie ist klug:
Anstatt jede einzelne Anfrage allgemein intelligenter zu gestalten, werden zusätzliche Rechenressourcen nur für Probleme bereitgestellt, die sie tatsächlich benötigen.
Dies ist sehr wahrscheinlich die Richtung, in der sich die Preise und Leistungsfähigkeit agiler KI weiterentwickeln werden. Das Testen dieses Modells innerhalb von Antigravity zur Erstellung einer Portfolio-Website gab einen Eindruck davon, wie das in der Praxis aussieht.
3. Claude Fable 5.1: Anthropic optimiert für reale Anwendungen
Anthropics Antwort auf diesen Wettbewerb kommt in zwei Varianten: Claude Fable 5.1 und sein stärker eingeschränktes Gegenstück, Claude Mythos 5.1. Fable 5.1 versucht nicht, mit Spitzenplatzierungen zu beeindrucken.
Stattdessen basiert sein Wertversprechen auf etwas Nützlicherem im Alltag: anhaltender Ingenieurarbeit, Forschungsaufgaben und arbeitsintensiven Aufgaben, die viel Wissen erfordern. Anthropics Fortschritte in diesem Bereich sind beträchtlich.
In Bezug auf Terminal-Bench-Science erreicht Fable 5.1 einen Wert von 52,6%, was mehr als doppelt so viel ist wie die 24,7%, die das vorherige Fable 5 erzielte.
Auf Terminal-Bench 4.0 erreicht Fable 5.1 einen Wert von 55,8%, während das spezialisierte Mythos 5.1 in Anthropics eigenen Vergleichen auf 60,9% kommt.
Weitere für Fable 5.1 gemeldete Ergebnisse lauten wie folgt:
- OSWorld 2.0 (teilweise): Das Modell erreicht 77,9%
- CursorBench: Der Wert liegt bei 73,4%
- Humanity’s Last Exam – ohne Tool-Zugriff: Es werden 60,9% erzielt
- Dieselbe Prüfung, aber jetzt mit aktivierten Tools: Die Leistung steigt auf 65,0%
- AutomationBench: Der Wert beträgt 31,4%
Doch die Verbesserung, die für Entwickler am wichtigsten ist, liegt vielleicht gar nicht in den Benchmark-Werten – es geht um Effizienz.
Anthropic behauptet, Fable 5.1 könne die Ausgabequalität von Fable 5 erreichen, dabei bei niedrigeren Rechenaufwand-Einstellungen deutlich weniger Kosten verursachen, und dass insbesondere agentengetriebene Arbeitslasten eine Kostensenkung von etwa 45 % ermöglichen.
Dieser Effizienzgewinn ist von großer Bedeutung, denn agentbasierte Systeme weisen eine bekannte Schwäche auf: Sie sind anspruchsvolle Verbraucher von Tokens.
Während ein einfacher Chatbot-Dialog etwa 5.000 Tokens kostet, kann ein Programmieragent bei der Erledigung einer echten Aufgabe Hunderttausende von Tokens verbrauchen. In diesem Maßstab ist die Effizienz, mit der ein Modell Tokens nutzt, nicht mehr nur ein Preisaspekt, sondern wird zu einem zentralen Bestandteil der Architektur des Systems.
4. Mythos 5.1 Ist Etwas anderes
Mythos 5.1 lohnt es, ihn einzeln zu betrachten.
Laut Anthropic basieren Fable 5.1 und Mythos 5.1 auf genau demselben zugrundeliegenden Modell. Was sie voneinander unterscheidet, ist nicht die reine Leistungsfähigkeit, sondern die Sicherheitsmaßnahmen und Zugriffsbeschränkungen, die bestimmte sensible Funktionen umgeben.
Mythos ist ausschließlich für überprüfte, zertifizierte Fachleute vorgesehen, insbesondere in Bereichen wie Kryptografieforschung und Fortgeschrittener Biologie. Genau diese Beschränkungen sind der Sinn dahinter.
Wir bewegen uns in Richtung eines Musters, bei dem ein einziges Grundmodell je nach Nutzer und Nutzungsmethode mehrere unterschiedliche „Leistungsumfänge“ unterstützen kann.
Das Kernmodell mag in allen Bereichen äußerst leistungsfähig sein, doch was es in der Praxis tatsächlich tun darf, hängt von Faktoren wie folgenden ab:
- wer der Nutzer ist
- In welcher Umgebung die Anfrage ausgeführt wird
- Welche Tools zur Verfügung gestellt werden
- Wie die Sitzung überwacht wird
Das ist eine deutlich andere Konfiguration als das traditionelle Modell, bei dem ein Modell hinter einer API bereitgestellt wird und damit als abgeschlossen gilt.
5. Der Wettlauf um die Cybersicherheit wird ernst
Dieser Abschnitt könnte im gesamten Vergleich am wichtigsten sein.
OpenAI behauptet, GPT-6 Astra habe die sogenannte Kritische Schwelle der Cybersicherheitsfähigkeiten überschritten, wie sie in seinem Preparedness Framework definiert ist. Das Unternehmen gibt an, Astra sei in der Lage, zuvor unbekannte Schwachstellen aufzuspüren und selbstständig Exploits gegen gesicherte Systeme zu entwickeln – mit nur geringem menschlichen Eingriff.
Die Zahlen bestätigen das:
- 100% auf ExploitBench
- 88% pass@1 auf SRE-Bench
OpenAI gibt außerdem an, dass bei von externen Experten durchgeführten Bewertungen Astra tatsächlich echte, zuvor unbekannte Schwachstellen aufgedeckt hat.
Google verfolgt mit Gemini 3,8 Flash Cyber einen anderen Ansatz – es handelt sich um eine speziell für Verteidigung statt Angriff entwickelte Variante. Sie dient der autonomen Erkennung von Schwachstellen sowie deren automatischen Beheben, und der Zugang wird über Googles Fairwind Program an geprüfte Sicherheitsteams bereitgestellt.
Anthropic geht einen ähnlichen Weg: Es erweitert die defensiven Sicherheitsfähigkeiten von Fable 5,1, während es strenge Beschränkungen bei der Entwicklung von Exploits einhält.
Die Schlussfolgerung aller drei Labore ist klar: Die Cybersicherheit ist zu einem der wichtigsten Bereiche im Wettlauf um die Entwicklung fortschrittlicher KI-Systeme geworden.
Und das gilt in beide Richtungen – diese Fähigkeit ist für Verteidiger tatsächlich wertvoll, doch in den falschen Händen äußerst riskant.
6. Welches Modell gewinnt also?
Hier ist eine praktische Methode, um diese drei Modelle aus der Sicht eines Menschen zu bewerten, der tatsächlich damit arbeitet.
Trotzdem gilt für jede Vergleichstabelle eine wichtige Warnung: Betrachten Sie sie nicht als endgültige Rangliste, die überall gilt.
Jeder Anbieter führt seine Benchmarks mit seiner eigenen Einrichtung, seinem eigenen Toolchain sowie seiner eigenen Bewertungssoftware durch, weshalb die Zahlen im strengen Sinne nicht direkt vergleichbar sind. OpenAI selbst hat anerkannt, dass die Benchmark-Ergebnisse von dem abweichen können, was man in der Praxis sieht – hauptsächlich aufgrund von Unterschieden in den Systemanweisungen sowie der verwendeten Tools.
Letztendlich ist das „beste“ Modell keine feste Antwort – es hängt vollständig von der spezifischen Arbeitslast ab, mit der man es konfrontiert.
7. Was sollten Entwickler eigentlich verwenden?
Falls Ihr Ziel darin besteht, einen autonomen Programmieragenten zu entwickeln, ist der sinnvolle Ausgangspunkt:
GPT-6 Astra
Angesichts der Kombination aus Programmierfähigkeiten, Computerkenntnissen, logischem Denken, anhaltendem Kontextwissen sowie Fähigkeit zur Ausführung von Tools ist es wohl der leistungsfähigste Allzweckagent unter den dreien.
Falls Sie hingegen Anwendungen entwickeln, die in großem Maßstab laufen müssen, sollten Sie sich genauer anschauen:
Gemini 3.8 Flash
Die Preise sind kaum zu kritisieren. Bei seinem Einstiegs-API-Preis liegt er bei etwa 13 Mal günstiger pro Eingabetoken und 13 Mal günstiger pro Ausgabetoken im Vergleich zu Astras Standardpreisen.
Dieser Vorsprung ist nicht nur ein kleiner Effizienzgewinn – er spiegelt einen wirklich anderen architektonischen Ansatz wider.
Falls Ihre Arbeit schwerwiegende Softwareentwicklungsarbeiten, Forschung oder Programmieraufgaben umfasst, die über längere Zeit laufen, verdient Fable 5.1 einen Platz in Ihrem Werkzeugkasten.
Anthropic hat es eindeutig an die unvorhersehbare, chaotische Natur der echten Ingenieurarbeit angepasst statt nach Spitzenplatzierungen in Vergleichstabellen zu streben.
Und für alle, die in fortgeschrittener Sicherheitsforschung oder spezialisierten wissenschaftlichen Bereichen tätig sind, gehören gesicherte Systeme wie Astra-Modellreihen, Gemini Cyber und Mythos in eine völlig andere Leistungsklasse.
Die größere Geschichte
Was hier zählt, ist nicht, welche Firma einen anderen bei einem bestimmten Vergleichstest übertrifft – solche Vergleiche verlieren schnell an Relevanz.
Der tatsächliche Wandel sieht so aus: Chatbots → Programmierhilfen → Agenten → autonome Arbeiter
In Zukunft werden Entwickler die KI nicht einfach mit etwas wie folgendem anweisen: ">Schreibe diese Funktion.
Sondern sie werden etwas Weitaus Umfassenderes übergeben: Sie weisen das Modell auf eine Codebasis hin, bitten es herauszufinden, warum ein Fehler auftritt, den eigentlichen Ursachen nachzugehen, eine Lösung zu schreiben, die Testsuite auszuführen, zu überprüfen, ob die Schnittstelle korrekt funktioniert, die Dokumentation zu aktualisieren und selbstständig einen Pull Request einzureichen.
Dann treten sie zurück und lassen es arbeiten.
Das ist jetzt die eigentliche Prüfung – nicht ">Welches Modell schreibt den saubersten Code?"
Sondern vielmehr: ">Welches Modell kann darauf vertraut werden, die gesamte Aufgabe von Anfang bis Ende zu bewältigen?"
- GPT-6 Astra kommt derzeit am nächsten an diesem Ideal.
Für Entwickler lautet die Schlussfolgerung einfach: Hört auf, KI-Modelle wie Chatbots zu behandeln, und beginnt stattdessen, sie als Recheninfrastruktur zu betrachten.
Denn genau in diese Richtung entwickeln sie sich.