Porównanie agentów Frontier AI: Astra, Flash, Fable i Mythos
Szczegółowy opis wyników najnowszych wersji modeli GPT, Gemini i Claude w rzeczywistych zadaniami agentowymi, takich jak programowanie, przeglądanie internetu i korzystanie z narzędzi, a nie tylko w testach benchmarkowych.
Zasady porównywania sztucznych inteligencji kiedyś były przewidywalne.
GPT vs Gemini vs Claude.
Dawało się każdemu z nich identyczny prompt, porównywało odpowiedzi obok siebie i wybierano tę, która brzmiała najlepiej. Taki podejście już nie odzwierciedla tego, co jest naprawdę ważne.
Najnowsze wersje, obejmujące build Astra od OpenAI, aktualizację Flash od Google oraz wersje Fable i Mythos od Anthropic, są oceniane według znacznie bardziej wymagających kryteriów:
Czy agent sztucznej inteligencji potrafi określić cel, wybrać odpowiednie narzędzia, pisać i naprawiać kod, przeglądać internet, kontrolować interfejs komputera, radzić sobie z błędami oraz dowieźć skomplikowane zadanie do końca przy minimalnej pomocy człowieka?
To zmiany mają ogromne znaczenie dla programistów, a po przeanalizowaniu najnowszych wyników testów oraz towarzyszących im opisów systemowych, obraz który powstaje jest znacznie bardziej złożony niż prosta lista rankingowa:
GPT-6 Astra okazuje się najbardziej wszechstronnym modelem do zadań zaawansowanych, Gemini 3.8 Flash może oferować najlepszy balans między możliwościami a kosztem, Claude Fable 5.1 nadal doskonale radzi sobie z złożonymi zadaniami inżynierii oprogramowania i badawczymi, a Mythos 5.1 wskazuje kierunek rozwoju specjalistycznych modeli zaawansowanych.
Oto bliższy rzut oka na każdy z nich.
1. GPT-6 Astra: OpenAI stawia na modele typu agent
OpenAI przedstawia GPT-6 Astra jako najinteligentniejszy i najlepiej dostosowany do aktualnych potrzeb model, podkreślając jego zalety w obszarze obsługi komputerów, programowania, rozumowania naukowego, bezpieczeństwa cybernetycznego oraz profesjonalnych procesów pracy.
Jednak to, co wyróżnia się, to nie pojedyncza liczba z rankingu.
To zdolność modelu do faktycznego wykonywania zadań autonomicznych.
Astra potrafi:
- Nawigować po stronach internetowych
- Kontrolować interfejsy graficzne użytkownika
- Wypełniać formularze
- Manipulować arkuszami kalkulacyjnymi
- Budować strony internetowe
- Prowadzić kontrole jakości frontendu
- Instalować i testować oprogramowanie
- Wykrywać błędy w aplikacjach
- Zajmować się zadaniami programistycznymi trwającymi długi czas
- Współpracować z narzędziami i oprogramowaniem naukowym
- Tworzyć dokumenty i prezentacje
Zgodnie z OpenAI, Astra osiąga wynik 72,6% w OSWorld 2.0, w porównaniu z 65,7% u poprzedniej wersji GPT-5.6 Sol, przy tym wykonywać podobne zadania znacznie szybciej.
W szczególności inżynieria oprogramowania to dziedzina, w której Astra wykazuje naprawdę imponujące umiejętności.
Jego wyniki w Terminal-Bench 4.0 ilustrują to:
Jednak sama generacja kodu nie opowiada całej historii.
OpenAI dodatkowo wbudował do Codex narzędzia do przechowywania kontekstu, dzięki czemu dłuższe sesje programistyczne nie kończą się coraz bardziej niejasnymi podsumowaniami wcześniejszych prac. Zamiast tego poprzedni kontekst pozostaje dostępny do wyszukiwania i odzyskiwania.
Dla każdego, kto tworzy oprogramowanie, jest to znacznie bardziej znacząca aktualizacja niż kilka dodatkowych punktów procentowych w teście wydajności, ponieważ praca inżynierska w rzeczywistym świecie nie odbywa się podczas krótkich wymian wiadomości liczących 20 elementów.
Rozwijается ona poprzez setki powiązanych decyzji podejmowanych przez wiele dni.
2. Gemini 3.8 Flash: Model „Dlaczego to tak tanie?”
Następnie Google wydał coś, co zaskoczyło ludzi.
Gemini 3.8 Flash.
Google opisuje go jako najpotężniejszy dotychczas model z serii Flash, stworzony do zadań inżynierii oprogramowania wymagających dużego czasu, pracy autonomicznych agentów oraz rozwiązywania skomplikowanych problemów analitycznych, przy jednoczesnym zachowaniu szybkości i przystępnej ceny, za które znana jest seria Flash.
Jego początkowa cena w API wynosi 0,75 dolara za 1 milion tokenów wejściowych i 3,75 dolara za 1 milion tokenów wyjściowych.
To o wiele bardziej konkurencyjna cena w porównaniu z podanymi przez Astra stawkami API na poziomie 10 dolarów za 1 milion tokenów wejściowych i 50 dolarów za 1 milion tokenów wyjściowych.
Ciekawe jest to, że Gemini 3.8 Flash nie konkuruje wyłącznie pod względem niskiej masy obliczeniowej.
Wkłada większy wysiłek tam, gdzie to ma znaczenie.
Google wyjaśnia, że model może przeprowadzać dodatkowe procesy analityczne i wielokrotnie używać narzędzi, gdy zadanie tego wymaga.
Jego zestaw funkcji obejmuje:
- Okna kontekstowe o pojemności do 1 miliona tokenów
- Pojemność wyjściowa sięgająca 64 tysięcy tokenów
- Dostosowalna intensywność rozumowania
- Integracja z narzędziami
- Wsparcie dla agentów autonomicznych
- Rozszerzone możliwości programowania
- Przepływy pracy gotowe do użycia w przedsiębiorstwach
Google podkreśla szczególnie wysoką wydajność w teście DeepSWE v1.1, który służy do sprawdzania umiejętności rozwiązywania złożonych problemów inżynieryjnych bez udziału człowieka.
Model osiąga również wynik 54,9% w teście HLE-Verified.
Podstawową strategią jest rozsądne podejście:
Zamiast ulepszać każde zapytanie w sposób ogólny, przeznaczaj dodatkowe zasoby obliczeniowe wyłącznie na te problemy, które rzeczywiście tego wymagają.
Prawdopodobnie w tym kierunku będą rozwijać się ceny i wydajność sztucznych inteligencji agentowych. Testowanie tego modelu w Antigravity w celu stworzenia strony portfolio dało wyobrażenie o tym, jak to wygląda w praktyce.
3. Claude Fable 5.1: Anthropic optymalizuje pod rzeczywistą pracę
Odpowiedź Anthropic na tę rywalizację przybiera dwie formy: Claude Fable 5.1 oraz jego bardziej ograniczona wersja, Claude Mythos 5.1. Fable 5.1 nie próbuje zaimponować użytkownikom wynikami na listach rankingowych.
Jego wartość opiera się raczej na czymś bardziej przydatnym w codziennej pracy: ciągłej działalności inżynieryjnej, zadaniami badawczymi oraz pracach wymagających dużych umiejętności merytorycznych. Korzyści, jakie osiąga Anthropic w tym obszarze, są znaczne.
W teście Terminal-Bench-Science Fable 5.1 osiąga wynik 52,6%, co jest ponad dwukrotnie lepsze od 24,7% osiągniętego przez poprzednią wersję Fable 5.
W teście Terminal-Bench 4.0 model Fable 5.1 osiąga wynik 55,8%, natomiast bardziej specjalistyczny Mythos 5.1 podnosi ten wynik do 60,9% według własnych porównań firmy Anthropic.
Kolejne wyniki dla Fable 5.1 wyglądają następująco:
- OSWorld 2.0 (częściowy test): model osiąga 77,9%
- CursorBench: wynik wynosi 73,4%
- Humanity's Last Exam (bez dostępu do narzędzi): wynik wynosi 60,9%
- ten sam test, ale z włączonymi narzędziami: wydajność wzrasta do 65,0%
- AutomationBench: wynik wynosi 31,4%
Jednak najważniejszą poprawą dla programistów może być wcale nie wynik z testu – to wydajność.
Anthropic twierdzi, że Fable 5.1 może osiągnąć taką samą jakość wyników jak Fable 5, przy tym zużywając znacznie mniej zasobów przy niższych ustawieniach intensywności rozumowania, a szczególnie w przypadku zadań realizowanych przez agenty można osiągnąć redukcję kosztów o około 45%.
Ta poprawa wydajności jest bardzo ważna, ponieważ systemy oparte na agentach mają dobrze znany słaby punkt: są one ogromnymi konsumatorami tokenów.
Podczas gdy prosta wymiana wiadomości z chatbotem może kosztować około 5 000 tokenów, agent zajmujący się kodowaniem przy realizacji rzeczywistego zadania może zużyć setki tysięcy tokenów. Na taką skalę efektywność wykorzystania tokenów przez model przestaje być jedynie kwestią cenową i staje się kluczowym elementem architektury systemu.
4. Mythos 5.1 to coś innego
Mythos 5.1 zasługuje na osobne omówienie.
Zgodnie z informacjami od Anthropic, Fable 5.1 i Mythos 5.1 opierają się na dokładnie tym samym modelu podstawowym. To, co je różni, to nie surowe możliwości, lecz zasady bezpieczeństwa oraz ograniczenia dostępu wprowadzone wokół określonych funkcji wrażliwych.
Mythos jest przeznaczony wyłącznie dla sprawdzonych, uprawnionych specjalistów, szczególnie z dziedzin takich jak badania w zakresie bezpieczeństwa cybernetycznego i zaawansowanej biologii. Właśnie to ograniczenie stanowi sedno jego przeznaczenia.
Kierujemy się kierunkiem, w którym jeden model podstawowy może wspierać wiele różnych „opakowań możliwości”, w zależności od tego, kto go używa i w jaki sposób.
Model podstawowy może być niezwykle wszechstronny, ale to, co faktycznie może robić w praktyce, zależy od takich czynników jak:
- kto jest użytkownikiem
- w jakim środowisku wykonywana jest prośba
- które narzędzia są dostępne
- w jaki sposób monitorowana jest sesja
To znacznie inna konfiguracja niż tradycyjny model, w którym jeden model jest umieszczany za drugim API i uznaje się to za zakończenie pracy.
5. Wyścig w dziedzinie cyberbezpieczeństwa staje się poważny
Ta sekcja może mieć największe znaczenie w całym porównaniu.
OpenAI twierdzi, że GPT-6 Astra przekroczyło to, co nazywa krytyczną granicą zdolności cyberbezpieczeństwa, zdefiniowaną w jego ramach przygotowań. Firma donosi, że Astra potrafi znajdować wcześniej nieznane słabości oraz tworzyć skuteczne ataki na zabezpieczone systemy przy minimalnym udziale człowieka.
Liczby to potwierdzają:
- 100% na ExploitBench
- 88% pass@1 na SRE-Bench
- 99,2% pass@4 w SRE-Bench
OpenAI dodatkowo stwierdza, że podczas ocen przeprowadzanych przez zewnętrznych ekspertów Astra faktycznie ujawniła rzeczywiste, wcześniej nieznane luki bezpieczeństwa.
Google obiera inną drogę z Gemini 3.8 Flash Cyber – wariantem stworzonym specjalnie do obrony, a nie do ataku. Ma on na celu autonomiczne wykrywanie luk i automatyczne ich naprawianie, a dostęp do niego jest udostępniany poprzez Fairwind Program Google wybranym zespołom ds. bezpieczeństwa.
Anthropic podąża podobną ścieżką, rozwijając zdolności obronne systemu Fable 5.1, jednocześnie wprowadzając ścisłe ograniczenia dotyczące tworzenia narzędzi do ataków.
Wniosek z badań we wszystkich trzech laboratoriach jest jasny: bezpieczeństwo cybernetyczne stało się jedną z głównych aren w wyścigu o tworzenie nowoczesnych systemów sztucznej inteligencji.
I dotyczy to obu stron – ta funkcjonalność jest rzeczywiście cenna dla obrońców, ale stanowi poważne ryzyko w niewłaściwych rękach.
6. Który model wygrywa?
Oto praktyczny sposób na ocenę tych trzech modeli z perspektywy osoby, która faktycznie nimi pracuje.
Mimo to każda tabela porównawcza zawiera ważne ostrzeżenie: nie należy traktować jej jako ostatecznej listy rankingowej, która obowiązuje we wszystkich sytuacjach.
Każdy dostawca przeprowadza swoje testy wydajnościowe przy użyciu własnego oprogramowania, narzędzi i metod oceny, więc liczby nie są w ścisłym sensie bezpośrednio porównywalne. Sam OpenAI przyznał, że wyniki testów mogą różnić się od tego, co faktycznie zobaczymy w produkcji, głównie ze względu na różnice w instrukcjach systemu oraz narzędziach, które są używane.
Ostatecznie „najlepszy” model nie jest rozwiązaniem stałym — zależy on w całości od konkretnego obciążenia, które mu zadajemy.
7. Co powinni używać programiści?
Jeśli twoim celem jest stworzenie autonomicznego agenta programistycznego, rozsądnym punktem wyjścia jest:
GPT-6 Astra
Biorąc pod uwagę połączenie umiejętności programowania, zdolności korzystania z komputera, rozumowania, utrzymywania kontekstu oraz wykonywania zadań za pomocą narzędzi, można argumentować, że jest to najbardziej wszechstronny agent spośród tych trzech.
Jeśli natomiast budujesz aplikacje, które muszą działać na dużą skalę, powinieneś uważnie przyjrzeć się:
Gemini 3.8 Flash
Ceny tego rozwiązania są trudne do zakwestionowania. Przy początkowej cenie API jest ono mniej więcej 13 razy tańsze za token wejściowy i 13 razy tańsze za token wyjściowy w porównaniu ze standardowymi cenami Astry.
To rozbieżność to nie tylko niewielka korzyść pod względem wydajności — odzwierciedla ona zupełnie inny podejście architektoniczne.
Jeśli twoja praca obejmuje zaawansowaną inżynierię oprogramowania, badania lub zadania programistyczne trwające przez długi czas, Fable 5.1 zasługuje na miejsce w twoim zestawie narzędzi.
Anthropic wyraźnie dostosował ten system do nieprzewidywalnej i skomplikowanej natury rzeczywistej inżynierii, zamiast dążyć do wysokich wyników w rankingach.
A dla tych, którzy pracują w zaawansowanych badaniach bezpieczeństwa lub specjalistycznych dziedzinach naukowych, systemy typu Astra-tier, Gemini Cyber i Mythos należą do zupełnie innej kategorii możliwości.
Ważniejszy kontekst
Tutaj nie ma znaczenia to, która firma wyprzedziła inną w konkretnym teście — tego rodzaju porównania szybko tracą na znaczeniu.
Prawdziwa zmiana, która ma miejsce, wygląda następująco: Chatboty → Asystenci programistyczni → Agenci → Autonomiczni pracownicy
Rozwijający w przyszłości nie będą po prostu podawać AI zapytań typu: ">Napisz tę funkcję."
Zamiast tego przekażą mu znacznie szersze zadanie: wskazzą modelowi bazę kodu, poproszą go o zrozumienie przyczyny błędu, ustalenie tego, co faktycznie go powoduje, napisanie poprawki, uruchomienie zestawu testów, potwierdzenie prawidłowego działania interfejsu, odświeżenie dokumentacji oraz samodzielne wysłanie prośby o połączenie kodu.
Następnie odejdą i pozwolą mu działać.
To jest teraz prawdziwy test — nie ">Który model pisze najczystszy kod?"
Lecz raczej, ">Który model można zaufać, by samodzielnie wykonał całe zadanie od początku do końca?"
- GPT-6 Astra obecnie najbardziej zbliża się do tego ideału.
Dla deweloperów wniosek jest prosty: przestańcie traktować modele AI jak chatboty i zacznijcie traktować je jak infrastrukturę obliczeniową.
Ponieważ to jest kierunek, w którym się rozwijają.
Szerokie możliwości programowania!
Powiązane materiały
- Zamiana Jest na wewnętrznego exekutora testów w Node 24 — Przykład z praktyki pokazuje, jak wbudowany exekutor testów w Node 24 oraz wsparcie dla TypeScripta pozwalają skrócić czas wykonywania testów w środowisku CI, jednocześnie eliminując cztery zależności.
- Rola mostu TypeScript 6 w drodze do wewnętrznego kompilatora TS 7 — Dowiedz się, w jaki sposób TypeScript 6 aktualizuje domyślne konfiguracje, mechanizmy rozwiązywania modułów oraz składnię importów, aby przygotować bazy kodowe na szybszy kompilator TypeScript 7 oparty na języku Go.