Порівняння агентів Frontier AI: Astra, Flash, Fable та Mythos
Детальний аналіз того, як останні версії моделей GPT, Gemini та Claude виконують реальні завдання з агентної діяльності, такі як програмування, перегляд інформації та використання інструментів, а не лише результати тестування.
Правила порівняння ШІ раніше були передбачуваними.
GPT проти Gemini проти Claude.
Ви давали кожному з них ідентичний запит, порівнювали відповіді та обирали ту, яка звучала найкраще. Такий підхід більше не враховує те, що справді має значення.
Цю нову серію версій — включаючи Astra від OpenAI, оновлення Flash від Google та версії Fable та Mythos від Anthropic — оцінюють за набагато суворішими критеріями:
Чи може агент ШІ зрозуміти мету, використати потрібні інструменти, писати та виправляти код, навігувати в Інтернеті, керувати інтерфейсом комп’ютера, відновлюватися після помилок та виконувати складне завдання до кінця з мінімальною допомогою людини?
Ця зміна має величезне значення для розробників, і після аналізу нещодавніх результатів тестування та супровідних описів систем ця картина виявляється більш складною, ніж простий рейтинг:
GPT-6 Astra виходить найсильнішим універсальним агентом, Gemini 3.8 Flash може пропонувати найкращий баланс між можливостями та вартістю, Claude Fable 5.1 продовжує демонструвати високі результати у складній роботі з програмною інженерією та дослідженнями, а Mythos 5.1 вказує на майбутній напрямок розвитку спеціалізованих моделей.
Ось детальніший огляд кожної з них.
1. GPT-6 Astra: OpenAI робить ставку на агентів
OpenAI позиціонує GPT-6 Astra як свою найрозумнішу та найбільш придатну до певних завдань модель на сьогодні, наводячи покращення у роботі з комп’ютерами, програмуванні, науковому мисленні, кібербезпеці та професійних робочих процесах.
Проте те, що вирізняється, — це не одне-єдине число з табелі лідерів.
Це здатність моделі фактично виконувати завдання, що потребують автономної діяльності.
Astra здатна:
- Навігувати по веб-сайтах
- Керувати графічними інтерфейсами користувача
- Заповнювати форми
- Маніпулювати електронними таблицями
- Створювати веб-сайти
- Перевіряти якість фронтенду
- Встановлювати та тестувати програмне забезпечення
- Виявляти помилки в додатках
- Виконувати завдання з програмування, що тривають протягом тривалого часу
- Взаємодіяти з науковими інструментами та програмним забезпеченням
- Створювати документи та презентації
За даними OpenAI, Astra набрала 72,6% у тесті OSWorld 2.0, на відміну від 65,7% у попередньої версії GPT-5.6 Sol, причому виконує схожі завдання значно швидше.
Особливо переконливо Astra проявляє себе у галузі інженерії програмного забезпечення.
Результати тестування на Terminal-Bench 4.0 ілюструють це:
Але сама лише генерація коду не розповідає всієї історії.
OpenAI також додала до Codex інструменти для зберігання контексту, тож тривалі сеанси програмування більше не перетворюються на все більш неточні узагальнення попередньої роботи. Натомість минулий контекст залишається доступним для пошуку та отримання.
Для кожного, хто створює програмне забезпечення, це набагато значущіше оновлення, ніж кілька додаткових відсотків у тестах, адже реальна інженерна робота не відбувається у коротких обмінах повідомленнями по 20 одиниць.
Вона розгортається через сотні взаємопов’язаних рішень, прийнятих протягом кількох днів.
2. Gemini 3.8 Flash: Модель „Чому це так дешево?“
Потім Google випустила щось, що здивувало всіх.
Gemini 3.8 Flash.
Google описує його як найсильнішу модель серії Flash на сьогодні, створену для складних завдань у сфері програмної інженерії, автономних робочих процесів та вимогливих задач на міркування, при цьому зберігаючи швидкість та доступну ціну, за якими відома лінійка Flash.
Початкова ціна його API становить $0,75 за 1 млн вхідних токенів та $3,75 за 1 млн вихідних токенів.
Це значно нижче, ніж ціни API від Astra — $10 за 1 млн вхідних токенів та $50 за 1 млн вихідних токенів.
Цікаво те, що Gemini 3.8 Flash не конкурує виключно за рахунок низької ваги.
Він докладає більше зусиль там, де це важливо.
Google пояснює, що модель може виконувати додаткові кроки міркувань та багаторазово викликати інструменти, коли це необхідно для виконання завдання.
Його набір функцій включає:
- Вікна контексту до 1 млн токенів
- Місткість вихідних даних до 64 К токенів
- Можливість налаштування інтенсивності міркувань
- Інтеграція інструментів
- Підтримка автономних агентів
- Розширені можливості кодування
- Робочі процеси, придатні для корпорацій
Google підкреслює особливо високу продуктивність у тесті DeepSWE v1.1 — бенчмарку, створеному для розв’язання складних інженерних проблем без участі людини.
Модель також досягає показника 54,9% у тесті HLE-Verified.
Основна стратегія є розумною:
Замість того, щоб робити кожен запит більш ефективним у всіх аспектах, виділяти додаткові ресурси лише для тих проблем, які це справді вимагають.
Це, ймовірно, саме той напрямок, у якому будуть розвиватися ціни та продуктивність агентських ШІ. Тестування цієї моделі в середовищі Antigravity з метою створення сайту-портфоліо дало уявлення про те, як це виглядає на практиці.
3. Claude Fable 5.1: Anthropic оптимізує для реальної роботи
Відповідь Anthropic на цю конкуренцію має два варіанти: Claude Fable 5.1 та його більш обмежений аналог — Claude Mythos 5.1. Fable 5.1 не намагається вразити користувачів показниками, які свідчать про перевагу над іншими.
Натомість його цінність полягає у чомусь більш корисному у повсякденній роботі: стабільній інженерній діяльності, наукових дослідженнях та роботах, що вимагають глибоких знань. Переваги Anthropic у цій сфері є значними.
У тесті Terminal-Bench-Science Fable 5.1 досягає показника 52,6%, що більш ніж удвічі перевищує 24,7%, зафіксовані попередньою версією Fable 5.
У тесті Terminal-Bench 4.0 модель Fable 5.1 набирає 55,8%, тоді як більш спеціалізований тест Mythos 5.1 підвищує цей показник до 60,9% згідно з власними порівняннями Anthropic.
Інші результати для Fable 5.1 виглядають так:
- OSWorld 2.0 (частково): модель досягає 77,9%
- CursorBench: показник становить 73,4%
- Humanity's Last Exam (без доступу до інструментів): показник становить 60,9%
- той самий тест, але з використанням інструментів: продуктивність підвищується до 65,0%
- AutomationBench: показник становить 31,4%
Проте найважливішим покращенням для розробників може бути зовсім не показник тесту — це ефективність.
Anthropic стверджує, що Fable 5.1 може досягати такої ж якості результату, що й Fable 5, проте при цьому витрачає значно менше ресурсів у режимах з нижчою складністю обробки інформації, а саме завдання, що виконуються за допомогою агентів, можуть мати зниження витрат приблизно на 45%.
Це підвищення ефективності має велике значення, адже системи з агентами мають добре відому слабкість — вони є інтенсивними споживачами токенів.
Якщо проста переписка з чат-ботом може коштувати близько 5 000 токенів, то агент, який виконує реальне завдання, може спожити сотні тисяч токенів. На такому рівні ефективність використання токенів моделлю більше не є деталлю ціноутворення, а стає ключовою частиною архітектури вашої системи.
4. Mythos 5.1 — це щось інше
Mythos 5.1 варто розглянути окремо.
За словами Anthropic, Fable 5.1 та Mythos 5.1 побудовані на абсолютно однаковій основній моделі. Те, що їх відрізняє, — це не базові можливості, а механізми безпеки та обмеження доступу, які застосовуються до певних чутливих функцій.
Mythos призначений лише для перевірених, кваліфікованих фахівців, особливо у галузях таких як дослідження кібербезпеки та передова біологія. Саме ці обмеження є ключовими.
Ми рухаємося у напрямку сценарію, коли одна основна модель може підтримувати кілька різних „контейнерів можливостей“ залежно від того, хто її використовує та як.
Основна модель може бути надзвичайно потужною в усіх аспектах, але те, що їй насправді дозволено робити на практиці, залежить від таких факторів, як:
- хто є користувачем
- у якому середовищі виконується запит
- які інструменти є у розпорядженні
- як контролюється сеанс
Це значно відрізняється від традиційної моделі, коли одну модель розміщують за іншою API та вважають це завершеним.
5. Гонка у сфері кібербезпеки стає все серйознішою
Цей розділ, можливо, має найбільше значення серед усього порівняння.
OpenAI стверджує, що GPT-6 Astra перевищив те, що компанія називає критичним порогом кібербезпеки, визначеним у її Фреймворку підготовки. Компанія повідомляє, що Astra здатний виявляти раніше невідомі вразливості та створювати засоби експлуатації проти захищених систем з мінімальною участю людини.
Цифри підтверджують це:
- 100% на ExploitBench
- 88% pass@1 на SRE-Bench
OpenAI також зазначає, що під час оцінок, проведених зовнішніми експертами, Astra дійсно виявила реальні, раніше невідомі вразливості.
Google обирає інший підхід з проектом Gemini 3.8 Flash Cyber — варіантом, створеним спеціально для захисту, а не для атаки. Він призначений для автономного виявлення вразливостей та їх автоматичного усунення, а доступ до нього надається через програму Fairwind Program Google обраним командам з безпеки.
Anthropic йде схожим шляхом, розширюючи захисні можливості Fable 5.1, водночас суворо обмежуючи будь-які дії, пов’язані з створенням експлойтів.
Висновок усіх трьох лабораторій є чітким: кібербезпека стала одним із основних напрямків у гонці за створення передових систем ШІ.
І це стосується як захисників, так і атакувальників — ця можливість справді корисна для захисників, але становить справжню небезпеку у неправильних руках.
6. То яка модель перемагає?
Ось практичний спосіб оцінити ці три моделі з точки зору людини, яка їх фактично використовує.
Проте до будь-якої таблиці порівняння слід додати важливе попередження: не сприймайте її як остаточний рейтинг, який діє скрізь.
Кожен постачальник проводить свої тестування з власною налаштовкою, власним набором інструментів та власною системою оцінки, тому цифри за суворими мірками не є прямо порівнянними. Сама OpenAI визнала, що результати тестів можуть відрізнятися від того, що ви побачите насправді у продакшені, переважно через відмінності у системних командах та інструментах, які використовуються.
У кінцевому підсумку „найкраща“ модель — це не фіксована відповідь; все залежить виключно від конкретного обсягу роботи, який ви їй покладаєте.
7. Що насправді повинні використовувати розробники?
Якщо ваша мета — створити автономного агента для програмування, розумним вихідним пунктом є:
GPT-6 Astra
Враховуючи поєднання навичок програмування, здатності користуватися комп’ютером, міркувань, збереження контексту та виконання завдань за допомогою інструментів, цей агент, мабуть, є найбільш здатним універсальним агентом серед цих трьох.
Якщо ж ви створюєте додатки, які потребують масштабного функціонування, вам варто уважно розглянути:
Gemini 3.8 Flash
Ціни на нього важко оскаржити. За початковою ставкою API він коштує приблизно у 13 разів дешевше за токен вхідних даних та у 13 разів дешевше за токен вихідних даних порівняно зі стандартними цінами Astra.
Ця перевага — це не просто незначне підвищення ефективності; вона свідчить про справді інший архітектурний підхід.
Якщо ваша робота передбачає складну розробку програмного забезпечення, дослідження чи завдання з програмування, які тривають протягом тривалого часу, Fable 5.1 заслуговує на місце у вашому інструментарії.
Компанія Anthropic чітко налаштувала його з урахуванням непередбачуваної та складної природи справжньої інженерії, а не з метою досягнення високих позицій у рейтингах.
Для тих, хто працює у сферах передових досліджень у сфері безпеки чи спеціалізованих наукових галузях, системи типу моделей рівня Astra, Gemini Cyber та Mythos належать до зовсім іншої категорії за своїми можливостями.
Ширша картина
Тут важливо не те, яка компанія перевершила іншу за певним критерієм — таке порівняння швидко втрачає актуальність.
Справжня трансформація виглядає так: чат-боти → асистенти з програмування → агенти → автономні працівники
У майбутньому розробники не будуть просто запитувати ШІ щось на кшталт: „Напиши цю функцію.“
Натомість вони передадуть набагато ширші завдання: покажуть моделі базу коду, попросять її з’ясувати, чому виникає баг, знайти справжню причину, написати виправлення, запустити набір тестів, підтвердити правильну роботу інтерфейсу, оновити документацію та самостійно надіслати запит на об’єднання коду.
Потім вони відступлять убік та дозволять їй працювати.
Ось який зараз справжній тест — не „Яка модель пише найчистіший код?“
А радше, „Яку модель можна довірити виконанню всього завдання від початку до кінця?“
- GPT-6 Astra наразі найбільше наближений до цього ідеалу.
Для розробників висновок простий: припиніть ставитися до моделей ШІ як до чат-ботів та почніть ставитися до них як до обчислювальної інфраструктури.
Адже саме в цьому напрямку вони рухаються.