Сравнение агентов Frontier AI: Astra, Flash, Fable и Mythos
Подробный анализ того, как новейшие версии моделей GPT, Gemini и Claude справляются с реальными задачами, требующими использования агентов, такими как программирование, просмотр информации и работа с инструментами, а не только на тестовых площадках.
Раньше правила сравнения ИИ были предсказуемыми.
GPT против Gemini против Claude.
Вы давали каждому из них одинаковый запрос, выстраивали ответы рядом и выбирали тот, который звучал лучше. Такой подход больше не отражает то, что действительно важно.
Эти новейшие версии, включая Astra от OpenAI, обновление Flash от Google, а также версии Fable и Mythos от Anthropic, оцениваются по гораздо более строгим критериям:
Может ли ИИ-агент поставить себе цель, использовать нужные инструменты, писать и отлаживать код, навигировать в Интернете, управлять интерфейсом компьютера, восстанавливаться после ошибок и выполнить сложную задачу до конца с минимальной помощью человека?
Это изменение имеет огромное значение для разработчиков, и после анализа недавних результатов тестирования и сопутствующих описаний система выглядит гораздо более сложной, чем простой рейтинг:
GPT-6 Astra оказывается самым мощным универсальным инструментом среди современных моделей, Gemini 3.8 Flash, возможно, предлагает лучшее соотношение мощности и стоимости, Claude Fable 5.1 по-прежнему превосходно справляется с задачами в области программной инженерии и научных исследований, а Mythos 5.1 указывает на направление развития специализированных моделей будущего.
Далее рассмотрим каждую из них более подробно.
1. GPT-6 Astra: OpenAI делает ставку на инструменты типа «агентов»
OpenAI представляет GPT-6 Astra как самую умную и наиболее подходящую по характеристикам модель на сегодняшний день, отмечая улучшения в таких областях, как работа с компьютером, программирование, научное мышление, кибербезопасность и рабочие процессы профессионального уровня.
Однако ключевым фактором здесь является не один-единственный показатель из таблицы рейтингов.
Это способность модели фактически выполнять задачи, требующие автономных действий.
Astra способна:
- Навигировать по веб-сайтам
- Управлять графическими интерфейсами пользователя
- Заполнять формы
- Манипулировать таблицами
- Создавать веб-сайты
- Проводить проверку качества фронтенда
- Устанавливать и тестировать программное обеспечение
- Находить ошибки в приложениях
- Выполнять задачи по программированию, занимающие длительное время
- Взаимодействовать с научными инструментами и программным обеспечением
- Генерировать документы и презентации
По данным OpenAI, Astra показала результат 72,6% в тесте OSWorld 2.0, тогда как предыдущая версия GPT-5.6 Sol — 65,7%, причем она выполняет аналогичные задачи значительно быстрее.
Особенно привлекательна Astra в области инженерии программного обеспечения.
Результаты тестирования на Terminal-Bench 4.0 наглядно это иллюстрируют:
Но одна лишь генерация кода не раскрывает всей картины.
Компания OpenAI также внедрила инструменты для сохранения контекста в Codex, благодаря чему длительные сессии программирования больше не приводят к всё более размытым кратким изложениям предыдущей работы. Вместо этого прошлый контекст остаётся доступным для поиска и восстановления.
Для всех, кто разрабатывает программное обеспечение, это гораздо более значимое улучшение, чем несколько дополнительных процентов в результатах тестирования, поскольку реальная инженерная работа не происходит в рамках коротких обменов сообщениями по 20 штук.
Она разворачивается в ходе сотен взаимосвязанных решений, принимаемых на протяжении нескольких дней.
2. Gemini 3.8 Flash: Модель «Почему это так дёшево?»
Затем Google выпустил что-то, что застало всех врасплох.
Gemini 3.8 Flash.
Google называет его самой мощной моделью серии Flash на сегодняшний день, разработанной для выполнения сложных задач в области программирования, работы автономных агентов и решения требовательных задач на логическое мышление, при этом сохраняя скорость и доступность, за которые известна серия Flash.
Цена его API при запуске составляет $0,75 за 1 млн входных токенов и $3,75 за 1 млн выходных токенов.
Это значительно ниже цен API от Astra, которые составляют $10 за 1 млн входных токенов и $50 за 1 млн выходных токенов.
Интересно то, что Gemini 3.8 Flash конкурирует не только благодаря низкой нагрузке на ресурсы.
Он вкладывает больше усилий там, где это действительно важно.
Google поясняет, что модель может выполнять дополнительные процедуры логического анализа и неоднократно использовать инструменты, когда это требуется задачей.
Его набор функций включает:
- Окна контекста до 1 млн токенов
- Мощность вывода до 64 килотокенов
- Возможность настройки интенсивности рассуждений
- Интеграция инструментов
- Поддержка автономных агентов
- Расширенные возможности для программирования
- Рабочие процессы, готовые к использованию в корпорациях
Google особо отмечает высокую производительность в тесте DeepSWE v1.1, предназначенном для решения сложных инженерных задач без участия человека.
Модель также достигает показателя 54,9% в тесте HLE-Verified.
Основная стратегия довольно умна:
Вместо того чтобы делать каждый запрос более умным в целом, выделять дополнительные ресурсы следует только тем задачам, которые действительно в этом нуждаются.
Весьма вероятно, именно в этом направлении будут развиваться ценообразование и производительность агентных ИИ. Тестирование этой модели в рамках проекта Antigravity с целью создания портфолио-сайта позволило увидеть, как это работает на практике.
3. Claude Fable 5.1: Anthropic оптимизирует решения для реальных задач
Ответ Anthropic на эту конкуренцию представлен в двух версиях: Claude Fable 5.1 и его более ограниченная версия Claude Mythos 5.1. Claude Fable 5.1 не пытается впечатлить пользователя достижениями в топах эффективности.
Вместо этого его преимущества заключаются в чем-то более полезном в повседневной работе: непрерывной инженерной деятельности, исследовательских задачах и работах, требующих глубоких знаний. Успехи Anthropic в этой области значительны.
По тесту Terminal-Bench-Science Claude Fable 5.1 показал результат 52,6%, что в два с лишним раза превышает 24,7%, достигнутые предыдущей версией Fable 5.
В тесте Terminal-Bench 4.0 модель Fable 5.1 показывает результат 55,8%, тогда как более специализированный тест Mythos 5.1 дает значение 60,9% согласно собственному сравнению компании Anthropic.
Дополнительные результаты для Fable 5.1 выглядят следующим образом:
- OSWorld 2.0 (частичный тест): модель достигает 77,9%
- CursorBench: результат составляет 73,4%
- Humanity's Last Exam (без доступа к инструментам): результат — 60,9%
- Тот же тест, но с использованием инструментов: производительность повышается до 65,0%
- AutomationBench: результат — 31,4%
Однако наиболее важным улучшением для практикующих разработчиков может оказаться совсем не показатель производительности в тестах — это эффективность.
Компания Anthropic утверждает, что Fable 5.1 способен обеспечить качество вывода, сопоставимое с Fable 5, при значительно меньших затратах при использовании настройок с низкой степенью сложности рассуждений, причем при работе с задачами, требующими действий агента, сокращение затрат может достигать примерно 45%.
Такое повышение эффективности имеет огромное значение, поскольку системы с агентами обладают хорошо известным недостатком: они являются аппетитными потребителями токенов.
Если простой обмен сообщениями в чат-боте может стоить около 5 000 токенов, то кодирующий агент, выполняющий реальную задачу, может потребовать сотни тысяч токенов. На таком уровне эффективность использования токенов моделью перестаёт быть просто деталью ценообразования и становится ключевой частью архитектуры системы.
4. Mythos 5.1 — это что-то особенное
Mythos 5.1 заслуживает отдельного рассмотрения.
По словам Anthropic, Fable 5.1 и Mythos 5.1 основаны на абсолютно одинаковой базовой модели. Разница между ними заключается не в исходных возможностях, а в механизмах безопасности и ограничениях доступа, применяемых к определённым чувствительным функциям.
Mythos предназначен только для профессионалов, прошедших проверку и имеющих соответствующие квалификации, особенно в таких областях, как исследования в сфере кибербезопасности и передовая биология. Именно эти ограничения и являются сутью его использования.
Мы движемся к модели, при которой одна базовая модель может обеспечивать несколько различных «контейнеров возможностей» в зависимости от того, кто ею пользуется и как.
Основная модель может обладать чрезвычайно высокими возможностями в целом, но то, что ей фактически разрешено делать на практике, зависит от таких факторов, как:
- кто является пользователем
- в какой среде выполняется запрос
- какие инструменты доступны
- как контролируется сессия
Это существенно отличается от традиционной модели, при которой одна модель размещается за другой API, и считается, что всё готово.
5. Гонка в области кибербезопасности становится всё более серьезной
Этот раздел, возможно, имеет наибольшее значение во всем сравнении.
OpenAI утверждает, что GPT-6 Astra превзошла так называемый порог критической кибербезопасности, определенный в их рамках готовности к угрозам. Компания сообщает, что Astra способна находить ранее неизвестные уязвимости и создавать рабочие эксплойты против защищенных систем с минимальным участием людей.
Цифры подтверждают это:
- 100% на ExploitBench
- 88% pass@1 на SRE-Bench
OpenAI также утверждает, что во время оценок, проведённых внешними экспертами, Astra действительно выявил реальные, ранее неизвестные уязвимости.
Google выбирает другой подход с Gemini 3.8 Flash Cyber — вариантом, разработанным специально для защиты, а не для атак. Он предназначен для автономного обнаружения уязвимостей и автоматического их устранения, причём доступ к нему предоставляется через программу Fairwind Program Google отобранным командам по безопасности.
Anthropic следует похожему пути, расширяя защитные возможности Fable 5.1 при одновременном строгом ограничении деятельности, связанной с созданием эксплойтов.
Вывод из работ всех трёх лабораторий ясен: кибербезопасность стала одним из ключевых направлений в гонке за создание передовых ИИ-систем.
И это касается обеих сторон — эта возможность действительно ценна для защитников, но при неправильном использовании представляет серьезную опасность.
6. Какой же вариант побеждает?
Вот практический способ оценить эти три варианта с точки зрения человека, который фактически использует их в работе.
Тем не менее, к любой таблице сравнения следует относиться с осторожностью: не стоит рассматривать ее как окончательную классификацию, применимую во всех случаях.
Каждый поставщик проводит свои тесты с использованием собственной настройки, собственного набора инструментов и собственной системы оценки, поэтому цифры в строгом смысле не являются прямо сопоставимыми. Сама OpenAI признала, что результаты тестов могут отличаться от того, что вы увидите в реальных условиях работы, в основном из-за различий в системных командах и используемых инструментах.
В конечном итоге «лучшая» модель — это не фиксированный ответ: она полностью зависит от конкретной нагрузки, с которой её ставят.
7. Что на самом деле должны использовать разработчики?
Если ваша цель — создать автономного агента для программирования, разумной отправной точкой будет:
GPT-6 Astra
Учитывая сочетание умений в программировании, навыков работы с компьютером, способности к логическому мышлению, сохранения контекста и выполнения задач с помощью инструментов, его можно считать наиболее многофункциональным универсальным агентом среди трех.
Если же вы разрабатываете приложения, которые должны работать в масштабе, стоит обратить внимание на:
Gemini 3.8 Flash
Цены на его услуги кажутся вполне обоснованными. При стартовой цене API он стоит примерно в 13 раз дешевле за токен входных данных и в 13 раз дешевле за токен выходных данных по сравнению со стандартными тарифами Astra.
Это преимущество — это не просто небольшая экономия ресурсов; оно отражает совершенно иной архитектурный подход.
Если ваша работа связана с тяжелыми задачами по разработке программного обеспечения, исследованиями или программированию, которые выполняются в течение длительного времени, Fable 5.1 заслуживает места в вашем наборе инструментов.
Компания Anthropic явно настроила его с учетом непредсказуемой и сложной природы реальных инженерных задач, а не с целью достижения высоких позиций в рейтингах.
Для тех, кто работает в сфере передовых исследований в области безопасности или специализированных научных дисциплинах, такие системы с ограниченным доступом, как модели уровня Astra, Gemini Cyber и Mythos, относятся к совершенно другой категории по своим возможностям.
Более широкая картина
Здесь важно не то, какая компания обошла другую на конкретном тесте — такие сравнения быстро теряют актуальность.
Настоящий сдвиг выглядит следующим образом: чат-боты → помощники по программированию → агенты → автономные рабочие
В будущем разработчики не будут просто задавать ИИ вопросы вроде: «Напиши эту функцию».
Вместо этого они будут передавать гораздо более обширные задачи: указывая модели на кодовую базу, просить её выяснить причину ошибки, найти то, что на самом деле её вызывает, написать исправление, запустить набор тестов, подтвердить правильную работу интерфейса, обновить документацию и самостоятельно отправить запрос на слияние кода.
Затем они отойдут в сторону и позволят модели работать.
Вот что сейчас является настоящим тестом — не «Какая модель пишет самый чистый код?»
А скорее, «Какой модели можно доверить выполнение всей задачи от начала до конца?»
- GPT-6 Astra в настоящее время ближе всего к этому идеалу.
Для разработчиков вывод прост: перестаньте рассматривать ИИ-модели как чат-ботов и начните рассматривать их как вычислительную инфраструктуру.
Потому что именно в этом направлении они движутся.