Порэванне агентаў Frontier AI: Astra, Flash, Fable і Mythos
Пераклад таго, як найновейшыя версіі модэляў GPT, Gemini і Claude выконваюць рэальныя заведамыя задачы, такія як програмаванне, перегляд інфармацыі і викорыстанне інструментаў, а не толькі рэзультаты теставання.
Правіла порэванаў AI раней былі прыемлівыя для прагнозавання.
GPT проты Gemini проты Claude.
Вы давалі кожнаму з іх ідэнтычны запит, ставілі адпаведзі з іх па боку ўжоў і выбіралі тую, якая звучала лепей. Такой падход больш не відображае таго, што ёсць значным.
Этыя найнаветранэйшыя версіі, якія включаюць Astra ад OpenAI, апдэйт Flash ад Google, а таксама версіі Fable і Mythos ад Anthropic, оцэнююцца за набліжна вышэйшым стандартам:
Чы можа AI-агент абмовіцца на цялевай мете, выкарыстаць правыя інструменты, напісаць і вылагодзіць код, навігаваць у Інтэрнете, кантролюваць інтерфейс комп’ютара, вярнуцца да роботы пасля адказоў і завершыць складную задачу з мінімальной дапамогай чалавека?
Гэтыя змены маюць вельмі значны адзінак для разрабоў, і пасля аналізу няўжоўных рэзультатаў тестаў і супакінутых з імі апісанняя систем, картына, якая вырываецца, є болей мнагаслоўная, чым простая класафікацыя:
GPT-6 Astra выступае як найболей спроможны універсальны агент, Gemini 3.8 Flash можа запропанаваць найлепшы баланс між спроможнасцю і костам, Claude Fable 5.1 продаўжае адзінакавацца ў роботе з расширэнымі проектамі практычнага програмавання і науковымі даследжэннямі, а Mythos 5.1 падказвае, куды будуць развівацца спецыялізаваныя моделі.
Ёсць болей дакладны аналіз кожнага з іх.
1. GPT-6 Astra: OpenAI ставіць усе на агентаў
OpenAI прызначае GPT-6 Astra як свой найрозумнейшы і найболей адпаведны модэль да гэтага часу, паказваючы прырост у роботе з комп’ютарамі, програмаванні, науковым мышлэнні, кібербезяце і професыйных робочых практыках.
Аднак тое, што выдзеляецца, — гэта не адзін показначык з табелі лідэраў.
Это здатнасць модэлі рэальна выканаць задачы, якія трэбуе агентскага падходу.
Astra можа:
- Навігаваць па веб-сайтах
- Контролаваць графічныя інтэрфейсы
- Заповнюваць формы
- Маніпуляваць табліцамі
- Ствараць веб-сайты
- Адклікаць пераконтроль якосці фронтэнду
- Інсталаваць і тэставаць прыгрупованне
- Шукаць багі ў прыгрупованні
- Выканаць задачы з кодавання, якія трэбуе вялікаг часу
- Інтэракцыя з научнымі інструментамі та прыгрупованнем
- Ствараць дакументы та презентацыі
Па данню OpenAI, Astra пасягае 72,6% у тэсте OSWorld 2.0, проты 65,7% у пакульнай версіі GPT-5.6 Sol, і гэта дасягаецца за меньш час, чым для пакульнай версіі.
У частыне інжынерыі прыгруповання Astra практычна нейкласова.
Рэзультаты яго на тэстах Terminal-Bench 4.0 ілуструюць гэта:
Але сама толькі генераванне коду не паказвае всей картынкі.
OpenAI таксама дадала ў Codex інструменты для зберагчэння контексту, таму довгія сесіі програмавання больш не ператвараюцца на ўсё болей некальканосныя апісанні пакульшых работ. У замен прыгожджаны контекст застаецца доступным для пошуку та адзыскання.
Для кожнага, хто стварае програмнае забезпечэнне, гэта зноўу ж такі значны апград у пораўнанні з калькама дапаможных падсчытакоў у тэстах, адколі рэальная інжынерная праця не вядзецца ў мінуцы 20 перадачаў паведамленняў.
Яна розгортаецца ў меры сотняў взаінасвязаных рашэнняў, якія прыменяюцца працоўнікаў працаваючыя калькі дзён.
2. Gemini 3.8 Flash: Модель „Чаму гэта так дашчава?“
Потым Google выдала ўсё, што застало людзей без адпаведзі.
Gemini 3.8 Flash.
Google апісвае яго як наймоцнейшы модель з серіі Flash даўжэйш часу, створаны для виконання складных заведамацькіх задач, роботы автонамных агентаў і рашэння сложных прыкладоў, пры чым захаваецца швальнасць і доступная цена, прызнакі лінійкі Flash.
Пачатковая цена яго API станавіць $0,75 за 1 млн токенаў вхідных дадзеных і $3,75 за 1 млн токенаў выходных дадзеных.
Гэта значна нижэй за цены API ад Astra, якія станавяць $10 за 1 млн токенаў вхідных дадзеных і $50 за 1 млн токенаў выходных дадзеных.
Інтэреснае ў гэтым тое, што Gemini 3.8 Flash не конкуруе чыста за справу лёгкасці.
Ён дакладае больш зусілля там, дзе гэта неабходна.
Google пояснюе, што модель можа выконваць дадатковыя крокі рашэння і паўтараючыся вызываць інструменты, калі для цього є патрэба.
Яго набор функцый включае:
- Акна контэксту до 1 мільйона токенаў
- Магчымасць выходу аж 64 К токенаў
- Інтэнсівнасц разумовых вычыслень, якая можа быть налаштаваная
- Інтеграцыя з інструментамі
- Падтрымка автонамных агентаў
- Расшырэныя можлівасці кодавання
- Рабочыя процесы, прымемныя для падпрыёмаў
Google выдзеляе ўжо особа якісныя показнікі у тэсте DeepSWE v1.1 — стандарце, які апіраецца на рашэнне складных інжынерных задач без участі людзяў.
Модель таксама досягае 54,9% у тэсте HLE-Verified.
Основная стратэгія ў ціх задачах є розумной:
Уместа таго, каб робіць кожны запит адночасна болей розумным, выделяць додатковыя вычысловыя ресурсы толькі для тых задач, якімі ў рэальнасці яны неабходны.
Ця якраз тая напрамоц, куды, што верагодна, буду працаваць цінаванне та карыстнасць агентных AI. Тэставанне гэтага модэлю ў Antigravity з метай стварэння веб-сайта для портфеля дала уявленне пра тое, як гэта выглядае на практыцы.
3. Claude Fable 5.1: Anthropic оптымізуе для рэальнай працы
Адказ Anthropic на гэную гонку выглядае у двух варыянтах: Claude Fable 5.1 та яго болей строгі аналаг Claude Mythos 5.1. Fable 5.1 не намагаецца задзівіць вас паводарамі пра першасці ў табелі лідэраў.
У замен яго цэннасць закладаецца на ўсё корыстнейшыя для повсякдзеннай працы аспекты: стабільная інжынерная праця, задачы дакладных даследжэнняў та роботы, якія выкарыстоўваюць великі обсяг знанняў. Досягненні Anthropic у гэй сферы ў значным ступені.
У тэсте Terminal-Bench-Science Fable 5.1 пасягае 52,6%, што ў два разы больш за 24,7%, які паказаў пярэдні Fable 5.
У тэсте Terminal-Bench 4.0 Fable 5.1 параджуе 55,8%, тады як болей спецыялізаваны Mythos 5.1 у саўстанніх порэваннях Anthropic даходзіць да 60,9%.
Дадатковыя рэзультаты для Fable 5.1 выглядаюць так:
- OSWorld 2.0 (часткова версія): модель параджуе 77,9%
- CursorBench: рэзультат — 73,4%
- Humanity's Last Exam (без даступу да інструментаў): параджуе 60,9%
- той жа тэст, але з включанымі інструментамі: рэзультат падыходзіць да 65,0%
- AutomationBench: рэзультат — 31,4%
Аднак найважлівейшыя павышэння для разработчыкаў, якія працуют у практыцы, можа ўзагалі не быть рэзультатамі тэстаў — гэта эфектываасць.
Компанія Anthropic стверджуе, што Fable 5.1 можа парадыравацься за якасцю выходных даных з Fable 5, пры тым витрачаючы значна меншыя сумы пры меншай ступені зусиль для рашэння, і што адзёртаваныя задачі можа прынесці знижэння виткоў прыблізна на 45%.
Такое падвышэння эфектыўнасці мае важлівэ значэнне, адколі системы на адзёрах маюць вядомую слабась: яны ўсасаюць вельмі большую колькасць токэнаў.
Якшто простая абмянка з чат-ботам можа коштаць прыблізна 5 000 токэнаў, то кодавальны адзёр, які выканае рэальную задачу, можа выкарыстоўваць сотні тысяяў токэнаў. У такых масштабах эфектыўнасць выкарыстоўвання токэнаў модэлем перастае быць деталлю цены і становіцься ключоўной часткай архітэктуры вашай системы.
4. Mythos 5.1 — гэта ўсё іншае
Mythos 5.1 заслуговае на аднаэтны анаіз.
За словам Anthropic, Fable 5.1 і Mythos 5.1 паблікуецца на абсалютнаадзейным тыяжэйскім модэле. Тое, што іх адзінае, — гэта не чыстая спроможнасць, а сістэма захоўнага регулювання і обмежэннія доступу, прыкладзеныя да певных чутлівых функцый.
Mythos прызначаны для перакананых, атстаўленых спецялістаў, у першую чаргу ў такіх галузях, як дакледжэння кібербезпекі і прыглыбленая біялогія. Самэ гэтае обмежэння і є галоўная мета.
Мы праходзім да такога патэрану, калі адны тыяжэйскі модэль можа падтрымваць кальколька разных „пакетаў спроможнасцяў“ залежна ад таго, хто і як яго выкарыстоўвае.
Асновны модэль можа быць надзвычайна спроможным у всіх аспектах, але тое, што яму на практыцы разрашаецца робіць, залежыць ад такіх фактараў, як:
- хто є выкарыстоўвальнік
- у якой средзе выканана запытка
- якія інструменты є доступныя
- як стаўіцца пад нагляд сэсія
Это значна іншая схема, чым традыцыйны модэль, калі адна модэль выкладвается пасля іншай API і супадае, што все гатова.
5. Гонка ў сфэре кібербезпекі стае серьёзней
Гэты раздзіл можа мець найбольшы значэнне ў всім паўтаранні.
OpenAI стварыла, што GPT-6 Astra перасягнула тое, што яна называе критычным порогам кібербезпековых можаўсцей, які быў вяліканы ў её Фрэймворку падготовкі. Компанія адзвярцала, што Astra можа знаходзіць раней невядомыя вразламы і ствараць способы ўражэння для захіщаных систем паўтарыльна, з мінімальным участком людзей.
Цыфры гэта падтрымліваюць:
- 100% на ExploitBench
- 88% pass@1 на SRE-Bench
OpenAI таксама зазначае, што пад час ацэнкаў, якія выканалі сторонні эксперты, Astra практычна выявіў рэальныя, раней невядомыя вразламы.
Google выбірае іншы падход з Gemini 3,8 Flash Cyber — варіянтом, створаным спецыяльна для захоўкі, а не для наступу. Ён прызначаны для автонамнага выявлення вразламоў і аўтаматычнага ўстранення яных, пры чым доступ да яго розповсюджваецца через Fairwind Program Google сярод перакананых у сваёй безпецы команд.
Anthropic таксама следуе падобнаму шляху, расшырюючы захоўнія можлівасці Fable 5,1, адночасна строго обмежваючы ўсё, што стосуецца стварэння эксплайтаў.
Вывад з усіх трох лабараторый ясны: кібербезпека стала аднай з галоўных ліній борбы у суперніцтве за стварэнне апошняях систем AI.
І гэта стосуецца як захістчыкаў, так і нападчыкаў — гэтая можлівасць ёсць практычна цэнная для захістчыкаў, але ў неправильных руках стварае сэрьёзную небяпеку.
6. Тады які модэль выграе?
Ёсць практычны спосаб прымэркаваць гэтыя тры модэлі для тых, хто фактычна іх викорыстоўвае.
Протэму, да кожнай табліцы поручнаеў прылегае важны паведамленне: не спрыямляйцеся на яе як на абовесны рэйтинг, який паслужыць у всіх супадкі.
Кожны прадавець адбывае сваі тэсты з выкарыстаннем сябеўскай наладкі, сябеўскага набору інструментоў та сябеўскага прыладу для ацэнкі, таму цыфры не ўможна безальтернатыўна парабяляваць. Сама OpenAI прызнала, што рэзультаты тэстаў можу адрозніцца ад таго, што вы побачыце ў рэальных умовах, галоўная прычына — разлікі ў заповедзях системы та інструментах, якія ўжоўваюцца.
У канцы «найлепшы» модель — гэта не фіксаваная адказ, вона завышэй заўсёды залежыць ад конкретнай навантажэнняй, якае вы яй прадаёте.
7. Чым насправды должны користавацца разработчыкі?
Якщо ваша мета — стварыць автонамнага агента для кодавання, то разумны пачатковы пункт — гэта:
GPT-6 Astra
Урахаваючы тое, як ён спалюе навыки кодавання, здатнасць выкарыстоўваць комп’ютер, разумаванне, стойкі контэкст і выконання інструментаў, можна сказаць, што ён являецца найболей спроможным універсальным агентам сярод трох.
Якщо ж вы ствараеце застосункі, якія трэба запускаць у великых масштабах, тады вам варта уважна паглядзець на:
Gemini 3.8 Flash
Цены яго працы вельмі прываблівыя. Пры початковай цэне API ёго вартасць становіць прыблізна 13 разоў дешэўей за токен уводу і 13 разоў дешэўей за токен выходу па апэксу, чым стандартныя цены Astra.
Эта разліка — не проста незначная перадача ў эфектывнасці; яна відбівае абсолютна іншы падход у архітектураы.
Якщо ваша робота включае складную працю з програмнага адзычэння, даследавання чы рэшэнне кодавальных задач, якія трываюць праўільна дзейсны час, Fable 5.1 заслуговае на месца ў вашым наборе інструментаў.
Компанія Anthropic явна налаштавала ўстаткування пад неперакладны, хаотычны характер рэальнага інжынерства, а не пад спробу павысіць рэйтинг у табелі лідераў.
А для тых, хто працуе у праўазначаных галузях науковых даследаваń чы высокіх ступеняў безпекі, такія системы, як моделі класу Astra, Gemini Cyber і Mythos, належаць да абсалютна іншай категоріі можлівасцей.
Большая історыя
Тут важліва не тае, якая компанія перагнала іншую па конкрэтным крітэрыю — такія порэвананні шыбка втрачаюць значэнне.
Рэальныя змены, якія відбуваюцца, выглядаюць так: Чат-боты → Памагчыкі для напісання коду → Агенты → Автонамныя працоўнікі
Разработчыкі ў будучыні не будуць проста запрашваць ШІ ўрадзіць кантрольны запит на кшталт: „Напісці гэты функцыя.“
У замен яны будуць даваць значна шырэе завдання: паказваць модэлю базу коду, прасіць яго з’ясавіць, чаму выходзіць баг, знайсці справжню прычыну, напісаць варыянт выправлення, запрацавіць набор тэстаў, паказаць, што інтарфейс працуе правільна, апдэйтуваць документацыю і самастоятельна падаць запрос на з’еднанне коду.
Потым трэба адступіць у бок і дазволіць яму працаваць.
Гэта ўжо справжнія праўільнае тэставанне — не „Калькі модэлю піша чыстыяй код?“
А радыя, „Калькі модэлю можна даверыць викананню всіх завданняў з самага пачатку да канца?“
- GPT-6 Astra наразе найбліжэй падходзіць да гэтага ідеалу.
Для разрабоўцав вывод просты: перастаць ставіцца да модэляў AI як да чатботаў і пачаць ставіцца да ўсёга гэтаго як да вычысловай інфраструктуры.
Адтуды ж і напрамак, у якім вони рухаюцца.