Ornith-1.0: мадэлі кадавання з адкрытымі вагамі ад 9B да 397B пад ліцэнзіяй MIT

Сяме модэляў пад назвай Ornith-1.0 выйшла пад ліцэнсам MIT як адкрыты код, а паказаныя для яе показнікі спрамованы яшчэ больш на агентны кодаванне. Зафіксаваныя рэзультаты: 82.4 па метрыце SWE-Bench Verified, 77.5 па Terminal-Bench 2.1, 62.2 па SWE-Bench Pro, 48.2 па NL2Repo і 77.1 па ClawEval; таксама 41.2 па наборэ пытанняў SWE Atlas QnA. Аргументам ў тым, што адкрытыя модэлі перасталі астаць позаду ў кодаванні і цяпер лідуюць у шырокам дыяпазоне размахоў, можна ўстановіць локальна, пры чым ўключаецца версія у фармаце GGUF. Гэта ўсё тыя тверджэнні самай версіі, таму трэба стаўіцца да паказнікаў лідэрборда з адной часткай адзячнасці, пераканаючыся, калі насправды можа запропанаваць гэта сяме модэляў.

Чатыры размахі

Ornith – гэта не адзін, а чатыры модэлі: 9B dense, 31B dense, 35B mixture-of-experts і 397B mixture-of-experts. Яны паслятрэнаваныя на базе Gemma 4 і Qwen 3.5. Такая разнаўтнасць ў размерах модэляў ёсць нечыстаю, адколькі у відкрытых версіях зазвычай выбіраецца маленькі, эфектыўны размер для простацкага вікорыстоўвання або вельмі вялікі размер для максымальной выдатковасці. У даным случае кожны з розных варыянтов мае сваю мэтавую аўдыторыю. 9B модэль можа працаваць на стандартных GPU для індывідуальных распрацоўшчыкаў без жадных затрат. 31B падходзіць для маленькіх команд, якія выкарыстоўваюць адзін сервер. 35B mixture-of-experts прызначаны для праектаў серэдніх размераў, дзе важліва эфектыўнасць, а 397B mixture-of-experts – для карпорацый, якія хочуць прыватную рэалізацію з збераганнем дадзенаў у сабе. Гэта больш супамінае выбір цэлага спектру можлівасцей, чым проста публікацію адзінай модэлі.

Што мерыюць рэйтынгі

SWE-Bench Verified дае модэлю рэальную проблему з GitHub і прасіць яго знайсці адпаведны код, змяніць яго і пераканаць усі тэсты на адпаведнае рашэння. Гэта справжня програмістская работа, а не розв’язкі загадак. Кваліфікаваныя людзкія распрацоўшчыкі зазвычай атрымуюць ад 70 да 75 процэнтав у такіх задачах, і гэта ўзагальнены ўзгоджаны показнік у індустрыі; показнік 82,4, зафіксаваны для Ornith, ёсць найвышэйшым показнікам, які можна пераканаць у публічных даных для гэтага тэсту. Згадаць трэба, што гэта ўсьмо ў віглядзе балу, і выданне не паказвае яго як процэнт.

SWE-Bench Pro выконвае змены ў калькольных файлах, рэфакторынг, які ахватвае розныя модулі, а таксама заплутаныя залежнасці; таму 62,2 паказвае, што ён справляецца з задачамі серэдней велічыны, а не толькі з простымі прадзеямі. Terminal-Bench 2,1 пераканальваецца ў працы ў рэальным тэрмінале: перамешчанні ў каталогах, пошуку па тэксту, рэдагаванні настройкаў, аптываркі служб і развяртанні прыкладнікаў, а 77,5 указвае на практычнае выкарыстоўванне тэрмінала, а не на яго сімуляцыю. NL2Repo выкарыстоўваецца для стварэння цэлага рэпазітарыя на адной з апісаў на простай мове, напрыклад, для прыкладніка календара задач. 48,2 здаецца скромным, калі не бралася за ўвагу ступень складнасці, і ён апісваецца як найкрашчы рэзультат сярод адкрытых модэляў.

Парадыс чытачам: рэзультаты тэстаў залежаць ад інструментаў, якія вікорыстоўваюцца для ўжывання ўсіх, і той самы модэль можа паказаць значна разныя рэзультаты пад разнымі настройкамі, таму перыяўтарэнне ваг у вашых сэрвэрах — гэта ўжо ўсё, што дапамагае з’ясаваць, як даныя параметры будуць дзейснавацца для вашай працы. Тым не менш, ў сукупнасці этыя даныя паказваюць карэнтнюе з вачэй інжынера, які працуе за тэрміналам, чытае код і самастойна выкананае заведамыя задачы развіцця, а не чат-бота, які проста гаворыць пра код. А гэты праект належыць да MIT і ўзлегкай доступны для комерчыяй ужыванні.

Дазвол на тое, каб модэль паспрабавала паспрабаваць сваеіе інструменты

Рэнкі не ўсё самае цікавае — важлівы тое, як ўсё было досягнуто. Інструменты для програмавання на асаблівайным інтэлекце складаюцца з двух слоёў: каркаса, які адпавядае за планаванне, вызов інструментаў і карыстоўванне кантэкстам, і часткі, якая пішчыць код, вылечыць багі і запускаць тэсты. Зазвычай команды самі ствараюць каркас за фіксаванымі правіламі і трэнуюць толькі частку, якая пішчыць код. Падход Ornith адбываеся за дапамою навчання з падкрэпленням для обох слоёў адразу, таму мадэль сама выклікае, што зробіць каркас лепшым, замест таго, каб інжынеры толькі здогадваліся.

Аналагія: аднаму працавальніку даюць молот, іншы сам разрабатвае свой молот і потым ім прабівае. Верагодна, у другога будзе зручнейшы інструмент. У рамках супэйзу самай команды мадэль сама паспрабоўвае паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспра

Калі гэта будзе правдой, наследкі будуць значныя, аднак не толькі на абсалютных цыфрах. Развіцце інструментаў для програмавання больш не будзе обмежвацца тым, што людзкіі інжынеры можаць уявіць як хорашую падставу, і мадэль зможа прыменяць стратэгіі выканання і комбінаціі інструментаў, якія ніхто не разрабатав. Калі такі цыкл падкрэплення запускаецца, ітэрацыі можуць пераскочыць ручную наладку.

Тырот на агентаў для програмавання з закрытым кодам

Агенты для кодавання ўжо давно вважаюцца последнім абаранам для модэляў з закрытым кодам. Задача ўскладнена: яй патрэбны кантэкст у складным рэпазітарыі, багатоэтапны планавання, чысленныя вызовы інструментаў, обработка зворотнай свярзкі пра памылкі і паўтаральная правка — гэта іншы рэвэрс ніж напісанне параграфа. Самэльга большыя лабораторыі ставяць вялікія ставкі на гэта. Кажуць, ў Claude Code годавы дохад перавышае 2,5 мільярда долераў, у GitHub Copilot ёсць дзесяткі мільйонаў корыстувачаў, а програмаванне з ай-і ўважаецца, мабыць, найшырэйшым і найнадзеянейшым джэрэлам дохаду ў гэй індустрыі. Адказ на гэта крыўця ў тым, што фундаментальныя модэлі можна роздаўаць безкоштовна, а саме працюючыя агенты для кодавання — гэта тое, за што трэба плаціць.

Потым з’являецца праект з ліцэнсам MIT, версіяю GGUF, можлівасцю розмішчэння на місцы, мадэлямі любога размеру — ад малых да вельмі вялікіх — а таксама з адзінамі з найкрашчых рэйтынгаў адкрытага кода па шасці крытэрыях. Команда, якая стоіць за ўсім гэтым, як паведамляецца, не ўскладнена з тыячы чалавек. Ёе опісваюць як доследню групу, якая здае дадатковыі аналіз існуючых адкрытых модэляў; не апавешчваецца ні пра фінансаванне, ні пра галоўную прымову — толькі модэлі, рэйтынгі і ліцэнс з вольнымі умовамі, выданыя спільнай спяльноты. Калі гэта правда, то гэта крычаўкавы контраст з праектамі, для стварэння якіх вітрачаліся мільярды.

Адкрыты проты закрытага

Прыгаючы да сучасных модэляў, на адзеўнай стороне знаходзяцца Ornith-1.0, DeepSeek V4, вядомы сваёй супэрнае спроможнасцю да програмавання, і Qwen 3.5, які паказаў значны прырост у здольнасцях да напісання коду; усе яны розповсюджуюцца пад ліцензіяй MIT або адпоўнайна адналікнымі умовамі, могуць быць запусканы локальна і выкарыстоўваны у комерчыных цылях безкоштовна. На закрытай стороне — Claude Code, рэзультаты якога на тэстах SWE-Bench оцінююцца прыблізна у 75–80 балоў, без незалежнай публічнай перапрацоўкі, GPT-5.5 з Codex, рэзультаты якога так і не былі афішаваны, і Gemini з Code Assist.

Ёсць адзін момент, якій трэба зважыць. Большасць паказальных рэзультатаў SWE-Bench для закрытых модэляў не мае публічных, незалежна павтарымых дадзеных, тады калі даныя Ornith выклікаюцца адкрыта, і кожны можа запусціць модэль, каб іх пераканацца. Што будзе, калі адкрыты модэль будзе болей працэйны, пакажае вышэйшыя рэзультаты і не будзе коштаць нічога? Іншыя прыклады паказваюць такі патэрн. Пасля таго, як LLaMA стаў адкрытым, закрытыя фундаментальныя модэлі апынуліся без пераговорных пераваг. Пасля Stable Diffusion Midjourney была змушана перайсці з продаюць модэляў на продаюць адпаведны досвід. Агентны кодаванне можа следаваць таму ж шляху, і заўсёды з болей супэрнальнымі інструментамі з адкрытага боку, адколькі сэрцам агентнага кодавання ёсць інжынерыя, такі ж як і сіла модэля, а інжынерыя — гэта тая сфера, дзе адкрытыя спільнатыя працуюць найэфектывней. Дзесяць тысяч распрацоўшчыкаў, якія будуць працаваць з Ornith, могу стварыць дзесяць тысяч фрэймворкаў і спецыялізаваных рашэнняў, а жадна закрытая команда не можа быць такой вялікай. Конкурс пераходзіць з пытання, чыя модэль сільнейшая, на пытання, чыя экасістэма большэйшая.

Тры сігналы

Першы сігнал — гэта тое, што слой модэляў у агентнам кодаванні стае таварам. Калі 9B-модэль досягае рэвэля агента, дазволленае ліцэнзія разрывае безкоштовнае комерчыя выкарыстанне, а версія GGUF працюе на MacBook, тады модэль перастае быць рэдкім, так сама як хмарныя вычысленні зменшылі распашчаце фізычных сервераў. Цэнная прынада пераходзіць да адпаведнасці сцэнарыю і інтэграцыі з рабочымі працэсамі. Той, хто падключыць Ornith да вашага рэпазітарыю, суязыць яго з вашым CI/CD і прыстосавае да вашых стандартаў кодавання і бізнес-логікі, зарабляе грошы, а сама модэль не коштае нічога.

Другым моментам ёсць тое, што навчанне з падкрэпленням, якое адночасна оптымізуе структуру і рашэння, можа стаць новым парадыгмам. Ornith — не першы мадэль, які быў дапрацаваны за дапамогою навчання з падкрэпленням, але ён прыдвігае адночасную оптымізацыю эўх двух элементаў далей, чым ранейшыя падходы, і падтрымлівае гэта шасцю рэзультатамі тэстаў. Апісаная майбутняе — гэта сцэнарый, у яком мадэлі самі праектуюць сваея фрэймворкі, запускаюць іх, отрымаюць зворотныя вяскі з навчання з падкрэпленням і вносяць змяны ў фрэймворкі, працуючы ў цыкле, які могаў бы быстра прышвыдзіцца, як толькі будзе завершаны.

Трэці момант — у эпас агентаў адкрыты код упершыню мае структурную перадачу. Адкрытыя мадэлі падтвердзілі свою эфектывнасць у чаты, напісанні тэкстаў і перакладзе, але выкананне складных задач — гэта першая сфера, дзе яны праўілі па адносу да іншых. Гэта не ўзбачорнасць. Выкліканне інструментаў, багатыяпрыемны планаванне і взаімадзея з арэнай — гэта інжынерныя проблемы, а інжынерыя паслужыць адкрытай саавершанню. Закрытая компанія можа сховаць параметры мадэлі, але не можа сховаць найкрашчую інжынерную архітэктуру, а тысяча распрацоўшчыкаў, якія працуюць над аднай рамкай для агентаў, зазвычай будуць лепшыя за дызайн якога-небудзь адзінаго калектыва.

Стары пытанне, знову

Калі аналітыкі Goldman Sachs дагледзеліся на промысел штучнага інтэлекту, яны спыталіся, чы рэдкішы інтэлект стварае большы спрабоўкі чы разрушае ўладу над цэнамі. Гэты вопыт стосаваўся фундаментальных модэлей. Ён цяпер прыменяецца і да агентнага кодавання. Якшо всім будзе доступна абсалютна адкрытая, усепрамярожная, можная да размешчэння на местах сім’я з найсільнейшымі рэзультатамі на адкрытым кодзе пад ліцензіяй MIT, што тады будзе з эканамікай коду, напісанага штучным інтэлектам? Команда Ornith адпаведзела своімі дзеяннямі: спачатку выдаты ўжо код, а рэшткі — пазней.

Супаўязаныя матэрыялы

• Агентныя цыклы кодавання: ад простага каманды Bash да /goal, перакананняў і строгіх абмежэнняў — практычны падход да агентных цыклів: цыкл Ralph, каманды goal і цыклу у Claude Code, зовнішняя пераканання, тры ліміты выдаткаў і навыкі, якія варта зберагчы, а таксама план на першы тыдзень.
• Практычныя прытамулы: Qwen 3.8 нарэшце выйшаў, кодаванне агентамі на рэвэле Opus з можлівасцю выкарыстоўвання локальных рэсурсаў — Паследовыя інструкцыі па вікорыстоўванні практычных прытамулов: Qwen 3.8 нарэшце выйшаў, кодаванне агентамі на рэвэле Opus з можлівасцю выкарыстоўвання локальных рэсурсаў: контракты, перакрыцчы і месцы для дадзення коду для команд, якія вікорыстоўваюць гэты патэрн.
• Чаму модульны манорэпас падходзіць для агентаў-кодавацелей: можна бачыць усё, але трэба мінімум працы — Полірэпасы слепяць агентаў, а неструктураваныя манорэпасы пераплываюць імі. Адкрыты кантэкст, інкапсуляцыя і рэальная графіка залежнасцяў дапамагаюць модульнаму манорэпасу працаваць з агентамі.
• Што змінюецца ў тэставанні з вікорыстаннем агентав для QA і дзе яно яшчэ не дастае належных рэзультатаў — Скрыптаваныя і самовылечваючыся наборы тэстаў ламаюцца, калі змінюецца інтэрфейс. Агенты браузера, керованыя метай, зменшуюць патрэбу ў тыямоўцы, але рэгулюючыяся працэсы і незвычны інтэрфейсы яшчэ трэбуюць атэнцыі.
• Тэставанне з вікорыстаннем агентав AI для SaaS: як агенты, керованыя метай, заменяюць нестабільныя скрыпты — Чаму наборы тэстаў для SaaS продовжваюць ламацца, як агенты AI, керованыя метай, дакладна аналізуюць прыстаўку і прыстосоўваюцца, дзе яны не дастаюць належных рэзультатаў, і як запусціць пілотны праект тэставання з вікорыстаннем агентав.