Agents API, поўнадуплексны голас, SWE-2 і аўтамаршрутызацыя Copilot: тыдзень у AI-распрацоўцы
Кіраваны Agents API ад OpenAI і галасавы пласт GPT-Live-1, заявы Cognition пра эфектыўнасць SWE-2 і налады аўтамаршрутызацыі Copilot — з практычнымі нататкамі пра кошт, бяспеку і ацэнку.
Крыніцы: AI Dev Weekly #26: Agents API, Full-Duplex Voice, SWE-2 and Cost-Aware Copilot
Мадэлі большэй не ўсё, чым являецца продукт. OpenAI цяпер выдае ў прыёмство механізм керавання агентамі, які працюе з Codex, а таксама слой голасу, які падтрымвае размову, калі агент працуе на фоне. SWE-2 ад Cognition прагне завершыць заведаменты кодавання з меншым коллекшанам помылак. GitHub Copilot дазваляе распрацоўшчыкам выбраць баланс межу дэшаватасцю і высокай якосцю, замест таго каб выбіраць мадэлі по адной. Усі чатыры падходы сталкнуліся з аднай спакульнае запытаннем: што команда павінна маты у сваёй структуры агентаў, а што — перадаць іншым? Тэкст пакрывае перыад з 10 верасня по 17 верасня.
1. OpenAI размістыла механізм Codex за API для агентаў
10 септэбра OpenAI запускае Agents API у публічнай бета-версіі. Гэта кераваны рантайм для стойкай працы агентаў, і яго не трэба плутаць з Agents SDK пад новым назвам. OpenAI абавячаецца оркестрацыяй сесій, стысненням і вяснаванням кантэксту, тады як прыкладна програма забезпечвае інструменты і вяршыць рашэння пра тое, як агент будзе інтэграваны ў продукт.
У апісацыі OpenAI дызайн раздэляецца на чатыры складовыя: конфігурацыя агента, сераўак, у яком ён працуе, стойкая сесія і поток супэрнатыў і элементаў, якія праходзяць праз гэтую сесію. Абнаўленні могу прыходзіць праз стрымінг або webhook. Сесія прыймае новую працу на адной падставе таго, што яна вяжае ўжо, таму нічога не пачынаецца з порожньага кантэксту.
У гідзе па архітэктуры чыста апісваецца, дзе вядзецца выкананне. Існуе тры варыянты:
- Без сэрвіса абяцейкі прыстрой запускаеся да далёкых з’ўязкаў MCP і інструментаў функцый, якімі сама прыкладна програма керуе. Шэл і файлы рабочага прастору недоступныя.
- У сэрвіса абяцейкі, які рухаецца на серверах OpenAI, OpenAI стварае сэндбокс, дзе выконваецца код, рэдагуюцься файлы і ствараюцца выходныя матэрыялы.
- У самастаўленай сэрвіса абяцейкі выкананнем керуе экзэкутар на вашай саўе інфраструктурэ, тады як сэрвіс абяцейкі продавае OpenAI. Апрантка, падключэнне знову, выключэнне і захаванне файлаў стаюць вашымі обавяненнямі.
Паслядні варыянт — гэта не самастаўленне усяго агента. Перанесення выканання ў прыватную сетка не пераносіць разам з яй карыстаўчаскі шар оркестрацыі.
У суме выкладчыка урахоўваюцца тарыфы API выбранага модэлю, звычныя платы за інструменты і стандартныя тарыфы на кантэйнеры, калі OpenAI адрабатвае сандбокс. Рэальны бюджэт включае ў сябе всю працэсу паводле з выкарыстоўваннем сабагентаў і павторнымі спробамі, адколькі сесыя – гэта не проста адпаведзь модэлю.
У дакументацыі па безпецы таксама паведамляецца, што код, напісаны агентам, можа чытаць любыя даныя прыналежнасці, якія ўпусцаны ў яго сераўак. Ключ API прыкладнення павінен застацца за межамі сандбокса, пункты выходу дзеўерсівацыі павінны быць обмежаны, а даныя трэціх сторон павінны, калі гэта можліва, перадавацца праз посерэдніка. Сандбокс не заходзіць секрэты, як толькі ён будзе введжаны ў працэс.
Вывад: Тут змінюецца расчытка межаў між стварэнням і пакупкай. Вярненне сесій у первасны стан і ўтрамбоввання дадзеных караюцца вялікімі затратамі на падтрымку, таму ўзьяць іх напраўцу ёсць разумным рашэнням. Автантавізаваныя бізнес-дадзеныя і затверджэння незворачных дзеянь павінны знаходзіцца ў самай прыкладнай програме. Крашчэ пачаць з інструмента для чытання толькі, чым адразу пераходзіць да агента, які рашае проблемы. Праўая параджка — між пакупкай прастору для кодавання і вбудовваннем рунтайму агента ў сае власнае продукт.
2. GPT-Live-1 аддзеляя размову ад працы
GPT-Live-1 стаў загальна доступным у API таго ж дня. Яго галоўная фіча — двунаправленая комунікацыя. Мадэль голасу слухае падчас самага камунікавання, таму розмова продолжаецца, пакуль бэкенд-агент працюе з аргументамі і інструментамі.
У матэрыялах OpenAI пра пачатак выкорыстання Realtime показаны як прыклад контрасту, калі адны мадэль ведае пра розмову, логічэскія выважанні і выбор адпрацоўвальных засобаў. У рэжыме Live можна окрэма выбраць бэкенд. Каму-небудзь можна запытацца пра замовленне, выправіць дэталі пад час пошуку і атрымаць адпаведны адказ без паузы чакання на адпрацоўкі запіту з боку засоба.
У інструкцыі па дэлегаванні опісаны два рэжымы:
- Дэлегаванне адпаведзяў: рэжым Live стварае запіты да настаўленага бэкенду OpenAI і перадае адпаведзі назад у працэс вызову.
- Дэлегаванне кліентам: пры гэтым спосабе аплікацыя стварае кантэкст, запускае свой агента чы сэрвіс і перадае рэзультат. Выберыце гэты варыант, калі неабходна прадзеянне рутавання чы пераконтроўкі прычымо да таго, калі выходны даныя бэкенду дасягнуць мадэлі голасу.
Дэлегаванне кліента выклікае патрэбу ў тонкай інтаграцыі: пад час дэлегавання зберагаюцца метаданные, а не тэкст задання. Запыткі да бэкенду трэба ствараць на аднойчынку з падакладкамі супараджэнняў і станам прыемлівача, адколі сама падакладка не ўжо готовы пакет каманд.
За інформацыяй на старонцы з модэлем, вокальныя сесіі коштаюць 0,05 долара за хвіліну, выкладваныя па секундах, а ўсё дадатковае выкарыстоўвання модэля і інструментаў бэкенду дапамагае да адпаведных збіткаў. Такім чынам, дзесяць хвілін размовы коштаюць 0,50 долара толькі за вокал, яшчэ до выкарыстоўвання логікі, інструментаў чы хостынгу.
У будзь-якім случае, правы на выкарыстоўвання, падтверджэнне і стан задання застаюцца ў прыемлівача. Нават калі рэзультаты бэкенду ў працэсе перагляду, нічога не змушвае вокальны модэль застацца мовчазным пад час пераканання, таму прабавы трэба адбываць так, каб пераканацца, што падказчык сказаў пры перадпрыняцці дзеяння, а не толькі чы інструмент у канцэ нарэшце успяў.
Узагальненне: Голас ператвараецца на інтэрфейс праз агента, а не праз строго скасаваную лінію апрацоўкі мовы, што падходзіць для процэсаў падтрымкі і саавтарскай працы распрацоўшчыкаў без вікорыстання рук. Першая ацэнка должна выявіць перарывы, змены інструкцыйяў пад час повольнага пошуку і тое, чы правільна асістэнт разлічае запрошаныя і выконаныя заданні. Натуральныя розмовы маюць цэннаць толькі тады, калі статус задання застаецца правдзівым. Што стосуецца ціяго пытання, яно разлічаецца ад выбору двіжка перакладу мовы на тэкст.
3. Cognition SWE-2 ставіць мету меншы колькісць крокаў, а не толькі вышэйшы бал
Cognition аанунсаваў SWE-2 10 сябрня. Ён спачатку будзе доступны ў Devin Desktop і CLI, а пасля — у Devin Web і Fusion. За інформацыяй у пастаце празліку, мадэль была дапрацоўвана на базе Kimi K3 і можа адзначаць разныя рэвэлюцыі зусілляў пад час адной практыкі падкрэпленняя навучэння.
Эксплуатацыйны номер выдзеляеця. У версіі FrontierCode 1.1 Main пры серэдніх навантажэннях SWE-2 патрабаваў на 58% меньш колькасці разоў пераключэння і коштаў на 81% меней, чым SWE-1.7. У тэсце Cognition SWE-2 атрымаў 50,0% балоў, пры тым у тэсце Terminal-Bench 4 — толькі 27,3%, што значна меней, чым у найсільнэйшых модэляў у той жа групе паўтарных тэстав.
Гэтыя ацэнкі даў выдавец і ў яных суманаваныя публічныя рэзультаты з внутрашнямі тэстамі ў спецыяльных срэдах для кожнага модэля, таму яны не ўтвараюць незалежнага, аднообразнага рэйтынгу. У аанунсе не паказваныя цены API для SWE-2 як самастоятэльнага продукту або можлівасць завантажэння яго ваг.
Усвідамленне: Важлівайомай навык для спецыяліста па кодаванні — гэта здатнасць ведаць, калі заканчываецца аналіз і пачынаецца рэдагаванне. Адміністрацыя паўтаральных чытаннях рэпазітарыяў і зайвых вызоў інструментаў можа быць важлівейшай, чым зніжэнне цэны токенав. Меншы колькісць прабоў не завжды значыць крашчую працу, адтаколькі гэта можа адбівацца за рахунак прыхованай перапаўтарэнняя пераканання. Балансаваны тэст уключае маленькія практыкі з вылечэння багоў, міграцыю і рэфакторынг, якія павінны захаваць функцыянал, а таксама фіксацыю таго, што было прынята, якія тэсты праўдзіліся, што практыкі выправілі рэвізоры і як насправдзе выкарыстоўвалася продукцыя. Неабходна тэставаць тое, што можа Devin сёння, а не якісь нез’яўленыя оканчаннія.
4. Copilot Auto атрымлівае контроль костаў і якосці
14 сябра GitHub адкласіў тры настаўкі автаматычнага маршрутызавання. Настаўка «Эфектывнасць» зменшае выкліканыя вітраты, «Баланс» узважае як вартасць, так і якосьць, а таксама час адпаведзі, тады як настаўка «Інтэлігенція» праграмавана на адбор высокай якосці. Згодна з аанунсам, VS Code, Copilot CLI і дапынак Copilot поступова пачынаюць яе вікорыстоўваць.
Два ліміты выніклі з дакументацыі да автаматычнага маршрутызавання. Працэс маршрутызавання продовжае дазволяць выкарыстоўваць правыя на доступ па плану і правіла адпаведальных за адарожненне, працюючы ў межах стандартных граніцаў кэшу, ў рэзультаты чаго вітраты, зв’язаныя з кэшам, не растуць. Правіла арганізацыі ў частцы обмежэнняяў для модэляў не перакрываюцца.
Настаўка таксама не являецца лімітом на выдаткі. Настаўка «Эфектывнасць» можа выбраць болей моцны модэль, калі для віканання задачы гэта неабходна, а настаўка «Інтэлігенція» не гарантуе выкарыстоўвання найбольшага модэля для кожнага адпаведзі. Перш чым робіць вывары на адзе, трэба пераканацца ў выбраным модэлі і фактычным яго выкарыстоўванні.
Вывад: Налаштаванне ўсё ж лепшая, чым заставляць кожнага распрацоўшчыка запамятаваць рангівку модэляў, хоця гэта ускладнюе параболікі, калі не фіксаваць выборы маршрутаў. Выкананне ідэнтычных тэставых задач пад кожным варыянтом налаштавання і порэванаўка косці за кожную прыйнятую змяну, часу адпаведзення і зусіль перакладчыка дае рэальныя даны. Явны выбор модэля застаецца доцягнім там, дзе рэзультаты павінны быць воспроўжненныя. Прыорытэты маршрутаў і політыка рахунавання — гэта аднае з іншым разныя пытанні.
Короткія тэксты
- Автаматызацыя агента VS Code. Версія 1.137 прыносіць можлівасць парадоканальных задач на гадзіну, дзень і тыдзень у фармаце публічнай працовай версіі. Звярненні па тыпаванне чысткі або праектны запросы падтрымляюць першую спробу, а правіла для перакрычання запускаў трэба задаць загадзя. У прыметках да тыдзеннай версіі таксама пераказаны локальны, хмарны і складны маршрутызаванне HydraFusion у эксперыментальнай меню CLI, што ўжо не адно з настройкамі Auto, опісанымі вышэй.
- Перагляд коду Copilot. Пад час паўторнага перагляду ён закрывае коментары, якія вучыўся ўжо обрабацваць, і отрымае інструменты shell для стварэння, тэставання і спецыяльных скрыптов, якія працуюць за межамі фаервалу агента. GitHub таксама дадаў ансамбль агентоў для лёгкіх пераглядаў. Дадатковая верыфікацыя дапамагае, але вымога людскага перагляду — цэлая іншая настройка рэпазітарыю.
Частыя запытанні
Ці API Agents — гэта проста пераяменаваны SDK Agents? Не. API забезпечвае інструменты, кераваныя OpenAI, і дыржаўныя сэсіі, тады калі SDK даўае елементы для організавання працы прыкладнення. API яшчэ застаецца у этапы публічнага бета-версіі.
Чы розрахунак за GPT-Live-1 включае бэкенд-агента? Не. Слуханне коштуе 0,05 долера за хвіліну, выкладваецца па секундах, тады калі вікорыстоўванне бэкенд-мадэлі і інструментаў выкладваецца окрэма.
Чы можна завантажыць SWE-2 або выклікаць яго праз сае API? У аанунсе пры запуску не было ні інформацыі пра вагу, ні цэн адскальванняя самастоятэльнага API, таму для ацэнкі неабходна ўжытак документаваных способаў Devin.
Чы выбір рэжыма Efficiency скасоўвае месчанскія рахункі? Зовсім ні. Ён керуе маршрутацыяй, але не ставіць ліміту на вітраты. Комісіі залежаць ад таго, які мадэль выбраны, таму неабходна ведаць пра спрытак вікорыстоўвання і самастаятэльна сягладваць бюджэты.