Головна / Статті

API для агентів, повнодуплексний голос, SWE-2 та автоматичне маршрутизування Copilot Auto: Тиждень у розробці ШІ.

API для керованих агентів OpenAI та шар голосу GPT-Live-1, твердження щодо ефективності Cognition SWE-2 та налаштування автоматичного маршрутизування Copilot Auto, разом із практичними примітками щодо витрат, безпеки та оцінки.

Видавець: REACTAPP.TOP7 хв читання1619 слів

Джерела: AI Dev Weekly #26: Agents API, Full-Duplex Voice, SWE-2 and Cost-Aware Copilot

Моделі більше не є самим продуктом. OpenAI тепер здає в оренду механізм керованих агентів, який працює з Codex, разом із голосовим шаром, що підтримує розмову під час роботи агента на фоні. SWE-2 від Cognition намагається завершувати завдання з програмування, мінімізуючи кількість помилок. GitHub Copilot дозволяє розробникам обирати баланс між низькою вартістю та високою ефективністю, замість того щоб вибирати моделі поодинці. Усі чотири рішення стикаються з одним питанням: що команда повинна мати у своєму стеку агентів, а що — передавати іншим? Охоплення матеріалу становить період з 10 вересня по 17 вересня.

1. OpenAI розміщує інструменти Codex за API Agents

10 вересня OpenAI вивела Agents API у публічну бета-версію. Це керований середовище виконання для стабільної роботи агентів, і його не слід плутати з Agents SDK під новою назвою. OpenAI відповідає за оркестрацію сеансів, стиснення та відновлення контексту, тоді як додаток надає інструменти та вирішує, як агент буде інтегрований у продукт.

У огляді від OpenAI дизайн розділений на чотири компоненти: конфігурація агента, середовище, у якому він працює, стабільний сеанс та потік подій та елементів, що проходять через цей сеанс. Оновлення можуть надходити у форматі потоку даних або через webhook. Сеанс приймає нові завдання на основі того, що він вже знає, тому ніщо не починається з порожнього контексту.

У посібнику з архітектури чітко описано, де відбувається виконання. Існує три варіанти:

  • Без середовища харнес підключається до віддалених з’єднань MCP та інструментів функцій, якими керує сама програма. Шелл та файли робочого простору недоступні.
  • У середовищі, що розміщується на OpenAI, OpenAI створює пісочницю, де виконується код, редагуються файли та створюються результати роботи.
  • У самостійно розміщеному середовищі виконувач на вашій інфраструктурі підключається, тоді як OpenAI все ще керує харнесом. Надання ресурсів, поновлене підключення, вимкнення та зберігання файлів — усе це стає вашою відповідальністю.

Останній варіант — це не самостійне розміщення всього агента. Переміщення виконання в приватну мережу не означає переміщення з ним і рівня керованої оркестрації.

У рахунку підсумовуються тарифи API обраної моделі, звичайні збори за інструменти та стандартні тарифи на контейнери, коли OpenAI хостує сандбокс. Реалістичний бюджет враховує всю тривалість виконання з використанням підагентів та повторних спроб, адже сесія — це значно більше, ніж лише одна відповідь моделі.

У документації з безпеки також попереджається, що код, написаний агентом, може читати будь-які облікові дані, які є доступними в його середовищі. Ключ API додатку має залишатися поза сандбоксом, напрямки вихідних запитів мають бути обмежені, а облікові дані сторонніх сервісів — по можливості передаватися через посередника. Сандбокс не захищає конфіденційну інформацію, як тільки вона була введена у процес.

Висновок: Тут змінюється розрахунок між створенням власних рішень та їх купівлею. Відновлення сесій та їх компактування потребують значних зусиль для підтримки, тому їх оренда є розумним варіантом. Авторитетні бізнес-дані та затвердження незворотних дій мають знаходитися безпосередньо в самому додатку. Краще почати з використання лише читаючого інструменту для аналізу, ніж одразу переходити до агента, який вирішує проблеми. Справжнє порівняння — між купівлею робочого простору для програмування та вбудовуванням агента для виконання завдань у власний продукт.

2. GPT-Live-1 розділяє розмову та роботу

GPT-Live-1 став загальнодоступним у API того ж дня. Його ключовою особливістю є двостороння комунікація. Модель голосу слухає під час розмови, тож усна переписка продовжується, поки бекенд-агент обробляє інформацію за допомогою логіки та інструментів.

У посібнику OpenAI для початківців прикладом контрасту є режим Realtime, де одна модель виконує функції розпізнавання мовлення, міркувань та вибору інструментів. У режимі Live можна окремо вибрати серверний бекенд. Хтось може поставити запитання щодо замовлення, виправити деталі під час пошуку та отримати відповідь без затримки, пов’язаної із викликом інструменту.

У посібнику з делегування описано два режими:

  • Делегування відповідей: режим Live формує запити до налаштованого бекенду OpenAI та передає відповіді назад у процес роботи.
  • Делегування клієнтом: додаток створює контекст, запускає власного агента чи сервіс та передає результат. Виберіть цей режим, коли необхідно виконати певні операції чи перевірки перед тим, як результат надійде до моделі мовлення.

Делегування клієнтом функцій передбачає певну вимогу щодо інтеграції: події делегування містять метадані, а не текст завдання. Запити до бекенду слід формувати на основі подій транскрипції та стану додатку, оскільки ця подія не є готовим набором даних для виконання команди.

Згідно з інформацією на сторінці моделі, вартість голосових сеансів становить 0,05 долара за хвилину, що нараховується за секунди, а ще додається вартість використання моделі та інструментів бекенду. Отже, десять хвилин розмови коштують 0,50 долара лише за голосовий зв’язок, ще до врахування обробки інформації, використання інструментів чи хостингу.

У будь-якому разі дозволи, підтвердження та стан завдання залишаються в додатку. Навіть коли результати бекенду знаходяться на перевірці, немає жодних обмежень, які змушували б голосову модель мовчати під час верифікації, тому під час тестування слід перевіряти, що каже асистент перед підтвердженням дії, а не лише те, чи успішно виконалося завдання за допомогою інструменту.

Висновок: Голосовий інтерфейс стає інтерфейсом через агента замість тісно пов’язаної системи обробки мовлення, що підходить для робочих процесів підтримки клієнтів та співпраці розробників без використання клавіатури. Під час першої оцінки слід перевірити наявність переривань, зміни інструкцій під час повільного пошуку та те, чи правильно асистент розрізняє запитані та виконані завдання. Природна розмова має цінність лише тоді, коли стан завдання залишається достовірним. Це питання відрізняється від вибору двигуна перекладу мовлення у текст.

3. Cognition SWE-2 прагне меншої кількості кроків, а не лише вищого балу

Cognition оголосила про SWE-2 10 вересня. Спочатку він буде доступний у Devin Desktop та CLI, а потім — у Devin Web та Fusion. Згідно з постом про випуск, модель була додатково навчена на основі Kimi K3 та здатна оцінювати кілька рівнів зусиль для міркувань під час одного процесу посиленого навчання.

Операційний показник є визначальним. При роботі з FrontierCode 1.1 Main на середній потужності SWE-2 потребував на 58% менше обертів та коштував на 81% дешевше, ніж SWE-1.7. У тесті Cognition SWE-2 отримав оцінку 50,0%, проте у тесті Terminal-Bench 4 — лише 27,3%, що значно нижче за показники найкращих моделей у цьому ж порівнянні.

Ці оцінки надані видавцем та поєднують публічні результати з внутрішніми тестуваннями у спеціалізованих середовищах, тому вони не є незалежним та уніфікованим списком лідерів. У оголошенні не вказана ціна окремого API SWE-2 чи можливість завантаження його ваг.

Висновок: Важливою навичкою для агента, який займається програмуванням, є вміння визначати момент, коли закінчується етап дослідження та починається етап редагування. Уникнення повторних завантажень репозиторію та зайвих викликів інструментів може бути важливішим, ніж скорочення вартості токенів. Кількість кроків не завжди означає кращу якість роботи, адже це може свідчити про пропущену перевірку. Збалансовані тести включають виправлення невеликої кількості помилок, міграцію та рефакторинг, які мають зберегти функціонал продукту, а також відстеження того, що було прийнято, які тести пропущені, що виправили рецензенти та як насправді використовувався продукт. Необхідно тестувати поточні можливості Devin, а не вигаданий окремий кінцевий пункт.

4. Copilot Auto отримує контроль якості та витрат

14 вересня GitHub представив три налаштування автоматичного маршрутизування. Налаштування «Ефективність» знижує витрати, «Баланс» враховує одночасно витрати, якість та затримку, а «Інтелект» надає пріоритет якості. Згідно з оголошенням, VS Code, Copilot CLI та додаток Copilot поступово отримують ці функції.

Два обмеження походять з документації до автоматичного маршрутизування. Процес маршрутизування продовжує дотримуватися правил доступу до планів та політик адміністраторів, а також працює в межах природних кордонів кешу, щоб уникнути зростання витрат, пов’язаних із кешем. Політика обмеження використання певних моделей у організації не скасовується.

Налаштування також не є лімітом на витрати. Налаштування «Ефективність» може обирати більш потужну модель, якщо це необхідно для виконання завдання, а налаштування «Інтелект» не гарантує використання найбільшої моделі для кожної відповіді. Обрану модель та фактичне її використання варто перевірити, перш ніж робити висновки на основі цього позначення.

Висновок: Використання налаштувань краще, ніж змушувати кожного розробника запам’ятовувати рейтинг моделей, хоча це ускладнює порівняння, якщо не фіксувати вибір маршрутів. Виконання ідентичних типових завдань у кожному з варіантів налаштувань та порівняння витрат на кожну прийняту зміну, часу відгуку та зусиль перевіряючого дає достовірні дані. Чіткий вибір моделі залишається доцільним там, де результати мають бути відтворюваними. Вподобання щодо маршрутизації та політика оплати — це окремі питання.

Коротко про ключові моменти

  • Автоматизація агента VS Code. Версія 1.137 пропонує у публічній пробній версії можливість виконання повторюваних завдань щогодини, щодня та щотижня. Звіти про технічне обслуговування чи чернетки запитів на зміни підходять для першої спроби, а правила для перекриття процесів виконання слід встановити заздалегідь. У щотижневих примітках до випуску також перелічуються локальні, хмарні та складні маршрутизації HydraFusion у експериментальному меню CLI, що є окремою функцією від параметрів Auto, описаних вище.
  • Перегляд коду Copilot. Під час повторного перегляду він закриває коментарі, які вже були оброблені, та надає інструменти оболонки для компіляції, тестування та спеціалізованих скриптів, які працюють за захистом брандмауеру агента. GitHub також додає набір агентів для легких переглядів коду. Додаткова перевірка допомагає, але вимога до людського перегляду — це окреме налаштування репозиторію.
  • Керування API-ключами. 15 вересня OpenAI впровадила контролі на рівні організації та проектів, які обмежують створення нових ключів лише для облікових записів сервісу, ключів проектів, що належать користувачам, або зовсім не дозволяють їх створення. Правила організації мають пріоритет, а вже видані ключі залишаються без змін. Контроль терміну дії ключів, запроваджений 10 вересня, вказаний у журналі змін API. Блокування нових ключів не призводить до оновлення старих облікових даних.
  • Поширені запитання

    Чи є API Agents просто перейменованим SDK Agents? Ні. API забезпечує інфраструктуру, якою керує OpenAI, та довготривалі сеанси, тоді як SDK надає елементи для організації роботи додатку. API все ще знаходиться у стадії публічного бета-тестування.

    Чи включений бекенд-агент у ціну GPT-Live-1? Ні. Використання голосу обходиться у 0,05 долара за хвилину, що нараховується за секунди, тоді як використання бекенд-моделі та інструментів нараховується окремо.

    Чи можна завантажити SWE-2 або скористатися ним через власний API? У оголошенні про запуск не вказано ані вагу продукту, ані ціни на окремий API, тому оцінка можливостей здійснюється через задокументовані інструменти Devin.

    Чи допомагає вибір режиму Efficiency знизити щомісячну оплату? Зовсім ні. Цей режим керує маршрутизацією, але не обмежує суму витрат. Оплата залежить від обраної моделі, тому необхідно контролювати обсяг використання та дотримуватися встановлених бюджетів.