Главная / Статьи

API для агентов, полудуплексное голосовое взаимодействие, SWE-2 и автоматическое маршрутизирование Copilot Auto: Неделя в разработке ИИ

API для управления агентами от OpenAI и слой голосового взаимодействия GPT-Live-1, утверждения об эффективности Cognition SWE-2 и настройки автоматического маршрутизирования Copilot Auto, вместе с практическими замечаниями по стоимости, безопасности и оценке.

Издатель: REACTAPP.TOP7 мин чтения1619 слов

Источники: AI Dev Weekly #26: Agents API, Full-Duplex Voice, SWE-2 and Cost-Aware Copilot

Модели больше не являются единственным компонентом продукта. Теперь OpenAI сдает в аренду механизм управления агентами, обеспечивающий работу Codex, а также слой обработки голосовых команд, который поддерживает диалог во время работы агента на фоне. SWE-2 от Cognition пытается выполнять задачи по программированию с меньшим количеством ошибок. GitHub Copilot позволяет разработчикам выбирать баланс между низкой стоимостью и высокой эффективностью вместо того, чтобы выбирать модели по отдельности. У всех четырех решений есть общий вопрос: что команда должна самостоятельно разрабатывать в своей стек-архитектуре агентов, а что следует передавать другим. Данный обзор охватывает период с 10 по 17 сентября.

1. OpenAI размещает механизм Codex за API Agents

10 сентября OpenAI выпустила Agents API в публичной бета-версии. Это управляемая среда выполнения для стабильной работы агентов, которую не следует путать с SDK для агентов под новым названием. OpenAI отвечает за оркестрацию сессий, сжатие и восстановление контекста, тогда как приложение предоставляет инструменты и определяет, как агент будет интегрирован в продукт.

В обзоре от OpenAI дизайн разделен на четыре компонента: конфигурация агента, среда, в которой он работает, стабильная сессия и поток событий и элементов, проходящих через эту сессию. Обновления могут поступать в формате потока данных или через webhook. Сессия принимает новые задачи на основе уже имеющихся знаний, поэтому ничего не начинается с чистого контекста.

В руководстве по архитектуре указано, где происходит выполнение. Существует три варианта:

  • Без среды харнес обращается к удаленным соединениям MCP и инструментам функций, которыми управляет само приложение. Шелл и файлы рабочего пространства недоступны.
  • В среде, хостингуемой OpenAI, OpenAI настраивает песочницу, в которой выполняется код, редактируются файлы и создаются результаты работы.
  • В самохостингованной среде исполнитель на вашей собственной инфраструктуре подключается, в то время как харнес по-прежнему управляется OpenAI. Подготовка ресурсов, повторное подключение, выключение и хранение файлов — все это становится вашей ответственностью.

Последний вариант не означает самохостинг всего агента. Перенос выполнения в частную сеть не приводит к перемещению слоя управления оркестрацией вместе с ним.

В смету включаются тарифы API выбранной модели, стандартные комиссии за использование инструментов и обычные тарифы за хранение контейнеров, когда OpenAI обеспечивает работу среды симуляции. Реалистичный бюджет учитывает весь процесс выполнения с использованием подагентов и попыток повтора, поскольку одна сессия включает гораздо больше, чем просто ответ одной модели.

В документации по безопасности также предупреждается, что код, написанный агентом, может считывать любые учетные данные, доступные в его среде. Ключ API приложения должен находиться вне среды симуляции, цели отправки данных должны быть ограничены, а учетные данные сторонних сервисов следует использовать через посредников, когда это возможно. Среда симуляции не защищает конфиденциальную информацию после того, как она была введена в процесс.

Вывод: Здесь меняются расчеты между покупкой и арендой. Восстановление сессий и компактация стоят дорого в плане обслуживания, поэтому их аренда является разумным решением. Авторитетные бизнес-данные и подтверждение необратимых действий должны находиться непосредственно в приложении. Более разумно начать с использования только для чтения инструмента анализа, чем сразу переходить к агенту, который исправляет проблемы. Настоящее сравнение касается покупки рабочего пространства для программирования и встроения среды выполнения агента в собственный продукт.

2. GPT-Live-1 разделяет общение и работу

GPT-Live-1 стал общедоступен в API в тот же день. Его ключевой особенностью является двусторонняя связь. Модель речи слушает во время разговора, поэтому устная переписка продолжается, пока бэкенд-агент обрабатывает информацию с помощью соответствующих инструментов.

В руководстве OpenAI для начинающих пример Realtime показывает контрастный случай, когда одна модель обрабатывает речь, логические вычисления и выбор инструментов. Режим Live позволяет отдельно выбирать серверную часть. Человек может задать вопрос о заказе, скорректировать детали в процессе поиска и получить ответ без паузы, связанной с вызовом инструмента.

В руководстве по делегированию описаны два режима:

  • Делегирование ответов: режим Live формирует запросы к настроенному серверу OpenAI и возвращает ответы обратно в процесс обработки.
  • Делегирование на клиенте: приложение создает контекст, запускает собственного агента или сервис и передает результат. Выбирайте этот режим, когда необходимо выполнить маршрутизацию или проверки до того, как результат будет доставлен модели речи.

Делегирование клиентом задач подразумевает скрытую требование к интеграции: события делегирования содержат метаданные, а не текст задачи. Запросы к бэкенду следует формировать на основе событий транскрипции и состояния приложения, поскольку сами события не являются готовым набором данных для выполнения команды.

Согласно странице с описанием модели, стоимость голосовых сессий составляет 0,05 доллара за минуту, с учётом оплаты за каждую секунду, к чему ещё добавляются расходы на использование модели и инструментов бэкенда. Следовательно, десять минут разговора стоят 0,50 доллара только за голосовую связь, до учёта расходов на обработку информации, использование инструментов или хостинг.

В любом случае разрешения, подтверждения и состояние задачи остаются в приложении. Даже когда результаты обработки на бэкенде находятся в процессе проверки, ничто не обязывает голосовую модель молчать во время верификации, поэтому при тестировании следует анализировать то, что говорит ассистент до подтверждения действия, а не только то, успешно ли в конечном итоге выполнился инструмент.

Вывод: Голосовой интерфейс работает через агента, а не через тесно связанную систему обработки речи, что подходит для рабочих процессов поддержки и сотрудничества разработчиков без использования рук. При первой оценке следует проверить наличие прерываний, изменение инструкций во время медленного поиска и правильность разделения запрошенных действий и уже выполненных. Естественный диалог имеет ценность только тогда, когда состояние задачи остается точным. Этот вопрос отличается от выбора движка преобразования речи в текст.

3. Cognition SWE-2 нацелен на меньшее количество взаимодействий, а не только на более высокие оценки

Компания Cognition объявила о SWE-2 10 сентября. Сначала он поступит в Devin Desktop и CLI, а затем — в Devin Web и Fusion. Согласно посту о выпуске, модель была дополнительно обучена на основе Kimi K3 и способна определять несколько уровней сложности рассуждений в ходе одного цикла обучения с подкреплением.

Результаты производительности выделяются. При использовании FrontierCode 1.1 Main при средней нагрузке модель SWE-2 потребовала на 58% меньше оборотов и стоила на 81% дешевле, чем SWE-1.7. В тесте Cognition модель SWE-2 получила оценку 50,0%, тогда как в тесте Terminal-Bench 4 — всего 27,3%, что значительно ниже показателей самых сильных моделей в рамках этого же сравнения.

Эти оценки предоставлены издателем и сочетают в себе публичные результаты с внутренними тестами в специализированных средах для моделей, поэтому они не являются независимым и единым рейтингом. В объявлении не указаны цены на API модели SWE-2 или возможность скачивания её весов.

Вывод: Важным навыком для агента, занимающегося программированием, является умение определять момент, когда следует прекратить исследование и начать редактирование. Избегание повторных чтений репозитория и ненужных вызовов инструментов может оказаться важнее, чем снижение стоимости токенов. Меньшее количество шагов не всегда означает лучшую работу, поскольку это может свидетельствовать о пропущенной верификации. Сбалансированное тестирование включает исправление небольшой ошибки, миграцию и рефакторинг, при котором необходимо сохранить текущее поведение продукта, а также отслеживание того, что было принято, какие тесты пропущены, что исправили рецензенты и как на самом деле использовался продукт. Необходимо тестировать существующие сегодня возможности Devin, а не какой-то отдельный, несуществующий эндпоинт.

4. Copilot Auto получает контроль качества и затрат

14 сентября GitHub ввел три предпочтения автоматического маршрутизирования. Режим «Эффективность» снижает затраты, режим «Баланс» учитывает одновременно стоимость, качество и задержку, а режим «Интеллект» отдает приоритет качеству. Согласно объявлению, VS Code, Copilot CLI и приложение Copilot постепенно получают эту функцию.

Два ограничения связаны с документацией к автоматическому маршрутизированию. Процесс маршрутизации продолжает соблюдать правила доступа по тарифам и политику администраторов, а также работает в рамках естественных границ кэша, чтобы избежать роста затрат, связанных с кэшем. Политика ограничения использования определенных моделей в организации не отменяется.

Предпочтения также не являются лимитами на расходы. Режим «Эффективность» может выбрать более мощную модель, если для выполнения задачи это необходимо, а режим «Интеллект» не гарантирует использования самой мощной модели для каждого ответа. Перед деланием выводов на основе обозначения важно проверить выбранную модель и фактическое ее использование.

Вывод: Использование настроек предпочтений лучше, чем требование к каждому разработчику запоминать рейтинг моделей, хотя это затрудняет сравнения, если не вести записи о выборе маршрутов. Выполнение идентичных типичных задач в различных режимах предпочтений и сравнение стоимости каждой принятой изменения, времени задержки и усилий рецензента позволяет получить достоверные данные. Явный выбор модели остается целесообразным там, где необходима воспроизводимость результатов. Предпочтения маршрутизации и политика оплаты — это отдельные вопросы.

Кратко

  • Автоматизация с помощью агента VS Code. Версия 1.137 предлагает в качестве публичной превью возможность выполнения периодических задач каждый час, ежедневно и еженедельно. Для первой попытки подходят отчеты о техническом обслуживании или черновики запросов на пул-реквесты, причем правила для одновременного выполнения задач следует установить заранее. В еженедельных записках об обновлениях также перечислены функции локального, облачного и комбинированного маршрутизирования HydraFusion в экспериментальном меню CLI, что отдельно от настроек Auto, описанных выше.
  • Проверка кода с использованием Copilot. Во время повторной проверки он закрывает комментарии, которыми уже занимался, а также предоставляет инструменты оболочки для сборки, тестирования и выполнения специализированных скриптов, работающие за брандмауэром агента. GitHub также добавляет набор агентов для упрощенных проверок. Дополнительная верификация помогает, но требование к человеческой проверке — это отдельная настройка репозитория.
  • Управление ключами API. 15 сентября OpenAI ввела правила контроля на уровне организаций и проектов, ограничивающие создание новых ключей только учетными записями сервисов, ключами проектов, принадлежащими пользователям, или полностью запрещающие их создание. Правила организации имеют приоритет, а уже выданные ключи остаются без изменений. Регулирование срока действия ключей, введенное 10 сентября, указано в чатлоге изменений API. Блокировка новых ключей не приводит к обновлению старых учетных данных.
  • Часто задаваемые вопросы

    Является ли API Agents просто переименованным SDK Agents? Нет. API обеспечивает инфраструктуру, управляемую OpenAI, и долговечные сессии, тогда как SDK предоставляет элементы для организации работы приложения. API по-прежнему находится в стадии публичной бета-версии.

    Включен ли бэкенд-агент в стоимость GPT-Live-1? Нет. Стоимость обработки голосовых сообщений составляет 0,05 доллара за минуту, с учетом оплаты за каждую секунду, в то время как использование бэкенд-модели и инструментов оплачивается отдельно.

    Можно ли скачать SWE-2 или использовать его через собственный API? В объявлении о запуске не указаны ни веса модели, ни цены на отдельный API, поэтому оценка возможностей требует использования задокументированных интерфейсов Devin.

    Способствует ли выбор режима Efficiency снижению ежемесячного счета? Вовсе нет. Он регулирует маршрутизацию, но не устанавливает лимитов на расходы. Стоимость зависит от выбранной модели, поэтому необходимо контролировать объем использования и соблюдать установленные бюджеты.