Agents API、全双工语音功能、SWE-2与Copilot Auto路由:AI开发领域一周动态
OpenAI的托管型Agents API与GPT-Live-1语音层、Cognition SWE-2的效率宣称以及Copilot Auto的路由偏好设置,同时附有关于成本、安全性和评估方面的实用说明。
来源: AI Dev Weekly #26: Agents API, Full-Duplex Voice, SWE-2 and Cost-Aware Copilot
模型已不再构成产品的全部。现在,OpenAI将驱动Codex的托管代理循环以及能在后台任务执行时维持对话的语音层一并出租。Cognition的SWE-2则试图以更少的错误来完成编码任务。GitHub Copilot允许开发者在低成本与高功能之间进行选择,而无需逐一挑选模型。这四种产品都存在一个共同的问题:团队应在自己的代理架构中掌握哪些部分,又应将哪些部分外包?本文的报道时间范围为9月10日至9月17日。
1. OpenAI将Codex相关功能整合到Agents API背后
9月10日,OpenAI将Agents API投入公开测试阶段。这是一种用于持久化代理任务管理的运行时环境,不应与换名后的Agents SDK混淆。OpenAI负责会话编排、上下文压缩与恢复,而应用程序则提供相关工具,并决定代理如何在产品中发挥作用。
OpenAI的概述将设计分为四个部分:代理的配置、其运行的环境、持久化会话,以及在该会话中传递的事件和数据流。更新可通过流式传输或webhook实现。会话会在现有知识基础上接收新任务,因此无需从空白上下文重新开始。
架构指南明确了执行发生的地点。共有三种选择:
- 在没有环境的情况下,该工具链可以连接到远程的MCP接口以及应用程序自行处理的函数工具,但无法使用shell和工作区文件。
- 在OpenAI托管的环境中,OpenAI会搭建代码运行、文件编辑及成果生成的沙箱环境。
- 在自托管环境中,由您自己的基础设施上的执行器进行连接,而OpenAI仍负责运行该工具链。资源配置、重新连接、关闭服务以及文件管理都由您负责。
最后一种选项并非完全自托管整个代理程序。虽然将执行过程移至私有网络,但管理的编排层并不会随之迁移。
该费用为 OpenAI 托管沙箱时所选模型的 API 费用、常规工具费以及标准容器费的总和。要制定合理的预算,需将使用子代理及重试机制的整个运行过程考虑在内,因为一次会话远不止模型的一次回复而已。
安全文档还警告称,由代理编写的代码可能读取其环境中暴露的任何凭证。应用程序的 API 密钥应置于沙箱之外,出站地址应受到限制,且第三方凭证应在可能的情况下通过中间机构传递。一旦秘密信息被注入进程,沙箱便无法再为其提供保护。
要点:在此情况下,自行开发与购买的成本计算方式发生了变化。会话恢复和数据压缩需要大量成本来维护,因此租用这些服务更为合理。权威的业务数据以及对不可逆操作的确认应保留在应用程序本身中。从使用只读查询工具开始比直接采用能够解决问题的智能体更为明智。真正的比较在于是购买编码工作空间,还是在自己的产品中嵌入智能体运行时环境。
2. GPT-Live-1 将对话与工作分开
GPT-Live-1 在同一天就在 API 中正式开放使用。它的核心功能是全双工通信。语音模型在说话的同时也会倾听,这样在后台智能体通过推理和工具处理问题时,对话仍可继续。
在 OpenAI 的入门资料中,Realtime 模式是对照案例,仅通过一个模型即可处理语音、推理和工具选择功能。而 Live 模式则允许单独选择后端服务。用户可以询问订单相关问题,在查询过程中修改细节,且无需等待工具调用完成就能立即得到回复。
授权指南中介绍了两种模式:
- 响应授权:Live 会为配置好的 OpenAI 后端生成请求,然后将回复传回调用方。
- 客户端授权:应用程序自行构建上下文,运行自身的智能体或服务,再将结果返回。当需要在后端输出到达语音模型之前进行路由处理或检查时,应选择此模式。
客户端委托操作隐含着一定的集成要求:委托事件包含的是元数据,而非任务文本。由于该事件并非现成的命令载荷,因此后端请求应基于转录事件和应用程序状态来构建。
根据模型页面说明,语音会话的费用为每分钟0.05美元,按秒计费,此外还需额外支付后端模型及工具的使用费用。因此,仅语音交流10分钟的费用就是0.50美元,这还不包括推理、工具使用或托管费用。
无论哪种情况,权限、确认信息以及任务状态都由应用程序负责管理。即便后端结果仍在审核中,也没有任何规定要求语音模型在验证期间保持沉默,因此测试时应关注助手在确认操作之前的发言内容,而不仅仅是工具最终是否成功运行。
要点:语音功能通过智能体转化为一种接口,而非紧密耦合的语音处理流程,这更适用于支持类工作流以及免提的开发者协作场景。初步评估时应考察通话中的中断情况、在查询缓慢时的指令变更,以及助手能否正确区分待处理任务与已完成任务。只有当任务状态保持真实时,自然对话才有价值。这一问题与所选的语音转文本引擎并无关联。
3. Cognition SWE-2追求更少的交互轮次,而不仅是更高的分数
Cognition于9月10日发布了SWE-2模型。该模型首先在Devin Desktop和CLI版本中推出,随后将为Devin Web和Fusion版本添加支持。根据发布文章的介绍,该模型是在Kimi K3的基础上进行微调的,并能在一次强化学习训练中处理多种不同的推理难度级别。
其运行效率尤为突出。在Medium难度下的FrontierCode 1.1 Main测试中,SWE-2的迭代次数比SWE-1.7少58%,成本也低81%。Cognition测试中SWE-2的得分为50.0%,而在Terminal-Bench 4测试中仅为27.3%,远落后于同类模型中的最优表现者。
这些评估数据来自发布方,结合了公开测试结果与模型专用测试环境中的内部测试数据,因此无法构成一个独立且统一的排名榜。该公告并未提及SWE-2 API的独立定价或可下载的模型权重文件。
要点:对于编程智能体而言,重要的技能在于掌握何时结束探索、何时开始编辑。避免重复读取代码库以及不必要的工具调用,其重要性往往超过降低令牌费用。操作次数越少并不一定意味着工作质量越高,因为这可能反映出省略了某些验证步骤。一个均衡的测试应包括一个小缺陷修复、一次迁移以及一次必须保持原有功能的代码重构,同时要记录哪些修改被接受、哪些测试被遗漏、审核者做了哪些修正,以及产品实际的使用情况。需要测试的是当前Devin具备的功能,而非并不存在的独立接口。
4. Copilot Auto引入了成本与质量控制机制
GitHub于9月14日推出了三种自动路由偏好设置。效率模式旨在降低成本,平衡模式会综合考虑成本、质量与延迟,而智能模式则更侧重于质量。根据公告,VS Code、Copilot CLI以及Copilot应用将逐步启用这些功能。
自动路由机制受到两项限制。其路由行为仍需遵循套餐权限及管理员设定的策略,并且会在自然缓存边界内运作,以避免缓存相关成本上升。此外,组织设定的受限模型策略也不会被覆盖。
这些偏好设置也并非支出上限。在任务需要更高性能的模型时,效率模式可能会选择更强大的模型;而智能模式也不保证每次响应都会使用最大的模型。在根据标签得出结论之前,应先查看所选模型及实际使用情况。
要点:采用预设设置比让每位开发者记住模型排名更为可行,不过除非记录下路由选择,否则会妨碍对比分析。在每种偏好设置下运行相同的代表性任务,并比较每次被接受的更改成本、延迟以及审核人员所需的工作量,就能获得真实数据。在需要可重复结果的情况下,明确指定模型仍然是合适的选择。路由偏好与计费策略则是两个独立的问题。
要点速览
- VS Code agent自动化功能。1.137版本推出了定时任务(每小时、每天、每周)的公测功能。维护报告或拉取请求草稿适合初次尝试使用,且需提前设定任务重叠时的处理规则。每周发布说明中还列出了CLI实验菜单下的HydraFusion本地、云端及复合路由功能,这与上文提到的Auto偏好设置是不同的功能。
- Copilot代码审查功能。在重新审查时,它会关闭已处理过的评论,并提供用于构建、测试及特定脚本的shell工具,这些工具在agent防火墙后方运行。GitHub还为Lite审查模式增加了agent集成功能。额外的验证固然有帮助,但要求人工审查则是另一项独立的仓库设置。
常见问题
Agents API只是重新命名的Agents SDK吗?不是。API提供由OpenAI运行的框架和持久会话,而SDK则为应用程序的编排功能提供构建模块。该API仍处于公开测试阶段。
GPT-Live-1的价格中是否包含后端代理功能?不包含。语音功能每分钟收费0.05美元,按秒计费,而后端模型和工具的使用则另行计费。
能否下载 SWE-2 或通过其自身的 API 调用它? 发布的启动公告中既未给出模型权重,也未说明独立 API 的定价,因此需要进行评估时只能通过文档中规定的 Devin 接口来实现。
选择“高效模式”就能降低月度费用吗? 完全不是。该模式仅用于指导路由策略,并不会限制支出上限。费用取决于所选择的模型,因此需要自行监控使用情况并设定预算。