工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文,并注明这一点。
标签:gateway
利用Redis流作为每轮对话的会合点,实现可恢复的LLM流式处理。
可恢复的LLM流式处理:将智能体事件发布到针对单轮对话的Redis流中,从而使客户端在断开连接或工具暂停数分钟后仍能继续处理。
阅读约 9 分钟通过 Bedrock Mantle 上的 LiteLLM Gateway 使用 Codex CLI
通过LiteLLM网关将Codex CLI路由至Amazon Bedrock Mantle,从而在具备网关控制、模型别名及合理默认设置的前提下访问OpenAI模型。
阅读约 8 分钟LiteLLM 的底层架构:多租户 AI 网关控制平面
提供者抽象、租户层级结构、预算管理、模型策略、服务账户、路由机制、可观测性、代理/MCP,以及为何网关属于关键路径。
阅读约 6 分钟在LiteLLM网关中,通过Headroom功能压缩每一次大型语言模型调用。
作为LiteLLM调用前的防护机制,Headroom可压缩每一次LLM调用:支持可逆压缩、故障自动恢复设计、按键逐个部署,并能精确统计节省的令牌数量。
阅读约 7 分钟通过LiteLLM调用MCP工具:模拟银行网关操作指南
通过 LiteLLM 网关使用 MCP 工具:注册一个可流式 HTTP 模拟银行,将手动编写的工具循环与单次请求进行对比,证明防护机制会在 MCP 执行之前运行。
阅读约 16 分钟面向LLM、MCP和A2A的Agentgateway:统一AI数据平面带来的助力
Agentgateway与仅基于LLM的代理有何不同——包括MCP发现、端到端追踪、路由、安全性、OpenTelemetry以及成本管理——以及何时应该使用它或放弃使用它。
阅读约 7 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源;正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文,包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug,不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付,请发来简报。