Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: llm-gateway
Управляемые ИИ-агенты: одна модель политики, несколько точек применения правил во время выполнения.
Как контролировать затраты, выбор модели, данные, инструменты и вызовы MCP во время выполнения: коробка управления, нейтральный черновик политики, альтернативные решения, ограничения и отслеживание.
9 мин чтенияPhlox-GW: шлюз LLM с открытым исходным кодом, включающий функции управления бюджетом, ограничений и высокой доступности
Phlox-GW — это гейтвей LLM с открытым исходным кодом, который вы размещаете самостоятельно: бюджеты и возвраты средств, ограничения по скорости, меры защиты персональных данных, журналы аудита, точки входа OpenAI и Anthropic, высокая доступность.
11 мин чтенияСетевое взаимодействие самохостингованных LLM: один шлюз вместо отдельного хоста для каждой модели
Добавление моделей с открытым весом не должно означать необходимость новых имен хостов и настройки пиринга для каждого приложения. Шлюз в стиле LiteLLM сохраняет один конечный пункт, в то время как бэкенды меняются за его спиной.
5 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.