Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: routing
Инженерия сдерживания: почему затраты на ИИ-агентов растут стремительно
Microsoft и Uber сталкиваются с высокими затратами на использование ИИ-агентов. Почему они так быстро тратят токены и четыре тактики сдерживания: маршрутизация, бюджетные ограничения, оптимизация и надзор.
6 мин чтенияRAG с учетом домена, использующий реестры MLflow и маршрутизацию LLM
RAG с учетом домена: классификация намерения, загрузка соответствующего инструмента генерации векторных представлений из реестра MLflow, поиск в соответствующей коллекции Qdrant, а затем передача задачи на генерацию текста в LLM.
12 мин чтенияУсловные рабочие процессы LangGraph: разветвление без хаотичных запросов
Кодируйте механизм маршрутизации LangGraph с использованием операторов if-else в виде именованных условных рёбер с чёткими условиями состояний и возможностью восстановления при сбоях, вместо того чтобы включать входные запросы в разветвлённые структуры.
10 мин чтенияСократите расходы на ИИ-модели с помощью маршрутизатора токенов LiteLLM
LiteLLM выступает посредником между приложениями и провайдерами, направляя короткие запросы на дешевые модели, а более сложные — на Opus; это позволяет сэкономить примерно 28% за один симулированный месяц работы инженера.
3 мин чтенияУсловное остановка инструментов: Artefacts превосходят return_direct в LangGraph
Остановить или продолжить в зависимости от вызова инструмента в LangGraph с использованием артефактов инструмента, в ручно созданном цикле ReAct и в промежуточном компоненте create_agent, когда функция return_direct не может принять решение.
11 мин чтенияМодели принятия решений на основе ввода текста против вызовов LLM: задержка и стабильность на границе
Эксперимент с 240 вызовами, сравнивающий естественные вероятности, указанные Джефом, с теми, которые само сообщает большая языковая модель, а также способы преобразования этих данных в маршрутизатор моделей LangChain.
12 мин чтенияЛовушки обновления Next.js 16: параметры по умолчанию параллельных маршрутов и прокси-мидлвэры
Узнайте, почему в Next.js 16 для параллельных слотов маршрутов требуется файл default.js, как безопасно перенести код из middleware.ts в proxy.ts и что необходимо протестировать перед тем, как считать обновление завершённым.
6 мин чтенияОпределение цены для механизма принятия решений на основе ввода текста при вызовах больших языковых моделей Frontier
Как моделировать ожидаемую стоимость управления трафиком LLM с помощью типизированной модели принятия решений, такой как Jev, устанавливать пороги уверенности и проверять качество маршрутизации перед её внедрением.
12 мин чтенияЕдиный источник правды для маршрутов в приложениях Next.js
Узнайте, как модуль централизованного маршрутизирования заменяет разрозненные строковые пути в Next.js с использованием вспомогательных функций для динамических сегментов и группировки экспортов маршрутов.
5 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.