Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: litellm
Cómo un token portador de un solo carácter abrió la pasarela MCP de LiteLLM
Los honeypots capturaron a los atacantes que abusaban de una omisión en la autenticación MCP de LiteLLM y de una falla en la ejecución de código. Aquí se muestra la cadena de ataque y una lista de verificación de seis pasos para reforzarla.
5 min de lecturaCodificación agente basada en ingeniería de costos: Creación de un sistema de nivel producción
Codificación agente basada en ingeniería de costos: una configuración local de LLM de nivel profesional con enrutamiento LiteLLM, caché de prompts y puntos de conexión compatibles con OpenAI que reducen los gastos.
17 min de lecturaDirija OpenAI Codex hacia un proxy de LiteLLM para modelos y presupuestos enrutados.
Dirige OpenAI Codex a una URL de proxy de LiteLLM y obtendrás acceso enrutado a numerosos modelos, registros centralizados de costos y claves virtuales por desarrollador con sus propios presupuestos.
5 min de lecturaCodex CLI a través de la pasarela LiteLLM en Bedrock Mantle
Dirigir Codex CLI a través de una pasarela LiteLLM hacia Amazon Bedrock Mantle para acceder a los modelos de OpenAI, con controles de pasarela, alias de modelos y valores predeterminados razonables.
8 min de lecturaReduzca los gastos en LLM con un enrutador de tokens LiteLLM
LiteLLM se sitúa entre las aplicaciones y los proveedores, dirigiendo los prompts cortos a modelos económicos y los más complejos a Opus; esto permite un ahorro de aproximadamente el 28% en un mes simulado de trabajo de ingeniería.
3 min de lecturaLo que LiteLLM no puede ver: monitoreo del servicio de GPU bajo el gateway
LiteLLM hace un seguimiento de las solicitudes y los gastos. La espera en la cola, el relleno previo frente a la decodificación, los reinicios de contenedores y la presión en el host requieren Prometheus, métricas de vLLM, cAdvisor y trazas.
4 min de lecturaRedes de LLM autohospedadas: un único gateway en lugar de un host por modelo
Agregar modelos de peso abierto no debería significar nuevos nombres de host y conexiones de interconexión para cada aplicación. Una pasarela al estilo LiteLLM mantiene un único punto de conexión mientras los backends cambian detrás de él.
5 min de lecturaLiteLLM en su interior: plano de control del portal de IA multiinquilino
Abstracción del proveedor, jerarquía de inquilinos, presupuestos, política de modelo, cuentas de servicio, enrutamiento, observabilidad, agentes/MCP, y por qué la pasarela constituye el camino crítico.
6 min de lecturaCompresión de todas las llamadas a LLM en la pasarela LiteLLM con Headroom
Headroom, como medida de protección previa a las llamadas de LiteLLM, comprime cada llamada a un LLM: compresión reversible, diseño de funcionamiento en caso de fallo, implementación por clave y ahorro de tokens medido.
7 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.