Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : litellm
Comment un jeton porteur d’un seul caractère a permis d’ouvrir le gateway MCP de LiteLLM
Les pièges à miel ont permis d’attraper des attaquants qui abusaient d’une dérogation à l’authentification MCP de LiteLLM ainsi que d’une faille d’exécution de code. Voici la chaîne d’attaque et une liste de contrôle en six étapes pour la renforcer.
5 min de lectureCodage agentiel optimisé en fonction des coûts : Création d’un système de niveau production
Codage agentiel optimisé en termes de coûts : une solution LLM locale de niveau professionnel avec un routage LiteLLM, un cache de prompts et des points d’entrée compatibles OpenAI qui permettent de réduire les dépenses.
17 min de lectureUtilisez le Codex d’OpenAI avec un proxy LiteLLM pour les modèles et budgets routés
Pointez OpenAI Codex vers une URL de proxy LiteLLM pour obtenir un accès routé à de nombreux modèles, des journaux de coûts centralisés ainsi que des clés virtuelles par développeur avec leurs propres budgets.
5 min de lectureCodex CLI via le portail LiteLLM sur Bedrock Mantle
Diriger le Codex CLI via un gateway LiteLLM vers Amazon Bedrock Mantle afin d’accéder aux modèles OpenAI, avec des fonctionnalités de contrôle du gateway, des alias de modèles et des paramètres de fonctionnement par défaut raisonnables.
8 min de lectureRéduisez les dépenses liées aux LLM grâce à un routeur de tokens LiteLLM
LiteLLM se situe entre les applications et les fournisseurs, en dirigeant les requêtes courtes vers des modèles peu coûteux et celles de grande complexité vers Opus — ce qui permet d’économiser environ 28 % sur une période mensuelle simulée.
3 min de lectureCe que LiteLLM ne peut pas voir : le suivi du traitement par GPU via le gateway
LiteLLM suit les demandes et les dépenses. Les temps d’attente dans la file, le remplissage préalable par rapport à la décodification, les redémarrages des conteneurs ainsi que la pression sur l’hôte nécessitent Prometheus, les métriques vLLM, cAdvisor et des traces.
4 min de lectureRéseau de modèles LLM auto-hébergés : un seul point d’accès au lieu d’un hôte par modèle
L’ajout de modèles à poids ouvert ne devrait pas impliquer de nouveaux noms d’hôte ni des connexions peer à chaque application. Un gateway de type LiteLLM conserve un seul point d’entrée tandis que les backends changent en arrière-plan.
5 min de lectureLiteLLM en arrière-plan : plan de contrôle du guichet d’IA multi-locataires
Abstraction du fournisseur, hiérarchie des locataires, budgets, politique de modèle, comptes de service, routage, observabilité, agents/MCP, et pourquoi le gateway constitue la voie critique.
6 min de lectureCompressez chaque appel à un LLM au niveau du gateway LiteLLM avec Headroom
Headroom, en tant que mécanisme de protection préalable pour LiteLLM, comprime chaque appel à un LLM : compression réversible, conception en mode défaillance ouverte, déploiement par clé, ainsi que des économies de tokens mesurées.
7 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.