Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : Reliability
Pourquoi les scores de précision des agents induisent en erreur : pass^k, les perturbations et l’injection de défauts
Pourquoi pass@1 cache les agents d’IA peu fiables, et comment pass^k, les ensembles de perturbation des entrées et l’injection de défauts révèlent les lacunes en termes de cohérence, de stabilité et de tolérance aux pannes.
9 min de lectureL’Agent nu : ce qui se brise lorsque rien ne protège le modèle
Créez le même agent de voyage non protégé dans le Claude Agent SDK et LangChain Deep Agents, puis observez trois échecs pour identifier quels mécanismes de contrôle manquent.
9 min de lecturePourquoi les agents d’IA en production ont besoin de plus qu’un bon prompt.
Les agents de production basés sur l’IA ont besoin de plus qu’un bon prompt : du contexte, des outils, de la mémoire, une gestion des échecs, de l’observabilité, des tests et une autonomie adaptés au risque réel.
7 min de lectureTest d’un mécanisme de contrôle qui permet de réessayer l’action finale erronée d’un agent.
Une expérience avec 30 cas : un juge basé sur un LLM ainsi qu’une tentative de correction réduisent les actions de soutien incorrectes de 6 à 2, et expliquent pourquoi détecter une violation ne signifie pas toujours que l’agent la corrige.
7 min de lectureC’est l’outil d’assistance pour les agents, et non le modèle, qui décide de ce qui devient réel.
Une mise à jour CRM avec délai d’expiration montre pourquoi les agents ont besoin de contrats de logiciels, d’états à résultat inconnu, de tentatives idempotentes et de confirmation de finition, ainsi que des mécanismes de contrôle à conserver.
6 min de lectureAvant qu’un agent IA ne reçoive l’autorisation de production : contrats, graphes de revendications, exécutions en mode sombre et oiseaux canaris
Un processus de déploiement axé sur les preuves pour les agents d’IA : contrats définis avec précision, scénarios à état, injection d’erreurs, bornes d’incertitude, tests progressifs et promotion contrôlée par la machine.
23 min de lectureEnsemble d’outils, boucle, graphe : les trois niveaux à l’origine de la plupart des défaillances des agents en production.
Les défaillances des agents de production proviennent rarement du modèle. Séparez le faisceau d’outils, la condition d’arrêt du boucle et la topologie du graphe LangGraph, chacun ayant un responsable.
24 min de lecturePourquoi les agents qui impressionnent lors des démos échouent en production, et ce qu’il convient de développer à la place.
Pourquoi les agents d’IA qui impressionnent lors des démos échouent en production : où ils se dérèglent, les compromis entre agents uniques et multi-agents, les tentatives de réessai et les solutions de secours, ainsi que le véritable coût de fonctionnement.
9 min de lectureÉvaluation des agents avec un bot de voyage : résultats versus trajectoire, portes et pass^k
Un exemple concret de réservation de voyage pour évaluer les agents : axes des résultats et de la trajectoire, portes déterministes avant les scores pondérés, une matrice 2x2 ainsi que pass@k versus pass^k.
8 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.