Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : evals
Création d’une boucle d’amélioration des agents avec les outils d’évaluation de LangGraph et LangSmith.
Une boucle étape par étape de LangGraph et LangSmith : collecte des traces, trois niveaux d’évaluation, regroupement des échecs, ensembles de données de régression hors ligne et évaluations avant déploiement.
24 min de lectureVibe Coding contre Agentic Engineering : ce que prône le nouveau document de Google sur le SDLC
Un résumé du document blanc de Google sur le nouveau SDLC : la vérification en tant que ligne de séparation, l’utilisation de harness plutôt que de modèles, l’ingénierie de contexte, le piège des 80 % et le différend entre conducteur et orchestrateur.
9 min de lectureÉvaluations pour les GenAI et les agents : tests en une seule étape vs tests en plusieurs étapes dans le CI
Comparez les évaluations en une seule itération basées sur des traces avec les évaluations en plusieurs itérations pilotées par un simulateur, en abordant les référents d’or, les juges basés sur des LLM, les métriques d’agent, les portes de contrôle continue et sept pratiques de travail.
8 min de lectureÉvaluation des agents d’IA : ensembles parfaits, juges LLM et portes de régression CI
Évaluation en mode hors ligne et en ligne pour les agents grâce à AgentCore, LangFuse, Ragas et DeepEval, ainsi que des ensembles de données d’or, un système de contrôle CI, des tests A/B et un retour d’information basé sur la mémoire.
18 min de lectureConfirmations de commande d’audit que l’agent n’a jamais saisies : vérification des valeurs plutôt que du libellé
Comment créer un évaluateur de cohérence des demandes pour un agent de support qui passe des commandes réelles : partitionner les résultats par propriétaire, vérifier les identifiants à l’aide des résultats de l’outil.
16 min de lectureGarantir l’exactitude d’un stockage vectoriel : cycle de vie, gestion par locataires, métadonnées, recherche hybride.
Gestion d’un stockage vectoriel pour RAG en production : cycle de vie des documents, mise à jour des embeddings, filtres par locataire, recherche hybride pour des IDs exacts, métadonnées et traçabilité.
9 min de lectureDéveloppement piloté par l’évaluation pour les agents d’IA : contrats, traces et juges
Traitez les évaluations comme des processus CI/CD pour les agents : utilisez des prompts de version en tant que contrats, suivez les exécutions avec OpenTelemetry et Tempo, puis effectuez des tests grâce à des vérifications déterministes et à un juge basé sur un LLM.
13 min de lectureÉvaluation des agents avec un bot de voyage : résultats versus trajectoire, portes et pass^k
Un exemple concret de réservation de voyage pour évaluer les agents : axes des résultats et de la trajectoire, portes déterministes avant les scores pondérés, une matrice 2x2 ainsi que pass@k versus pass^k.
8 min de lectureLes compétences des agents sont un code : définissez leur portée, révélez-les, écrivez des scripts pour elles et testez-les.
Pourquoi SKILL.md est la logique de production : écrire uniquement des connaissances procédurales, ajuster l’activation, charger progressivement, déplacer le travail précis vers des scripts, créer des évaluations et supprimer ce qui ne fonctionne pas.
10 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.