Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : llm-evaluation
Pourquoi les scores de précision des agents induisent en erreur : pass^k, les perturbations et l’injection de défauts
Pourquoi pass@1 cache les agents d’IA peu fiables, et comment pass^k, les ensembles de perturbation des entrées et l’injection de défauts révèlent les lacunes en termes de cohérence, de stabilité et de tolérance aux pannes.
9 min de lectureDiagnostic des échecs RAG : une carte des étapes et un juge de fondement au niveau des affirmations.
Identifier l’endroit où le pipeline RAG a échoué, puis créer un juge de fondement basé sur un LLM qui vérifie les affirmations une par une et est validé à l’aide d’évaluateurs humains via le coefficient kappa.
9 min de lectureAffinage agent : entraîner une wiki de connaissances plutôt que des poids de modèle.
Exécuter le cycle d’entraînement du ML sur une wiki des connaissances extraites des documents de l’entreprise : benchmarks basés sur des données brutes, des questions secrètes, ainsi qu’un certificat indiquant des limites honnêtes.
9 min de lectureRAG ou graphe de connaissances ? 2 160 réponses notées et l’effet du modèle
RAG contre graphe de connaissances, mesuré : 2 160 réponses évaluées sur trois familles de modèles et 120 questions. Le gagnant varie selon le modèle, et le modèle est le facteur le plus important.
9 min de lectureTest d’un mécanisme de contrôle qui permet de réessayer l’action finale erronée d’un agent.
Une expérience avec 30 cas : un juge basé sur un LLM ainsi qu’une tentative de correction réduisent les actions de soutien incorrectes de 6 à 2, et expliquent pourquoi détecter une violation ne signifie pas toujours que l’agent la corrige.
7 min de lectureDes évaluations aux agents auto-améliorants : cinq époques de l’évaluation des agents
L’évaluation des agents signifie désormais l’audit des traces. Voir comment les vérifications déterministes, les juges LLM et les agents, la diagnostic et un méta-mécanisme créent un cycle d’amélioration sûr.
7 min de lectureÉvaluation et optimisation des agents : comparaison de DSPy, TextGrad, Reflexion et OPRO
Comment DSPy, TextGrad, Reflexion et OPRO s’intègrent en boucles de rétroaction pour les agents, quels outils adopter en premier, et comment séparer l’évaluation de l’optimisation au sein d’une entreprise.
12 min de lectureDéveloppement piloté par l’évaluation pour les agents d’IA : contrats, traces et juges
Traitez les évaluations comme des processus CI/CD pour les agents : utilisez des prompts de version en tant que contrats, suivez les exécutions avec OpenTelemetry et Tempo, puis effectuez des tests grâce à des vérifications déterministes et à un juge basé sur un LLM.
13 min de lectureÉvaluations en boucle fermée pour un système d’images en production : ce que Uber Eats a présenté
Une étude de cas sur la conception d’évaluation du système d’amélioration des photos d’Uber Eats : rappel de routeur, pass@K, diagnostic de dérive, autotuning et étapes de contrôle qualité en plusieurs niveaux.
7 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.