Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : llm-as-a-judge
Diagnostic des échecs RAG : une carte des étapes et un juge de fondement au niveau des affirmations.
Identifier l’endroit où le pipeline RAG a échoué, puis créer un juge de fondement basé sur un LLM qui vérifie les affirmations une par une et est validé à l’aide d’évaluateurs humains via le coefficient kappa.
9 min de lectureÉvaluer et tester par régression les prompts LLM en environnement de production.
Créer des ensembles d’évaluation, des grilles d’évaluation et des suites de régression permettant de déterminer si un changement de prompt a été utile, en prenant en compte des vérifications précises, des juges LLM, des compromis et des cas de référence.
8 min de lectureFormer votre propre juge LLL : de PandaLM et JudgeLM à Prometheus
Comment sont construits les modèles d’évaluation finement ajustés, des données et des grilles d’évaluation au contrôle des biais et à la méta-évaluation, ainsi qu’une méthode pratique pour former un juge LLM spécialisé dans un domaine.
39 min de lectureUne évaluation de modèles de langage grand public sans dépendances, avec un juge en qui on peut vraiment avoir confiance
Créez une petite évaluation de LLM à partir de journaux réels, de vérifications de code et d’un juge basé sur un seul critère, puis calibrez ce juge par rapport aux étiquettes fournies par des humains afin que ses scores aient une signification.
9 min de lectureGérer les LLM en tant que juges comme système de production dynamique
Découvrez comment le cycle de vie en quatre étapes de Netflix — données fiables, entraînement ajusté selon des critères précis, déploiement sécurisé et surveillance continue — permet à un juge basé sur un LLM de rester précis à grande échelle.
20 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.