Fondements de l’agent IA : objectif, conception des prompts et sélection du modèle

Une startup du secteur de la santé a consacré six mois à développer un agent d’IA pour le tri des patients. Il fonctionnait sur le dernier modèle GPT-4, l’équipe comprenait des ingénieurs en apprentissage automatique expérimentés, l’interface était excellente et les investisseurs ont adoré la démonstration. Puis il a été mis en œuvre dans des cliniques réelles, et en quelques jours seules les infirmières ont cessé de l’utiliser. L’agent posait des questions sans rapport avec la plainte du patient, négligeait des symptômes graves et donnait des conseils incohérents. Parfois, il était excessivement prudent et envoyait des patients présentant de légers problèmes aux urgences. D’autres fois, il ignorait des pathologies nécessitant une attention immédiate.

Le modèle n’était pas en cause, tout comme le code. Les fondations étaient fragiles : l’équipe n’avait pas défini clairement à quoi servirait l’agent, avait agi à la hâte dans la conception des instructions et avait choisi une configuration de modèle inadaptée. Après trois mois supplémentaires de travail, l’agent gère désormais plus de 10 000 interactions avec des patients par jour, avec une satisfaction des infirmières de 94 % et des résultats nettement améliorés pour les patients.

Trois étapes fondamentales déterminent le succès d’un agent : définir son objectif, concevoir ses instructions et choisir son modèle. Si ces étapes sont bien menées, le reste devient plus facile ; en revanche, si elles sont mal exécutées, aucun effort technique ne pourra y remédier.

Étape 1 : définir l’objectif

Avant même d’écrire le moindre code, quatre questions nécessitent des réponses précises : quel problème faut-il résoudre ? Qui utilisera l’agent ? À quoi ressemble le succès ? Quelles sont les limites ? Des réponses vagues entraînent des projets ratés, tandis que des réponses précises permettent de créer des systèmes capables de fonctionner en production.

Lorsqu’un agent est l’outil adapté

Un agent n’est pas la solution à tous les problèmes. Les systèmes basés sur des règles gèrent mieux les workflows simples, les modèles d’apprentissage automatique classiques conviennent aux prédictions pures, et les experts humains sont le meilleur choix lorsqu’une décision cruciale nécessite quelqu’un qui en assume la responsabilité.

Les agents se révèlent utiles lorsque une tâche exige des décisions autonomes au sein d’un workflow complexe et multi-étapes, impliquant plusieurs sources d’information et outils.

Prenons la détection de la fraude dans une banque. Une règle simple permet d’identifier des schémas évidents, tels que des transactions dupliquées ou une carte utilisée en même temps en deux endroits éloignés. Les fraudes complexes nécessitent une enquête : l’agent doit analyser l’historique des transactions, le comparer au comportement normal du client, consulter les bases de données sur la réputation des commerçants, calculer des scores de risque à partir de plusieurs modèles, relier l’affaire à des réseaux de fraude connus et rassembler un ensemble de preuves pour un examinateur humain. Cela exige de l’autonomie, car il s’agit de traiter des milliers de transactions en continu, d’utiliser des outils sur diverses bases de données et API, de raisonner pour relier des signaux faibles et d’organiser une enquête en plusieurs étapes. Cela convient parfaitement à un agent.

Vérifier le solde d’un compte est l’inverse. Il suffit d’une seule appel API, sans besoin d’un agent autonome. La règle est de choisir la solution la plus simple qui fonctionne.

Qui sont les utilisateurs

Les utilisateurs façonnent l’architecture. Un technicien de terrain souhaite un accès mobile fonctionnant hors ligne, un analyste de données veut des tableaux de bord permettant des analyses approfondies, et un système automatisé exige des API propres avec des formats de réponse prévisibles. Voici quelques exemples concrets :

• Les gestionnaires de stocks en retail souhaitent des suggestions courtes qu’ils peuvent accepter ou modifier. Un message tel que « Réapprovisionner 150 unités du produit X d’ici vendredi » peut être mis en œuvre ; un score d’optimisation brut de 0,847 ne le peut pas. L’agent doit s’exprimer comme l’utilisateur et s’intégrer à la routine existante.
• Les agents qui accompagnent les petits agriculteurs en zone rurale doivent planifier en tenant compte d’une mauvaise connectivité. Les alertes par message texte peuvent remplacer le tableau de bord en ligne ; l’agent doit faire face à une connexion instable et ses conseils doivent être donnés dans les langues locales. Un simple message indiquant qu’il faut inspecter le champ 3 à la recherche de parasites cet après-midi est bien plus utile qu’une anomalie sectorielle signalée avec un niveau de confiance de 0,73.
• Les cliniciens et les patients ont besoin d’interfaces différentes. Un médecin qui examine des recommandations souhaite voir les raisonnements cliniques, les scores de confiance et les références à la littérature scientifique, tandis qu’un patient veut des explications simples et des étapes claires à suivre. Il s’agit donc d’un même agent devant deux types d’interfaces.

Un succès mesurable

Des objectifs tels que « améliorer l’efficacité » garantissent pratiquement l’échec. Ce sont des cibles mesurables qui orientent les décisions.

Pour un agent de contrôle qualité dans l’industrie manufacturière, le succès peut se mesurer par la détection de 95 % des défauts repérés par les inspecteurs humains, en maintenant le taux de faux positifs en dessous de 10 %, en traitant chaque article en moins de 2 secondes, en réduisant de 30 % le taux global de défauts non détectés, et en assurant 99,9 % de temps de fonctionnement pendant les heures de production. Ces chiffres influencent directement l’architecture du système : la limite de 2 secondes exclut certains modèles, le taux de détection de 95 % nécessite une grande quantité de données d’entraînement, et l’exigence de temps de fonctionnement élevé impose la redondance ainsi qu’une gestion rigoureuse des erreurs.

Un agent de maintenance aéronautique est évalué selon d’autres critères : la capacité à prédire les pannes des composants 30 jours à l’avance avec une précision de 80 %, la réduction des interventions de maintenance non planifiées de 40 %, le respect à 100 % des exigences réglementaires dans ses recommandations, l’interdiction formelle de conseiller le report des tâches critiques pour la sécurité, ainsi que la production d’un historique complet de toutes les décisions prises. L’objectif de conformité exige des tests rigoureux et une surveillance humaine, tandis que la règle de sécurité impose des seuils de décision conservateurs. Il s’agit de exigences structurelles et non d’ajustements effectués après le lancement.

Contraintes

Tout système de production se heurte à trois types de limites. Les contraintes techniques comprennent les objectifs en matière de latence, les restrictions infrastructurelles et les besoins d’intégration. Les contraintes commerciales concernent le budget, les délais et ce que l’organisation peut réellement soutenir. Les contraintes réglementaires portent sur la protection des données, le respect des normes du secteur et les exigences d’audit.

• Le secteur bancaire est dominé par la réglementation. Un agent chargé de la lutte contre la fraude conserve des traces d’audit complètes, explique chaque décision, ne touche jamais aux données des clients sans autorisation et respecte des règles qui varient selon la juridiction. Rien de tout cela n’est négociable.
• Les acteurs du secteur de la santé doivent se conformer à HIPAA. Les données des patients sont chiffrées tant en stockage qu’en transmission, l’accès est enregistré et soumis à des audits, la conservation suit des règles prédéfinies et certaines informations ne peuvent être stockées, même temporairement. Ces contraintes influencent directement la conception de la mémoire et les options de déploiement.
• Les acteurs du commerce de détail font face à des pressions différentes. Les pics saisonniers exigent une mise à l’échelle horizontale, l’intégration de systèmes anciens de point de vente restreint les choix technologiques, et la sensibilité aux coûts pousse à privilégier des solutions moins chères. Tout cela façonne l’ensemble de la stack technique.

Écrivez ces contraintes. Elles définissent ce qui est possible.

Cinq exemples concrets

Chacun d’eux décrit conjointement l’objectif, les utilisateurs, les critères de succès et les contraintes.

• La banque : un agent de surveillance des transactions. Il détecte et enquête en temps réel sur des millions de transactions par jour, à l’intention des analystes de fraude et des responsables du respect des réglementations. Le succès se mesure au fait de détecter 90 % des fraudes avec moins de 5 % de faux positifs, de traiter chaque cas en moins de 30 secondes et de conserver un historique complet des audits. Les contraintes incluent le respect des réglementations, l’explication de chaque décision, l’interdiction de bloquer une transaction légitime sans examen par un analyste, ainsi qu’un temps de fonctionnement de 99,95 % en continu, jour et nuit.
• Vente au détail : un outil de tarification dynamique. Il ajuste les prix de milliers d’articles en fonction de la demande, de la concurrence, des niveaux de stock et des objectifs de marge, à l’intention des responsables de catégorie et des analystes en tarification. Le succès se mesure par une augmentation de 8 % des revenus tout en respectant les marges cibles, des mises à jour de prix deux fois par jour, une gestion des fluctuations saisonnières ainsi que le respect des plafonds et des fonds de prix. Les contraintes incluent l’intégration avec le système ERP existant, l’interdiction de fixer des prix en dessous du coût, le maintien d’une concurrence saine et le respect des règles de tarification.
• Santé : un outil de triage des patients. Il évalue les symptômes, détermine le niveau d’urgence, recommande un type de soins et prend des rendez-vous, à l’intention des infirmiers, des patients et des administrateurs de clinique. Le succès se mesure par une concordance de 95 % avec les évaluations des infirmiers, des délais réduits de 30 %, une meilleure satisfaction des patients et un acheminement immédiat des cas urgents. Les contraintes incluent le respect du HIPAA, l’interdiction de retarder les soins d’urgence, une communication empathique, l’intégration avec le système EHR et la prise en charge de plusieurs langues.
• Manufacturing, un agent de maintenance prédictive. Il surveille l’état des équipements, prédit les pannes, planifie les interventions préventives et affecte les équipes, à l’intention des superviseurs de maintenance, des responsables d’usine et des techniciens. Le succès se mesure par une prédiction des pannes 30 jours à l’avance avec une précision de 85 %, une réduction de 50 % des arrêts non planifiés, des coûts de maintenance plus faibles et une durée de vie des équipements accrue de 20 %. Les limites incluent le traitement en temps réel des capteurs, le système CMMS existant, les équipements anciens, le respect des normes de sécurité et le fonctionnement hors ligne.
• L’agriculture, un agent de santé des cultures. Il surveille les cultures à l’aide d’images satellites et de capteurs au sol, détecte les épidémies de maladies, recommande des interventions et ajuste l’irrigation ainsi que la fertilisation, à l’intention des gestionnaires de fermes, des agronomes et des responsables de coopératives. Le succès se mesure par une détection des maladies une semaine plus tôt qu’avec un examen manuel, 25 % moins d’eau utilisée, une récolte 15 % plus abondante, ainsi que des recommandations en langue locale. Les limites incluent une connectivité inégale, des téléphones de bas de gamme, des logiciels agricoles existants, des alertes par SMS et de nombreux types de cultures.

Chaque cas d’usage a ses propres exigences, qui façonnent toute l’architecture ; c’est pourquoi cette étape nécessite une prise en charge en temps réel.

Étape 2 : concevoir les prompts

Le prompt du système est le manuel d’utilisation de l’agent. Il définit sa personnalité, ses capacités, ses limites et ses schémas de comportement. Un prompt bien conçu assure un comportement cohérent, sûr et fiable, tandis qu’un prompt médiocre entraîne des résultats imprévisibles qui échouent en environnement de production.

Objectifs

Commencez par définir ce que l’agent doit accomplir, en étant précis et complet à ce sujet.

Un agent analyste de fraude bancaire pourrait se voir demander d’analyser les transactions à la recherche d’indicateurs de fraude, d’évaluer les risques à l’aide des modèles fournis, de vérifier ces résultats par rapport à des schémas de fraude connus, de rédiger des rapports d’enquête détaillés et d’escalader immédiatement les cas à haut risque. On lui demande également de rester professionnel dans toutes ses communications, de ne jamais révéler les détails de l’enquête aux clients et de toujours justifier ses évaluations de risque. Tous ces éléments définissent le champ d’action et les limites, afin que l’agent sache quoi faire et à quoi s’abstenir.

Un agent de service clientèle en magasin reçoit une liste différente. Il répond aux questions concernant les commandes, les produits et les politiques de l’entreprise, consulte l’historique des commandes et les stocks, traite les retours conformément aux règles en vigueur, transmet les demandes de remboursement supérieures à 500 $ à un humain, maintient un ton amical et recueille des retours après chaque interaction. Il est interdit de promettre quoi que ce soit en dehors des politiques de l’entreprise, et il doit proposer des alternatives lorsqu’il ne peut pas exaucer une demande. Les limites sont claires : il ne peut pas approuver de grands remboursements, il doit les faire escalader et rester strictement dans le cadre des politiques établies. Ces restrictions permettent d’éviter tout comportement problématique.

Personnage

Le personnage détermine le degré de cohérence perçue par l’agent ainsi que le niveau de confiance que lui accordent les utilisateurs. Un agent de tri en santé doit avoir un ton calme et professionnel pour rassurer les gens. Un agent d’enseignement doit être encourageant et patient afin de motiver les apprenants, tandis qu’un agent de support technique doit être compétent et méthodique pour que ses solutions semblent fiables.

Dans le domaine de la maintenance aéronautique, le personnage est celui d’un ingénieur expérimenté en maintenance d’aéronefs, ayant vingt ans d’expérience sur plusieurs types d’aéronefs. La sécurité prime sur tout : les directives du fabricant sont strictement suivies, la communication est claire et technique, les décisions ne sont jamais prises à la hâte lorsque la sécurité est en jeu, et tout est documenté pour les autorités de régulation. Ce personnage influence la manière dont l’agent aborde les problèmes, rapporte ses constatations et prend des décisions, assurant ainsi la cohérence de milliers d’interactions.

Un conseiller agricole destiné aux petits agriculteurs appelle à une autre voix. Il connaît les cultures locales, le climat et les pratiques agricoles, s’exprime en termes simples et pratiques, comprend les contraintes auxquelles sont confrontés les agriculteurs, propose des conseils adaptés aux outils et au budget disponibles, respecte les connaissances traditionnelles tout en introduisant des méthodes modernes, et reste patient et encourageant.

Le personnage doit correspondre au public. Le jargon technique convient aux experts, un langage simple s’adapte au grand public, et la sensibilité culturelle est essentielle dans les déploiements mondiaux.

Instructions

Les instructions indiquent à l’agent comment effectuer des tâches. Des instructions vagues entraînent un comportement inégal, tandis que des instructions précises assurent la fiabilité. Les procédures numérotées fonctionnent bien, et ces deux exemples illustrent ce style.

Un agent de contrôle qualité qui examine des images de produits suit huit étapes :

1. Chargement de l’image et extraction des caractéristiques à l’aide du modèle de vision.
2. Comparaison de ces caractéristiques avec les spécifications de qualité correspondant à ce type de produit.
3. Détection de tout défaut et marquage de ceux-ci à l’aide de boîtes délimitantes ainsi que d’une catégorie.
4. Évaluation de la gravité de chaque défaut selon le critère fourni.
5. Rejet du produit et enregistrement des détails si la gravité dépasse le seuil fixé.
6. Sollicitation d’une révision par un humain accompagnée des preuves correspondantes si la gravité est incertaine.
7. Mise à jour des métriques de qualité dans la base de données.
8. Avertissement immédiat des superviseurs lorsqu’apparaissent successivement plusieurs défauts du même type.

De telles étapes réduisent l’ambiguïté, permettant à l’agent de savoir quoi faire dans chaque situation.

Un agent d’évaluation des patients suit dix étapes :

1. Récolte des symptômes, de la durée pendant laquelle ils persistent et de leur gravité, au moyen du questionnaire structuré.
2. Poser des questions complémentaires en fonction du groupe de symptômes.
3. Vérifier la présence d’alertes nécessitant des soins immédiats.
4. Classer le cas comme urgence et l’envoyer par la voie appropriée dès qu’une alerte apparaît.
5. Calculer un score de triage selon l’algorithme approuvé.
6. Recommander un type d’accueil en fonction du score et des symptômes.
7. Réserver un rendez-vous lorsque c’est nécessaire.
8. Indiquer au patient clairement les prochaines étapes et le calendrier prévu.
9. Ne jamais diagnostiquer une maladie ni recommander un traitement spécifique.
10. Pratiquer la prudence chaque fois qu’un cas est ambigu.

La règle « ne jamais diagnostiquer » est la plus importante ici, car elle établit une limite stricte qui évite les problèmes de responsabilité.

Règles de sécurité

Ces règles empêchent tout comportement nocif ou problématique, et les systèmes en production ne peuvent pas se passer d’elles. Il en existe trois familles :

• Les garde-fous liés au contenu empêchent les publications inappropriées. Un agent de service client ne jure jamais, même lorsque le client le fait, et un conseiller financier ne garantit jamais de rendements ni ne fait de promesses concernant le marché.
• Les garde-fous de sécurité empêchent les actions dangereuses. Un agent du secteur aéronautique ne recommande jamais de reporter des interventions de maintenance essentielles pour la sécurité, un agent de santé ne suggère jamais de retarder des soins d’urgence et un agent de l’industrie manufacturière ne désactive jamais les dispositifs de sécurité.
• Les garde-fous relatifs à la vie privée empêchent les fuites d’informations. Un agent bancaire ne partage jamais les données d’un client avec un autre compte, un agent de santé ne divulgue jamais des informations sur les patients sans autorisation et un agent de la vente au détail ne révèle jamais des algorithmes de tarification sensibles.

Un agent de détection des fraudes dans une banque doit se référer à ces règles : ne jamais révéler les méthodes ou modèles de détection à aucun utilisateur ; ne jamais partager les détails d’une enquête avec le titulaire du compte faisant l’objet d’une investigation ; ne jamais ouvrir de compte sans raison légitime liée à la fraude ; ne jamais décider de la fermeture d’un compte sans l’approbation d’un analyste ; ne jamais transférer les informations des clients d’une enquête à une autre ; conserver toujours des journaux d’audit des accès aux comptes. En cas de doute quant au respect des réglementations, faire appel à un superviseur humain. Celles-ci protègent la banque, ses clients ainsi que l’intégrité des enquêtes.

Un agent de tri médical porterait les autres. Aucun diagnostic spécifique ni conseil thérapeutique n’est donné. Il convient d’intervenir immédiatement en cas de douleur thoracique, de difficultés respiratoires, de saignements graves ou d’autres symptômes d’urgence. Il n’est pas suggéré de reporter les soins en cas de symptômes graves afin d’économiser de l’argent. Aucun accès aux dossiers médicaux du patient n’est possible sans une interaction en cours. Un ton professionnel et empreint d’empathie est maintenu en permanence. Une connexion immédiate avec des ressources de crise est assurée si le patient exprime des pensées suicidaires. Aucune information sur le patient n’est partagée avec des tiers non autorisés. On privilégie une prise en charge plus intensive lorsque l’urgence n’est pas claire. Toutes ces mesures visent à protéger la sécurité des patients et à garantir que les soins fournis soient adaptés.

Tests et itérations

Le premier prompt ne sera pas parfait. Testez-le dans des scénarios réels, cherchez les cas limites et affinez-le progressivement. Une méthode efficace consiste à partir d’un prompt de base, à l’appliquer à 20 à 30 scénarios représentatifs, à enregistrer les échecs, à identifier des schémas, à réviser le prompt puis à recommencer.

Un agent de tarification en vente au détail pourrait recommander des prix inférieurs au coût en période de forte demande. La solution consiste à établir une règle explicite interdisant les prix inférieurs au coût et à imposer une marge minimale de 10 %. Un agent chargé du triage pourrait considérer comme mineurs des problèmes récurrents qui pourraient en réalité signaler un problème sérieux ; la solution est alors d’indiquer toujours de recommander une évaluation médicale pour les symptômes persistant plus de deux semaines, quelle que soit leur apparence de gravité.

Les tests révèlent des lacunes dans les instructions, l’absence de mesures de sécurité et des directives ambiguës. Cette mise au point n’est pas optionnelle : c’est ainsi que se construisent des systèmes de production fiables.

Exemples complets de prompts

En résumé, chaque prompt possède la même structure de rôle, d’objectifs, d’instructions et de règles de sécurité, adaptée à son domaine.

L’analyste des fraudes bancaires incarne un spécialiste de la fraude ayant quinze ans d’expérience dans l’enquête sur les crimes financiers ; il établit des évaluations détaillées des risques pour les analystes. Ses objectifs sont de détecter des anomalies dans les schémas de transactions, de calculer des scores de risque à l’aide de modèles approuvés, de vérifier les transactions contre des bases de données de fraudes connues, de rédiger des rapports complets accompagnés de preuves et d’envoyer les cas à haut risque directement aux analystes humains. Lorsqu’il analyse une transaction, il procède comme suit :

1. Récupérer l’historique complet des transactions du compte.
2. Détecter des anomalies de vitesse, c’est-à-dire une fréquence ou des montants inhabituels.
3. Vérifier que le commerçant et le lieu correspondent au profil du client.
4. Estimer la probabilité de fraude à l’aide du modèle d’ensemble.

Procédez immédiatement à une escalade avec des preuves détaillées si le score est supérieur à 0,8.

Signalez l’affaire à un analyste pour examen, en accompagnant la demande de données justificatives, si le score se situe entre 0,5 et 0,8.

Validez la transaction et enregistrez la décision si le score est inférieur à 0,5.

Conservez enregistré le raisonnement ainsi que les sources des données à chaque fois.

Ses principes directeurs sont les suivants : ne révéler aucune méthode de détection, ne discuter d’aucune enquête en cours avec les titulaires de compte, n’accéder à aucun compte sans raison légitime, conserver une trace d’audit de chaque décision, transmettre les doutes réglementaires à un superviseur et ne valider aucune fermeture de compte sans confirmation d’un analyste.

L’agent de service clientèle en magasin agit comme un interlocuteur serviable et amical pour une marque de premier plan, en assistant les clients concernant les commandes, les produits et les politiques de la marque tout en garantissant une expérience exceptionnelle. Ses objectifs sont une résolution rapide et efficace des problèmes, des retours et échanges conformes aux règles en vigueur, des informations et recommandations précises sur les produits, une voix de marque cohérente, ainsi qu’une transmission appropriée des problèmes complexes à des niveaux supérieurs. Pour les demandes relatives aux commandes, il/elle :

1. Recherche la commande par numéro ou e-mail.
2. Indique l’état actuel de la commande et la date de livraison prévue.
3. Explique les raisons du retard éventuel et propose des alternatives.
4. Gère les mises à jour de suivi ainsi que toute préoccupation des clients.
5. Transmet l’affaire à l’équipe de traitement si la commande est manquante.

Pour les retours, il/elle :

1. Vérifie que l’achat relève de la période de 30 jours prévue.
2. Vérifie que l’état du produit répond aux critères requis.
3. Émet une autorisation de retour ainsi qu’une étiquette.
4. Déclenche le remboursement une fois l’article reçu.
5. Envoie les remboursements supérieurs à 500 $ à un manager pour approbation.

Ses principes directeurs : aucun remboursement en dehors des règles établies sans l’approbation d’un manager, aucune promesse concernant des délais de livraison qu’il ne peut pas contrôler, aucune divulgation d’informations sur les fournisseurs ou les coûts, un ton professionnel et empathique même avec des clients frustrés, une fin polie de la conversation ainsi que l’escalade en cas d’agressivité de la part du client, et aucun retour sans vérification adéquate.

L’agent de tri médical est une infirmière compétente et empathique qui aide les patients à trouver le bon service de soins en évaluant leurs symptômes et le degré d’urgence, tout en veillant à leur sécurité. Ses objectifs sont une évaluation précise des symptômes et de l’urgence, un orientation vers les services d’urgence, urgents, primaires ou de soins personnels, une prise en charge immédiate en cas d’urgence, moins de visites inutiles aux urgences et le maintien de la confiance des patients. Lors de l’évaluation, elle :

1. Enregistre la plainte principale et les détails des symptômes à l’aide de questions structurées.
2. Interroge sur la durée, la gravité et l’évolution de la maladie.
3. Vérifie la présence d’indicateurs alarmants nécessitant une prise en charge immédiate.
4. Détecte d’éventuelles anomalies des signes vitaux lorsque celles-ci sont disponibles.
5. Calcule le degré d’urgence selon l’algorithme approuvé.
6. Fait une recommandation en expliquant clairement les raisons.
7. Prend un rendez-vous si cela est approprié.
8. Explique en détail les prochaines étapes à suivre.
9. Précise les précautions à prendre en cas de retour, indiquant quand il convient de rechercher des soins de niveau supérieur.

Les signes d’alerte nécessitant des soins d’urgence sont la douleur ou la pression thoracique, des difficultés à respirer, des saignements graves ou des traumatismes, des maux de tête violents soudains ou des changements de vision, de la confusion ou un état mental altéré, des signes d’AVC tels qu’un visage affaissé, un bras faible ou des difficultés à parler, une réaction allergique sévère, ainsi que des pensées suicidaires ou homicides. Ses principes directeurs sont : aucune recommandation diagnostique ou thérapeutique spécifique, les signes d’alerte étant toujours traités comme des urgences quelles que soient les autres circonstances, aucune suggestion de retarder les soins d’urgence pour des raisons financières ou pratiques, une communication empathique et axée sur le patient, la mise à disposition immédiate de ressources en cas de pensées suicidaires, l’interdiction d’accéder aux dossiers médicaux sans le consentement actif du patient, une tendance à prioriser les cas les plus graves en l’absence de certitude quant à l’urgence, et le transfert des cas complexes à un superviseur infirmier.

Chaque prompt correspond à son propre domaine, type d’utilisateur et profil de risque. L’agent bancaire se concentre sur l’enquête et le respect des réglementations, l’agent de vente au détail équilibre la satisfaction client avec les politiques en vigueur, tandis que l’agent de santé met la sécurité avant tout.

Étape 3 : choisir le modèle

Le choix du modèle influence directement les performances, les coûts, la latence et les capacités, et un mauvais choix compromet tout le reste.

Options de modèles de base

Le marché évolue rapidement, mais les compromis fondamentaux restent les mêmes : capacités contre coûts, latence contre qualité, solutions hébergées contre solutions auto-hébergées, et modèles polyvalents contre modèles spécialisés.

• GPT-4 et GPT-4 Turbo d’OpenAI raisonnent très bien, suivent fidèlement les instructions, produisent de bons contenus créatifs et appellent des fonctions de manière fiable, tout en offrant un large éventail d’outils. Leurs inconvénients sont un coût plus élevé, une latence modérée et une dépendance à l’API d’OpenAI. Ils conviennent aux tâches de raisonnement complexe, au travail créatif, aux agents polyvalents et dans les cas où la qualité prime sur le prix.
• Claude 3.5 et Claude 4.5 d’Anthropic se distinguent par leur capacité à analyser de longs documents, leur fort pouvoir de raisonnement, leur génération de code d’excellente qualité, leur capacité à suivre des instructions subtiles, ainsi qu’un écran de contexte de 200 000 tokens associé à une forte alignement en matière de sécurité. Leur coût est plus élevé, ils ne sont accessibles que via une API et le plan gratuit comporte des limites de fréquence. Ils sont adaptés à l’analyse de documents, aux agents de recherche, aux assistants de codage, aux applications nécessitant un grand contexte et dans les cas où la sécurité et l’alignement sont essentiels.

Llama 3 70B et 405B de Meta sont open source et peuvent être hébergés en interne sans frais d’API, offrent de bonnes performances, bénéficient d’un fort soutien communautaire et existent en de nombreuses variantes affinées. Il faut disposer d’infrastructures pour les héberger, payer pour les traitements et posséder les compétences nécessaires à leur déploiement ; de plus, ils sont inférieurs aux modèles de pointe. Ils conviennent aux déploiements sur site, aux exigences de confidentialité des données, aux utilisations à fort volume où les coûts d’API seraient prohibitifs, ainsi qu’aux personnalisations importantes.

Gemini Pro et Ultra de Google gèrent plusieurs modalités, raisonnent efficacement, s’intègrent aux services Google et ont des prix compétitifs. Leur utilisation dans des systèmes d’agents en production est moins éprouvée et leur écosystème est plus restreint. Ils conviennent aux applications visuelles, à l’intégration avec Google Cloud et aux agents multimodaux.

Il existe des modèles spécialisés dans des domaines tels que la santé (Med-PaLM), le codage (CodeLlama, StarCoder), la finance et d’autres secteurs. Ils performent mieux dans des cas d’usage restreints mais manquent de capacités générales.

Paramètres d’ajustement pour la production

La température contrôle le niveau de aléatoire. Des valeurs basses, allant de 0,0 à 0,3, produisent des résultats cohérents et déterministes, tandis que des valeurs élevées, de 0,7 à 1,0, génèrent des résultats créatifs et variés. Un agent chargé de détecter la fraude bancaire devrait fonctionner avec une température de 0,0, car la cohérence prime sur la créativité et la même transaction doit toujours faire l’objet de la même évaluation des risques. Un agent de service client fonctionne avec une température comprise entre 0,3 et 0,5, ce qui permet une certaine variation naturelle dans la formulation tout en maintenant une interprétation stable des règles. Les agents qui rédigent du texte de marketing ou des descriptions de produits fonctionnent bien avec une température de 0,7 à 0,9, où la variété ajoute de la valeur.

Top-p, ou échantillonnage par noyau, constitue un second mécanisme de contrôle aléatoire. Des valeurs basses allant de 0,1 à 0,5 limitent les choix aux tokens les plus probables, tandis que des valeurs plus élevées, de 0,7 à 0,95, permettent une plus grande diversité.

Max tokens fixe la longueur maximale du résultat et doit correspondre au cas d’usage. Un rapport d’enquête sur la fraude nécessite de 1000 à 2000 tokens, une réponse au service client de 200 à 500, et une réponse simple à une requête API de 50 à 100.

Ajustez ces paramètres en utilisant des données réelles de production et non des scénarios de démonstration. Utilisez des entrées provenant de vrais utilisateurs, évaluez la qualité et itérez.

Fenêtre de contexte

La fenêtre de contexte détermine la quantité d’informations que l’agent peut prendre en compte en même temps. Des fenêtres plus longues permettent des raisonnements plus complexes, mais augmentent les coûts et la latence. Les tailles des fenêtres varient considérablement : 128 K tokens pour GPT-4 Turbo, 200 K pour Claude 3.5, 8 K pour Llama 3 70B (jusqu’à 32 K dans certaines versions) et jusqu’à 1 M pour Gemini Pro.

Un agent de tri médical se contente de 8 K, car chaque interaction correspond à quelques centaines de tokens de conversation ainsi qu’à quelques pages de directives cliniques. Un agent d’analyse de contrats juridiques bénéficie de 200 K, ce qui lui permet d’afficher des contrats complets avec la jurisprudence et les réglementations associées dans une seule fenêtre, améliorant considérablement la qualité par rapport à la segmentation des documents. Un agent de service client travaillant avec des catalogues de produits, un historique des commandes et des documents de politique fonctionne parfaitement avec 32 K à 64 K, offrant un bon équilibre entre capacités et coûts.

L’architecture mémoire influence également ce choix. Les bases de données vectorielles peuvent récupérer les informations pertinentes, réduisant ainsi le besoin d’une fenêtre très large.

Cost, latence et précision

Tout système de production doit trouver un équilibre entre ces trois facteurs.

En termes de coût, GPT-4 coûte environ 30 dollars par million de tokens d’entrée et 60 dollars par million de tokens de sortie, Claude 3.5 Sonnet se situant dans la même fourchette, tandis que Llama 3 70B entraîne des coûts d’infrastructure sans frais par token. Un agent de service en retail très occupé, gérant 100 000 interactions par jour représentant chacune environ 500 tokens, pourrait dépasser 1 500 dollars par jour en coûts d’API, soit 45 000 dollars par mois, ce qui justifie peut-être l’hébergement propre de Llama ou l’utilisation de modèles plus petits. Un agent de maintenance aéronautique travaillant moins intensément, gérant 1 000 interactions complexes par mois, pourrait engendrer des coûts d’environ 500 dollars, où la qualité de GPT-4 représente un achat judicieux.

En ce qui concerne la latence, le temps nécessaire pour traiter le premier token varie de 200 millisecondes à 2 secondes en fonction de la taille du modèle et du hébergement, tandis que le temps total de réponse inclut l’inférence, les appels aux outils et le traitement des données. Un chat en temps réel avec les clients semble lent si la latence dépasse 3 secondes ; il est donc conseillé d’utiliser des modèles plus rapides ou une solution en streaming. Les investigations de fraude par lots peuvent nécessiter de 10 à 30 secondes par transaction si la précision s’améliore. Un agent de contrôle qualité sur une chaîne de montage doit répondre en moins de 2 secondes, ce qui exige un déploiement optimisé ou l’utilisation de modèles plus petits.

En termes de précision, les modèles plus gros raisonnent généralement mieux et suivent les instructions de manière plus stricte, et l’écart entre GPT-4 et les modèles plus petits peut être mesuré. Lorsque les décisions ont des conséquences importantes, comme dans le triage médical, la fraude financière ou les systèmes critiques pour la sécurité, il convient d’acheter le meilleur modèle, car une erreur coûte bien plus cher que le prix du modèle lui-même. Pour des tâches moins cruciales, telles que les recommandations de produits, la simple classification de services ou de contenus, des modèles plus petits suffisent souvent. Testez avec des données réelles pour évaluer la différence de qualité concrète dans votre cas, car les impressions obtenues diffèrent souvent de la réalité.

Combinaison de plusieurs modèles

Les systèmes en production utilisent fréquemment des modèles différents pour des tâches distinctes, et les demandes sont acheminées vers celui qui convient le mieux. Les modèles bon marché et rapides s’occupent des tâches simples, tandis que ceux coûteux et puissants s’occupent des tâches complexes. Évaluez le coût et la qualité en fonction de votre propre charge de travail.

• Dans les banques, le travail de détection des fraudes pourrait se diviser en trois volets : GPT-4 pour l’analyse approfondie des schémas et la rédaction des rapports (haute qualité, peu d’appels nécessaires), GPT-3.5 Turbo pour les nombreuses notifications aux clients (suffisamment bon et moins cher), ainsi qu’un Llama 3 8B affiné pour classifier les transactions rapidement et à moindre coût.
• Dans les systèmes de tri médical, on pourrait utiliser Claude 3.5 pour l’analyse des symptômes nécessitant un contexte médical approfondi, GPT-4 pour une communication naturelle et empathique avec les patients, ainsi qu’un modèle médical spécialisé pour un soutien aux décisions cliniques spécifiques.
• Dans le commerce de détail, on pourrait s’appuyer sur GPT-4 pour les conversations client nécessitant du raisonnement, sur des modèles d’embedding derrière les recherches et recommandations de produits, ainsi que sur un classificateur affiné pour un routage simple.

Sélection des modèles par secteur

• Détection de la fraude bancaire : Claude 3.5 en tant qu’outil principal, car son contexte de 200 K mots contient l’historique complet des transactions ainsi que les directives réglementaires, et GPT-4 Turbo en tant qu’outil secondaire pour les communications avec les clients. Les enquêtes exigent une analyse approfondie des motifs à partir d’historiques longs et de documents réglementaires, ce qui justifie son coût plus élevé.
• Optimisation des stocks en retail : GPT-4 Turbo en tant qu’outil principal pour l’analyse prédictive de la demande, avec Llama 3 70B hébergé localement en tant qu’outil secondaire pour la fixation des prix en temps réel. La stratégie nécessite une réflexion de qualité, tandis que la fixation des prix en temps réel s’effectue à grande échelle, ce qui rend l’hébergement local avantageux.

Triage des patients en santé : GPT-4 en tant qu’outil principal en raison de sa fiabilité avérée pour les décisions critiques en matière de sécurité, Claude 3.5 en tant que solution de secours pour les cas complexes présentant une longue histoire médicale, et un modèle de domaine affiné en tant qu’outil secondaire pour la classification routinière. Les cas complexes exigent la meilleure qualité, tandis que les cas courants peuvent faire appel à des spécialistes moins coûteux.

Contrôle qualité dans l’industrie manufacturière : GPT-4 Vision en tant qu’outil principal pour l’analyse d’images, complété par un Llama 3 8B affiné hébergé sur site pour une classification rapide des défauts. L’inspection en ligne de montage nécessite une faible latence ; le petit modèle gère les cas courants, tandis que GPT-4 Vision s’occupe des cas visuels plus complexes.

Surveillance des cultures agricoles : Llama 3 70B hébergé localement sur les appareils de bord en tant qu’outil principal, avec GPT-4 en tant qu’outil secondaire pour le diagnostic complexe des maladies à partir d’images. Une connectivité intermittente et les sites éloignés favorisent l’hébergement local ; la surveillance routinière reste locale, tandis que les cas difficiles sont transmis au cloud.

Entretien aéronautique : GPT-4 en tant qu’outil principal, car les décisions critiques en matière de sécurité exigent la meilleure qualité, avec Claude 3.5 en tant que solution de secours pour lire les manuels d’entretien et les réglementations. La sécurité n’est pas négociable ; les réglementations impliquent des documents longs, une redondance ainsi qu’une surveillance humaine obligatoires.

Le choix doit tenir compte de vos propres besoins en termes de précision, des limites de latence, des aspects économiques liés au volume de travail, des exigences en matière de confidentialité, de l’environnement d’implémentation et de votre tolérance au risque.

Établir les bases

Les bases déterminent tout ce qui suivra. Définissez clairement l’objectif avec des critères de succès mesurables, conçuez des prompts qui produisent un comportement cohérent et sûr, et choisissez des modèles qui équilibrent qualité, coût et latence pour le cas d’usage en question.

Ces trois étapes représentent environ 60 % du succès d’un agent. Les ignorer ou les accélérer conduit à des systèmes qui échouent en production, tandis qu’une bonne exécution de ces étapes rend les autres composants architecturaux plus simples à mettre en œuvre.