Cinq niveaux de projets d’ingénierie en IA, allant des chatbots aux agents capables de s’améliorer eux-mêmes.

Les responsables des recrutements pour les postes d’ingénierie en IA voient sans cesse le même type de portfolio : un chatbot doté d’une interface agréable. L’écart entre cela et ce que les équipes derrière des produits comme Claude Code et Codex construisent réellement est énorme, mais le passage d’un niveau à l’autre suit une séquence assez claire de cinq étapes. Savoir sur quel niveau se trouve un projet vous indique ce qu’il faut construire ensuite, et beaucoup de gens stagnent car ils continuent à créer davantage de projets pour le premier niveau.

Niveau 1 : un modèle derrière une interface simple

En bas de la chaîne, un projet appelle une API de modèle de langage (généralement OpenAI ou Anthropic) et place devant celle-ci quelque chose de simple comme une application Streamlit. Pensez à un chatbot qui répond aux questions des clients ou à une petite fonctionnalité qui résume des articles. Il y a aussi l’ingénierie des prompts, bien que ces derniers ne soient généralement ni suivis ni testés. Il peut y avoir une sortie structurée, quelques tests pour vérifier que le modèle parvient à la parser, ainsi que de la logique de secours en cas de dysfonctionnement du modèle.

Un débutant peut y arriver en regardant des tutoriels gratuits pour découvrir quels outils existent et comment ils s’intègrent, puis en consacrant un week-end à résoudre un problème personnel, comme un coach pour la préparation de repas.

Le problème, c’est qu’il ne fonctionne que lorsque par hasard il le fait. Les prompts ne sont pas versionnés, il est donc impossible de savoir si un changement a été utile. Il n’existe aucune mesure pour évaluer la qualité du résultat. De plus, le bot ne connaît que ce sur quoi le modèle a été entraîné ainsi que tout ce qu’il trouve sur Internet, ce qui exclut le contexte dont dispose votre entreprise.

Niveau 2 : récupération et évaluation

Lorsque ces limites commencent à poser problème, on atteint le niveau 2. Supposons que quelqu’un demande un système capable d’utiliser la documentation interne de l’équipe. La solution est la génération augmentée par récupération d’informations, qui permet au modèle de consulter une base de connaissances interne.

Intégrer RAG est la partie facile. La partie difficile consiste à savoir si les réponses sont correctes et, le cas échéant, à comprendre pourquoi. Cela exige de savoir comment découper les documents, comment les intégrer dans une base de données vectorielle, ainsi que quelles méthodes de recherche permettront d’obtenir les fragments appropriés pour une nouvelle question. Cela signifie également mettre en place des critères d’évaluation spécifiques à chaque composant ainsi qu’au système dans son ensemble. Il faut choisir des métriques, savoir à quoi ressemble une bonne réponse et évaluer si les réponses répondent aux besoins du client.

Pour passer au niveau 1, prenez le chatbot que vous avez déjà créé et reliez-le à des éléments que le modèle n’a jamais vus. Pour un coach en nutrition, il pourrait s’agir de vos propres registres alimentaires ou de vos recettes familiales préférées. Une fois cela fait correctement, vous pourrez poser des questions sur vos propres données, obtenir des réponses personnalisées et être sûr que le système est précis.

Vient ensuite le prochain défi : faire en sorte que l’IA fasse quelque chose avec ces informations.

Niveau 3 : agents

Au niveau 3, le système prend des actions au lieu de se contenter de répondre. Un agent est un modèle capable d’utiliser des outils et de prendre des décisions. On lui donne un objectif et il fonctionne en boucle : décider, agir, vérifier le résultat, choisir la prochaine action, et répéter jusqu’à ce que la tâche soit terminée. Ses outils peuvent rechercher sur le Web, appeler des API, exécuter du code ou mettre à jour une base de données. Un agent de recherche peut puiser dans des dizaines de sources pour aider à rédiger un rapport, tandis qu’un agent de support peut consulter des commandes et traiter des demandes seul.

C’est sans doute la partie la plus intéressante de l’ingénierie en IA aujourd’hui, mais aussi l’une des plus risquées. Chaque fonctionnalité que vous mettez en place représente un nouveau point où des erreurs peuvent survenir. Au niveau 2, l’évaluation consistait à noter une seule réponse. Aujourd’hui, il s’agit d’évaluer toute une série de décisions, et un mauvais choix à n’importe quel stade peut compromettre tout le processus. Les conséquences sont également réelles lorsque l’agent accède à votre carte de crédit, à votre code ou à votre e-mail, ce qui rend les enjeux intrinsèquement plus élevés.

Une façon concrète de le comprendre : un bot de niveau 2 qui donne une mauvaise réponse gaspille une minute du temps de quelqu’un. Un agent de niveau 3 qui interprète mal une instruction peut envoyer un e-mail incorrect, charger la mauvaise carte ou diffuser du code défectueux, sans que personne ne s’en aperçoive avant que les dommages ne soient causés.

Un agent capable de gérer cela de manière responsable peut accomplir des tâches à plusieurs étapes du début à la fin, économisant ainsi des heures de travail. Pour passer au niveau 2, dotez le système existant d’un véritable ensemble d’outils, mais conservez-le en mode lecture seule au début. L’agent pourra alors rechercher dans les journaux de repas, utiliser un calculateur nutritionnel et effectuer des recherches sur Internet, sans pouvoir modifier quoi que ce soit. Ensuite, mettez en place une interaction entre ces outils, avec une capacité d’observation efficace. Ce n’est qu’après que l’agent ait prouvé sa fiabilité et sa sécurité qu’il devrait recevoir davantage de pouvoirs.

Il existe encore un écart entre un agent qui vous aide ou qui sert d’outil interne, et un système multi-agents sur lequel des millions de personnes peuvent compter.

Compléter cet écart signifie aller au-delà de la question de savoir si l’agent fonctionne sur votre ordinateur portable. Il doit continuer à fonctionner même lorsque des milliers de demandes arrivent en même temps et que les utilisateurs font des choses qui n’avaient pas été prévues.

Niveau 4 : systèmes à l’échelle d’entreprise

C’est le domaine des postes qui rapportent plus de 300 000 dollars par an. Au lieu qu’un seul agent s’occupe de tout, des agents spécialisés se transmettent les tâches. L’un analyse la demande et la dirige vers les bonnes personnes, d’autres s’occupent de chaque partie, et un autre vérifie le travail avant qu’il ne soit envoyé. Une structure de support peut compter un agent chargé du tri et de l’orientation des demandes, des agents de facturation et techniques qui répondent à leurs domaines respectifs, ainsi qu’un agent final qui examine toute la réponse avant qu’elle ne soit montrée au client, tout cela fonctionnant simultanément pour des millions de personnes.

Coordonner une équipe d’agents est une tâche complètement différente de gérer un seul agent. Chaque agent supplémentaire représente un élément de plus qui peut tomber en panne ; une erreur d’un agent se transmet directement au suivant, et comme tout cela se fait en direct devant les clients, des réponses de mauvaise qualité sont visibles de tous et coûteuses.

Un examen du codebase de Claude Code a montré que l’IA elle-même ne représente qu’une infime partie de celui-ci. Presque tout le reste est constitué d’éléments structurels qui garantissent la fiabilité du produit.

Les modèles sont ce dont tout le monde parle, mais les heures de travail consacrées à ce niveau servent surtout à mettre en place des mécanismes de base : tentatives répétées, permissions, journalisation, gestion de l’état et contrôles visant à empêcher qu’une erreur ne se propage. Ainsi, la majeure partie du travail à ce niveau concerne les agents : suivi des actions afin de savoir ce que chaque agent a fait en cas de problème ; mécanismes de protection pour empêcher qu’un agent ne fasse fuiter des données ; ainsi que le contrôle des coûts et de la latence, en plus des prompts, du RAG et des évaluations des niveaux précédents.

Pour s’entraîner au saut de niveau 3, divisez l’équipe des conseillers nutritionnels en petits groupes. Un agent planifie les repas, un autre établit la liste des courses (et peut-être passe commande), tandis qu’un vérificateur examine le plan avant qu’il ne soit présenté. Ensuite, essayez de perturber délibérément le processus : ajoutez un ingrédient fictif au planificateur pour voir si le vérificateur le détecte ou l’accepte. La partie concernant des millions d’utilisateurs ne pourra être testée qu’en situation réelle, mais vous pouvez néanmoins créer un système scalable en utilisant des services cloud et en tenant compte dès le départ du coût et de la fiabilité. Ce sont les équipes d’agents capables de fonctionner à grande échelle qui permettent aux entreprises de gérer leurs activités, et les salaires reflètent cela.

Niveau 5 : des agents qui construisent le système

Même au niveau 4, les ingénieurs constituent un goulot d’étranglement. Au niveau 5, on se retire pour laisser place à ces agents. Il s’agit du travail le plus avancé dans ce domaine : au lieu de construire le système manuellement, on confie aux agents la tâche de l’améliorer.

Cela dépasse l’utilisation d’agents de codage pour écrire du code, ce qui se fait à tous les niveaux, ainsi que le développement guidé par des spécifications où un agent met en œuvre ce qui a été décrit. Les équipes de pointe qui développent Claude Code et Codex ne guident plus les agents à chaque modification. Elles construisent des systèmes capables de s’améliorer eux-mêmes, en utilisant un cycle où un agent examine les performances, propose une modification, la met en œuvre, teste si elle a été utile, puis la conserve ou l’abandonne, avant de recommencer pendant des heures ou des jours sans aucune intervention humaine.

Deux données indiquent où cela se situe. Dans un projet d’Andrej Karpathy, un seul agent a mené environ 700 expériences en deux jours de son propre chef et a trouvé vingt moyens d’accélérer l’entraînement des modèles. Anthropic a déclaré que la plupart du code intégré à sa propre base de codes est désormais écrit par Claude.

Tout ce cycle dépend du fait que l’agent évalue correctement son propre travail, encore et encore, sans contrôle, et c’est difficile. Si l’évaluation est ne serait-ce que légèrement erronée, l’agent n’améliorera pas le produit. Il trouvera la faille dans cette évaluation et en profitera, obtenant une excellente note tandis que le produit réel se détériore de manières que personne n’a pensé à mesurer.

Les compétences requises ici sont sérieuses. Il faut concevoir une évaluation à laquelle l’agent ne peut pas tricher et lier ses performances à ce qui rend le produit de qualité, afin qu’il ne puisse pas simplement obtenir un score facile. Il faut instrumenter tout le processus, car on ne peut pas le surveiller en temps réel et on ne peut lire que les traces laissées derrière. De plus, il faut savoir exactement où un humain doit encore intervenir. Même les meilleures équipes ne se contentent pas de laisser faire : des personnes choisissent les problèmes, conçoivent le système de notation et approuvent ce qui est mis en production.

Ce niveau n’est pas atteint après quelques semaines d’étude autodidacte. Chaque compétence provient de années passées à gérer des systèmes en production, à les observer tomber en panne et à les améliorer.

La logique est simple. On peut lire sur le « reward hacking » en une après-midi, mais repérer le moment où sa propre métrique est exploitée nécessite d’observer cela se produire sur quelque chose d’important, puis de reconstruire la mesure jusqu’à ce qu’elle soit fiable.

La plupart des gens n’ont pas besoin du niveau 5. Une grande partie du travail lié à l’IA en production relève réellement des niveaux 2 ou 3, et parfois un prompt bien conçu accompagné d’une évaluation simple suffit pour créer quelque chose d’utile. Les ingénieurs sont embauchés pour être utiles, pas pour leur originalité.