Retour aux articles
20 NOVEMBRE 2026

Humain dans la boucle d'un agent IA : valider 200 fois par jour, c'est ne plus valider

Humain dans la boucle d'un agent IA : valider 200 fois par jour, c'est ne plus valider
Intention utilisateur

Ce que vous allez apprendre

Pour placer un humain dans la boucle d'un agent IA sans fabriquer de validation réflexe, ne demandez pas une approbation à chaque action. Classez les outils par réversibilité et magnitude, montrez un diff plutôt qu'un appel d'outil, rendez active la validation des actions critiques, et mesurez la supervision elle-même.

Un agent trie vos mails, met à jour votre CRM, et chaque action demande une approbation. Au bout d'un mois, le clic précède le regard : l'humain est dans la boucle sur le papier, plus dans les faits. Selon dac.consulting, la recommandation d'OpenAI d'ajouter des approbations d'outils est juste mais incomplète, car elle ne dit ni combien, ni où, ni sous quelle forme. En passant par les ironies de l'automatisation de Lisanne Bainbridge (1983) et le shisa kanko des cheminots japonais, vous apprendrez quatre gestes de praticien pour concevoir une supervision réelle : cartographier les actions, présenter la décision, rendre l'approbation active et mesurer l'humain qui surveille.

Le clic qui ne regardait plus rien

La scène qui suit est un cas d'école, reconstitué pour l'exemple. Quiconque a déployé un agent sur une boîte mail ou un CRM l'a pourtant vue se dessiner. Elle pose la question de l'humain dans la boucle d'un agent IA mieux que n'importe quel schéma d'architecture.

Un agent trie les mails entrants, rédige des brouillons de réponse et met à jour les fiches clients. À chaque action, une fenêtre s'ouvre : « Autoriser l'outil update_contact ? ». La première semaine, l'utilisatrice lit tout.

La deuxième semaine, elle survole. Au bout d'un mois, son doigt clique avant que ses yeux aient fini la ligne. La validation est devenue un réflexe moteur, comme on referme une portière.

Un matin, un mail habilement tourné glisse une consigne dans le flux. L'agent propose d'envoyer un document contractuel à une adresse inconnue. La fenêtre ressemble aux cent précédentes, et le clic aussi.

Personne n'a failli au sens moral. Le système a été conçu pour produire exactement ce geste. L'humain était dans la boucle sur le papier ; dans les faits, il n'y était plus.

La recommandation d'OpenAI est juste. Elle est aussi incomplète

Mi-novembre, OpenAI a mis à jour sa page Safety in building agents, datée du 13 novembre 2026. Elle traite des risques concrets des agents : injections de prompt, fuites de données privées, appels d'outils passant par MCP, le protocole qui relie un modèle à des services externes.

Les recommandations tiennent en quelques principes. Utiliser des sorties structurées — énumérations, schémas fixes, champs obligatoires — pour fermer les canaux de texte libre où circulent les instructions malveillantes. Ne pas laisser des données non fiables piloter directement le comportement de l'agent.

La page demande aussi de maintenir les approbations d'outils, pour que l'utilisateur revoie et confirme les opérations MCP, lectures comme écritures. Elle conseille enfin de combiner sorties structurées, garde-fous, confirmations et évaluation des traces d'exécution.

Deux précisions comptent. D'abord, OpenAI écrit noir sur blanc que ces mesures réduisent les risques sans les éliminer. Ensuite, la même page annonce la dépréciation d'Agent Builder, avec un arrêt programmé au 30 novembre 2026 : on lit donc ce texte pour ses principes, pas pour le produit.

Ces principes sont bons, et je les applique. Mais la recommandation « ajoutez une approbation » reste muette sur l'essentiel : combien, où, sous quelle forme. Appliquée naïvement, elle fabrique la scène d'ouverture.

Un détail mérite d'ailleurs qu'on s'y arrête. Approuver les lectures n'est pas une lubie : sous injection de prompt, une lecture qui expédie des données vers un tiers est une écriture déguisée. Le vrai critère n'est donc pas lire ou écrire, mais ce qui sort du périmètre et ne revient pas.

1983 : les ironies de Lisanne Bainbridge

Le problème a plus de quarante ans. En 1983, Lisanne Bainbridge publie dans la revue Automatica (vol. 19, n° 6, p. 775–779) un texte devenu fondateur des facteurs humains : « Ironies of Automation ».

Sa thèse tient dans une formule de l'abstract : l'automatisation peut « expand rather than eliminate problems with the human operator ». Elle ne supprime pas les difficultés de l'opérateur ; elle les déplace, et souvent les aggrave. Bainbridge y examine la place de l'humain dans la décision en ligne, au sein d'une collaboration homme-machine.

Première ironie : on automatise tout ce qu'on sait automatiser. L'humain hérite du reste — surveiller, intervenir sur l'anomalie, traiter ce que la machine ne sait pas traiter. Autrement dit, les tâches les plus difficiles.

Seconde ironie : ces tâches résiduelles exigent une vigilance et une compétence que la surveillance passive entretient mal. L'opérateur réduit à regarder perd peu à peu ce qu'il lui faudrait le jour où il doit agir.

Bainbridge n'a évidemment pas étudié les modèles de langage. Mais la transposition est presque littérale. L'agent gère le courant ; l'humain est conservé pour l'exception, celle qu'il ne voit plus parce que deux cents cas ordinaires ont usé son attention avant elle.

L'approbation systématique coche donc les deux ironies à la fois. Elle confie à l'humain la détection du cas dangereux, la tâche la plus dure. Et elle l'entraîne, clic après clic, à ne plus la faire.

Le doigt pointé des cheminots japonais

Si Bainbridge pose le problème, les chemins de fer japonais esquissent une solution. Elle s'appelle shisa kanko : « pointer et annoncer ». L'opérateur ne se contente pas de regarder l'objet à vérifier ; il le désigne du doigt et le nomme à voix haute.

Le support de formation du ministère japonais de la Santé, du Travail et de la Protection sociale décompose le geste. Fixer l'objet, le pointer, le nommer, puis marquer explicitement la confirmation. Le ministère y voit un moyen de sécuriser les points critiques d'une action.

Le même document reproduit une expérience menée en 1994 par le Railway Technical Research Institute, portant sur des erreurs de pression de boutons. Sans procédure, le taux d'erreur était de 2,38 %. Annoncer seulement le ramenait à 1,00 %, pointer seulement à 0,75 %, pointer et annoncer à 0,38 %.

Soit environ six fois moins d'erreurs avec le geste complet, selon le même document. Ce chiffre vaut pour cette tâche et ce protocole ; il ne prouve rien, à lui seul, sur une interface logicielle. Ce qu'il apporte est un principe de conception.

Une vérification passive glisse sur l'attention. Une vérification qui oblige le corps et la parole à produire quelque chose de spécifique à l'objet contrôlé l'accroche. Toute la différence entre une validation réelle et une validation théâtrale est là.

Placer l'humain dans la boucle d'un agent IA : quatre gestes

La bonne question n'est donc pas « faut-il un humain ? », mais « où son attention est-elle rare, coûteuse et décisive ? ». Voici les quatre gestes que j'applique quand je conçois un agent, pour mes projets comme pour ceux de mes clients.

1. Cartographier les actions sur deux axes

Je liste chaque outil de l'agent et je le place sur deux axes : réversibilité et magnitude. Lire, brouillonner, classer, étiqueter : l'erreur se corrige d'un geste, aucune validation. Envoyer, payer, supprimer, modifier un enregistrement maître : la validation s'impose.

La logique est celle exposée dans l'essai sur la fiabilité d'un agent jugée à son pire cas plutôt qu'à sa moyenne : la magnitude d'une erreur prime sa fréquence. Elle prolonge aussi la grille qui sépare, nœud par nœud, ce qui relève d'un agent ou d'une automatisation. Une fois la latitude de l'agent fixée, reste à décider où l'humain reprend la main.

Résultat habituel : les demandes d'approbation chutent drastiquement. Celles qui restent comptent vraiment, et l'utilisateur le sait.

2. Présenter la décision, pas l'appel d'outil

« Autoriser l'outil send_email ? » ne dit rien. Un JSON brut non plus. Ce qu'il faut montrer, c'est un diff : destinataire, pièce jointe, montant, champs modifiés avec leur valeur avant et après.

Les sorties structurées recommandées par OpenAI servent ici doublement. Elles limitent les injections, et elles rendent ce diff possible : on ne compare proprement que ce qui a une forme fixe.

3. Rendre l'approbation active sur les actions critiques

Pour les rares actions irréversibles et lourdes, le bouton « OK » ne suffit pas. Je demande de ressaisir le montant, ou les premières lettres du domaine du destinataire. C'est l'équivalent logiciel du doigt pointé : un geste qu'on ne peut produire sans avoir regardé.

La friction est réelle, et c'est voulu. Elle ne tient que si elle reste rare : généralisée, elle redeviendrait un réflexe, simplement plus lent.

4. Mesurer la supervision elle-même

On évalue l'agent ; on oublie d'évaluer l'humain qui le surveille. Trois indicateurs suffisent : taux d'approbation, temps médian de décision, taux de modification avant validation. Une validation acceptée quasi systématiquement en deux secondes n'est pas une preuve de fiabilité, c'est une alarme.

Contre la seconde ironie de Bainbridge, je prévois aussi des moments où l'humain refait la tâche à la main. C'est ce qui entretient la compétence le jour où l'agent tombe en panne ou se trompe. Ce choix découle d'un principe simple : ne livrer aucune boîte noire, car l'équipe doit comprendre et maîtriser ce qu'elle supervise.

On peut enfin glisser, de temps à autre, une proposition volontairement fautive dans le flux, signalée comme exercice après coup. Si elle passe, on a appris quelque chose sur le dispositif, pas sur la personne. Ce sont ces arbitrages qui font l'essentiel du travail quand je conçois des agents IA sur mesure.

L'attention ne se dépense qu'une fois

Un agent consomme des tokens, du calcul, de la bande passante. Il consomme surtout une ressource que personne ne facture : l'attention de la personne qui le supervise. C'est la plus rare du système, et la seule qui ne se rachète pas.

Les cheminots japonais ne pointent pas chaque boulon du train. Ils pointent les signaux, là où une erreur ne se rattrape pas. La règle de décision est la même pour l'humain dans la boucle d'un agent IA : on dépense son attention là où l'erreur est irréversible, et on la rend active au moment précis où elle compte.

Tableau de synthèse

SectionMessages clés
Le paradoxeUne validation demandée des dizaines de fois par jour devient un réflexe de clic : l'humain reste dans la boucle sur le papier, plus dans les faits.
OpenAI, novembre 2026Approbations des appels d'outils MCP, sorties structurées, données non fiables tenues à distance : utile, mais ces mesures réduisent les risques sans les éliminer.
Bainbridge, 1983L'automatisation laisse à l'humain les tâches les plus difficiles, tout en érodant la vigilance et la compétence nécessaires pour les accomplir.
Shisa kankoPointer et annoncer transforme une vérification passive en geste actif ; dans l'expérience de 1994 citée par le ministère japonais, les erreurs passent de 2,38 % à 0,38 %.
Geste 1Cartographier les actions selon réversibilité et magnitude ; ne valider que l'irréversible et le lourd.
Geste 2Montrer un diff lisible de ce qui va changer, pas un appel d'outil brut.
Geste 3Exiger une approbation active (ressaisie du montant ou du destinataire) sur les rares actions critiques.
Geste 4Mesurer la supervision : taux d'approbation, temps de décision, taux de modification ; entretenir la compétence par des tâches refaites à la main.
À retenirL'attention humaine est la ressource la plus rare du système : on la dépense là où l'erreur ne se rattrape pas.