95 % de réussite, 100 % de confiance trahie : la leçon de Tau-Bench

Un agent conversationnel qui réussit 95 % de ses interactions a l'air d'un excellent élève. Faites le calcul : sur mille conversations par mois, ce sont cinquante clients face à une IA qui a mal appliqué une règle, mal remboursé, mal annulé. Personne ne se souvient des neuf cent cinquante réussites ; les cinquante trahisons, elles, ont un service juridique. C'est ce paradoxe qu'un benchmark né en 2024, Tau-Bench, a été conçu pour rendre visible.

Un avion fiable à 99,9 % est un avion qui tue

L'aéronautique a formulé le problème avant nous : avec des dizaines de milliers de vols quotidiens, un millième de défaillance représenterait des catastrophes chaque semaine. C'est pourquoi l'aviation ne célèbre pas le pilote génial capable d'un atterrissage acrobatique, mais le système qui garantit dix mille atterrissages ordinaires sans le moindre écart. La fiabilité n'est pas la performance de pointe ; c'est la performance répétée. Or c'est l'angle mort de presque toutes les entreprises qui déploient un chatbot : on se laisse séduire par une démonstration où l'agent répond brillamment à trois questions, et l'on signe. Une démo réussie ne dit rien de la fiabilité — exactement comme un vol réussi ne dit rien de la sécurité d'une compagnie. Ce qu'il faut mesurer, ce n'est pas si l'agent peut réussir, mais s'il réussit à chaque fois.

Un mini-monde pour éprouver les agents

Le principe de Tau-Bench (d'après la lettre grecque τ) est d'une élégance simple. On construit un petit monde clos : une base de données (les commandes d'un e-commerce, les vols d'une compagnie), des fonctions pour la modifier (annuler, échanger, rembourser), et surtout des règles métier subtiles — « on ne peut pas échanger un billet Basic Economy passé 24 h », « il faut l'accord du client avant de renvoyer un produit déjà livré ». Puis on lance l'agent face à un simulateur d'utilisateur — un autre modèle jouant le client, avec ses hésitations, ses changements d'avis, ses demandes multiples. À la fin, une seule question tranche : l'état de la base est-il exactement celui qu'imposaient les règles ? Réussite, ou échec.

Ce qui rend l'épreuve redoutable, c'est le réalisme conversationnel. La plupart des tests se contentent d'une consigne unique : « fais X ». Ici, le client discute, revient sur ses pas, complique. C'est la différence entre réciter un monologue et tenir une vraie conversation — et c'est là que les agents trébuchent.

La métrique qui dérange : pass^k

Le cœur génial de Tau-Bench tient dans une mesure appelée pass^k : non pas « l'agent réussit-il ? », mais « réussit-il k fois de suite le même scénario ? ». Cette nuance change tout, et elle nous ramène à une intuition que la science a mis des siècles à formaliser : la reproductibilité. Un résultat scientifique qui ne se reproduit pas n'est pas un résultat, c'est un accident — la « crise de la réplication » qui secoue la psychologie et la médecine depuis les années 2010 l'a rappelé durement. Un chatbot qui réussit une fois sur deux n'est pas « à moitié bon » : il est inexploitable, car on ne sait jamais dans quelle moitié on se trouve.

Les chiffres douchent les optimistes. À la publication du benchmark, les meilleurs agents échouaient sur plus de la moitié des tâches, et leur régularité s'effondrait dès qu'on répétait l'épreuve : moins de 25 % de réussite huit fois de suite sur le domaine du commerce de détail. Deux ans plus tard, les modèles de pointe plafonnent encore autour de 50 à 60 % sur le domaine aérien, le plus exigeant. Et la version étendue, τ²-Bench, publiée depuis par Sierra Research, corse l'épreuve avec le domaine des télécoms, où agent et utilisateur agissent tous les deux sur le système — l'agent doit guider un humain dans un dépannage qu'il ne peut pas faire à sa place. Le diagnostic se confirme : l'IA conversationnelle impressionne en surface et faiblit dès qu'il faut suivre une procédure complexe sans jamais dévier.

Deming, Toyota et le chatbot

Cette obsession de la régularité a une histoire glorieuse. Dans les années 1950, le statisticien W. Edwards Deming enseigne au Japon en ruine que la qualité industrielle ne consiste pas à produire un objet parfait, mais à réduire la variance — à faire en sorte que chaque pièce sorte identique à la précédente. De cette idée naîtront Toyota, le Six Sigma, et la domination manufacturière japonaise. Le chirurgien Atul Gawande, dans La Checklist, montrera plus tard que la même leçon vaut au bloc opératoire : l'expertise ne suffit pas, il faut un système qui garantit que rien n'est oublié, même par le meilleur praticien un jour de fatigue.

Tau-Bench importe cette culture dans l'IA. Il dit aux bâtisseurs d'agents ce que Deming disait aux industriels : cessez d'admirer votre meilleur résultat, mesurez votre pire, et travaillez la régularité. Un service client automatisé n'est pas un numéro d'artiste ; c'est une chaîne de production de décisions, et sa valeur se juge à sa constance. Et quand le système se trompe malgré tout, le jugement humain reste l'ultime garde-fou — la leçon de Stanislav Petrov, l'homme qui a désobéi à la machine annonçant l'apocalypse, vaut pour tout système automatisé.

La règle avant de signer

Quand j'évalue un agent conversationnel avant sa mise en production — une part croissante de mon travail de conseil en intelligence artificielle —, la démo ne m'intéresse guère : elle est faite pour séduire. Ce qui m'intéresse, c'est la variance : le même scénario rejoué vingt fois, les cas limites, le client qui change d'avis au pire moment, la règle métier qu'il ne faut jamais enfreindre.

J'en tire une règle de décision que tout acheteur d'IA peut appliquer dès demain. N'achetez jamais sur un taux de réussite moyen : exigez du fournisseur le taux de réussite du même scénario rejoué dix fois, sur vos règles métier, avec des utilisateurs qui hésitent et se contredisent. S'il ne peut pas produire ce chiffre, le produit n'est pas prêt — quelle que soit la beauté de la démo. Un agent certifié sur un seul essai, c'est un avion certifié sur un seul vol par beau temps : le problème n'est pas de savoir s'il volera, mais combien de fois.