Votre RAG agentique doit pouvoir dire « pas assez ». Le droit l'a appris dans la douleur.
Ce que vous allez apprendre
**Comment éviter qu'un RAG agentique invente une réponse quand la base ne contient pas l'information ?** Il faut lui donner le droit de s'abstenir. Un juge de suffisance, distinct du générateur, évalue le contexte avant toute génération. S'y ajoutent deux sources indépendantes pour les enjeux forts, une couverture de citation affirmation par affirmation, et un suivi du taux d'abstention.
Un assistant RH répond avec aplomb, deux citations à l'appui, à une question dont la réponse n'existe dans aucun document. Ce n'est pas un bug isolé : le pipeline RAG classique n'a, structurellement, aucun moyen de se taire. Selon dac.consulting, un RAG agentique n'est fiable que s'il dispose d'un verdict « non prouvé », comme le droit a fini par en admettre un après des siècles de preuves légales et de torture judiciaire. Cet article explique pourquoi la recherche vectorielle ne renvoie jamais un résultat vide, ce que l'étude de Google Research sur le contexte suffisant (ICLR 2025) révèle de l'hallucination RAG, et ce que l'annonce Smart Agent de Progress admet sur l'état de l'industrie. Vous repartez avec quatre gestes concrets : un juge de suffisance, la règle des deux témoins, la couverture de citation et l'abstention comme métrique de qualité.
Une réponse parfaite à une question sans réponse
Le test semblait anodin. L'assistant RH que je venais de livrer n'était pas un RAG agentique, seulement un pipeline classique, propre et bien indexé. Une responsable tape : « Un salarié en CDD peut-il cumuler l'indemnité de télétravail et la prime de mobilité ? »
La réponse tombe en quelques secondes. Oui, le cumul est possible, sous réserve de six mois d'ancienneté, avec deux citations à l'appui. Le ton est posé, la mise en forme impeccable.
Problème : aucun document de la base ne traitait ce cumul. L'accord télétravail visait les CDI, une note interne décrivait la prime de mobilité, et les six mois venaient d'une fiche sur la mutuelle. Le modèle avait cousu trois morceaux voisins en une règle qui n'existait nulle part.
Ce qui m'a frappé, ce n'est pas l'erreur. C'est que le système n'avait, structurellement, aucun autre choix que de la commettre. Personne ne lui avait donné le droit de répondre « pas assez ».
Progress, ou l'aveu d'une industrie
Début octobre 2026, Progress a présenté Smart Agent, nouvelle capacité de son RAG agentique. Selon l'annonce de l'éditeur, le système décompose une question complexe en sous-questions et choisit la source adaptée à chacune. Il vérifie ensuite si l'information récupérée suffit, poursuit la recherche sinon, puis assemble une réponse citée.
Les sources ne se limitent plus à la base indexée. L'agent interroge aussi des applications métier via MCP — CRM, outils de support, systèmes de gestion — ainsi que le Web. Progress donne l'exemple d'un support qui croise tickets historiques, documentation produit et problèmes connus, sources attachées à chaque élément.
Je ne dirai rien des performances : l'annonce ne fournit pas de protocole permettant de les mesurer. Mais l'architecture parle d'elle-même. Insérer une vérification de suffisance dans la boucle, c'est reconnaître publiquement que le RAG naïf ne sait pas qu'il ne sait pas.
Pourquoi le pipeline ne se tait jamais
Le principe du RAG — donner au modèle une mémoire externe qu'il consulte avant de parler — se raconte très bien avec un poète grec, comme dans l'état de l'art du RAG agentique, raconté par Simonide de Céos. Ici, c'est la mécanique du silence qui m'intéresse. Ou plutôt son absence.
Un moteur vectoriel classe les passages par proximité avec la question. Il renvoie les k plus proches — cinq, dix, vingt — même si le plus proche est très loin. Dans cette mécanique, le résultat vide n'existe pas.
Deuxième glissement : le score de similarité mesure un voisinage sémantique, pas une capacité à répondre. Un passage sur la prime de mobilité est « proche » d'une question sur la prime de mobilité. Il ne dit rien de son cumul avec le télétravail.
Vient enfin le prompt, souvent « réponds à la question à partir du contexte ». La consigne présuppose qu'une réponse existe. Le modèle, entraîné à être utile, comble alors les trous avec sa mémoire paramétrique — ce qu'il a absorbé à l'entraînement — et le fait avec aplomb.
Hailey Joren et ses coauteurs de Google Research ont donné un nom à ce point aveugle, dans une étude présentée à ICLR 2025. Ils distinguent deux causes d'erreur : le modèle exploite mal un bon contexte, ou le contexte ne contient pas de quoi répondre. Le contexte suffisant est celui qui contient toute l'information nécessaire à une réponse définitive.
Leur constat dérange. Gemini 1.5 Pro, GPT-4o ou Claude 3.5 répondent souvent faux face à un contexte insuffisant, au lieu de s'abstenir. Le problème n'est donc pas seulement l'hallucination RAG sur de bons passages : c'est un modèle qui reçoit un contexte sans la réponse, et répond quand même.
Les auteurs testent aussi une génération sélective guidée par un signal de suffisance. Elle améliore de 2 à 10 % la part de réponses correctes parmi celles effectivement produites. Ce n'est pas une baguette magique, mais la preuve qu'un signal séparé de la génération a de la valeur.
Testis unus, testis nullus
Remontons au XIIIe siècle. En 1215, le IVe concile du Latran interdit aux clercs de participer aux ordalies. Il faut remplacer le jugement de Dieu par une procédure rationnelle, et les juristes romano-canonistes bâtissent ce qu'on appellera le système des preuves légales.
La règle est sévère, et d'abord protectrice. Pour une peine de sang, il faut une preuve pleine : deux témoins oculaires, ou l'aveu. La maxime testis unus, testis nullus — un seul témoin, aucun témoin — remonte au Deutéronome (19,15) : « Un seul témoin ne suffira pas contre un homme. »
Les indices ne valent que comme fractions. Dans un exemple repris par Langbein, être trouvé avec le poignard et le butin compte pour deux quarts, soit une demi-preuve. Les indices, si nombreux soient-ils, ne suffisent pas à condamner.
En 1766, dans son Commentaire sur le livre Des délits et des peines, Voltaire raille le parlement de Toulouse, celui qui avait fait rouer Jean Calas en 1762. « On sait qu'il n'y a point de demi-vérités ; mais à Toulouse on admet des quarts et des huitièmes de preuves. » L'arithmétique du soupçon a quelque chose de comique. Ce qu'elle déclenche ne l'est pas.
Car voici le piège, décrit par John Langbein dans Torture and the Law of Proof (1977). Le standard exige une preuve pleine, mais le juge doit trancher. Quand il ne tient qu'une demi-preuve, le droit l'autorise à « passer à la question » pour obtenir l'aveu manquant.
La torture judiciaire n'est donc pas une dérive extérieure au système. Elle en est la pièce maîtresse, la machine à produire l'élément que la règle exige. Le système fabrique la preuve qu'il réclame.
Un garde-fou existait : l'aveu devait être réitéré hors de la salle de torture, après coup. Une vérification a posteriori, en somme. Elle protégeait peu, car celui qui se rétractait pouvait être ramené à la question.
En France, la question préparatoire est abolie en 1780. La question préalable, suspendue en 1788, disparaît définitivement en 1789. Beccaria avait fourni la critique morale dès 1764, dans Des délits et des peines.
Langbein insiste pourtant sur un ressort moins glorieux. Selon lui, la torture avait perdu sa nécessité avant d'être abolie, parce que les juges pouvaient déjà punir sur preuve incomplète par des peines extraordinaires — galères, maisons de force. Le système avait cessé d'être binaire, et l'intime conviction a achevé de dissoudre l'arithmétique des fractions.
Je tiens à la gravité de ce parallèle. Une hallucination n'est pas une souffrance, et personne n'est supplicié dans un datacenter. L'analogie porte sur une structure institutionnelle : une exigence de preuve, une obligation de conclure, et rien entre les deux.
Les indices, le verdict, l'aveu
Relisez un pipeline RAG avec les yeux d'un magistrat de 1700. Les chunks récupérés sont les indices : des fragments souvent pertinents, rarement décisifs. La réponse générée est le verdict.
Le prompt « réponds à partir du contexte » tient le rôle de l'obligation de trancher. Quand les indices ne suffisent pas, le modèle produit l'élément manquant. L'hallucination devient l'aveu extorqué par la contrainte de répondre.
La leçon n'est pas de baisser l'exigence. Les juristes médiévaux avaient raison de refuser le témoin unique ; ils avaient tort de n'offrir aucune issue légitime quand la preuve manquait. Le droit écossais a longtemps connu un verdict pour cela : not proven.
Un RAG doit avoir le sien. Savoir qui décide de ce que votre base RAG a le droit de dire est une première question. La seconde est celle-ci : que fait le système quand la base ne dit pas assez ?
Quatre gestes pour instituer le « non prouvé »
Un juge de suffisance, distinct du générateur
Avant toute génération, un appel dédié évalue si le contexte permet de répondre. Un classifieur léger suffit parfois, sinon un LLM avec une seule consigne : ce contexte contient-il toute l'information nécessaire ? Séparer les rôles évite qu'un même modèle soit juge et partie.
question → retrieval → juge de suffisance
├─ suffisant → génération citée → contrôle de couverture
├─ partiel → nouvelle recherche (autre source, reformulation)
└─ insuffisant → abstention motivée + ce qui a été trouvé
C'est, dans son principe, la boucle que décrit Progress. Elle se construit aussi en quelques nœuds n8n, à condition d'assumer la latence et le coût d'un appel supplémentaire.
Testis unus, testis nullus
Pour les réponses à fort enjeu — juridique, financier, sécurité —, exigez deux sources indépendantes. Deux chunks du même document ne sont pas deux témoins : c'est un témoin qui se répète. L'indépendance se vérifie sur les métadonnées : auteur, système d'origine, date.
Couverture de citation, affirmation par affirmation
Chaque phrase factuelle doit pointer vers un passage précis. Un vérificateur découpe la réponse en affirmations et cherche l'appui de chacune. Ce qui n'est pas couvert est retiré ou signalé ; dans mon cas RH, la condition des six mois serait restée orpheline.
L'abstention comme métrique de qualité
L'abstention LLM se mesure, comme le reste. Suivez en observabilité deux taux : les abstentions, et les fausses abstentions, quand le système se tait alors que la réponse existait. Construisez un jeu de test contenant volontairement des questions sans réponse dans la base.
Le second taux compte autant que le premier. Un assistant qui répond « je ne sais pas » à tout est sûr, et parfaitement inutile. Le tribunal qui acquitte tout le monde n'a rien résolu non plus.
Dans les missions que je mène avec dac.consulting, ce jeu de questions pièges est devenu le premier livrable, avant même le choix du modèle. Il révèle en une après-midi ce qu'aucune démonstration ne montre. Et il change la conversation : on cesse de demander si l'assistant répond bien, on demande s'il sait quand se taire.
Le droit de dire « pas assez »
Les parlements d'Ancien Régime n'étaient pas cruels par goût. Ils étaient prisonniers d'une règle qui exigeait la certitude et interdisait le doute. Un RAG agentique privé de verdict « non prouvé » rejoue ce piège : un système qui n'a pas le droit de dire « je ne sais pas » finira toujours par obtenir des aveux.
Tableau de synthèse
| Section | Messages clés |
|---|---|
| Le cas terrain | Un assistant RH assemble trois documents voisins et invente une règle inexistante, avec citations et aplomb. |
| L'actualité Progress | Smart Agent décompose la question, choisit ses sources (dont MCP et Web), vérifie la suffisance et poursuit la recherche si besoin. Aucune donnée de performance publiée. |
| Le mécanisme | Le retrieval renvoie toujours ses top-k ; la similarité n'est pas la suffisance ; le prompt présuppose une réponse. |
| La preuve scientifique | Google Research (ICLR 2025) : face à un contexte insuffisant, les grands modèles répondent souvent faux au lieu de s'abstenir. La génération sélective gagne 2 à 10 % de précision. |
| Le détour historique | Preuves légales, demi-preuves, raillerie de Voltaire (1766) : exiger la preuve pleine tout en obligeant à trancher a rendu la torture structurellement nécessaire (Langbein, 1977). |
| Le parallèle | Chunks = indices, réponse = verdict, hallucination = aveu extorqué par la contrainte de répondre. Il manque une issue légitime : le « non prouvé ». |
| Quatre gestes | Juge de suffisance séparé ; deux sources indépendantes pour les enjeux forts ; couverture de citation par affirmation ; abstention et fausses abstentions mesurées sur un jeu de test piégé. |
| Chute | Un système qui n'a pas le droit de dire « je ne sais pas » finira toujours par obtenir des aveux. |