Comment fonctionne un LLM ? La réponse tient dans un jeu de salon de 1951

Un soir de 1951, dans un salon du New Jersey, un ingénieur tire un roman de sa bibliothèque, en cache une page à sa femme et lui demande de deviner le texte lettre par lettre. Elle tombe juste bien plus souvent que le hasard ne le permettrait. L'ingénieur s'appelle Claude Shannon, le père de la théorie de l'information ; sa femme, Betty, est mathématicienne. Ce jeu de salon contient, en germe, tout ce qui fait fonctionner ChatGPT, Claude ou Gemini. Voici comment, en cinq étapes.

Étape 1 — Le pari de Shannon : le langage est prévisible

De ces soirées de devinettes, Shannon tire en 1951 un article devenu classique, Prediction and Entropy of Printed English. Sa mesure : l'anglais écrit ne contient qu'environ un bit d'information par lettre (entre 0,6 et 1,3, selon ses estimations). Traduction : le langage est massivement redondant, donc massivement prévisible. Après « th_ », un anglophone parie sans risque sur « e » ; après « je vous prie d'agréer », vous connaissez déjà la suite.

Dès 1948, Shannon avait fabriqué de petits générateurs de texte sur ce principe : piocher chaque mot selon sa probabilité d'apparaître après les précédents. Un grand modèle de langage — un LLM — n'est rien d'autre que cette idée poussée à une échelle que Shannon n'aurait pas osé imaginer : deviner le prochain fragment de texte, encore et encore. Tout le reste est raffinement.

Étape 2 — Les tokens : l'atelier du typographe

Changeons de siècle et d'atelier. Un typographe d'imprimerie ne range pas des mots dans ses casses : il range des caractères et des ligatures, des fragments réutilisables qui composent n'importe quel texte, y compris les mots qu'il n'a jamais vus. Un LLM procède de même. Il ne lit pas des mots mais des tokens — des morceaux fréquents de texte (« hyper » + « connecté »), définis par leur statistique d'apparition. Avantage : aucun mot rare, aucun néologisme ne le prend au dépourvu ; il le décompose en pièces connues.

Chaque token devient ensuite un embedding : un vecteur de nombres, un point dans un espace à plusieurs milliers de dimensions où la proximité géométrique traduit la parenté de sens. Subtilité décisive : ce point se déplace selon le contexte — « banque » ne pointe pas au même endroit dans « banque de données » et « banque financière ». Le sens, ici, est une position.

Étape 3 — L'attention : l'effet cocktail

Vous êtes dans une fête bruyante, happé par une conversation, quand votre prénom prononcé à l'autre bout de la pièce vous fait tourner la tête. Les psychologues appellent cela l'effet cocktail : le cerveau surveille tout le signal en permanence et alloue son attention à ce qui compte, où que ce soit dans la pièce.

C'est l'intuition de l'architecture Transformer, introduite en 2017 par l'article Attention is All You Need, et sur laquelle reposent tous les LLM actuels. Les modèles d'avant lisaient le texte comme on lit à voix haute : mot après mot, avec une mémoire qui s'effilochait sur la distance. Le Transformer, lui, regarde toute la phrase d'un coup et laisse chaque mot « consulter » tous les autres : dans « le chat mange la souris », il relie instantanément qui fait quoi à qui. Ce mécanisme d'attention, répété sur des dizaines de couches empilées qui affinent chacune la représentation, a libéré les modèles de la tyrannie de l'ordre séquentiel — et rendu possible leur passage à l'échelle. Les fenêtres de contexte en donnent la mesure : les grands modèles de 2026 tiennent couramment un million de tokens en tête, l'équivalent de plusieurs romans lus d'un seul regard.

Étape 4 — L'entraînement : la dictée aux milliards de copies

Imaginez un élève à qui l'on cache la fin de chaque phrase de la bibliothèque mondiale, et qui doit la deviner — puis à qui l'on montre la vraie suite pour qu'il ajuste son jugement, des trillions de fois. Voilà l'entraînement d'un LLM, d'une simplicité presque troublante : prédire la suite, mesurer l'erreur, corriger légèrement chacun des paramètres internes (la rétropropagation), recommencer. Personne n'annote rien : le texte est à la fois la question et la réponse. On parle d'apprentissage auto-supervisé, et c'est lui qui a tout permis — le savoir du monde était déjà écrit, il suffisait de le faire deviner.

L'échelle donne le vertige, et un fait continue d'intriguer les chercheurs : passé une certaine taille — les grands modèles comptent des centaines de milliards de paramètres —, des capacités apparaissent que personne n'a programmées. More is different, résumait le physicien Philip Anderson : plus, c'est autre chose. Le coût suit la même courbe : les estimations publiques évoquaient environ 78 millions de dollars de calcul pour GPT-4 et près de 190 millions pour Gemini Ultra ; pour la génération 2025-2026, les analystes parlent de plusieurs centaines de millions de dollars par modèle de pointe — chiffres à prendre avec prudence, les laboratoires ne publiant pas leurs factures.

Reste une dernière couche : un modèle fraîchement entraîné sait prédire, mais n'est ni serviable ni prudent. Le RLHF — apprentissage par renforcement à partir de retours humains — lui apprend à préférer les réponses que des évaluateurs jugent utiles et inoffensives. C'est cette étape qui transforme le prédicteur brut en interlocuteur civilisé ; elle implique aussi que ces modèles portent, en creux, les jugements de valeur de ceux qui les ont alignés. Quant à l'art de bien leur parler ensuite, il mérite un traité entier — une véritable bible du prompt engineering l'attend ici.

Étape 5 — Les limites : le témoin qui comble les trous

La neurologie connaît un phénomène troublant : certains patients amnésiques, interrogés sur leur week-end, racontent avec assurance et force détails un week-end qui n'a pas eu lieu. Ils ne mentent pas — ils confabulent : leur cerveau produit le récit le plus plausible compatible avec ce qu'il sait. Un LLM qui hallucine fait la même chose. À chaque pas, il calcule la probabilité de chaque token possible et en choisit un — tantôt le plus probable, tantôt un tirage pondéré pour laisser place à la variété (c'est le curseur de « température »). Un système qui optimise la vraisemblance produira donc, inévitablement, des énoncés plausibles et faux. L'hallucination n'est pas un bug : c'est la contrepartie de la fluidité. D'où la règle pratique : jamais de LLM seul sur un sujet où l'erreur coûte, toujours une source vérifiable ou un humain dans la boucle.

Encart — la Chambre chinoise. En 1980, le philosophe John Searle imagine un homme enfermé qui, sans connaître le chinois, manipule des idéogrammes selon un épais manuel de règles. Vu de dehors, ses réponses sont parfaites ; dedans, il ne comprend rien. Un LLM est-il autre chose qu'une chambre chinoise industrielle ? Le débat reste ouvert quarante-six ans après, et je me méfie de ceux qui le tranchent trop vite, dans un camp comme dans l'autre. Shannon, lui, mesurait la prévisibilité du langage sans jamais prétendre que deviner, c'est comprendre. La distinction mérite d'être gardée vivante — dans nos outils comme en nous-mêmes.

L'expérience des deux minutes

Cette lucidité-là — savoir ce que ces instruments sont et ne sont pas — est exactement ce que nous cultivons auprès des équipes dans nos formations à l'IA générative. Mais vous pouvez commencer seul, tout de suite.

Sortez votre téléphone. Ouvrez une conversation, tapez « Je », puis acceptez systématiquement la suggestion centrale du clavier, une vingtaine de fois. Regardez la phrase qui se construit : grammaticale, fluide, vide. Vous venez d'observer un modèle de langage miniature — le même principe que ChatGPT, avec quelques milliards de paramètres et soixante-quinze ans de théorie en moins. La distance entre cette phrase absurde et une réponse de Claude, c'est tout ce que vous venez de lire. Le principe, lui, tient toujours dans le salon des Shannon : cacher la page, et deviner la suite.