Un point de vocabulaire avant de démarrer

Le grand public utilise souvent l’expression « intelligence artificielle » comme un mot fourre-tout pour désigner tout un univers pas toujours très bien défini. Ici, on ne va parler QUE de l’analyse et de la manipulation de texte. Cela relève d’une branche très spécifique de l’IA : les LLM (Large Language Models, ou grands modèles de langage en français).

Et ces LLMs, comme à peu près tout le monde aujourd’hui, vous en connaissez tous au moins deux ou trois : ChatGPT, Claude, Grok, ou encore Gemini.

Toute leur conception — et c’est la même qui équipe la quasi-totalité des grands modèles d’aujourd’hui — repose sur une structure inventée en 2017 : le Transformer.

Alors, bien entendu, je ne parle pas d’un robot géant, mais d’une architecture révolutionnaire décrite par des chercheurs de Google (encore eux) dans un article devenu célèbre, Attention is all you need. On y reviendra, parce que c’est le cœur de notre sujet.

Un Transformer ne lit pas un texte de gauche à droite comme vous le faites. En réalité, il pose tout le texte à plat devant lui, comme des cartes étalées sur une immense table. Il voit la totalité de la séquence en une seule fois. Un peu comme si vous, vous pouviez voir un livre entier, chaque mot qui le compose, d’un seul regard.

La fenêtre de contexte

Cette immense table porte un nom : la fenêtre de contexte. Pour faire simple, c’est l’espace de travail du modèle, c’est-à-dire, tout ce qu’il peut avoir sous les yeux au même instant. Aux débuts des LLM, cette fenêtre de contexte était limitée à quelques milliers d’unités ; les modèles actuels peuvent accueillir de la centaine de milliers à plusieurs millions d’éléments — des éléments qui portent un nom : les tokens.

Alors, mettons nous d’accord, de nos jours, cette fenêtre est très grande. Mais elle n’est pas infinie. Tout ce qui tient sur cette table est pris en compte par le modèle mais tout ce qui déborde n’existe tout simplement pas pour la machine. Je ne vais pas m’attarder sur ce concept ici, mais pour les entreprises ou les structures qui manipulent de grosses quantités d’information, c’est un enjeu et parfois un défi important.

Autre aspect intéressant : il n’y a pas QUE votre document ou votre question sur cette table. On y trouve également les instructions système — c’est-à-dire les règles qui régissent le comportement du modèle —, la description des outils auxquels il a accès, d’éventuels éléments de mémoire, et tout l’historique de la discussion en cours.

À chaque fois que vous envoyez un message, pour pouvoir vous répondre le modèle ne « se souvient » pas de la conversation précédente. Il reprend tout ce que je viens de détailler ainsi que l’ensemble des échanges, depuis le tout début, et se sert de toutes ces informations pour produire sa réponse. Plus la discussion s’allonge, plus la taille des données de cet échange grossit, plus la table s’alourdit, et plus l’espace de travail se réduit.

ASTUCE : maintenant que vous savez ça, pensez à changer de conversation à chaque nouveau sujet que vous abordez avec votre modèle de langage préféré. Vous bénéficierez de deux avantages immédiats :
1. vous ne polluez pas votre conversation avec des données hors contexte,
2. vous repartez sur une fenêtre de contexte propre et vide.

Mais commençons par le commencement : que pose-t-on, exactement, sur cette table ? En réalité, ce qui y arrive concrètement est le fruit du travail de plusieurs technologies qui opèrent en amont du modèle.

Étape 1 | Le Parsing

Quand vous tapez du texte simple dans la boîte de dialogue, il passe directement au découpage que nous verrons à l’étape suivante. En revanche, si vous lui envoyez un PDF, une image, une feuille de calcul ou un document complexe, le LLM est incapable de l’exploiter tel quel. Le fichier doit d’abord subir un traitement préparatoire en trois temps appelé le parsing :

1. L’extraction du contenu : récupérer le texte brut et les structures (titres, paragraphes, tableaux, listes, légendes).
2. La reconstruction de la structure logique : reconstituer l’ordre de lecture et les blocs de sens à partir de la mise en page (souvent via des outils spécialisés de vision ou d’analyse optique ; notamment lorsque vous soumettez une image).
3. La standardisation : convertir l’ensemble dans un format texte propre et homogène, le plus souvent du Markdown ou du JSON.

Une fois que cette matière au format texte a été normalisée, le véritable voyage au cœur du LLM peut commencer.

Étape 2 | Découper le texte : la Tokenisation

Je ne vous apprends rien si je vous dis qu’un ordinateur ne sait ni lire ni comprendre les lettres de l’alphabet. Tout ce qu’il manipule, ce sont des valeurs numériques. Si on injecte directement du texte brut dans le réseau de neurones d’un LLM, le système ne saura pas quoi en faire. Les lettres « a » ou « b », un mot comme « avocat », ne veulent rien dire. On ne peut pas faire de calcul avec ça. Il faut donc convertir le texte en une suite de nombres : c’est ça qu’on appelle la tokenisation.

Le texte normalisé est envoyé dans un outil appelé tokenizer, dédié à une tâche précise : découper le texte en petits fragments appelés tokens.

Historiquement, il y avait trois façons de découper le texte :

• Caractère par caractère : l’alphabet est très compact (une centaine de signes), mais les suites de lettres converties en chiffres, deviennent interminables pour une seule phrase, ce qui ralentit considérablement les calculs.
• Mot par mot : chaque mot du dictionnaire reçoit un numéro. Le problème ? La langue compte des millions de formes fléchies, de conjugaisons et de néologismes. Le dictionnaire deviendrait gigantesque et bloquerait face au moindre mot inconnu ou à une faute de frappe.
• Utiliser des fragments de mots (BPE – Byte-Pair Encoding) : c’est la méthode adoptée par la quasi-totalité des modèles actuels. L’astuce consiste à repérer les combinaisons de lettres les plus fréquentes. Les mots courants vont alors former un seul morceau (token), tandis que les mots rares, le jargon ou les fautes de frappe seront fractionnés en sous-mots ou fragments connus.

À partir de maintenant, pour pouvoir suivre le trajet de l’information, je vais utiliser deux questions témoins tout au long de mes explications :

• Question A (contexte juridique) : « Comment choisir un bon avocat pour me défendre au tribunal ? »
• Question B (contexte culinaire) : « Comment choisir un bon avocat bien mûr pour préparer une salade ? »

Voyons maintenant ce qui arrive à ces questions, étape par étape, à partir du moment où vous les tapez au clavier jusqu’au premier mot généré en retour.

Le « dictionnaire » (le vocabulaire)

Avant même d’apprendre à prédire quoi que ce soit, le modèle de langage s’appuie sur une table fixe (imaginez un fichier Excel) qui a été créée lors de sa conception : c’est son vocabulaire. Ce vocabulaire compte entre 32 000 et 128 000 entrées (voire 256 000 sur les modèles les plus récents). Chaque entrée associe un morceau de texte précis (un jeton ou token) à un numéro d’identification unique (un identifiant ou ID).

Passons nos deux questions au tokenizer :

Question A (11 unités) :

[« Comment »,  » choisir »,  » un »,  » bon »,  » avocat »,  » pour »,  » me »,  » défendre »,  » au »,  » tribunal »,  » ? »]

Traduction en liste d’identifiants :

[4521, 8912, 451, 3105, 4819, 589, 712, 14820, 340, 18920, 32]

Question B (13 unités) :

[« Comment »,  » choisir »,  » un »,  » bon »,  » avocat »,  » bien »,  » m », « ûr »,  » pour »,  » préparer »,  » une »,  » salade »,  » ? »]

Traduction en liste d’identifiants :

[4521, 8912, 451, 3105, 4819, 1205, 88, 1944, 589, 9425, 245, 15410, 32]

Voici à quoi ressemblerait un extrait de cette table de correspondance :

Notez la présence de l’espace au début de certains fragments : la plupart des tokenizers traitent l’espace précédant un mot comme faisant partie intégrante du token lui-même.

Pour simplifier les explications, j’ai un peu triché et j’ai fait de chaque mot un token. Dans la réalité, ce découpage est beaucoup plus fin. Prenons l’exemple du tokeniser utilisé par le modèle Claude de la société Anthropic : 

18 tokens pour 60 caractères

[12502, 3770, 299, 393, 691, 8741, 1700, 514, 271, 7312, 494, 42967, 441, 270, 9476, 14019, 32703, 4340]

20 tokens pour 65 caractères

[12502, 3770, 299, 393, 691, 8741, 1700, 514, 271, 12741, 310, 19357, 86, 7312, 17923, 63998, 8448, 5495, 1556, 4340]

Vous pouvez tester avec le TokeniserPlayground de Huggingface.

Au jeu du découpage, toutes les langues ne sont pas logées à la même enseigne. Les tokenizers ayant longtemps été entraînés majoritairement sur des textes en anglais, notre belle langue française — avec ses accents, ses apostrophes et ses terminaisons — réclame souvent plus de fragments pour une même phrase (un surcoût aujourd’hui évalué à 15-30 % environ sur les modèles récents). Peut-être avez-vous déjà entendu qu’il valait mieux parler en anglais à une IA. Ce n’est pas parce-qu’elle comprend mieux cette langue, c’est juste parce-que c’est plus économique.

En anglais, seulement 13 tokens pour 55 caractères

[4495, 705, 373, 6928, 269, 1929, 17296, 317, 2551, 494, 300, 3541, 35]

Bien ! À ce stade, l’ordinateur dispose enfin d’une série de nombres exploitables. Mais regardez bien :

• Dans la question A, avocat porte l’identifiant 4819.
• Dans la question B, avocat porte très exactement le même identifiant 4819.

Pour toute l’amorce de la phrase « Comment choisir un bon », c’est pareil : chaque mot reçoit rigoureusement le même identifiant dans les deux cas.

Pour le moment, cet identifiant n’est encore qu’une étiquette sans sens réel pour la machine. Elle ne sait pas si 4819 désigne un homme de Loi ou un fruit. Pour pouvoir travailler avec ces chiffres, il va falloir leur donner un peu plus de sémantique, un peu plus de sens…

Étape 3 | L’embedding

Bien. Maintenant que nous avons nos tokens avec leurs identifiants, on n’est pas beaucoup plus avancés — ce ne sont que des numéros. C’est à ce stade qu’ils sont envoyés au modèle, et plus exactement à sa première couche : la table d’embedding. 

En français, on parle de « plongement lexical ». C’est bô, non ?

Pour pouvoir calculer des relations entre les mots, chaque mot doit être décrit par une collection de caractéristiques, une très très longue liste de nombres décimaux qu’on appelle un vecteur.

Contrairement à tout ce qui va se passer ensuite, le plongement lexical est une opération assez simple. Si vous travaillez avec Excel, c’est l’équivalent d’une RECHERCHEV dans une table.

Le modèle conserve en mémoire une immense matrice d’embedding. C’est un grand tableau à double entrée :

• Il contient autant de lignes que d’entrées dans le vocabulaire (par exemple 50 000 lignes).
• Chaque ligne contient plusieurs centaines ou milliers de colonnes (souvent 768, 1024 ou 4096 colonnes) qu’on appelle des dimensions.

Quand le modèle reçoit l’ID 4819, il va simplement lire la ligne 4819 pour récupérer sa liste de coordonnées :

• L’identifiant 4819 (« avocat ») donne une suite de coordonnées comme : [0.24, -1.15, 0.08, 0.72, …, -0.31].
• L’identifiant 3105 (« bon ») donne une autre suite : [0.51, 0.03, -0.84, -0.12, …, 0.45].

Un vecteur, c’est donc une très longue liste de nombres qui représente le sens d’un token dans un espace mathématique. C’est ça qu’on appelle un embedding.

Je sens que je vous perds…

Comprendre les embeddings

Pour vous représenter la chose, imaginez une table de mixage géante comportant des centaines ou des milliers de curseurs (les dimensions) gradués entre -1 et +1.

Prenons quelques mots et projetons-les sur trois curseurs en particulier :

Que remarque-t-on ?

• « Juge » et « pomme » pointent dans des directions opposées sur les axes du droit et de la nourriture.
• Le vecteur « avocat » a des scores positifs à la fois sur l’axe justice (+0.75) et sur l’axe alimentation (+0.60), car le modèle l’a vu apparaître dans ces deux contextes au fil de ses lectures lors de son entraînement.
• Le vecteur « bon » marque un score très fort sur l’évaluation positive (+0.90), mais flotte entre la compétence professionnelle, la saveur d’un aliment ou une appréciation générale.

Note : dans la réalité, au cœur de la matrice d’embedding, aucun curseur ne porte d’étiquette lisible en clair par un humain. Il n’existe pas de curseur explicitement nommé « cuisine » ou « justice » dans le code. Les coordonnées géométriques sont des motifs totalement abstraits appris automatiquement par le modèle lors de son entraînement.

Mais le résultat final est incroyablement précis : le sens devient une position dans l’espace, et la proximité de sens devient une proximité géométrique. Des mots comme « chat » et « chien » seront très proches alors que « chat » et « voiture » seront très éloignés.

Des vecteurs appris

Alors, ces dimensions, ces vecteurs, n’ont pas été fixés arbitrairement, ni encodés à la main par des opérateurs humains : ce sont des paramètres ajustés pendant l’entraînement du modèle. Et ça — je vous prie de me croire — c’est de loin la partie la plus secrète du fonctionnement des LLM. Durant l’apprentissage, des tokens sémantiquement proches, comme « chat » et « chien » ou « roi » et « reine », finissent par avoir des vecteurs proches dans cet espace, ce qui permet au modèle de capturer du sens.

Chaque modèle possède sa propre table d’embedding, et celle-ci doit correspondre exactement au tokenizer utilisé, puisque les identifiants générés par le tokenizer servent d’index direct dans cette matrice. C’est pourquoi on ne peut pas mélanger le tokenizer d’un modèle avec la table d’embedding d’un autre.

L’encodage de position

Une fois que chaque token a été transformé en vecteur, il reste une opération à réaliser : repérer l’ordre des mots et procéder à l’encodage de la position.

Un peu plus tôt, je vous disais que le modèle regarde en une seule fois tout ce qui se trouve sur sa table de travail. Or, puisqu’il traite tous les tokens en parallèle, il n’a aucune idée de l’ordre dans lequel il doit les lire. Sans aide extérieure, « Comment choisir un bon avocat pour me défendre au tribunal ? » et « tribunal défendre me pour avocat bon un choisir Comment ? » seraient pour lui deux sacs de mots rigoureusement identique.

L’ordre doit donc être injecté artificiellement. À chaque vecteur, on associe une signature mathématique de position qui précise son rang dans la phrase, très important pour la suite.

Et ensuite ?

Eh bien nous voici arrivés au moment où le modèle est en possession de tous ses vecteurs de base, avec une position encodée. Il est prêt pour l’étape suivante : l’enrichissement contextuel. Les couches du Transformer, qui ne sont ni plus ni moins que le cœur du modèle, vont transformer ces représentations initiales pour en saisir le sens profond.

L’attention est la seule chose dont vous avez besoin

Si vous êtes toujours là : bravo. C’est maintenant que nous rentrons dans le dur — et toujours pas de mathématiques à l’horizon, promis.

Attention is all you need : je vous en parlais en introduction, c’est le titre de l’article publié par des chercheurs de Google en 2017, et c’est par lui que tout arrive.

Pour mesurer l’impact de cet article et la rupture profonde qui a suivi, il faut savoir comment on faisait avant. Les modèles de l’époque traitaient le langage en file indienne, un mot après l’autre, en tâchant de conserver une mémoire de ce qui précédait. Résultat : plus deux mots liés étaient éloignés dans la phrase, plus le lien avait de chances de s’appauvrir en cours de route. L’article de 2017 révolutionne l’approche en proposant de tout traiter simultanément ce qui permet de capturer les relations complexes entre les mots, aussi éloignés soient-ils.

Le cœur de cette architecture, c’est le mécanisme d’attention — et c’est de loin la partie la plus spectaculaire du fonctionnement d’un LLM.

Récapitulons.

Nous avons tapé une question, ou envoyé un document au modèle. Tout le texte a été extrait, normalisé, puis découpé en petits morceaux : les tokens. À chaque token, on a donné une représentation très riche de ce qu’il est, sous la forme d’une longue série de valeurs chiffrées : un vecteur. Et tous nos vecteurs sont maintenant sur la table. Mais ces vecteurs sont encore très solitaires : ils manquent de relations avec tous les autres. C’est à ce moment que le mécanisme d’attention entre en jeu.

Étape 4 | L’attention — Requêtes, clés et valeurs

Nous arrivons au cœur du modèle. Pour savoir exactement ce que signifie le mot « avocat » dans la phrase (on dit qu’on va « lever l’ambiguïté »), les mots doivent s’interroger mutuellement. C’est le mécanisme d’attention.

Chaque mot possède au départ un vecteur (son « profil » brut). Le mécanisme d’attention sert à modifier ce vecteur en y injectant du contexte. C’est comme si chaque mot disait à ses voisins : « Dis-moi qui tu es, et en fonction de ce que j’apprendrai, je vais modifier mon propre profil (mon propre vecteur) pour devenir plus précis. »

Le mécanisme d’attention repose sur des produits scalaires — une opération qui mesure la similarité géométrique entre ces vecteurs. Imaginez que le modèle multiplie les coordonnées de chaque mot par celles de ses voisins pour calculer des scores d’affinité. Ces scores déterminent non seulement quels éléments méritent de l’attention, mais surtout, quelle dose d’information chaque mot va absorber des autres. Voici une petite illustration créée par Gemini :

L’analogie de la soirée professionnelle

Pour bien comprendre cette notion, imaginons une grande soirée de réseautage professionnel. Dans cette soirée, chaque vecteur est un invité. Au début, chaque invité arrive avec un profil unique mais générique. Grâce aux discussions, il va repartir « transformé ». 

Notre invité arrive à la soirée avec trois choses : 

• Une Requête (Query) : La question que l’invité pose pour identifier qui autour de lui peut enrichir son profil (« Qui parmi vous m’aide à préciser mon sens ? »).
• Une Clé (Key) : Le badge que l’invité porte, qui indique ce qu’il a à offrir (« Voici qui je suis et ce que j’apporte »).
• Une Valeur (Value) : Le dossier d’informations que l’invité transmet si son badge correspond à la requête.

La mécanique en 4 temps : le récit d’une transformation

Pour vous expliquer ça, je laisse la parole à l’un de ces vecteurs, l’un de ces invités : le mot « avocat ».

— Pour bien comprendre ce qui m’arrive, mettez-vous à ma place. Je suis le mot « avocat ». Je viens d’entrer dans cette grande soirée de réseautage qu’est le mécanisme d’attention. Je suis un invité un peu perdu : mon profil (mon vecteur) est encore flou, générique. Je suis « avocat », certes, mais est-ce que je suis un fruit ou un homme de loi ? Pour le savoir, je dois naviguer dans la salle et interagir avec les autres invités.

— Voici comment mon parcours s’est déroulé en quatre étapes :

1. Le tour des présentations (Calcul des affinités) : Je balaie la salle du regard en brandissant ma Requête (Query) : « Qui, parmi vous, peut m’aider à préciser mon identité ? ». Je croise les badges (Clés/Keys) de chaque invité présent. Certains badges m’attirent immédiatement : « Tribunal » et « Défendre » brillent d’un éclat particulier. Ce sont eux qui résonnent le plus avec ma requête.
2. La sélection naturelle (Facteur d’échelle) : Tous ces nouveaux contacts sont excitants, mais je ne peux pas m’éparpiller. Pour garder les idées claires et éviter de saturer mon esprit, je tempère l’intensité de ces rencontres. Je réduis un peu l’enthousiasme de mes premières impressions pour que mes calculs restent stables et précis.
3. L’ordre de priorité (Distribution / Softmax) : Maintenant que j’ai filtré les profils, je dois choisir à qui accorder mon attention. Je distribue mon énergie sous forme de pourcentages. « Défendre » reçoit 46%* de mon attention, « Tribunal » 38%*, tandis que les autres invités moins pertinents reçoivent les miettes. Cette répartition, c’est ma manière de dire : « Ces informations-là sont vitales, celles-ci sont accessoires. »
   * Ces pourcentages sont fictifs, c’est pour illustrer le propos.
4. La métamorphose (Mélange pondéré) : C’est le moment de vérité. Je m’approche des invités prioritaires et je leur demande leur dossier (Valeur/Value). Ils me transmettent leurs informations, leurs contextes, leur essence. J’absorbe ce contenu et je le fusionne avec mon propre profil.

Résultat : Je ne suis plus le même invité qu’au début de la soirée. J’ai été littéralement « transformé ». Mon ADN numérique, autrefois vague, a intégré la rigueur du droit. Si j’avais croisé « salade » et « mûr », mon profil aurait pris une tournure tout à fait différente. C’est cette mise à jour constante, réalisée à chaque étape du voyage, qui me permet de devenir, pour vous, le mot précis que vous attendiez.

Le profil de chaque mot est donc mis à jour. Le vecteur d’« avocat » n’est plus la même suite de nombres après ce processus : il a littéralement « absorbé » les caractéristiques de ses voisins (une partie des chiffres qui composent les vecteurs). Dans la question A, son ADN numérique a intégré le contexte juridique ; dans la question B, il s’est enrichi des caractéristiques alimentaires. C’est cette mise à jour constante qui permet au modèle de comprendre les nuances.

C’est ça, le mécanisme d’attention : le modèle ajuste sa représentation de chaque mot en le liant instantanément à ses partenaires les plus pertinents.

L’attention multi-têtes

Toujours bien accroché à votre siège ? On va continuer dans le vertigineux.

Si l’attention est une soirée de réseautage, l’attention multi-têtes, c’est comme si le Transformer ouvrait simultanément plusieurs salons thématiques dans la même soirée : un salon pour la grammaire, un salon pour le vocabulaire, un salon pour le contexte d’action, etc. Une précision tout de même : à nouveau, cette analogie est une simplification pédagogique. Dans la réalité, le découpage des rôles n’est pas toujours aussi net ni aussi « lisible » par nous autres, humains. Les travaux d’interprétabilité montrent que les fonctions des têtes sont souvent plus diffuses et abstraites, rendant la compréhension totale du modèle imparfaite.

Le mystère de la boîte noire
C’est précisément au cœur de ces mécanismes d’attention que réside ce que l’on appelle l’aspect « boîte noire » des LLM. Si nous pouvons observer les calculs mathématiques, il reste extrêmement difficile de savoir exactement ce que fait une IA à cet endroit précis. Comprendre pourquoi une tête d’attention a pris une décision donnée ou comment elle représente une idée abstraite demeure l’un des plus grands défis de l’interprétabilité en IA.

Pourtant, la machine ne s’arrête pas à ce mystère. Car dans une phrase, un mot n’a pas qu’une seule question à poser, il en a plein : il doit en apprendre sur son champ lexical, sur sa grammaire (qui fait l’action ? quel est le verbe ?), et sur ses relations matérielles ou spatiales en même temps. Et donc notre vecteur, qui frôle l’ubiquité, participe à tous ces ateliers de façon simultanée, puis compile l’ensemble des informations récoltées avant de monter à l’étage suivant. 

Ah ? je ne vous l’avais pas dit ? Tout ça va se dérouler dans une tour à plusieurs étages (souvent plusieurs dizaines, parfois jusqu’à une centaine). 

L’étape d’attention va se répéter des dizaines et des dizaines de fois, dans ce qu’on appelle les couches du Transformer. À chaque étage, l’information est brassée, raffinée, précisée.

Dans les étages bas, on travaille sur les relations les plus basiques : la grammaire, les accords, les dépendances immédiates. Plus on monte, plus le niveau d’abstraction augmente. Aux étages supérieurs, le modèle devient capable de prendre en compte des choses beaucoup plus fines : la structure argumentative d’un texte, le registre, l’ironie, le sous-texte, etc. 

Une fois toutes ces couches traversées, une fois toutes les étapes d’attention passées, le modèle ne s’arrête pas là… Il est temps de comparer tous ces nouveaux vecteurs enrichis aux poids du modèle dans un réseau de neurones spécialisés. 

Étape 5 | Le Réseau Dense : l’atelier des filtres

Si l’Attention, c’est le moment du réseautage où les mots discutent entre eux, alors le Réseau Dense (Feed-Forward Network), c’est le moment où chaque invité se retire dans son atelier personnel pour réfléchir seul. Ici, le mot ne regarde plus ses voisins : il laisse son profil traverser les circuits internes du modèle, un réseau de neurones dédié.

Attention : ce n’est pas une recherche

Le modèle ne va pas fouiller dans une base de données, il ne « confronte » pas son vecteur à des milliers de définitions stockées pour voir laquelle correspond. C’est une réaction physique immédiate, mathématique : les poids du modèle, (ce qu’on appelle aussi ses paramètres, c’est-à-dire les milliers de milliards de réglages internes ajustés durant l’entraînement), sont comme des serrures, et le vecteur du mot est comme une clé. Si la clé a la bonne forme, la serrure s’ouvre instantanément : c’est ce qu’on appelle la résonance. Le vecteur ne cherche rien, il traverse et déclenche les circuits qui lui correspondent.

Pour comprendre comment cela fonctionne, imaginez le Réseau Dense comme une succession de filtres sophistiqués. Lorsque le vecteur de notre mot entre dans cette zone, il traverse ces filtres les uns après les autres :

• Si le vecteur « résonne » avec un filtre (le poids est activé) : la porte s’ouvre, le filtre laisse passer l’information et l’enrichit. Le mot « amplifie » le concept pertinent.
• Si le filtre ne résonne pas : l’information est bloquée, annulée. C’est ainsi que le modèle « nettoie » sa réflexion : seuls les poids ayant une influence réelle modifient le vecteur.

Dans cet atelier, le mot passe par trois étapes rapides :

1. L’exploration (Expansion) : Le mot « déballe » tout ce qu’il sait. Il projette son profil à travers tous ses filtres pour voir quels concepts (justice, cuisine, météo…) « résonnent » avec sa nature.
2. Le tri (Activation) : Parmi cette multitude d’idées activées par ses circuits, les filtres bloquent tout ce qui ne colle pas avec la phrase actuelle. Il ne garde que les « neurones » de sens utiles ici et maintenant.
3. La synthèse (Compression) : Il remballe le résultat. Il ne garde que l’essence de cette réflexion pour enrichir son profil avant de passer à l’étage suivant de la tour.

En clair : C’est là que le modèle transforme une simple information contextuelle en une véritable compréhension profonde.

Le masque causal : l’interdiction de tricher

Si le Transformer voit tout d’un seul regard sur sa table de travail, pourquoi le modèle ne « lit-il » pas la fin de la phrase en premier ? C’est là qu’intervient le masque causal. Cette règle technique, née de la nécessité lors de l’entraînement d’empêcher le modèle de tricher, est devenue une caractéristique structurelle du Transformer. Même au moment de répondre, elle force le modèle à traiter l’information de manière séquentielle : chaque nouveau mot généré ne peut s’appuyer que sur les mots précédents. C’est ce qui garantit que la génération reste une construction fluide, mot après mot, plutôt qu’une analyse globale et statique du texte.

Étape 6 | La réponse

La prédiction du mot suivant (Logits, température et génération)

Après avoir traversé tous les étages de la tour, l’information accumulée au niveau du dernier élément se condense dans un profil final qui résume tout le contexte de la phrase. Le modèle doit accomplir son ultime tâche : transformer ces coordonnées abstraites en un seul mot lisible. 

Oui, vous avez bien lu, tout le travail que nous venons de décrire, tout le cheminement parcouru, tout ça ne sert qu’à une seule chose : prédire le premier mot qui va initier la réponse du modèle.

Les logits

Le modèle compare le vecteur final à l’ensemble des entrées de son grand dictionnaire de vocabulaire. Cette comparaison produit une longue liste de dizaines de milliers de notes brutes : les logits. Un logit est une note attribuée à chaque mot du dictionnaire : plus la note est haute, plus le mot est jugé pertinent pour continuer la phrase.

Transformer les notes en pourcentages : la température

Pour choisir un mot, ces notes brutes sont converties en une grille de pourcentages dont le total fait exactement 100 %. C’est ici qu’intervient le réglage de la température :

Une température basse, dite « froide », a pour effet d’accentuer fortement les écarts entre les notes. Le modèle sélectionne alors presque systématiquement le token classé en tête, ce qui lui confère un comportement rigoureux et très prévisible, bien que parfois répétitif.

À l’inverse, une température moyenne offre un réglage équilibré qui préserve la logique globale tout en autorisant des alternatives crédibles. C’est la configuration standard adoptée par la plupart des modèles pour produire des réponses au ton plus naturel.

Enfin, une température haute, ou « chaude », aplanit les écarts de probabilité et donne leur chance à des termes moins évidents. Si ce réglage favorise l’imprévu et la créativité, il augmente toutefois sensiblement le risque d’erreurs ou d’incohérences dans la génération du texte.

Regardons les candidats prédits pour la suite directe de nos deux questions après le point d’interrogation :

Dans la question A, la suite s’oriente vers la démarche pour mandater un professionnel de justice (« Pour choisir un avocat spécialisé… », « Tout dépend de votre affaire… »).

Dans la question B, ce sont les conseils pratiques d’achat et de maturité qui remontent naturellement (« Pour reconnaître un avocat mûr… », « Vérifiez la fermeté… »).

Et c’est reparti pour un tour !

Une fois le token choisi, le modèle l’affiche et recommence tout depuis le début. Il reprend ce nouveau token, le fait passer à son tour dans toutes les couches de la machine, l’ajoute à ses calculs précédents, refait tout le processus jusqu’à obtenir un nouveau vecteur, donc un nouveau token, qu’il affiche à la suite du premier. Et ainsi de suite, à une vitesse vertigineuse, jusqu’au point final de sa réponse.

Humainement, il est très difficile de se représenter la somme titanesque de calculs réalisés chaque seconde pour répondre à une simple question.

Essayons quand même.

Pour chaque token généré :

• le modèle calcule l’attention entre des milliers de fragments.
• Il fait voyager l’information à travers plusieurs dizaines de couches — souvent de l’ordre de quatre-vingts sur les gros modèles.
• Puis il compare le résultat à son dictionnaire pour attribuer une probabilité à chaque entrée.
• Il sélectionne les tokens les plus probables puis en tire un au hasard.
• Et il recommence, encore et encore, plusieurs dizaines de fois par seconde. Ce sont des centaines de milliards d’opérations mathématiques réalisées pour chaque mot affiché à l’écran.

Je vous avais promis du vertigineux n’est-ce pas ?

7 | Quand l’information manque : la confabulation

Ah, j’entends des voix s’élever dans le fond. Et les hallucinations, alors ? Ça vient d’où ?

D’abord, une hallucination, c’est quoi ? Pour faire très simple, c’est une erreur, une fausse information, que le modèle vous sert avec un aplomb tel que vous risquez de la prendre pour argent comptant si vous ne vous méfiez pas.

Et j’insiste sur l’aplomb, parce que c’est là qu’est le danger réel. Le cas d’école — « De quelle couleur est le chat de Julie ? » alors que l’information n’a jamais été donnée — est aujourd’hui bien géré par les grands modèles, qui vous répondront le plus souvent qu’ils n’ont pas l’information. Ce n’était pas le cas dans les débuts : un modèle de première génération aurait très bien pu vous répondre « Le chat est roux », sans aucune base factuelle, simplement pour produire une réponse cohérente. Cohérente, mais fausse.

Non, le vrai risque en 2026 est beaucoup plus discret. C’est la référence juridique qui n’existe pas mais dont le numéro d’article est parfaitement formé. C’est le chiffre plausible, du bon ordre de grandeur, dans le bon tableau, mais faux. C’est le résumé qui déforme imperceptiblement une source. Ces erreurs-là ne se signalent pas : elles se fondent dans un texte impeccable. Des avocats en ont fait les frais devant des tribunaux, en citant des jurisprudences fabriquées de toutes pièces.

Et comprenez bien d’où ça vient : nous venons de voir que le modèle tire au sort dans une distribution de probabilités. Quand l’information manque, la distribution ne se vide pas, elle s’aplatit. Il reste toujours un candidat plausible à tirer. Le modèle produit donc une réponse fluide et bien formée, quelle que soit la solidité de ce qu’il avance.

Les modèles ont énormément progressé sur ce terrain — mais pas de façon linéaire. Certaines générations récentes, notamment parmi les modèles dits de raisonnement, ont affiché sur certains tests des taux d’erreur supérieurs à ceux de leurs prédécesseurs sur certains tests. En 2026, le phénomène est bien mieux documenté et mieux compris, mais il n’a pas disparu, et ses origines sont multiples.

Tiens, je vous livre un petit secret — même si c’est un secret de Polichinelle. Une partie des chercheurs plaide pour remplacer le terme « hallucination » par celui de confabulation. Pourquoi ? Parce que le mot « hallucination » suggère une défaillance sensorielle : chez un être humain, halluciner implique de voir ou d’entendre quelque chose qui n’existe pas. Or le modèle ne perçoit rien. Employer ce terme, c’est lui prêter une caractéristique humaine qu’il ne possède pas.

Le mot « confabulation » est plus précis, et je trouve l’argument convaincant. En psychologie, il désigne le processus par lequel notre cerveau, face à un trou de mémoire, reconstruit quelque chose de cohérent en comblant le vide avec des souvenirs plausibles, fabriqués, tout en étant sincèrement convaincu de dire vrai. C’est exactement ce que fait notre modèle de langage. Il ne délire pas : il comble le vide avec la meilleure intention statistique possible pour maintenir la fluidité de son récit.

Cela dit, soyons honnête : dans la littérature scientifique comme dans l’industrie, « hallucination » reste très largement dominant. Ne soyez pas surpris de croiser les deux.

Peut-on les éliminer ?

Sur ce point, les spécialistes sont plutôt unanimes : supprimer totalement les confabulations est quasiment impossible avec une architecture de prédiction probabiliste. Ce n’est pas un bug qu’on corrigera un jour avec une mise à jour, c’est structurel. En revanche, on peut sérieusement les limiter — et pour ça, l’industrie a développé plusieurs garde-fous. Petit tour du propriétaire.

Le premier, c’est ce qu’on appelle le RAG. L’idée est simple : plutôt que de laisser le modèle puiser dans sa mémoire statistique un peu floue, on lui donne directement les bons documents sous les yeux, et on lui demande d’aller y chercher ses réponses, sources à l’appui. Si vous avez déjà utilisé NotebookLM, chez Google, pour interroger vos propres PDF, vous avez déjà touché du doigt cette technique sans le savoir. Attention cela dit : le RAG réduit fortement le risque, il ne l’annule pas. Le système peut très bien aller chercher le mauvais passage, ou déformer légèrement ce qu’il a pourtant sous les yeux.

Le deuxième garde-fou, c’est sans doute le plus efficace au quotidien en 2026 : donner au modèle un accès à la recherche web. Plutôt que d’inventer, il va chercher l’information à la source, en direct, et vous glisse le lien. Vous pouvez cliquer, vérifier, vous faire votre propre avis. C’est un peu comme demander à un collègue qui ne connaît pas la réponse d’aller la chercher plutôt que de vous en donner une au hasard pour ne pas perdre la face.

Troisième piste : apprendre au modèle à dire « je ne sais pas ». Ça paraît évident dit comme ça, mais c’est un vrai sujet d’entraînement : calibrer l’incertitude d’un modèle pour qu’il s’abstienne plutôt que d’improviser une réponse plausible. On y revient plus loin, mais souvenez-vous du fameux chat de Julie : c’est exactement ce progrès-là qui permet à un modèle récent de vous répondre « je n’ai pas cette information » plutôt que d’inventer une couleur de pelage.

Il y a aussi la vérification après coup, une sorte de relecture automatisée. On demande à un second modèle de comparer ce qui a été écrit avec les documents sources, pour traquer les incohérences. Un peu comme un étudiant qui relit sa copie avant de la rendre — sauf qu’un modèle qui se relit lui-même a la même faiblesse que cet étudiant fatigué à minuit : il repère mal ses propres erreurs, parce qu’il est convaincu d’avoir raison. Un correcteur extérieur, indépendant, fait toujours un bien meilleur travail.

Et puis il y a vous. Le dernier garde-fou, et pas le moindre, c’est votre façon de poser la question. Plus votre demande est précise, moins le modèle a de trous à combler tout seul. Et une astuce que j’utilise souvent : demandez-lui de vous poser des questions avant de répondre. C’est redoutable pour faire remonter, avant même de lancer la machine, les informations qui manquent encore dans votre propre tête.

Tout ça pour dire que oui, les modèles deviennent de plus en plus fiables, de plus en plus puissants. Mais votre esprit critique et votre relecture restent indispensables avant d’utiliser un texte produit par un LLM. Et c’est d’autant plus vrai si vous travaillez sur un sujet que vous ne maîtrisez pas vous-même : c’est précisément là que vous n’avez aucun moyen de repérer l’erreur qui se cache, bien polie, au milieu d’un texte par ailleurs impeccable.

Au revoir

Nous voici parvenus à la fin de ce petit voyage dans le monde des LLM. On pourrait bien entendu aborder de nombreux autres sujets : les modèles multimodaux, l’évolution de la puissance de calcul, ou les enjeux éthiques liés à l’usage de l’IA en général et des LLM en particulier. Qui sait, peut-être en parlerons nous dans de prochains épisodes. J’espère avoir atteint le but que je m’étais fixé, à savoir vous donnez les premières clefs pour comprendre et démystifier la « magie » les LLM.

La prochaine fois que vous poserez une question à votre IA, vous ne regarderez plus tout à fait de la même façon ce petit curseur clignotant qui attend votre question. Vous savez désormais quelle incroyable technologie vous mobilisez en appuyant sur la touche Entrée. Vous savez que cette machine ne pense pas, mais qu’elle calcule la réponse la plus probable dans son immense espace sémantique, à une vitesse qui défie l’entendement.

Vous avez trouvé cet article intéressant ? Mieux, vous l’avez trouvé utile ? Parlez-en autour de vous, et abonnez-vous pour ne pas manquer les suivants.

C’était Dans l’œil de Wallace. Merci de m’avoir lu. Restez curieux, et à bientôt.

Sources et références

• Vaswani et al., Attention is all you need, 2017 — l’article fondateur de l’architecture Transformer.
• Pour visualiser vous-même la tokenisation d’une phrase, token par token : https://huggingface.co/spaces/Xenova/the-tokenizer-playground ou https://tiktokenizer.vercel.app/
• NotebookLM (Google) : un exemple grand public d’outil fondé sur le RAG.

Glossaire

• Confabulation (ou Hallucination) : Processus par lequel l’IA, en l’absence de données fiables, comble les vides avec des informations plausibles mais inventées pour maintenir la fluidité du texte.
• Embedding (Plongement lexical) : Technique consistant à transformer des mots (tokens) en une liste de nombres (vecteurs) dans un espace mathématique, où la proximité géométrique reflète la proximité de sens.
• Fenêtre de contexte : Espace de travail du modèle ; tout ce que le LLM peut « voir » et prendre en compte au moment de générer une réponse (votre question, l’historique, etc.).
• LLM (Large Language Model) : Modèle d’intelligence artificielle spécialisé dans la compréhension et la génération de texte.
• Mécanisme d’attention : Étape clé de l’architecture Transformer où les mots interagissent pour définir leur sens selon le contexte (ex: distinguer un « avocat » fruit d’un « avocat » métier).
• Poids (ou Paramètres) : Réglages internes du modèle, ajustés pendant l’entraînement, qui déterminent la façon dont l’information circule et est transformée.
• RAG (Retrieval-Augmented Generation) : Technique permettant à l’IA d’accéder à des documents externes pour sourcer ses réponses et limiter les confabulations.
• Réseau Dense (Feed-Forward) : Étape de traitement interne où chaque mot, après avoir intégré le contexte, est traité individuellement par les filtres du modèle pour approfondir sa compréhension.
• Température : Réglage influençant la créativité du modèle : une température basse favorise la prédictibilité, une température haute favorise la diversité et l’originalité.
• Token : Unité de base du texte pour la machine. Un mot peut être un seul token, ou être découpé en plusieurs fragments selon sa fréquence d’usage.
• Transformer : Architecture technique inventée en 2017, devenue la base de la quasi-totalité des LLM actuels, permettant un traitement parallèle et massif des données.
• Vecteur : Liste de nombres (coordonnées) représentant mathématiquement le sens d’un token dans l’espace sémantique.