Comment un linguiste des années 1930 dicte encore la taille du vocabulaire des LLM

Bonjour amis lecteurs !

Je suis tombé sur un post Instagram cette semaine qui parlait d’un truc assez génial, et je ne résiste pas à l’envie de vous relayer cette information, non sans avoir au préalable fait un lien avec un de mes domaines de prédilections du moment : les grands modèles de langage. On part faire un petit voyage dans le passé proche pour mieux comprendre un des éléments clés de notre présent et de notre futur.

Prenez n’importe quel texte. Un roman de Victor Hugo, un rapport d’entreprise, un article de presse turc ou un poème islandais.

Comptez chaque mot, puis classez-les du plus fréquent au plus rare. Une curiosité arithmétique apparaît aussitôt : le mot le plus répété revient environ deux fois plus souvent que le deuxième, trois fois plus que le troisième, dix fois plus que le dixième et cent fois plus que le centième.

Cette régularité mathématique porte le nom de loi de Zipf. Si le sténographe français Jean-Baptiste Estoup l’avait déjà entrevue dès 1916 pour optimiser la prise de notes rapide, c’est le linguiste américain George Kingsley Zipf qui l’a théorisée et popularisée dans les années 1930.

Un siècle plus tard, ce constat ne relève plus seulement de la linguistique théorique. Il dicte directement la façon dont les modèles de langage (LLM) découpent nos phrases en petits morceaux avant de pouvoir les traiter.

Du texte au chiffre : le test des Misérables

Sur un corpus réel, l’effet est frappant. Dans Les Misérables de Victor Hugo (environ 560 000 mots au total pour 25 000 formes distinctes), le calcul confirme la théorie :

Ce que signifie chaque colonne

• Rang (r) : C’est le classement du mot, du plus utilisé au moins utilisé. Le mot numéro 1 est le champion absolu des apparitions, le numéro 2 arrive juste derrière, et ainsi de suite.
• Mot : Le terme correspondant à cette place sur le podium.
• Occurrences réelles : Le nombre exact de fois où Victor Hugo a écrit ce mot dans Les Misérables. Le mot « de » apparaît ainsi 32 200 fois.
• Prédiction théorique de Zipf : C’est le calcul bête et méchant dicté par la loi. La formule dit :

On prend le score du premier mot (32 200) et on le divise par le numéro de la ligne :

• Pour le rang 2 (« la ») : 32 200 / 2 = 16 000
• Pour le rang 3 (« et ») : 32 200 / 3 = 10 733
• Pour le rang 4 (« le ») : 32 200 / 4 = 8 050
• Pour le rang 10 (« il ») : 32 200 / 10 = 3 220

Rang x Fréquence : C’est le test de vérification. Si la loi de Zipf est vraie, multiplier le rang par le nombre réel d’apparitions doit donner à peu près toujours le même nombre (autour de 32 200).

Comment interpréter les chiffres

Pour lire ce tableau, regardez simplement deux choses :

• Le face-à-face entre réel et théorie (colonnes 3 et 4) : Hugo n’a jamais cherché à appliquer une formule. Pourtant, le deuxième mot (« la », 16 400 fois) tombe quasiment sur la prédiction théorique (16 100 fois). Le dixième mot (« il », 3 500 fois) colle lui aussi de très près au dixième attendu (3 220 fois).
• La stabilité de la dernière colonne : Que l’on soit à la ligne 1, 2, 4 ou 10, le produit tourne constamment dans la même fourchette, entre 32 000 et 36 000.

Ce tableau montre de façon concrète qu’un texte littéraire complexe obéit, sans que l’auteur en ait conscience, à une mécanique de distribution inversement proportionnelle : le 2ᵉ mot apparaît deux fois moins que le 1ᵉʳ, et le 10ᵉ mot dix fois moins.

Cette empreinte statistique est si constante qu’elle sert de test de détection universel. Lorsqu’un archéologue ou un cryptographe tombe sur un texte ancien rédigé dans un alphabet mystérieux, le premier réflexe consiste souvent à compter les symboles pour voir si la courbe de Zipf émerge. C’est précisément cette méthode qui a permis de confirmer que le célèbre manuscrit de Voynich — un livre médiéval illustré que personne n’a jamais réussi à traduire — respecte bien l’organisation interne d’une langue vivante, écartant l’hypothèse d’une suite de signes tracés au hasard par un faussaire.

Les astrophysiciens du programme SETI emploient le même principe pour scruter le ciel à la recherche d’une intelligence extraterrestre. Un simple bruit stellaire ou l’écho d’un pulsar produit des distributions statistiques désordonnées ou répétitives. À l’inverse, si une onde radio captée dans l’espace venait à respecter cette même pente mathématique, les scientifiques sauraient immédiatement qu’ils interceptent un système de communication structuré, capable de transporter de l’information complexe, avant même d’en comprendre le moindre fragment de sens.

Mais d’où ça vient ? La mécanique du moindre effort

Aucune académie n’a voté cette répartition, aucun comité de grammairiens n’en a fixé la formule. Si l’on trace le rang d’un mot en fonction de son nombre d’occurrences sur une échelle logarithmique, on obtient une ligne droite descendante avec une pente proche de -1, quelle que soit la langue vivante examinée.

Zipf expliquait ce phénomène par le principe du moindre effort, un arbitrage permanent entre deux forces opposées :

• Le locuteur, la personne qui parle, cherche l’économie d’énergie. Son idéal consisterait à employer trois ou quatre mots passe-partout très courts pour désigner toute la réalité, quitte à créer une forte ambiguïté.
• L’auditeur recherche la précision immédiate. Son intérêt penche vers un terme distinct pour chaque idée ou objet, afin de comprendre sans devoir deviner le sens selon le contexte.

La langue humaine se stabilise au point de rencontre exact de ces deux contraintes. De ce compromis naissent des règles universelles : les mots les plus utilisés sont presque toujours les plus courts (le, de, et), et plus un texte s’allonge, plus l’apparition de vocabulaire neuf ralentit.

Ok, et les LLM dans tout ça ?

J’y viens ! Cette répartition entraîne un effet secondaire lourd de conséquences pour l’informatique : la longue traîne. Dans Les misérables, les dix premiers mots représentent à eux seuls près de 20 % du volume total du livre. À l’autre extrémité du classement, plus de 11 000 mots — soit près de la moitié du vocabulaire d’Hugo — n’apparaissent qu’une seule et unique fois. Ce sont les hapax¹.

Le casse-tête des modèles de langage

Un grand modèle de langage n’avale pas du texte brut : il convertit des morceaux de texte en identifiants numériques. Pour cela, il s’appuie sur une table de référence fixe, son vocabulaire, souvent calibré entre 32 000 et 100 000 entrées (les tokens ou jetons). — je vous renvoie à mon article « Intelligence Artificielle :
Ce qui se passe vraiment quand vous parlez à un LLM » pour en savoir plus.

Face à la loi de Zipf, les approches simplistes mènent à des impasses techniques :

• Le découpage mot par mot :
  • Si l’on veut tout couvrir, le dictionnaire explose à plusieurs millions d’entrées pour intégrer les mots rares, le jargon ou les fautes de frappe. La mémoire nécessaire pour manipuler les couches de calcul devient gigantesque pour des termes qui ne serviront presque jamais.
  • Si l’on restreint le dictionnaire aux mots les plus fréquents, la machine bute constamment sur les termes de la longue traîne, obligée de les remplacer par un jeton d’erreur (<UNK>) qui détruit l’information.
• Le découpage caractère par caractère :
  • On règle le problème de la taille du dictionnaire (environ 250 caractères suffisent). En revanche, le texte explose en une séquence interminable de jetons. Comme le coût de calcul du mécanisme d’attention des Transformers grimpe au carré de la longueur du texte, traiter un document lettre par lettre devient vite hors de prix et beaucoup trop lent.

Le compromis du Byte-Pair Encoding (BPE)

Pour contourner l’obstacle, les concepteurs de modèles utilisent des algorithmes de découpage en sous-mots, dont le plus répandu est le Byte-Pair Encoding (BPE).

Le BPE part des composants de base (les caractères ou les octets bruts), puis analyse des millions de textes pour fusionner petit à petit les paires de morceaux qui apparaissent le plus souvent côte à côte, espaces compris.

Ce fonctionnement colle directement à la courbe de Zipf :

1. Les termes fréquents deviennent des jetons uniques. Les petits mots récurrents et les racines usuelles (« le », « maison », « développement ») sont assemblés en un seul token. Le modèle traite ces blocs en un seul calcul, ce qui raccourcit les séquences.
2. La longue traîne est décomposée sans perte. Un terme technique, un nom rare ou un mot très long comme « anticonstitutionnellement » ne figure pas dans le dictionnaire en un seul bloc. Le tokeniseur le segmente alors en morceaux fréquents déjà connus (« anti », « constitution », « nellement »). Aucun mot n’est ignoré, aucun jeton d’inconnu n’est nécessaire.

En conclusion

Je dis souvent lors de mes interventions, dans mon travail ou en formation, que l’intelligence artificielle est le fruit du labeur collectif initié par de très nombreuses personnes dans de très nombreux domaines. Et voici un exemple criant tout droit sorti de la linguistique !

C’est en épousant cette distribution mise en évidence par Estoup et Zipf plutôt qu’en essayant de la contraindre, que l’ingénierie moderne a trouvé son point d’équilibre : garder un dictionnaire compact sans exploser la longueur des calculs.

J’espère que cet article vous aura plu, n’hésitez pas à vous abonner pour rester en contact, à bientôt et surtout, restez curieux !

Notes de bas de page

1. Hapax est un nom masculin invariant qui désigne, en linguistique, un mot ou une forme qui n’apparaît qu’une seule fois dans un corpus de texte donné — par exemple dans l’ensemble des textes connus d’une langue ancienne, ou dans l’œuvre d’un auteur. Le terme vient du grec hapax legomenon, littéralement « (chose) dite une seule fois ». ↩︎

Sources :

• Wikipedia : Jean-Baptiste Estoup
• Wikipédia : George Kingsley Zipf
• Le post instagram à l’origine de ma réflexion et de cet article ! https://www.instagram.com/reel/Dc1TqovN371