Dans cette leçon
La tokenisation, ou comment un modèle lit
Ni lettres, ni mots : un modèle reçoit des tokens. Pariez sur le meilleur découpage, puis mettez-le à l’épreuve.
À la fin, vous saurez
- Expliquer pourquoi un modèle transforme le texte en tokens avant tout calcul.
- Comparer les compromis entre caractères, mots et sous-mots.
Avant de commencer : Le jeu que joue un modèle de langage
Combien de « r » dans strawberry ? Pendant des années, des modèles capables de réussir un examen de droit ont raté cette question d’école primaire. La raison n’a rien de mystérieux : le réseau de neurones au cœur d’un modèle ne voit jamais les lettres. Un tokeniseur découpe d’abord le texte en tokens, puis associe chaque token à un identifiant numérique. Le réseau reçoit ces identifiants, rien d’autre. Si strawberry arrive en un seul bloc, il n’y a nulle part où compter des « r ».
Plusieurs découpages sont possibles : certains préservent chaque détail, d’autres raccourcissent la suite, d’autres encore échouent sur un mot inconnu. Votre première mission consiste à trouver le bon compromis.
Observez trois façons de casser une phrase
Prenez « le chat dort ». Pour en faire des unités, tout est permis :
- lettre par lettre :
l,e,c,h,a,t… (une douzaine d’unités pour trois mots) ; - mot par mot :
le,chat,dort(trois unités, affaire réglée) ; - ou entre les deux : des morceaux de mots.
La troisième option paraît la plus étrange. Est-elle aussi la meilleure ? C’est précisément l’objet de votre pari.
Prédisez le découpage gagnant
Trois candidats : caractères, mots, sous-mots. Le plus court est facile à deviner. La vraie question est ailleurs : que fera chaque mode du mot inventé vélolune, d’un 👋 ou de 3,14 ?
Votre pari
Quel mode encaisse « vélolune » sans perdre son orthographe ni allonger toute la phrase ?
Personne ne corrige. Engagez-vous, l’instrument tranchera.
Un compromis courant : les fragments familiers restent entiers ; les mots rares, symboles et emoji se replient sur de petites unités.
Manipulez la facture
L’étrange troisième option se révèle le compromis exact des tokeniseurs de production - et les compteurs montrent ce qu’il leur apporte. Passez en mode Caractères : presque rien n’est inconnu, mais la séquence s’allonge. En mode Mots, les entrées connues de ce petit vocabulaire restent compactes tandis que les mots absents deviennent <UNK> : leur orthographe est perdue. Revenez enfin aux Sous-mots et essayez Vélolune 👋 coûte 3,14 !. Chaque symbole reste visible ; les fragments familiers, eux, restent groupés.
Les compteurs rendent le compromis visible : moins de tokens signifie généralement moins de travail dans les couches suivantes, mais le vocabulaire doit conserver une solution de repli pour les entrées jamais rencontrées.
Défi En mode Sous-mots, cherchez la phrase la plus compressible : faites grimper le ratio caractères / token aussi haut que possible. Indice : ce tokeniseur a été entraîné sur un petit corpus français, et les mots qu’il connaît bien restent entiers. Puis tentez l’inverse avec un emoji ou un mot inventé, et regardez le ratio s’effondrer.
Expliquez la recette des sous-mots
Les tokeniseurs de sous-mots apprennent un vocabulaire de fragments récurrents. Dans la famille BPE (Byte Pair Encoding), une version pédagogique de l’algorithme répète une règle :
Repérer la paire de fragments voisins la plus fréquente, la fusionner, puis recommencer.
C’est tout. La lecture ci-dessous ne montre que les fusions qui modifient le mot témoin ; le badge numéroté conserve le rang de chaque fusion dans l’entraînement complet :
BPE apprend sur tout le corpus. Cette lecture ne montre que les fusions qui modifient le mot témoin ; les autres sont ignorées.
Les fragments fréquents deviennent de grands tokens ; le texte inconnu se replie sur des unités plus petites. (Cette variante pédagogique travaille sur les caractères Unicode et garde visibles ponctuation, espaces et emoji ; les tokeniseurs de production travaillent plutôt sur des octets avec des règles de pré-découpage - le compromis central est le même.)
Si C caractères hors espaces produisent T tokens visibles, le taux de compression affiché vaut C / T. Il décrit uniquement ce découpage ; il ne mesure ni la qualité du texte ni l’intelligence du modèle.
Idée fausse à éviter. Un token n’est pas nécessairement un morceau de sens. Sa frontière dépend du tokeniseur et de son vocabulaire. Un même mot visible peut donc se découper différemment selon le tokeniseur, la langue ou le système d’écriture.
Réfléchissez avant de continuer
Point de contrôle
Pourquoi les sous-mots forment-ils un bon compromis pour un mot inconnu comme vélolune ?
Reliez ces numéros à la suite
Avant de partir, tapez manger un avocat en mode Sous-mots. Ignorez les espaces affichés séparément : le petit vocabulaire appris pour ce cours conserve manger, un et avocat entiers. Nous attribuons maintenant à ces tokens pédagogiques les adresses #120, #18 et #901 pour les laboratoires à venir. Ce sont des données du cours, pas les identifiants d’un tokeniseur de production.
- Vous écrivezmanger un avocat
- BPE conservemanger · un · avocat
- Le cours transporte#120 · #18 · #901
Méfiez-vous de ces nombres : ce sont seulement des adresses dans un vocabulaire, et leur grandeur ne dit rien de la proximité de sens. Dans la leçon suivante, chaque adresse ouvre un casier qui contient un vecteur appris.
Sources et périmètre
- Sennrich, Haddow et Birch (2016) présentent des unités de sous-mots de type BPE pour représenter les mots rares ou inconnus.
- Le laboratoire emploie une variante pédagogique lisible fondée sur les caractères Unicode. Les tokeniseurs de production peuvent travailler sur des octets et appliquer d’autres règles de pré-découpage.
- Contenu et affirmations relus le 18 juillet 2026.