Dans cette leçon
Le jeu que joue un modèle de langage
Pas encore de neurones. Comptez ce qui suit chaque mot d’un corpus minuscule, pariez sur le suivant, et jouez la boucle de génération à la main.
À la fin, vous saurez
- Expliquer la prédiction du token suivant sans prêter au modèle une intention ou une recherche documentaire.
- Décrire comment un contexte plus long change les probabilités de la suite.
Après la pluie, le beau ___. Le mot vous est venu tout seul, avant la fin de la ligne. Un modèle de langage joue une version plus risquée du même jeu. Devant un texte, il parie sur le prochain morceau, l’écrit, puis recommence.
Ce morceau s’appelle un token. Ici, nos tokens sont des mots entiers ; la prochaine leçon montrera pourquoi les vrais tokeniseurs découpent autrement. Jouez d’abord avec le plus bête des bookmakers : une table de comptes.
Observez un corpus devenir des comptes
L’instrument contient un corpus entier : huit phrases courtes, assez peu pour que tout se compte à la main. Une règle suffit : pour chaque contexte, relever tous les mots vus juste après.
« Le chat » est suivi de dort deux fois et de mange une fois. Après « le chat », la table parie donc à 2 contre 1 sur la sieste. Et elle a déjà fixé la cote du pari qui vous attend.
Prédisez le gagnant
Le corpus contient manger un avocat, appeler un avocat et manger un fruit. Le modèle à comptage vient de lire le mot un.
Votre pari
Dans ce corpus, quel mot gagne le pari juste après « un » ?
Engagez-vous avant de manipuler l’instrument. Ce choix est définitif.
Tout le corpus tient sous vos yeux. Chaque pourcentage est un compte divisé par un total : vérifiez-le à la main.
Missions en cours
- Faire taire la boucle
- Faire gagner « fruit » après « un »
Le corpus complet
- le chat dort sur le tapis
- le chat dort sous la table
- le chat mange une souris
- le chien regarde le chat
- le chien dort sur le tapis
- manger un (Contexte observé)avocat (Mot suivant)
- appeler un (Contexte observé)avocat (Mot suivant)
- manger un (Contexte observé)fruit (Mot suivant)
Les occurrences du contexte sont soulignées ; le mot compté juste après est encadré.
Modifier le corpus
Réécrivez les phrases, une par ligne. Les comptes, les barres et la boucle se recalculent en direct.
Ce qui suit ce contexte
| Mot suivant | Compte | Part |
|---|---|---|
| avocat | 2 / 3 | 66,7 % |
| fruit | 1 / 3 | 33,3 % |
P(mot | contexte) = compte / total
La boucle de génération
Le modèle relit ses derniers mots, tire au sort selon les parts, ajoute le mot, et recommence.
un
Manipulez la boucle
Changez de contexte et regardez les parts bouger. Pour comparer un contexte plus long, sélectionnez le, passez de 1 mot à 2 mots, puis choisissez le chien.
Ce contexte sélectionne une autre ligne, où le pari se joue à pile ou face entre regarde et dort.
Sélectionnez le contexte le, puis appuyez plusieurs fois sur Tirer un mot. Le modèle tire selon les parts, ajoute son choix, relit son contexte récent et parie de nouveau.
Ce cycle nourri de ses propres choix est la génération autorégressive. Un LLM rejoue cette boucle sur des tokens : un pari à la fois, conditionné par les morceaux qu’il voit encore.
Ouvrez Modifier le corpus. Réécrivez les huit phrases, une par ligne, et regardez comptes, barres et boucle se recalculer. Au départ, avocat bat fruit à 2 contre 1 après « un ». Une phrase bien retouchée peut renverser la cote.
Mission principale. Faites gagner fruit après « un » en modifiant le corpus. Expliquez quel compte a changé et pourquoi la cote a basculé.
Pour aller plus loin. Tirez des mots jusqu’à l’arrêt. Nommez la ligne absente qui a réduit le modèle au silence.
Comparez votre réponse
Mission principale. Remplacez une suite « un avocat » par « un fruit ». Les comptes deviennent 2 pour fruit et 1 pour avocat. Le pari bouge parce que la ligne a changé, pas parce que la table a consulté son avocat.
Pour aller plus loin. La boucle s’arrête après un mot de fin de phrase comme « tapis », « souris » ou « avocat ». Ce mot n’a aucune suite dans le corpus, donc la table ne trouve aucune ligne d’où parier.
Expliquez la machine à parier
La table applique une seule formule, affichée sous les barres :
P(mot | contexte) = compte / total
Lisez-la « probabilité d’un mot, sachant le contexte ». La barre verticale marque la condition. Un autre contexte sélectionne d’autres comptes ; la distribution - l’ensemble des parts - change alors elle aussi.
Voilà pourquoi une même table peut continuer « manger un » et « appeler un » différemment. Ici, aucune compréhension n’est requise, seulement des lignes de comptes différentes.
- Vous lisez… un ___
- Le corpus compteavocat : 2 · fruit : 1
- Le modèle parieavocat (66,7 %)
La faille fatale se cachait dans le « pour aller plus loin » : un contexte absent de la table, même à un mot près, ne laisse au bookmaker ni comptes ni cote.
Une ligne plus longue est plus précise, mais elle a aussi plus de chances d’être tout simplement absente du corpus.
Une table de correspondances exactes ne généralise pas au-delà de ses lignes. Le reste du cours construit une machine où des tokens et contextes voisins peuvent partager leurs indices, sans exiger un texte identique.
Prédire n’est pas chercher. Ce modèle n’a consulté ni source ni vérité établie. Il a continué un texte selon une distribution conditionnelle.
Un LLM complet joue au même jeu du token suivant avec une meilleure machinerie. Il peut donc être fluide et faux : la cible d’entraînement est la suite plausible, et rien dans cette cible ne contrôle la véracité.
Réfléchissez à ce que dit un pourcentage
Point de contrôle
L’instrument affiche « avocat : 66,7 % » après le contexte « un ». Que dit réellement ce nombre ?
Choisissez d’abord une réponse.
Point de contrôle
Sélectionnez « le », passez la longueur du contexte à deux mots, puis choisissez « le chien ». Qu’arrive-t-il au pari ?
Choisissez d’abord une réponse.
Reliez le jeu à la machine
Vous connaissez la boucle : prédire, ajouter, recommencer. Vous savez aussi pourquoi une table de comptes exacts échoue. Un contexte inédit la laisse muette.
Les vrais modèles parient sur des tokens, pas sur des mots entiers. La prochaine leçon ouvre la salle de découpe et pose la question du bon découpage, avec les trois « r » du mot anglais strawberry.
Sources et périmètre
- Shannon (1948) introduit les modèles n-grammes et l’expérience de génération par tirage que cette leçon rejoue.
- Bengio, Ducharme, Vincent et Jauvin (2003) posent le problème de généralisation des n-grammes et proposent les vecteurs de mots appris - la route que suit ce cours.
- Le corpus de huit phrases est un exemple pédagogique fabriqué sur mesure ; ses comptes sont conçus pour être vérifiables à la main, pas représentatifs des statistiques réelles de la langue.
- Contenu et affirmations relus le 28 juillet 2026.