Dans cette leçon
Tracez vous-même une phrase
Faites traverser à une phrase inédite un même modèle jouet, retrouvez le parcours de mémoire et séparez le modèle du chatbot qui l’entoure.
À la fin, vous saurez
- Tracer une phrase inédite du texte aux tokens, vecteurs, attention, sortie du bloc, logits et décodage.
- Distinguer poids entraînés, contexte d’exécution, appel du modèle et orchestration externe dans un chatbot.
- Expliquer pourquoi des représentations partagées transfèrent des indices au-delà des comptes exacts.
Avant de commencer : Sûr de lui, faux et augmenté
Pendant onze chapitres, une phrase vous a tenu la main : manger un avocat vous a porté du comptage à l’attention puis à l’entraînement. Vous n’en avez plus besoin - et ce chapitre le prouve. Le traceur contient trois phrases que le cours n’a jamais touchées, plus un composeur pour fabriquer votre propre contexte. Chaque poids d’attention, logit et token généré sort d’un même calcul cohérent, et votre travail est d’en raconter chaque étape.
Observez le défi entier
Votre tâche suit deux voies. Premièrement, expliquer le modèle intérieur du texte au prochain token. Deuxièmement, expliquer le chatbot extérieur qui formate les messages, récupère des preuves, rappelle le modèle et décide quand s’arrêter. N’utilisez pas « l’IA » comme une boîte brumeuse quand vous pouvez nommer la couche responsable.
Prédisez la frontière après les logits
Votre pari
Le Transformer a produit les logits d’une position. Quel travail reste hors du modèle lui-même ?
Personne ne corrige. Engagez-vous, l’instrument tranchera.
Choisissez l’une des trois phrases vraiment inédites, ou composez votre propre contexte. Chaque nombre vient d’un vocabulaire entraîné, d’un bloc gelé et d’un décodeur.
1. Texte
Une chaîne humaine entre dans l’enveloppe. Le modèle ne sait toujours pas lire directement des caractères.
Calcul jouet cohérent. Le bloc est gelé ; toutes les lignes du vocabulaire ont été entraînées par descente de gradient sur les mêmes 22 exemples visibles au chapitre 8. Les vecteurs des nouvelles phrases restent fabriqués : l’expérience montre le transfert sans revendiquer la qualité d’une vraie langue.
Manipulez une trace vraiment inédite
Choisissez une phrase. Avant d’ouvrir chaque étape, dites quelle représentation devrait apparaître. Révélez-la ensuite et reliez les nombres visibles :
- Le texte est découpé en identifiants pris en charge.
- Lignes de table et signaux de position entrent dans le flux résiduel.
- L’attention causale ne mélange que les places déjà disponibles.
- La dernière place quitte le bloc comme un vecteur de contexte.
- Les produits scalaires avec le vocabulaire deviennent logits puis parts softmax.
- Une politique de décodage choisit un token, l’ajoute et recommence.
Lancez une deuxième phrase. Les valeurs changent, les opérations non. Cette invariance est le modèle mental transférable construit par tout le cours.
Expliquez de mémoire les deux boucles
Défi final Fermez le traceur. En deux phrases, expliquez à un proche comment un LLM transforme le texte en prochain token, puis comment ce modèle devient le chatbot utilisé. Produisez votre explication avant de voir la réponse modèle : les mêmes mots ne comptent pas, mais chaque étape responsable, si.
Expliquez sans le cours
Deux phrases. Un modèle intérieur, un chatbot autour.
Fermez le traceur. Expliquez comment le texte devient le prochain token, puis comment des appels répétés au modèle deviennent le chatbot que vous utilisez. Écrivez de mémoire avant de comparer.
Testez maintenant le transfert au lieu de simplement reconnaître un paragraphe. Reconstruisez le mécanisme en six étapes et rangez chaque responsabilité du système dans la bonne couche.
Épreuve finale · tâche 1 / 6
Quatre décisions de transfert, une reconstruction du pipeline et un tri des frontières du système. Chaque tâche doit être résolue.
Un collègue affirme que l’assistant a « cherché Lyon dans ses poids » après l’ajout du registre d’un musée. Qu’est-ce qui a réellement changé ?
Réfléchissez avec une synthèse
Point de contrôle
Quelle description sépare correctement les trois principaux leviers d’un chatbot ?
Reliez le parcours à votre prochaine conversation
Quand vous ouvrirez un vrai assistant, observez les couches. Vos messages et l’historique remplissent une fenêtre de contexte finie. Un gabarit marque leurs rôles. Le modèle émet une distribution conditionnelle à la fois. Un décodeur choisit les tokens. L’application peut chercher, lancer du code, appeler des outils, vérifier une règle ou rappeler le modèle. Sous tout ce comportement produit demeure le jeu de la leçon 1 : étant donné le passé visible, quel token vient ensuite ?
Le chat du chapitre 2 peut enfin prendre sa retraite. Vous n’avez plus besoin d’une phrase repère, car vous savez désormais tracer n’importe quelle phrase - y compris celle-ci.
Sources et périmètre
- Aucun nouveau mécanisme n’apparaît ici ; ce chapitre synthétise les chapitres 1 à 11 et leurs sources.
- La trace finale entraîne réellement les huit lignes du vocabulaire par descente de gradient sur les mêmes 22 exemples visibles au chapitre 8, puis les gèle. Les vecteurs des trois nouvelles phrases restent des entrées pédagogiques fabriquées.
- Réussir les tâches du produit enregistre une progression démontrée ; le protocole modéré de
docs/learner-sessions.mdreste le seuil de validation de l’apprentissage. - Contenu et affirmations relus le 20 juillet 2026.