Cours interactif14 leçons · aucun prérequis
Voyez ce qu’un
modèle de langage
fait vraiment.
Suivez une phrase à travers un modèle de langage, du texte brut au prochain token sur lequel il parie. Puis prenez de la hauteur : le contexte, les outils et une simple boucle font de ce modèle le chatbot avec lequel vous discutez.
Phrasemanger un
- 01
Texte
manger un - 02
Tokens
mangerun - 03
Vecteur
un · [0,50 ; 0,00] - 04
Pari suivant
avocat66,7 %
Une trace du cours. Quatre étapes que vous allez rendre concrètes.
Notre méthode
Faire d’abord. Comprendre ensuite.
Vous prédisez, manipulez, puis nommez ce que vous venez de voir. La théorie arrive quand l’intuition a déjà pris forme.
- 01
Manipuler avant de nommer
Vous observez un cas concret, prenez le risque d’une prédiction, puis manipulez le mécanisme. La théorie vient éclairer ce que vous avez vu.
- 02
Construire sans boîte noire
Rien n’est convoqué que vous n’ayez d’abord construit vous-même. Au chapitre 14, vous retracez la machine intérieure et le système qui l’entoure sur une phrase inédite.
- 03
Voir le calcul se construire
Tokens, vecteurs, poids et probabilités restent visibles pendant que vous les manipulez.
Plan du cours / 14
Le parcours
Un parcours progressif, du texte brut à l’assistant. Aucun prérequis en IA. Nul besoin d’être mathématicien.
Du texte aux représentations
Le jeu que joue un modèle de langage
Aucun neurone ici : comptez ce qui suit chaque mot et jouez vous-même la boucle de génération.
La tokenisation, ou comment un modèle lit
Caractères, mots ou sous-mots : trois façons de casser une phrase, trois factures différentes.
Les embeddings : le sens devient géométrie
Faites glisser des mots sur une carte jouet et regardez la ressemblance devenir un angle.
Dans le Transformer
L’attention, le moment où les tokens se parlent
Même mot, deux phrases : regardez l’attention fabriquer deux vecteurs différents.
L’ordre entre dans la machine
Inversez les mêmes tokens et prouvez exactement pourquoi un Transformer a besoin d’un signal de position.
Le bloc Transformer, l’étage que l’on empile
Un étage de la tour, parcouru de bout en bout - et l’astuce discrète (amender, jamais remplacer) qui permet d’empiler cent étages.
Prédire et apprendre
Logits, température et le token qui sort
Le vecteur final devient un pari sur tout le vocabulaire - et le jouet non entraîné garde une surprise en réserve.
L’entraînement, la machine qui corrige ses nombres
Perte, gradient, petit pas, recommencer : regardez le pari absurde du chapitre 7 basculer.
Ce que permet le passage à l’échelle
La même recette, mille fois plus grande : voyez où vivent les paramètres et ce que coûtent vraiment les données, le calcul et un entraînement.
Du continuateur brut à l’assistant
Un modèle qui ne fait que prédire le prochain token, transformé en assistant serviable : d’abord des conversations d’exemple, puis les préférences humaines - et les limites de chacune.
Du modèle au chatbot
Le prompt est le programme
Changez les instructions et les exemples dans le contexte sans toucher aux poids du modèle gelé.
Le raisonnement - s’offrir du temps pour réfléchir
Regardez des tokens intermédiaires transmettre un résultat aux paris suivants, puis mesurez le prix et les limites de ce brouillon.
Sûr de lui, faux et augmenté
Faites halluciner le jouet, ajoutez une preuve récupérée et observez pourquoi l’ancrage aide sans garantir la vérité.
Tracez vous-même une phrase
Suivez une phrase inédite de bout en bout, puis distinguez le modèle, son contexte et l’orchestrateur du chatbot.