Dans cette leçon
Le prompt est le programme
Gardez tous les poids gelés, changez messages et exemples dans le contexte, puis regardez bouger la distribution du prochain token.
À la fin, vous saurez
- Démontrer que des instructions et exemples changent une prédiction sans modifier les poids du modèle.
- Expliquer les rôles comme un contexte formaté appris au post-entraînement, pas comme une autorité infaillible.
Avant de commencer : Du continuateur brut à l’assistant
Vous donnez rarement au chatbot une phrase nue. L’application emballe la conversation dans un texte avec rôles : instructions système, instructions développeur, messages utilisateur, exemples et réponses précédentes. Le modèle rejoue ensuite le jeu du chapitre 1 : prédire le token qui suit tout ce contexte.
Observez un même modèle gelé
L’instrument possède un petit ensemble fixe de poids fabriqués. Son empreinte ne change jamais. Activez ou désactivez instructions et exemples ; seuls le texte qui entre dans le modèle et les nombres temporaires calculés à partir de lui changent. L’expérience isole ainsi le prompt de l’entraînement.
Prédisez ce que les exemples déplacent
Votre pari
Si deux exemples font d’avocat le motif attendu après une demande d’agrume, qu’est-ce qui doit changer à l’intérieur du jouet gelé ?
Personne ne corrige. Engagez-vous, l’instrument tranchera.
Composez le message qui atteint un même petit modèle gelé. Instructions et exemples deviennent des tokens dans son contexte ; ils ne réécrivent pas ses poids.
Missions en cours
- Faire basculer le gagnant avec le seul contexte
- Comparer instruction seule et exemples seuls
- Faire gagner deux exemples contre une instruction contradictoire
Texte complet envoyé au modèle
utilisateur : agrume → assistant :
poids : frozen-toy-v1, inchangésDistribution du prochain token
Sans indication, le petit modèle gelé préfère pomme.
Mise en scène fabriquée avec trois effets, logits et softmax réels. Les marqueurs de rôle comptent parce que le post-entraînement a appris au jouet à les utiliser, pas parce que « système » serait un canal magique. Ici, les trois effets s’additionnent indépendamment ; dans un vrai modèle, instructions, exemples et leur ordre interagissent de façon non linéaire, pas comme des termes qui s’additionnent séparément.
Manipulez le contexte, pas les poids
Commencez sans indication, exemples réglés sur Aucun : le jouet préfère pomme. Activez l’instruction avec rôle et l’option animale perd de la probabilité. Faites maintenant passer le sélecteur d’exemples de Aucun à Un exemple puis Deux exemples, et regardez avocat grimper en tête. Les mêmes coefficients ont traité une autre séquence ; ils ont donc produit d’autres valeurs internes temporaires et d’autres logits.
Organisez ensuite un duel. Activez Instruction contradictoire : la ligne système affirme désormais sans détour que le fruit est toujours pomme, à rebours des démonstrations d’agrume. Avec l’instruction active et deux exemples affichés, les exemples l’emportent encore et avocat garde la tête - c’est l’instant où se déclenche la mission prompt-example-beats-instruction. Comparez instruction seule et exemples seuls (la mission prompt-compare-sources veut que vous visitiez les deux) et cherchez le plus petit changement qui fait basculer le gagnant (prompt-context-flip). Un prompt n’est pas un minuscule entraînement. C’est un programme écrit dans la langue d’entrée du modèle et exécuté par le comportement déjà stocké dans ses poids.
Défi Trois missions. Un : trouvez le plus petit changement de contexte qui fait basculer le gagnant, puis nommez le levier employé - poids, contexte ou orchestration. Deux : comparez instruction seule et exemples seuls, et prédisez ce qui gagne dans ce jouet. Trois : instruction avec rôle active, activez l’instruction contradictoire qui exige pomme, puis ajoutez des exemples jusqu’à ce qu’une démonstration d’agrume l’emporte sans détour. Expliquez pourquoi aucun des deux prompts n’offre de garantie avec un vrai modèle.
Comparez votre réponse
Activer les exemples suffit pour placer avocat en tête, et seul le contexte d’exécution a changé. L’instruction seule oriente le pari ; deux exemples l’emportent même sur une consigne contradictoire, car dans ce jouet écrit ainsi les démonstrations portent le plus grand effet contextuel. Dans un vrai modèle, la réponse dépend de l’entraînement, du prompt entier et de la façon dont instructions et exemples interagissent plutôt que de s’additionner proprement. Aucun format n’est une commande infaillible.
Expliquez les rôles et l’apprentissage en contexte
Un gabarit de chat transforme les messages structurés en tokens ou marqueurs de rôle spéciaux. Fixons deux noms au passage : ce que le chapitre 8 appelait simplement l’entraînement - la longue prédiction du token suivant sur une montagne de texte - c’est le préentraînement ; l’école de finition du chapitre 9, affinage supervisé et ajustement par préférences réunis, c’est le post-entraînement. Pendant le post-entraînement, le modèle voit beaucoup de conversations ainsi formatées. Il apprend des régularités : répondre après un marqueur utilisateur, accorder de l’importance à certaines places d’instruction, imiter des démonstrations, s’arrêter à certaines frontières.
Un message système devient donc un contexte influent, pas un registre de commandes sécurisé au cœur du Transformer. Son influence vient du format, de l’entraînement et parfois de règles appliquées par l’application. Il peut entrer en conflit avec le reste du contexte ou être imparfaitement suivi. Quand une instruction concurrente se glisse dans ce contexte - cachée dans un message utilisateur, une page web ou un document récupéré - et que le modèle la suit au lieu du message système, c’est une injection de prompt : le trou de sécurité qui découle directement du fait de traiter les instructions comme du simple texte.
Donner quelques exemples dans le prompt - ce que le jargon appelle le few-shot prompting - utilise la même mécanique. Les exemples montrent un motif local dans le contexte. Aucun paramètre ne change ; le réseau existant calcule une nouvelle distribution conditionnelle.
- Mécanique geléemême empreinte des poids
- Entrée différenterôles + instruction + exemples
- Résultat temporaire différentnouveaux logits, nouveau pari
Réfléchissez à l’empreinte gelée
Point de contrôle
Le prompt change la réponse tandis que l’empreinte des poids reste fixe. Que s’est-il passé ?
Reliez le modèle à la conversation
L’assistant possède maintenant deux leviers distincts. Le post-entraînement change les poids. Le prompt change le contexte d’exécution. La prochaine leçon ajoute un troisième levier hors du modèle : un orchestrateur peut récupérer une preuve ou appeler un outil, puis remettre le résultat dans le contexte. Cela aide pour la vérité, mais pose une nouvelle question : que se passe-t-il si la preuve manque ou trompe ?
Sources et périmètre
- Brown et al. (2020) démontrent l’apprentissage en contexte à partir d’instructions et d’exemples, sans mise à jour par gradient.
- Perez et Ribeiro (2022) nomment et démontrent l’injection de prompt, où des instructions placées dans le contexte l’emportent sur celles prévues.
- Les trois effets du laboratoire sont fabriqués ; logits et softmax sont calculés en direct. L’expérience montre la frontière entre poids gelés et contexte changeant, pas une hiérarchie universelle des prompts.
- Contenu et affirmations relus le 20 juillet 2026.