L’ordre entre dans la machine

« Le chien mord l’homme » et « l’homme mord le chien » contiennent les mêmes pièces. Seules leurs places changent, mais l’événement s’inverse. L’attention compare le contenu des tokens par requêtes et clés. Un produit scalaire voit des nombres, pas premier, deuxième ou dernier. Cette leçon donne à l’ordre son propre rôle avant de compléter l’étage Transformer.

Observez la coordonnée manquante

Le laboratoire envoie avocat dans le même bloc non masqué avec deux phrases : manger un avocat et avocat un manger. Vecteurs de position désactivés, chaque opération agit sur un token ou compare son contenu à celui des autres. Rien ne lit un numéro de place.

Prédisez ce que l’inversion peut changer

Votre pari

Sans vecteurs de position, que devient la sortie d’avocat quand il passe de la dernière à la première place ?

Personne ne corrige. Engagez-vous, l’instrument tranchera.

Laboratoire de position / donner une coordonnée à l’ordre

Inversez les trois mêmes tokens. Sans signal de position, le token suivi garde exactement son calcul. Ajoutez les vecteurs de position et les deux chemins divergent.

Ajouter les vecteurs de positionToken suivi

Missions en cours

Suivre avocat entre deux marques de position
Faire changer le token central immobile par l’attention

Ordre original

mangerunavocat

place: p2
marque de position: aucune
sortie du même bloc: [-1.225, 1.360]

Ordre inversé

avocatunmanger

place: p0
marque de position: aucune
sortie du même bloc: [-1.225, 1.360]

Calcul réel du bloc avec embeddings 2D et vecteurs de position fabriqués.

Manipulez la marque de position

Suivez d’abord chacun des trois tokens sans positions. Sa sortie suit le token sans changer quand la phrase s’inverse. Le bloc est équivariant par permutation : réordonner les entrées réordonne les sorties correspondantes.

Activez ensuite les positions. La place p0 ajoute [0,4 ; 0] ; la place p2 ajoute [0 ; 0,4]. Ces petites coordonnées appartiennent aux places, pas aux mots. Quand avocat bouge, sa ligne de contenu reste [-0,68 ; 0,44], mais la somme qui entre dans l’attention change. Le reste du bloc peut enfin réagir à l’ordre.

Défi Deux missions. Un : positions actives, prédisez quelle marque ([0,4 ; 0] ou [0 ; 0,4]) reçoit avocat dans chaque phrase, puis vérifiez. Deux : expliquez pourquoi ajouter un vecteur de position suffit pour que l’attention réagisse à l’ordre, même si elle ne lit jamais un numéro de place écrit.

Comparez votre réponse

Avocat reçoit la marque de la place occupée : [0 ; 0,4] en dernier et [0,4 ; 0] en premier. Cette addition change les nombres qui produisent Q, K et V ; tous les calculs suivants peuvent donc réagir à la place sans instruction séparée nommée « numéro de place ».

Expliquez pourquoi les positions fonctionnent

Un Transformer ne reçoit pas l’ordre comme une métadonnée invisible. Il doit entrer sous forme de nombres. Ce jouet ajoute un vecteur à chaque token. Beaucoup de modèles de production font plutôt tourner requêtes et clés selon la position. Les mécanismes diffèrent, le contrat reste le même :

représentation du token + signal de position → représentation sensible à la place

Même ligne du tokenavocat · [−0,68 ; 0,44]
Marque de place différente+ p0 ou + p2
Entrée différente pour Q, K, Vl’attention peut réagir à l’ordre

Le signal ne dit pas ce que signifie la phrase. Il permet seulement aux poids appris de découvrir des motifs utiles comme « le sujet est arrivé plus tôt » ou « cette parenthèse ferme celle-là ».

Réfléchissez aux deux expériences

Point de contrôle

Pourquoi le bloc fondé sur le seul contenu ne remarque-t-il pas qu’avocat a bougé ?

Aucun nombre d’entrée ne note sa place ; chaque opération suit seulement le contenu.Softmax efface toute information d’ordre après l’attention.Le tokeniseur trie les identifiants avant de les donner au modèle.

Reliez l’ordre à un étage complet

Les tokens transportent maintenant contenu et place. L’ordre n’est plus quelque chose que le cours vous demandait de croire sur parole. Vous avez prouvé la nécessité vous-même : pas de marque, pas d’ordre. La leçon suivante garde les marques actives et parcourt le reste de l’étage - normalisation, MLP, et l’astuce discrète qui permet d’empiler une centaine d’étages.

Sources et périmètre

Vaswani et al. (2017) introduisent les encodages de position ajoutés du Transformer.
Su et al. (2021) décrivent RoPE, qui code la position en faisant tourner requêtes et clés.
Le laboratoire utilise des marques additives 2D fabriquées et retire le masque causal uniquement pour rendre l’expérience de permutation exacte.
Contenu et affirmations relus le 20 juillet 2026.

À la fin, vous saurez