Comment il génère
Les quatre animations du labo sont sur ce chemin, et elles suivent toutes la même phrase : « Le chat dort sur le canapé parce qu’il est fatigué. » Prends le temps de les dérouler, elles racontent l’essentiel.
Les étapes
8 étapes · environ 52 min de lecture
- TokenFondamentaux
On reprend le découpage vu dans le premier parcours, mais pour suivre cette fois ce qui arrive aux tokens ensuite.
- Embedding (plongement)Fondamentaux
Un token est un numéro dans un tableau, ce qui ne dit rien de son sens. Cette fiche montre comment le modèle lui en donne un.
- Attention (self-attention)Architecture
Des mots alignés ne suffisent pas : le modèle doit décider lesquels comptent. L'animation suit à quoi renvoie « il » dans une phrase.
- Transformer (transformeur)Architecture
L'attention est une pièce. Cette fiche montre la machine entière, et la façon dont les pièces s'empilent.
- InférenceFondamentaux
Tout est en place. Reste la boucle qui produit le texte, un mot à la fois : la troisième animation la déroule pas à pas.
- Modèle de raisonnement (reasoning model)Fondamentaux
La boucle qu'on vient de dérouler écrit une réponse token après token. Certains modèles la font tourner bien plus longtemps avant de répondre : même machine, calcul dépensé autrement, et cette étape montre ce qu'on y gagne et ce qu'on y paie.
- MultimodalitéArchitecture
On a suivi une phrase de bout en bout. Étape suivante : la même machine, sans qu'on change une seule pièce, avale aussi une image ou un son.
- Modèles de diffusionArchitecture
Le transformeur prédit des tokens un par un. Pour fabriquer une image ou un son de toutes pièces, la diffusion fonctionne à l'envers : elle part du bruit pur et l'élimine couche par couche.