C'est quoi un LLM ?
Aucun prérequis. Ce parcours part du sigle et s’arrête à la première grande limite des modèles de langage.
Les étapes
7 étapes · environ 45 min de lecture
Commencer par « LLM (grand modèle de langage) »
- LLM (grand modèle de langage)Fondamentaux
Le point de départ. Avant tout le reste, il faut savoir ce que le sigle recouvre et ce qu'un modèle de langage sait faire.
- Réseau de neuronesFondamentaux
On sait ce que fait un LLM ; reste avec quoi il le fait. Cette étape pose l'unité de base et les mots (couche, activation, poids) que la suite du parcours reprend.
- TokenFondamentaux
Un modèle ne lit pas des mots. Cette fiche montre l'unité qu'il manipule à la place, et l'animation la fait apparaître sur une phrase.
- Poids (paramètres)Fondamentaux
On sait ce qui entre, ce qui sort, et quelle forme a le réseau entre les deux. Reste ce qui le règle : des milliards de nombres, et rien d'autre.
- Fenêtre de contexteFondamentaux
Ces nombres sont figés. Tout ce que le modèle sait de ta conversation tient dans ce qu'on lui redonne à chaque fois, et cette place a une limite.
- Prompt (instruction générative)Fondamentaux
La fenêtre est la place disponible ; reste à savoir ce qu'on y met. Une fois le modèle entraîné, c'est le seul levier qui te reste entre les mains.
- HallucinationFondamentaux
Une machine à poids figés et à fenêtre limitée finit par inventer. Dernière étape : pourquoi c'est structurel, et pas un bug.