Glossaire
Chaque fiche se lit seule, et à trois vitesses : la première phrase suffit à comprendre de quoi on parle, l’analogie à s’en faire une image, le reste à entrer dans le détail. Si tu ne sais pas par où entrer, prends plutôt un parcours guidé : il enchaîne les fiches dans un ordre où chacune s’appuie sur la précédente.
Fondamentaux
- Capacités émergentes
Les aptitudes cognitives qui semblent apparaître subitement à partir d'une certaine taille de modèle : saut qualitatif mystérieux ou mirage de nos méthodes de mesure ?
- Embedding (plongement)
La traduction d'un mot ou d'un texte en une liste de nombres qui capture son sens : des coordonnées dans l'espace du sens.
- Évaluation (benchmarks)
Comment on note un modèle de langage : des jeux de questions, des duels arbitrés par des humains ou par un autre modèle, et tout ce qui peut faire mentir un score.
- Fenêtre de contexte
La quantité maximale de texte qu'un modèle peut prendre en compte d'un coup : sa « mémoire de travail ».
- Hallucination
Quand un LLM affirme avec aplomb des choses fausses ou inventées : sources, faits ou références imaginaires.
- Inférence
Le moment où le modèle tourne pour de vrai : la boucle qui écrit le texte, un token à la fois, par opposition à l'entraînement où il apprend.
- LLM (grand modèle de langage)
Un modèle d'IA entraîné sur d'immenses quantités de texte, capable de comprendre et de générer du langage.
- Modèle de raisonnement (reasoning model)
Un LLM entraîné à écrire un long brouillon avant de répondre : ce qu'il gagne sur les problèmes difficiles, ce qu'il coûte, et pourquoi son brouillon n'est pas une fenêtre sur sa pensée.
- Perplexité (PPL)
La mesure mathématique intrinsèque qui évalue la surprise d'un modèle de langage face à un texte : plus elle est basse, mieux le modèle prédit la langue.
- Poids (paramètres)
Les milliards de nombres qui stockent tout ce qu'un modèle a appris pendant son entraînement.
- Prompt (instruction générative)
Le texte que le modèle a sous les yeux au moment de répondre, et le seul levier qui reste une fois qu'il est entraîné.
- Réseau de neurones
Des couches de petites unités de calcul qui pondèrent ce qu'elles reçoivent : la machine sur laquelle repose tout LLM, et ce que ses réglages appris lui font faire.
- Token
Le morceau de texte, mot, bout de mot ou caractère, que le modèle lit et génère, un par un.
Architecture
- Architectures alternatives au Transformer
Les modèles à espace d'états (Mamba), l'attention linéaire et les réseaux récurrents modernes conçus pour briser le mur de calcul quadratique du Transformeur.
- Attention (self-attention)
Le mécanisme qui permet à chaque token de regarder les autres pour décider lesquels comptent pour son propre sens.
- Interprétabilité mécaniste
La branche de la recherche en IA qui dissèque les réseaux neuronaux pour comprendre comment leurs calculs matriciels forment des concepts compréhensibles.
- Mélange d'experts (MoE)
Une architecture où chaque token ne passe que par quelques sous-réseaux choisis parmi beaucoup : le modèle grossit sans que chaque mot coûte plus cher à calculer.
- Modèles de diffusion
Une famille de modèles génératifs qui créent des images, des sons ou des vidéos en apprenant à éliminer méthodiquement le bruit d'un signal aléatoire.
- Multimodalité
Quand un modèle ne lit plus seulement du texte : image et son sont découpés à leur tour, projetés dans le même espace que les mots, et traités par la même machine.
- Transformer (transformeur)
L'architecture de réseau de neurones sur laquelle tous les LLM sont bâtis : une pile de blocs identiques que le texte traverse de bout en bout.
Entraînement
- Alignement des modèles
Le processus mathématique et éthique visant à faire respecter par un modèle de langage des consignes de sécurité, d'utilité et de retenue : le triptyque HHH, l'IA constitutionnelle et le refus excessif.
- Apprentissage par renforcement (RL)
Le paradigme d'entraînement où un modèle apprend à prendre des décisions séquentielles par essais-erreurs, guidé par un signal de récompense numérique.
- Distillation
Entraîner un petit modèle à imiter les réponses d'un grand, pour garder l'essentiel de ses capacités à une fraction de sa taille.
- Données d'entraînement
Les textes sur lesquels on a réglé les poids d'un modèle : d'où ils viennent, ce qu'on en jette, et pourquoi ils décident de ce qu'il saura dire.
- Données synthétiques
Des textes, des codes ou des exemples artificiels fabriqués par des modèles d'IA pour enrichir, spécialiser ou nettoyer l'entraînement d'autres modèles.
- Entraînement
La boucle qui règle les poids d'un modèle : mesurer son erreur, calculer dans quel sens corriger chaque nombre, faire un petit pas, et recommencer.
- Fine-tuning (réglage fin)
Poursuivre l'entraînement d'un modèle déjà entraîné sur tes propres données pour lui apprendre un style, un domaine ou une tâche.
- Lois d'échelle (scaling laws)
Les régularités mesurées qui relient la taille d'un modèle, le volume de ses données et le calcul dépensé à la qualité de ses prédictions, et ce qu'elles ne permettent pas de prédire.
- LoRA
La technique de fine-tuning qui gèle les poids d'origine et n'entraîne que deux petites matrices ajoutées à côté.
- Pré-entraînement
La première phase de la vie d'un LLM, et de loin la plus chère : des semaines de calcul à deviner le token suivant sur des milliers de milliards de tokens, pour obtenir un modèle de base.
- RLHF
L'entraînement par comparaison de réponses, qui apprend à un modèle non pas à répondre juste, mais à répondre comme on l'attend.
Optimisation
- Élagage des modèles (Pruning)
La suppression physique des connexions, des neurones ou des couches inutiles d'un réseau pour réduire sa taille et accélérer son exécution.
- GGUF
Le format de fichier standard pour faire tourner des LLM en local : modèle, métadonnées et quantification dans un seul fichier.
- Quantification
Réduire la précision des poids d'un modèle pour le rendre plus léger, plus rapide et utilisable sur du matériel grand public.
Écosystème
- Agent (IA)
Un LLM à qui on laisse choisir la suite : il observe, décide d'une action, l'exécute avec un outil, lit le résultat, et recommence jusqu'à ce qu'il juge la tâche finie.
- Appel d'outils
Le mécanisme qui permet à un modèle de langage d'émettre des requêtes structurées pour faire exécuter du code, interroger des bases de données ou consulter des API externes.
- Coût (tarification)
Ce que coûte vraiment une réponse de modèle : des tokens facturés à l'entrée et à la sortie, des remises, des pièges, et le prix du matériel quand on l'héberge soi-même.
- Interface de programmation (API)
Le protocole réseau standardisé qui permet aux développeurs d'envoyer des requêtes à un modèle d'intelligence artificielle distant et d'en recevoir les réponses.
- MCP (Model Context Protocol)
Le protocole ouvert qui standardise le branchement entre une application d'IA et le monde extérieur : outils, fichiers, bases de données, API.
- Petits modèles de langage (SLM)
Les modèles compacts de moins de 4 milliards de paramètres conçus pour s'exécuter localement sur des smartphones, des ordinateurs portables et des puces NPU.
- Poids ouverts (open weights)
Un modèle dont on peut télécharger les poids : il tourne chez toi, se modifie, se compresse — sans que tu saches forcément comment il a été fabriqué.
- RAG (génération augmentée par la recherche)
Aller chercher des documents pertinents dans une base de connaissances et les donner au modèle pour qu'il réponde avec des informations à jour et sourcées.
- Sorties structurées (Structured Outputs)
La technique de guidage qui garantit à 100 % qu'un modèle de langage respecte une grammaire formelle, un schéma JSON ou une syntaxe de programmation.
Éthique
- Anthropomorphisme et illusion de conscience
Pourquoi nous prêtons des sentiments et une pensée aux modèles : l'effet ELIZA, la flagornerie du RLHF et la déconstruction du vocabulaire psychologique.
- Biais (d'un modèle)
Un écart systématique dans les réponses d'un modèle, hérité des textes qui ont fixé ses poids et des choix faits pour l'aligner — pas une erreur au hasard, mais toujours la même, dans le même sens.
- Contournement des sécurités (jailbreak)
Les attaques par invites contradictoires conçues pour faire sauter les garde-fous éthiques d'un modèle : jeux de rôle, suffixes GCG, saturation de contexte et red teaming.
- Désinformation et hypertrucages
L'impact des modèles génératifs sur la fabrication massive de faux récits, d'images trompeuses et d'hypertrucages, et les limites de l'authentification par la norme C2PA.
- Détection de texte généré
Le fonctionnement des détecteurs de texte d'IA, leurs limites théoriques et leur biais prouvé contre les rédacteurs non anglophones natifs.
- Droit d'auteur
Le cadre juridique régissant l'ingestion massive d'œuvres protégées dans les données d'entraînement des modèles, l'exception de fouille de textes et le droit d'opposition.
- Empreinte environnementale
Ce que coûtent à l'environnement la fabrication du matériel, l'entraînement d'un modèle et chacune de ses réponses : électricité, carbone, eau, métaux, et pourquoi les chiffres qui circulent divergent autant.
- Règlement européen sur l'IA (AI Act)
La première législation contraignante au monde qui encadre l'intelligence artificielle selon ses niveaux de risque, de l'interdiction formelle aux modèles systémiques.
- Travail d'annotation et micro-travail
Les millions de travailleurs de l'ombre chargés d'étiqueter, de classer et de modérer les textes pour entraîner et aligner les algorithmes d'IA.
- Usage scolaire et apprentissage
Comment utiliser l'intelligence artificielle pour apprendre sans anesthésier son cerveau : décharge cognitive, illusion de compétence et méthode socratique.
- Vie privée et données personnelles
Les enjeux de confidentialité des modèles de langage : fuites de données dans les invites, extraction d'informations mémorisées et tension avec le droit à l'oubli du RGPD.