LLM (grand modèle de langage)

En une phrase

Un LLM (Large Language Model, « grand modèle de langage » en français) est un modèle d’intelligence artificielle entraîné sur d’immenses quantités de texte pour prédire la suite d’une phrase. C’est de cette prédiction, répétée des milliards de fois, que naissent toutes ses capacités.

L’analogie

Sur ton téléphone, l’autocomplétion te propose le mot suivant quand tu écris un message. Un LLM, c’est cette même idée, mais entraînée sur une bibliothèque de taille gigantesque : une bonne partie du web, des livres, du code… À force de deviner des milliards de fois « quel mot vient ensuite ? », il a capté la grammaire, des faits, des styles d’écriture, et même une forme de raisonnement.

Comment ça marche

Prédire le mot suivant, encore et encore

Tout LLM repose sur une tâche d’entraînement très simple : on masque la suite d’un texte et le modèle doit la deviner. Quand il se trompe, ses réglages internes — ses poids, des milliards de nombres — sont légèrement ajustés pour faire mieux la prochaine fois. Répète cette opération sur des milliers de milliards de mots, et le modèle devient très fort pour produire du texte cohérent.

Une prédiction, c’est une liste de probabilités

Le modèle ne sort jamais un mot unique. À chaque étape, il attribue une probabilité à toutes les suites possibles : après « le ciel est », il peut donner beaucoup de poids à « bleu », un peu moins à « couvert », presque rien à « tombé ». Un tirage pioche ensuite dans cette liste, le mot retenu est ajouté à la phrase, et on recommence.

Ce tirage explique deux choses que tu as sûrement remarquées. D’abord, poser deux fois la même question ne donne pas deux fois la même réponse mot pour mot. Ensuite, il existe un réglage, la température, qui décide à quel point on s’autorise à s’écarter du mot le plus probable : basse, les réponses sont prévisibles et un peu plates ; haute, elles sont plus variées et plus hasardeuses. Ce qu’on appelle la créativité d’un LLM n’est donc pas une intention, c’est un paramètre de tirage.

« Large », ça veut dire quoi ?

Trois choses sont grandes, et elles ne se confondent pas (chiffres constatés en 2026, ils vieillissent vite) :

• Le nombre de paramètres, c’est-à-dire les poids. L’éventail est immense : Gemma 3 270M, publié par Google en août 2025, en compte 270 millions et tient sur un téléphone ; Kimi K2, publié un mois plus tôt par Moonshot AI, en annonce mille milliards. La plupart des modèles que tu croises se situent entre les deux, autour de quelques dizaines de milliards.
• Le corpus d’entraînement. Meta indique avoir entraîné Llama 3 sur plus de 15 000 milliards de tokens — les fragments de texte que le modèle manipule, la fiche suivante y revient. Cela fait de l’ordre de dix mille milliards de mots, soit, à 80 000 mots par roman, l’équivalent de plus de cent millions de livres.
• La facture. Epoch AI, qui suit ces dépenses, estime le calcul du seul entraînement final de GPT-4 à environ 40 millions de dollars, celui de Llama 3.1 405B à 50 millions et celui de Grok 4 à 500 millions. Selon la même source, ce montant double environ tous les huit mois pour les plus gros modèles.

La vie d’un LLM en deux temps

1. Le pré-entraînement : la phase géante où le modèle apprend la langue et le monde en prédisant la suite des textes. Le résultat est un « modèle de base », doué pour compléter mais pas très agréable en conversation.
2. L’alignement : on le transforme en assistant, avec du fine-tuning sur des exemples de conversations, puis un ajustement selon les préférences humaines (le RLHF, apprentissage par renforcement à partir de retours humains). C’est ce qui fait passer d’un modèle qui « continue le texte » à un modèle qui « répond à tes questions ».

Ce que le modèle sait… et ne sait pas

Un LLM ne stocke pas une base de données de faits : il encode des régularités statistiques dans ses poids. Deux conséquences directes. Sa connaissance s’arrête à la date de fin de son entraînement, et il peut formuler une réponse fausse avec un style parfaitement convaincant — c’est le phénomène d’hallucination. Il ne « sait » rien au sens humain, mais il est très bon pour manipuler le langage et les connaissances qu’il a absorbées.

La famille est grande

GPT (OpenAI), Gemini (Google), Claude (Anthropic), Llama (Meta), Mistral (Mistral AI, français), Qwen (Alibaba)… La vraie ligne de partage n’est pas le pays, c’est l’accès aux poids. Les modèles de pointe d’OpenAI, de Google et d’Anthropic sont fermés : tu les utilises par une interface ou une API, jamais chez toi. D’autres sont à poids ouverts, le fichier se télécharge et tourne sur ta machine. Attention au vocabulaire : « poids ouverts » n’est pas « open source ». Mistral publie une partie de ses modèles sous licence Apache 2.0, une licence libre au sens strict, tandis que Llama est distribué sous une licence maison qui pose ses propres conditions d’usage.

Dans la vraie vie

• Les assistants conversationnels grand public : ChatGPT, Claude, Gemini, ou Vibe chez Mistral — qui s’appelait Le Chat jusqu’à son changement de nom en 2026.
• La rédaction, la traduction et la synthèse de documents longs.
• La programmation : complétion et explication de code, avec GitHub Copilot ou Cursor.
• L’éducation : Khan Academy a lancé en mars 2023 Khanmigo, un tuteur bâti sur GPT-4 et volontairement bridé pour ne pas donner la réponse, mais guider l’élève par questions. Bonne démonstration qu’un LLM se pilote autant par les consignes qu’on lui pose que par sa taille.
• Partout où du texte entre ou sort d’une application : support client, recherche interne, modération.

Idées reçues

• « ChatGPT et LLM, c’est pareil. » Non : ChatGPT est un produit — une interface, une mémoire, des outils, des garde-fous — et le LLM est le modèle qui tourne dessous. L’éditeur peut changer le modèle sans changer le produit, et le même modèle peut servir dans dix applications différentes.
• « Un LLM comprend comme un humain. » Il manipule le langage avec brio, mais sans expérience du monde ni conscience : le débat philosophique reste ouvert, mais ce n’est pas un humain dans une boîte.
• « Plus c’est gros, mieux c’est. » Les petits modèles récents rivalisent avec les géants d’hier sur de nombreuses tâches, et coûtent bien moins cher à faire tourner.

Pour aller plus loin

• « Attention Is All You Need » — Vaswani et al., 2017 (EN) : le papier qui introduit l’architecture Transformer, socle de tous les LLM modernes.
• « The Llama 3 Herd of Models » — Meta, 2024 (EN) : un rapport technique inhabituellement détaillé, corpus, calcul et alignement compris.
• Le cours LLM de Hugging Face, traduit en français — Hugging Face (FR) : gratuit, progressif, avec du code à exécuter.
• La fiche FranceTerme « grand modèle de langage » — FranceTerme (FR) : la définition officielle publiée au Journal officiel du 6 septembre 2024.
• Le suivi des coûts d’entraînement d’Epoch AI — Epoch AI (EN) : la source des montants cités plus haut, tenue à jour.

Voir aussi

Voir aussi

• FondamentauxTokenLe morceau de texte, mot, bout de mot ou caractère, que le modèle lit et génère, un par un.
• FondamentauxPoids (paramètres)Les milliards de nombres qui stockent tout ce qu'un modèle a appris pendant son entraînement.
• FondamentauxEmbedding (plongement)La traduction d'un mot ou d'un texte en une liste de nombres qui capture son sens : des coordonnées dans l'espace du sens.
• ArchitectureTransformer (transformeur)L'architecture de réseau de neurones sur laquelle tous les LLM sont bâtis : une pile de blocs identiques que le texte traverse de bout en bout.
• FondamentauxHallucinationQuand un LLM affirme avec aplomb des choses fausses ou inventées : sources, faits ou références imaginaires.
• OptimisationQuantificationRéduire la précision des poids d'un modèle pour le rendre plus léger, plus rapide et utilisable sur du matériel grand public.
• FondamentauxPrompt (instruction générative)Le texte que le modèle a sous les yeux au moment de répondre, et le seul levier qui reste une fois qu'il est entraîné.
• ÉthiqueBiais (d'un modèle)Un écart systématique dans les réponses d'un modèle, hérité des textes qui ont fixé ses poids et des choix faits pour l'aligner — pas une erreur au hasard, mais toujours la même, dans le même sens.
• FondamentauxRéseau de neuronesDes couches de petites unités de calcul qui pondèrent ce qu'elles reçoivent : la machine sur laquelle repose tout LLM, et ce que ses réglages appris lui font faire.
• EntraînementDonnées d'entraînementLes textes sur lesquels on a réglé les poids d'un modèle : d'où ils viennent, ce qu'on en jette, et pourquoi ils décident de ce qu'il saura dire.
• FondamentauxÉvaluation (benchmarks)Comment on note un modèle de langage : des jeux de questions, des duels arbitrés par des humains ou par un autre modèle, et tout ce qui peut faire mentir un score.