Juger un modèle
Une fiche technique, un communiqué, un score en gros titre : ce parcours apprend à juger un modèle sans s’en tenir à l’annonce. On commence par ce que mesurent ses performances affichées et ce qui les fait monter, puis on regarde ce qu’il mobilise, ce qu’on peut en faire, ce qu’il coûte et ce qu’il consomme. Il suppose que tu sais ce que sont les poids, le pré-entraînement et un Transformer ; sinon, commence par « C’est quoi un LLM ? », « Comment il apprend » et « Comment il génère ».
Les étapes
9 étapes · environ 60 min de lecture
Commencer par « Évaluation (benchmarks) »
- Évaluation (benchmarks)Fondamentaux
Une annonce de modèle s'ouvre presque toujours sur un score. Avant de comparer des tailles, des licences ou des prix, il faut savoir ce que ce score mesure, dans quelles conditions il a été obtenu, et ce qui peut le gonfler.
- Perplexité (PPL)Fondamentaux
Avant les examens de logique, la mesure mathématique pure : évaluer la surprise du modèle pour quantifier sa maîtrise intrinsèque de la langue.
- Lois d'échelle (scaling laws)Entraînement
Un score dit où en est un modèle, pas ce qu'il a fallu pour l'y amener. Avant de lire sa taille, il faut savoir ce que les laboratoires achètent en ajoutant paramètres, données et calcul : c'est ce qui donne un sens aux chiffres de l'étape suivante.
- Capacités émergentesFondamentaux
Les aptitudes d'un modèle apparaissent-elles par sauts qualitatifs magiques ou par une progression continue masquée par nos critères de notation ?
- Mélange d'experts (MoE)Architecture
Les lois d'échelle comptent des paramètres, encore faut-il savoir lesquels : un même modèle peut afficher deux tailles. Tant qu'on confond la mémoire qu'il occupe avec le calcul qu'il mobilise à chaque token, toutes les comparaisons qui suivent sont faussées.
- Interprétabilité mécanisteArchitecture
Ouvrir la boîte noire : regarder comment les circuits de neurones et les auto-encodeurs épars articulent les concepts internes du modèle.
- Poids ouverts (open weights)Écosystème
On sait lire ce qu'un modèle mobilise ; reste à savoir ce qu'on peut en faire. Avant de mettre en balance une API et un modèle téléchargé, il faut savoir ce que la licence autorise vraiment, et ce que le mot « ouvert » ne promet pas.
- Coût (tarification)Écosystème
Les paramètres qui calculent et le choix entre héberger un modèle ou l'interroger à distance finissent tous deux sur une facture. Cette étape apprend à lire une grille de prix, et à voir ce qu'elle ne dit pas.
- Empreinte environnementaleÉthique
La facture ne dit pas tout ce qu'une réponse consomme. On termine par ce que coûtent à la planète le calcul, l'eau et le matériel, et par la même vigilance qu'à la première étape : un chiffre ne se lit qu'avec ce qu'il compte.