Comment fonctionnent les modèles de langage : le guide qui change tout

Un modèle de langage ne comprend rien. Pas au sens où on l'entend d'habitude, en tout cas. Quand je tape une question dans un assistant conversationnel et qu'il me répond avec une précision déconcertante, il n'y a personne derrière. Juste des milliards de nombres qui s'ajustent, et une opération statistique répétée des millions de fois par seconde.

Cette phrase revient souvent quand on me parle de ce sujet : « mais comment il fait pour savoir ça ? » La réponse déçoit presque toujours. Il ne sait pas. Il calcule. Et c'est en comprenant ce calcul qu'on arrête de s'inquiéter d'un côté, et qu'on commence à s'inquiéter de l'autre.

Je vais vous montrer le mécanisme réel, celui qu'on trouve dans les docs techniques et pas dans les articles de vulgarisation pressés. Avec les étapes concrètes, les chiffres qui comptent, et les endroits où ça casse.

Comment fonctionnent les modèles de langage, concrètement

Un modèle de langage fait une seule chose, et tout le reste en découle. Il prend une séquence de texte, et il sort une liste de probabilités sur ce qui devrait venir juste après.

Ce n'est pas une métaphore. C'est littéralement l'unique fonction de sortie. Quand vous voyez un modèle écrire un paragraphe entier, il n'a pas écrit un paragraphe : il a écrit le premier mot, puis a relancé le calcul avec ce mot ajouté, puis a recommencé. Un texte de 500 mots, c'est 500 décisions successives, chacune conditionnée par toutes les précédentes.

La prédiction du mot suivant

Prenons une phrase simple : « Le chat dort sur le __ ».

Le modèle va sortir quelque chose comme : canapé (probabilité élevée), tapis (moins), toit (faible mais non nul), démocratie (quasi nul). Le choix final dépend d'un paramètre appelé température, dont je reparle plus bas.

Ce qui rend ces modèles impressionnants, ce n'est pas cette opération en soi. C'est qu'à force d'en enchaîner, la prédiction locale produit parfois une cohérence globale. Vous demandez une recette, le modèle prédit « ingrédients », puis « préparation », puis « cuisson ». Il ne planifie pas la recette. Il tombe dedans.

Pourquoi ça marche mieux qu'on ne l'attendait

Quand j'ai commencé à creuser le sujet, ma première réaction a été : ça ne peut pas fonctionner. Prédire un mot à la fois ne devrait produire qu'un texte plat, sans direction.

J'avais tort, et la raison est contre-intuitive. Pour bien prédire le mot suivant dans un texte humain, il faut en quelque sorte avoir intégré la grammaire, les tournures, les enchaînements logiques, et une bonne dose de faits. On ne peut pas prédire correctement une phrase sur la photosynthèse sans avoir croisé, à un moment, de quoi parle la photosynthèse.

La prédiction du mot suivant n'est donc pas une tâche bête. C'est une tâche qui, pour être bien réussie, oblige le modèle à construire des représentations internes utiles. C'est l'idée centrale, et elle explique à elle seule pourquoi mettre plus de paramètres et plus de texte a fait progresser les résultats bien au-delà de ce que prévoyaient les chercheurs au départ.

De la tokenisation à la génération : l'étape qu'on saute toujours

Avant qu'un modèle voie le moindre mot, il voit des nombres. Et avant de voir des nombres, il voit des tokens.

La tokenisation expliquée

Un token n'est pas un mot. C'est un morceau de mot, ou un mot entier s'il est très fréquent.

En anglais, « chat » est souvent un seul token. Un mot rare comme « anticonstitutionnellement » sera découpé en plusieurs morceaux : anti, constitution, nel, lement. Les mots courts et fréquents tiennent en un token ; les autres sont éclatés.

Cette étape conditionne absolument tout. Trois conséquences pratiques que vous avez peut-être déjà remarquées sans comprendre pourquoi :

• Les modèles comptent mal les lettres. Ce n'est pas un défaut de raisonnement, c'est que le modèle ne voit jamais la lettre seule — il voit un bloc qui en contient plusieurs.
• Les langues peu dotées coûtent plus cher. Un même texte en français demande en général plus de tokens qu'en anglais, parce que le vocabulaire d'entraînement est plus anglophone. Vous payez donc plus d'appels d'API pour le même contenu.
• Les fautes de frappe inhabituelles se traduisent par des tokens bizarres, et le modèle part dans une direction étrange. Ce n'est pas de la susceptibilité, c'est un découpage inattendu.

Quand on me demande pourquoi un modèle compte mal les lettres d'un mot, je renvoie toujours à cette étape. Tout est là.

Ce que devient un token ensuite

Chaque token est converti en un vecteur, une liste de nombres. Ce vecteur n'est pas figé une fois pour toutes : selon le contexte où le token apparaît, sa représentation se déforme. Le mot « avocat » n'a pas la même représentation numérique dans « avocat au barreau » et dans « avocat mûr ».

C'est le début de ce qui rend ces systèmes différents d'un dictionnaire. Le sens n'est pas stocké quelque part, il se recalcule à chaque passage en fonction du voisinage.

Le mécanisme d'attention : le vrai cœur du Transformer

Vous avez sûrement croisé le mot « Transformer » sans qu'on vous explique jamais ce qu'il fait. On vous dit qu'il gère les séquences. On ne vous dit pas comment.

Comment le modèle pondère l'importance des mots

Imaginons la phrase : « Le serveur a planté parce que la base de données était saturée, et l'équipe a redémarré le service. »

Pour prédire le mot suivant, le modèle doit savoir à quoi « le service » se réfère, et quel élément de la phrase explique le plantage. L'attention est le mécanisme qui permet à chaque mot de regarder tous les autres mots de la séquence et de décider lesquels comptent pour lui.

Concrètement, chaque token produit trois vecteurs, souvent appelés requête, clé et valeur. Le token en cours compare sa requête aux clés de tous les autres tokens, obtient un score de pertinence, puis combine les valeurs correspondantes pondérées par ces scores.

Le mot « planté » va donc attribuer un poids élevé à « base de données » et à « saturée », et un poids faible à « équipe ». Le mot « redémarré » va faire l'inverse. C'est ce jeu de pondérations, répété sur des dizaines de couches empilées, qui produit la cohérence du texte.

Et là, une conséquence qui surprend souvent : rien dans ce mécanisme n'impose un ordre. La phrase « le chat mange la souris » et « la souris mange le chat » donnent la même information d'attention brute. On ajoute donc une information de position à chaque token, sinon le modèle ne saurait pas qui mange qui.

Pourquoi plusieurs têtes d'attention

Un seul calcul d'attention ne suffit pas. Les modèles en font tourner plusieurs en parallèle, chaque « tête » apprenant à repérer un type de relation différent.

Une tête peut se spécialiser sur les accords grammaticaux, une autre sur les coréférences (à quoi renvoie « il »), une troisième sur les liens entre un verbe et son complément. Personne ne programme ces spécialisations. Elles émergent de l'entraînement.

Quand on inspecte ces têtes après coup, on trouve parfois des comportements assez nets, comme une tête qui suit systématiquement la ponctuation. Je trouve ça fascinant, et un peu dérangeant : ces structures n'ont été demandées par personne.

Les quatre étapes de l'entraînement

Un modèle grand public ne sort pas d'un seul entraînement. Il passe par quatre phases, et chacune change son comportement de manière visible.

Étape	Ce qu'elle fait	Ce que vous observez
Pré-entraînement	Exposition à d'énormes volumes de texte, prédiction du mot suivant	Un modèle qui complète du texte mais ne suit aucune instruction
Ajustement supervisé	Exemples de questions/réponses correctes	Le modèle commence à répondre au lieu de continuer
Alignement (RLHF et variantes)	Comparaison de réponses, classement par préférence humaine	Le ton devient utile, prudent, formaté
Inférence	Le modèle est figé et interrogé	La réponse que vous lisez, avec ses qualités et ses limites

Le pré-entraînement

Le modèle voit du texte, prédit le mot suivant, se trompe, corrige ses paramètres, recommence. Des milliards de fois. Il ne reçoit jamais d'étiquette « ceci est correct, ceci est faux ». Il reçoit juste le texte réel, qui joue le rôle de correction.

Cette phase coûte très cher, mobilise des milliers de processeurs graphiques pendant des semaines, et produit un objet brut qui complète du texte mais ne répond à aucune question. Si vous demandez quelque chose à un modèle à ce stade, il vous prolonge votre phrase au lieu de vous répondre.

L'ajustement et l'alignement

On lui présente ensuite des paires question/réponse rédigées par des humains. Le comportement change immédiatement : le modèle cesse de compléter, il répond.

Puis vient l'alignement par retour humain. Deux réponses sont proposées, un humain dit laquelle est meilleure, et le modèle apprend à produire davantage de réponses qui ressemblent à celle qu'on a préférée. C'est cette étape qui produit le ton si particulier des assistants grand public : structuré, prudent, souvent un peu bavard en préambule.

Ma conviction, après avoir comparé plusieurs modèles, est que la personnalité que vous ressentez vient largement de cette phase, pas du pré-entraînement. Deux modèles entraînés sur des données proches peuvent se comporter de façon très différente parce qu'on ne les a pas alignés de la même façon.

Le RLHF expliqué aux non-initiés

RLHF signifie apprentissage par renforcement à partir du retour humain. Sans entrer dans les détails, l'idée est simple : au lieu d'écrire la bonne réponse à la main, on fait classer des réponses par des humains, et on récompense le modèle quand il produit des réponses du type préféré.

Ce qui pose une question que peu de gens soulèvent : le modèle apprend à être apprécié, pas à être exact. Ces deux objectifs coïncident souvent. Pas toujours.

Quels sont les 4 types de langage ?

On me pose souvent cette question, et la confusion vient d'un mélange entre deux choses très différentes : les modèles de langage et les registres de langue.

Les registres ou niveaux de langue, tels qu'on les enseigne au secondaire, se répartissent en quatre catégories : le registre familier, le registre courant, le registre soutenu et le registre littéraire. On les distingue par le vocabulaire employé, la construction des phrases et le contexte dans lequel ils apparaissent.

Un modèle de langage n'a aucune de ces catégories stockées séparément. Il ne possède pas un « mode soutenu » qu'on activerait. Il a vu, dans son entraînement, du texte relevant de tous ces registres mêlés, et il a intégré à quel niveau de langue correspond tel type de contexte. Si vous écrivez dans un registre familier, il répond souvent en registre familier. Si vous adoptez une tournure soutenue, il en fait autant.

C'est une imitation contextuelle, pas une connaissance explicite des registres. Et c'est pourquoi il lui arrive de déraper d'un registre à l'autre en cours de réponse, sans qu'aucune règle ne soit violée de son point de vue.

Les limites que vous allez toujours rencontrer

Comprendre le mécanisme rend les défauts beaucoup moins mystérieux. Ils ne disparaîtront pas, mais ils deviennent prévisibles.

L'hallucination n'est pas un bug

Un modèle sans réponse satisfaisante ne s'arrête pas. Il continue de prédire le mot suivant, parce que c'est sa seule fonction. Il produit donc la suite la plus plausible, même si elle est fausse.

Ce n'est pas une défaillance du système. C'est le système qui fonctionne exactement comme prévu, sur une question où aucune donnée fiable ne lui permet de trancher. La correction viendra de votre vigilance, pas de sa part.

La fenêtre de contexte

Le mécanisme d'attention compare chaque token à tous les autres tokens de la séquence. Cette comparaison coûte cher, et sa portée est limitée par la fenêtre de contexte, la longueur maximale que le modèle peut traiter d'un coup.

Au-delà, l'information ancienne est tronquée. Le modèle ne l'oublie pas par inattention : elle a été purement retirée du calcul. Quand un assistant perd le fil d'une longue conversation, c'est souvent exactement ce qui se passe.

La température

C'est le paramètre le plus important que vous contrôlez, et le plus mal compris.

À température basse, le modèle choisit presque toujours le token le plus probable. Résultat : réponses répétitives, prévisibles, parfois figées. À température élevée, il laisse plus de place aux tokens moins probables. Résultat : plus de variété, mais aussi plus d'erreurs et de digressions.

Sur des tâches techniques où l'exactitude prime, je descends volontairement la température. Sur de la génération créative, je la remonte. Le même modèle peut donner l'impression d'être deux outils différents selon ce réglage.

Ce qu'il faut retenir

Un modèle de langage est une machine à prédire le mot suivant, entraînée sur assez de texte pour que cette prédiction produise, par effet de bord, de la grammaire, des faits et une apparence de raisonnement.

La tokenisation découpe le texte en morceaux. L'attention permet à chaque morceau de peser l'importance des autres. Le pipeline d'entraînement transforme un simple compléteur de texte en assistant poli. Et la température décide, à chaque génération, de la dose d'imprévu que vous laissez entrer.

Rien de tout cela ne ressemble à une compréhension. Mais rien de tout cela n'est non plus de la magie. C'est de l'arithmétique, beaucoup d'arithmétique, et une propriété émergente qui continue de surprendre ceux qui l'ont construite.

La question qui me travaille n'est plus vraiment technique. Si ces systèmes produisent du sens sans jamais le viser, qu'est-ce qui nous autorise à dire qu'ils ne comprennent pas ? Peut-être que le mot « comprendre » est simplement en train de changer de définition sous nos yeux, sans que personne ne l'ait décidé.