Comment fonctionnent les LLM ? Tokenisation et génération

Un modèle de langage ne comprend pas la langue comme vous et moi. Il en donne une impression saisissante. Il répond à propos, explique des métaphores et peut même reconnaître une mauvaise plaisanterie. Sous le capot, pourtant, il n’y a pas un petit lecteur équipé d’un dictionnaire. Il y a une immense machine à calculer.

Regardons sous le capot. Vous comprendrez mieux le fonctionnement d’un grand modèle de langage – et vous apprendrez, au passage, à lui confier de meilleures tâches sans confondre fluidité et savoir.

Tokenisation : découper la langue en unités

Pour vous, un texte se compose de lettres, de mots, de phrases et de paragraphes. Un modèle de langage commence par traiter des tokens : des fragments de texte numérotés qui, selon le tokenizer, peuvent correspondre à un mot entier, une partie de mot, un signe de ponctuation ou même un caractère.

Prenons cette phrase française :

Cette partie du processus est facile à expliquer.

Le tokenizer o200k_base d’OpenAI la découpe en neuf tokens :

["Cette", " partie", " du", " processus", " est", " facile", " à", " expliquer", "."]

Les espaces placés au début de certains éléments font partie du token. Un autre modèle ou un autre tokenizer peut produire un découpage différent. C’est pourquoi la célèbre règle « un token vaut environ quatre caractères » ne constitue qu’une approximation pour l’anglais. Le rapport varie selon la langue, le vocabulaire et l’écriture.

Vous pouvez faire vos propres essais avec le Tokenizer d’OpenAI. OpenAI rappelle également dans son guide consacré aux tokens que les espaces, les majuscules, les morceaux de mots et la ponctuation participent au découpage.

Que faut-il retenir ?

Un token n’est pas un mot.
Le découpage dépend du tokenizer et de la chaîne de caractères exacte.
Une majuscule, une espace initiale ou un caractère spécial peuvent modifier les tokens.
Les formes rares ou longues sont plus souvent divisées en plusieurs fragments.
Le nombre de tokens influence la fenêtre de contexte, le coût de calcul et souvent le prix des API.

Une correction importante s’impose ici. Le tokenizer ne comprend pas encore le sens. Le mot français « avocat » peut désigner une profession ou un fruit. Si sa graphie et sa position sont identiques, il ne reçoit pas automatiquement un autre token parce que le sens a changé. Ce sont les couches suivantes qui utilisent le reste de la phrase pour construire des représentations différentes.

La tokenisation ne traduit donc pas la langue en signification. Elle découpe la matière première en pièces numérotées.

Embeddings : des identifiants deviennent des positions dans un espace vectoriel

Un identifiant de token n’est au départ qu’un index. Le nombre associé à « Cette » ne contient pas, en lui-même, le sens du mot. Pour pouvoir calculer, le réseau associe à chaque token un vecteur : une liste de nombreux nombres. Cette représentation s’appelle un embedding, ou plongement vectoriel.

Pourquoi une liste plutôt qu’un seul nombre ? Sur une simple liste alphabétique, « lampe » se retrouverait peut-être plus près de « lamentation » que d’« abat-jour ». Ce classement serait peu utile pour traiter la langue. Dans un espace à plusieurs dimensions, le système peut apprendre des représentations où des usages similaires présentent des motifs proches.

Pour nous faire une idée, imaginons deux axes inventés :

quelque chose est-il concret ou abstrait ?
apparaît-il plutôt dans un contexte positif ou négatif ?

« Lampe » et « abat-jour » pourraient alors se retrouver plus proches l’un de l’autre que de « l’espoir ». Mais les vrais modèles ne reçoivent pas des milliers d’axes soigneusement nommés par des humains. Ils apprennent des caractéristiques numériques qui réduisent l’erreur de prédiction. Une dimension précise ne signifie donc pas proprement « matérialité » ou « sympathie ».

Et surtout, l’embedding initial ne constitue pas le sens final. Le token « avocat » commence avec la même représentation de base. En traversant les couches du Transformer, celle-ci est modifiée par les tokens environnants. « L’avocat plaide devant le tribunal » produit ainsi un motif contextuel différent de « L’avocat mûr accompagne la salade ».

Le cours de Google sur les embeddings statiques et contextuels explique précisément cette distinction. Elle est plus fidèle à la réalité technique que l’image d’un mot possédant pour toujours un point unique et lisible dans l’espace.

Le nombre de dimensions varie selon le modèle et la couche. Il n’existe aucune règle générale selon laquelle un LLM moderne attribuerait exactement 12 000 « paramètres de sens » à chaque token.

Pourquoi les GPU sont-ils si utiles ? Non parce qu’ils « voient l’espace », mais parce qu’ils savent exécuter en parallèle un très grand nombre d’opérations sur des matrices et des vecteurs. Une part importante de l’entraînement et de l’inférence repose précisément sur ces calculs.

Transformer et attention : quelles parties du contexte comptent ?

Un vecteur isolé ne résout pas le problème de la langue. Le modèle doit tenir compte des relations entre les tokens.

Prenons cette phrase :

Le garçon, dont la grand-mère a acheté avant-hier une moto Harley-Davidson, monte vers l’école située sur la colline.

Qui monte ? Le garçon. Qu’a-t-on acheté ? La moto. Qui l’a achetée ? La grand-mère. Ces relations ne se trouvent pas toujours entre des mots voisins.

C’est là qu’intervient la self-attention. Pour chaque token, le Transformer calcule des requêtes, des clés et des valeurs – query, key et value. En simplifiant, il détermine quel poids accorder aux autres positions lorsqu’il transforme la représentation actuelle. Plusieurs têtes d’attention peuvent apprendre simultanément des types de relations différents.

Publié en 2017, l’article Attention Is All You Need n’a pas inventé toute forme d’attention dans les réseaux neuronaux. Son apport décisif a été de proposer une architecture Transformer qui se passait de récurrence et de convolutions, permettant de traiter les séquences de façon beaucoup plus parallèle.

Un Transformer ne « lit » pas non plus comme un rédacteur. Il calcule des poids et transforme des vecteurs. Certains motifs d’attention peuvent être interprétés après coup, mais un poids élevé ne constitue pas, à lui seul, une explication complète du raisonnement du modèle.

Le bon modèle mental ressemble plutôt à ceci :

la tokenisation fournit les fragments de texte ;
les embeddings en font des représentations numériques ;
l’information de position indique où se trouve chaque fragment ;
la self-attention injecte dans chaque représentation les éléments pertinents du contexte ;
de nombreuses couches répètent cette opération et construisent des motifs contextuels de plus en plus riches.

Génération : une distribution, puis une sélection

Après avoir traité le contexte disponible, un modèle de langage autorégressif calcule des probabilités pour le prochain token. Il ne reçoit donc pas immédiatement une réponse terminée, mais une distribution entre de nombreuses continuations possibles.

Pour le début de phrase

Une bonne campagne publicitaire est…

plusieurs suites pourraient sembler plausibles :

« … une campagne qui vend. »
« … un investissement, pas une dépense. »
« … la base d’une croissance durable. »
« … aussi bonne que le problème qu’elle résout. »

Cette liste est un exemple pédagogique, pas une mesure extraite d’un modèle précis. Dans un vrai système, une stratégie de décodage ou d’échantillonnage choisit un token à partir de la distribution calculée. Le token est ajouté au contexte, puis le calcul recommence. Le texte apparaît token après token.

Deux paramètres reviennent souvent :

La température modifie la forme de la distribution. Une valeur basse concentre davantage le choix sur les tokens les plus probables ; une valeur haute rend accessibles des options moins probables. Elle n’ajoute ni savoir ni créativité. Elle modifie le degré d’aléatoire de la sélection.
top_p correspond au nucleus sampling. Seuls les tokens du plus petit ensemble dont la probabilité cumulée atteint le seuil choisi restent candidats. Avec top_p: 0.9, on conserve donc un ensemble représentant au moins 90 % de la probabilité.

OpenAI décrit ces paramètres dans sa documentation API. L’interface grand public de ChatGPT ne les affiche pas nécessairement. Les personnalités, styles d’écriture et niveaux de raisonnement ne sont pas de simples synonymes de température et de top_p : ils peuvent dépendre d’autres instructions système, modèles ou processus.

Qu’est-ce que cela change pour vos prompts ?

Lorsque vous comprenez que le modèle génère, au fond, une continuation token après token, le prompt ressemble moins à de la télépathie et davantage à un bon brief.

Écrivez simplement :

Rédigez une stratégie de marque.

et il manquera presque tout ce qui distingue une réponse spécifique d’un résultat générique. Le modèle retombera probablement sur des rubriques familières et des clichés professionnels.

Donnez-lui un point de départ précis, et le contexte pertinent change :

Vous êtes stratège de marque. Vous accompagnez une entreprise française de logiciels B2B qui a perdu 20 % de ses leads qualifiés après un changement de positionnement. Analysez d’abord trois causes plausibles. Posez des questions si des informations sur la cible, le parcours d’achat ou la concurrence manquent. Ne rédigez pas encore la stratégie finale.

Le modèle n’est pas devenu plus intelligent. Il dispose simplement de davantage d’informations pour identifier les continuations adaptées à la tâche.

Même principe pour le style :

Ton : factuel et précis, avec une ironie discrète. Pas de langage de coach, pas de points d’exclamation et aucune formule du type « dans un monde en constante évolution ».

Un texte de référence fonctionne souvent mieux qu’une longue liste d’adjectifs abstraits. Il place directement dans le contexte le rythme, le vocabulaire et la longueur des paragraphes attendus.

Les limites valent mieux que les formules magiques

Quand un modèle ignore une information, l’instruction « N’inventez rien » ne garantit pas une réponse correcte. Il peut encore produire une source, un chiffre ou une définition plausibles mais faux. De bonnes contraintes réduisent le risque sans le supprimer.

Une consigne vérifiable est plus utile :

Utilisez uniquement les sources jointes. Justifiez chaque chiffre par le nom du document et la section. Si les sources ne suffisent pas, indiquez précisément l’information manquante et ne complétez pas la réponse par une supposition.

Ensuite, la règle reste inchangée : ouvrir la source, contrôler l’affirmation, assumer la responsabilité.

Les produits d’IA modernes ne se résument d’ailleurs pas à un modèle nu. Instructions système, recherche documentaire, navigation web, outils, règles de sécurité et étapes de raisonnement supplémentaires peuvent modifier le résultat. Le modèle sous-jacent continue de générer des tokens, mais le produit accomplit parfois du travail avant, pendant et après cette génération.

En pratique, un bon brief ressemble donc aux instructions données à un collaborateur très rapide, très cultivé et parfois terriblement sûr de lui :

Quelle est la mission ?
Quel contexte compte ?
Quelles sources sont autorisées ?
Quelle forme doit prendre le résultat ?
À quel moment le système doit-il s’arrêter et demander ?
Qui vérifiera le résultat ?

Pas un esprit artificiel, mais un modèle utile

L’histoire de l’intelligence artificielle n’est pas celle du réveil soudain d’une machine. C’est celle d’une complexité progressivement transformée en quelque chose que l’on peut calculer, tester et améliorer.

Des neurones artificiels simples aux règles IF–THEN, des modèles statistiques et de la rétropropagation jusqu’aux Transformers et aux systèmes multimodaux, chaque étape a tenu certaines promesses et échoué sur d’autres. Beaucoup d’idées n’ont pas été jetées ; elles ont été rangées sur l’étagère « trop tôt ».

Les modèles de langage actuels ne constituent pas la fin de cette histoire. Plusieurs idées anciennes fonctionnent pour la première fois ensemble : de grandes quantités de données, des architectures adaptées, du matériel puissant et un entraînement à très grande échelle. La statistique finit ainsi par ressembler à une compétence.

La distinction est essentielle pour le marketing. Un LLM ne possède ni intention de marque, ni ambition, ni raison personnelle de prononcer un message. Il excelle en revanche à reproduire et recombiner des motifs : styles, récits, structures argumentatives, clichés linguistiques et raccourcis culturels.

Cela déplace la frontière entre réflexion et exécution. Là où une personne devait autrefois rédiger vingt variantes, le système peut les produire en quelques secondes. La décision ne devient pas moins importante, mais plus visible : quelle variante est vraie ? Laquelle correspond à la marque ? Laquelle mérite d’être publiée ?

Au bout du chemin ne nous attend pas un collègue artificiel doté d’une vision. Nous trouvons quelque chose de plus sobre, et souvent de plus utile : un écho statistique des textes, images, données et décisions produits par les humains.

Cet écho peut répondre avec une efficacité étonnante. À condition de poser une question sensée – et de savoir vérifier la réponse.

Lire d’autres articles sur le travail avec l’IA

Comment fonctionnent les LLM ? Tokenisation, vecteurs et génération