Accueil / Le livre / Partie 1 / Chapitre 1 : une « machine à prédire le mot suivant »
[ résumé · chapitre 1 ]

Chapitre 1 : une « machine à prédire le mot suivant »

≈ 15 min de lecture · 3,026 mots

Pour comprendre la scène du prologue, il faut ouvrir la machine. Ce qu'y fait un grand modèle de langage tient en une phrase : sur la base de tout ce que vous avez déjà dit, prédire le mot suivant le plus probable. Aucune base de connaissances secrète, aucune « âme » qui médite dans les serveurs — du premier mot au dernier, une seule opération.

Le chapitre la décompose pas à pas : le token, ce découpage où « comprendre » devient une suite de symboles numérotés ; la distribution de probabilités — à « La capitale de la Chine est… », le modèle n'offre pas une réponse mais un inventaire des possibles, où « Pékin » pèse 93,7 % et où « banane », quelque part, existe encore ; l'échantillonnage, où la température règle la pente du hasard ; et l'autorégression — cinq cents tokens, cinq cents décisions, chaque sortie devenant l'entrée suivante.

Reste la conséquence qui change tout : un modèle ne donne jamais une réponse, il déploie une possibilité — le chemin le plus probable dans le contexte que vous fournissez. La professeure et l'illustrateur du prologue n'ont pas été traités différemment : ils sont entrés par des portes différentes dans le même brouillard.

Et la ligne rouge, à marteler sans relâche, même quand il dit « laissez-moi réfléchir » : un déploieur de possibilités, non un distributeur de vérités.

[ passages ]
Sur la base de tout ce que vous avez déjà dit, prédire le mot suivant le plus probable.
— vers le texte intégral
Un déploieur de possibilités, non un distributeur de vérités.
— vers le texte intégral
Changez votre entrée — ne serait-ce que la formulation de quelques mots — et vous vous engagez sur un chemin entièrement différent, vous obtenez une « réponse » entièrement différente.
— vers le texte intégral
Toutes les capacités d'un grand modèle de langage sont, au fond, les produits accessoires de cet unique objectif : mieux prédire le mot suivant.
— vers le texte intégral
Lire le texte intégral
← Prologue : le même modèle, deux mondesChapitre 2 : l'amplificateur d'intention — dans le miroir, v →