Accueil / Le livre / Partie 1 / Chapitre 1 : une « machine à prédire le mot suivant »
[ résumé · chapitre 1 ]

Chapitre 1 : une « machine à prédire le mot suivant »

≈ 15 min de lecture · 3,026 mots

Pour comprendre la scène du prologue, il faut ouvrir la machine. Ce qu'y fait un grand modèle de langage tient en une phrase : sur la base de tout ce que vous avez déjà dit, prédire le mot suivant le plus probable. Aucune base de connaissances secrète, aucune « âme » qui médite dans les serveurs — du premier mot au dernier, une seule opération.

Le chapitre la décompose pas à pas : le token, ce découpage où « comprendre » devient une suite de symboles numérotés ; la distribution de probabilités — à « La capitale de la Chine est… », le modèle n'offre pas une réponse mais un inventaire des possibles, où « Pékin » pèse 93,7 % et où « banane », quelque part, existe encore ; l'échantillonnage, où la température règle la pente du hasard ; et l'autorégression — cinq cents tokens, cinq cents décisions, chaque sortie devenant l'entrée suivante.

Reste la conséquence qui change tout : un modèle ne donne jamais une réponse, il déploie une possibilité — le chemin le plus probable dans le contexte que vous fournissez. La professeure et l'illustrateur du prologue n'ont pas été traités différemment : ils sont entrés par des portes différentes dans le même brouillard.

Et la ligne rouge, à marteler sans relâche, même quand il dit « laissez-moi réfléchir » : un déploieur de possibilités, non un distributeur de vérités.

[ passages ]
Sur la base de tout ce que vous avez déjà dit, prédire le mot suivant le plus probable.
vers le texte intégral
Un déploieur de possibilités, non un distributeur de vérités.
vers le texte intégral
Changez votre entrée — ne serait-ce que la formulation de quelques mots — et vous vous engagez sur un chemin entièrement différent, vous obtenez une « réponse » entièrement différente.
vers le texte intégral
Toutes les capacités d'un grand modèle de langage sont, au fond, les produits accessoires de cet unique objectif : mieux prédire le mot suivant.
vers le texte intégral
Lire le texte intégral
← Prologue : le même modèle, deux mondesChapitre 2 : l'amplificateur d'intention — dans le miroir, v →