Comment ça marche — l'intuition du prédicteur statistique sans maths

Objectifs#

1. Expliquer en termes simples ce qu'est un LLM (sans une équation).
2. Comprendre pourquoi le « prédicteur du mot suivant » donne malgré tout des réponses cohérentes.
3. Distinguer ce que le modèle « sait » de ce qu'il « calcule ».

1. La métaphore du correcteur d'auto-école#

Imagine qu'on prenne 100 millions d'auto-écoles à travers le monde, qu'on note l'intégralité des dialogues moniteur-élève sur 30 ans, et qu'on demande à un super-stagiaire de tout lire. Au bout d'un moment, ce stagiaire saurait, avant même qu'on lui pose la question, prédire la suite probable d'un dialogue : « Élève au feu rouge » → « moniteur lui demande de mettre la première vitesse ». Il n'a jamais conduit. Il a juste lu beaucoup.

C'est exactement ce qu'est un LLM (Large Language Model). Claude a lu une fraction massive du texte humain disponible (livres, articles, sites, code, dialogues), et a appris à prédire le mot suivant dans un texte donné.

Règle d'or : Claude ne « sait » pas, il prédit. Cette nuance change tout pour comprendre ses limites.

2. Pourquoi ça marche quand même#

Si on prédit juste le prochain mot, comment obtient-on un mémo de 4 pages cohérent ? Parce que :

a) La prédiction est conditionnée par tout le contexte précédent. Quand tu écris « Bonjour Madame, suite à notre entretien du… », Claude voit déjà 11 mots qui orientent fortement la suite. Plus tu donnes de contexte (R-C-T-C !), plus la prédiction est calibrée.

b) Le modèle a appris des structures, pas seulement des mots. À force de lire, Claude a "compris" la grammaire, la rhétorique, les structures argumentatives, les conventions professionnelles, le code. Sa prédiction n'est pas du bruit — elle est calibrée par ces structures.

c) Il y a un entraînement humain par-dessus. Anthropic a entraîné Claude avec des humains qui lui ont montré des bonnes et des mauvaises réponses, l'ont récompensé pour la précision, l'honnêteté, la sécurité. C'est ce qu'on appelle le RLHF (Reinforcement Learning from Human Feedback). Sans ça, on aurait un perroquet ; avec, on a un assistant utile.

3. Ce que ça implique concrètement#

Claude est très fort sur :

• Tout ce qui ressemble à un texte qu'il a déjà vu un million de fois (email pro, lettre de motivation, plan de cours, code Python standard).
• Tout ce qui demande de la fluidité linguistique (reformulation, traduction, synthèse).
• Tout ce qui est structure (plan, organigramme, tableau).

Claude est moins fort sur :

• Ce qui dépend d'un fait unique récent (un événement de cette semaine — sauf via recherche web).
• Le calcul exact sur de longs nombres ou logiques imbriquées (sauf en activant un outil de code).
• Les hallucinations confiantes sur des chiffres ou des références qu'il a vu trop peu.

Cas AOF concret : demande à Claude le PIB du Sénégal en 2014. Il te donnera un chiffre qui peut être faux à 5 % près. Demande-lui de citer la source. Il peut inventer une publication qui n'existe pas. C'est l'hallucination — détaillée dans la leçon 2.1.

4. Ce qu'un LLM n'est pas#

Pour ne plus se faire piéger, élimine ces idées fausses :

• Ce n'est pas un moteur de recherche. Sauf si on le branche à un moteur de recherche (Claude.ai a une fonction « Web search » qui change tout).
• Ce n'est pas une base de données. Il n'a pas un fichier "PIB Sénégal 2014" rangé quelque part. Il a vu ce nombre des centaines de fois et tente une moyenne.
• Ce n'est pas un humain. Il n'a pas de ressenti, pas d'opinion personnelle « stable », pas de mémoire continue (sauf si tu actives la mémoire — voir CLAUDE-01 / 3.1).
• Ce n'est pas magique. Une mauvaise question donne une mauvaise réponse, peu importe le modèle.

5. La fenêtre de contexte — la mémoire de l'instant#

Claude lit tout ton chat actuel à chaque message. Mais sa fenêtre de contexte est limitée à environ 200 000 tokens (~ 150 000 mots, ~ 200 pages). Si ton chat dépasse, les premiers messages sortent de la fenêtre. Claude « oublie ».

Conséquences pratiques :

• Pour les missions longues, organise en Projets (pas un seul long chat).
• Si tu sens Claude perdre le fil ou se contredire, c'est probablement la saturation. Recommence un chat propre avec un résumé.

Points clés#

• Un LLM prédit le mot suivant — il ne « sait » pas, il calcule.
• Le contexte qu'on lui donne calibre fortement la qualité de la sortie.
• Très fort sur la fluidité, structure, paraphrase ; faible sur les chiffres exacts et les faits récents.
• La fenêtre de contexte est large mais finie — les Projets aident à gérer.

À suivre#

• L1.2 — Les 5 familles de tâches où Claude excelle : on cartographie les usages où ton ROI sera maximal.

Fin de la leçon 1.1 — CLAUDE-02.