FICHE DE RÉVISION : Le Fonctionnement des LLM

1. Définition Simple

Un LLM (Large Language Model) est un moteur statistique d'association de motifs (patterns). Il ne « pense » pas et ne consulte pas de base de données : il prédit mathématiquement le prochain jeton (token) le plus probable en fonction du contexte qu'on lui donne.

Modèle mental : Un système d'autocomplétion surpuissant, entraîné sur une immense partie d'Internet.

2. Concepts Clés & Cycle de Traitement

[ Texte brut ] ➔ 1. Tokenisation ➔ 2. Embeddings ➔ 3. Couches Transformer (Attention) ➔ [ Probabilités ] ➔ Jeton suivant

• Tokenisation : Découpage du texte en petits fragments (~4 caractères ou ¾ de mot).
  • Exemple : "Apprentissage" $\rightarrow$ ["Appren", "tissage"].
• Plongements (Embeddings) : Conversion des jetons en vecteurs de nombres. Les mots aux sens proches se regroupent géométriquement ("roi" - "homme" + "femme" $\approx$ "reine").
• Mécanisme d'Attention (Self-Attention) : Le cœur du système. Il pondère l'importance des autres mots du texte pour comprendre le contexte immédiat.
  • Exemple : Dans "La banque de données" vs "La banque près du fleuve", l'attention oriente le sens du mot "banque".
• Pipeline d'Entraînement :
  1. Pré-entraînement (Pre-training) : Lecture de milliards de textes bruts pour assimiler la grammaire, la logique et des connaissances générales (coûteux, non supervisé).
  2. Ajustement fin (Fine-Tuning / SFT) : Entraînement sur des dialogues ciblés (questions/réponses) pour adopter la posture d'un assistant.
  3. Alignement humain (RLHF) : Optimisation par renforcement selon des critères humains pour être utile, inoffensif et précis.
• Paramètres : Les millions ou milliards de « curseurs » numériques internes ajustés lors de l'apprentissage.

3. Schéma Visuel du Cycle de Génération

       PROMPT : "Le ciel est"
                  │
                  ▼
       ┌─────────────────────┐
       │    Tokenisation     │  ➔ ["Le", " ciel", " est"]
       └─────────────────────┘
                  │
                  ▼
       ┌─────────────────────┐
       │   Vecteurs d'entrée │  ➔ Conversion en coordonnées mathématiques
       │     (Embeddings)    │
       └─────────────────────┘
                  │
                  ▼
       ┌─────────────────────┐
       │ Blocs Transformer   │  ➔ L'Attention croise les contextes
       │ (Répétés N fois)    │    ("ciel" + "est" ➔ appelle une couleur)
       └─────────────────────┘
                  │
                  ▼
       ┌─────────────────────┐     bleu   (72 %)
       │ Moteur Prédictif    │  ➔  gris   (14 %)
       │   (Probabilités)    │     sombre (8 %)
       └─────────────────────┘
                  │
                  ▼
       Sélection : "bleu" ➔ Ajouté au prompt ➔ Répète la boucle pour le mot suivant

4. Exemples Concrets en Pratique

5. Pièges et Idées Reçues

• ✖ « Le modèle consulte Internet ou une base interne. » $\rightarrow$ ✔ Il génère du texte par reconstitution probabiliste depuis ses poids (sauf si couplé à un outil de recherche web ou un système RAG).
• ✖ « Il comprend le monde comme un être humain. » $\rightarrow$ ✔ Il manipule des corrélations de formes linguistiques, sans conscience ni réelle compréhension sémantique.
• ✖ « L'hallucination est une panne système. » $\rightarrow$ ✔ C'est le comportement normal de génération : le modèle ne fait pas la différence entre un fait avéré et une suite de mots plausible.
• ✖ « 1 Jeton (Token) = 1 Mot. » $\rightarrow$ ✔ En moyenne, 1 000 mots correspondent à environ 1 300 ou 1 400 jetons (la ponctuation, les majuscules et les espaces comptent).

6. Checklist « Avant Utilisation »

• [ ] Rôle assigné : Avez-vous précisé le rôle ou l'expertise attendue (« Agis comme un ingénieur... ») ?
• [ ] Contexte fourni : Lui avez-vous injecté les données sources nécessaires pour limiter l'invention de faits ?
• [ ] Température calibrée : Basse (0.0 à 0.3) pour du code, de la logique ou des synthèses ; Haute (0.7 à 1.0) pour du remue-méninges ou de la fiction.
• [ ] Capacité de contexte surveillée : Le prompt et la réponse attendue respectent-ils la limite maximale de tokens du modèle ?
• [ ] Contrôle critique : Avez-vous vérifié manuellement le code généré, les calculs mathématiques ou les sources mentionnées ?

7. Auto-Test Flash (5 Questions)

1. Q : Quel est l'objectif fondamental d'un LLM lors de la génération ?
   R : Prédire le prochain jeton (token) le plus probable.
2. Q : Quel mécanisme interne permet d'évaluer les liens entre différents mots d'une même phrase ?
   R : L'Attention (ou Self-Attention).
3. Q : Comment nomme-t-on le fait qu'un LLM produise une fausse information avec une totale assurance ?
   R : Une hallucination.
4. Q : Quelle étape d'entraînement enseigne au modèle à répondre sous forme d'assistant poli et sécurisé ?
   R : L'alignement / le réglage fin (Fine-Tuning / RLHF).
5. Q : Quel paramètre faut-il réduire pour obtenir des réponses plus prévisibles et factuelles ?
   R : La température.