Qu’est-ce qu’un LLM ?
Un LLM est le moteur de nombreux assistants. Découvrez comment il est entraîné, transforme votre prompt en réponse, utilise le contexte et peut se tromper.
Objectifs de la leçon
Comprendre ce que signifient les lettres LLM.
Suivre les étapes utilisées pour générer une réponse.
Distinguer le préentraînement, le post-entraînement et l’utilisation du modèle.
Savoir quand une réponse doit être vérifiée ou appuyée par un outil.
Un LLM, concrètement
LLM signifie « Large Language Model », ou grand modèle de langage. « Grand » fait référence au nombre très élevé de réglages internes et à la quantité de données utilisée pour l’entraîner. « Langage » signifie qu’il travaille avec des suites comme des phrases, du code, des tableaux ou du texte structuré. « Modèle » signifie qu’il s’agit d’un système mathématique ayant appris à partir d’exemples.
Un LLM ne contient pas une réponse préparée pour chaque question. Il a appris des régularités : la manière de rédiger une annonce, de répondre à une question, d’organiser un rapport ou de structurer une fonction informatique.
Lorsque vous envoyez un prompt, le modèle combine ces régularités avec les informations de votre demande. Il rédige alors une nouvelle réponse. Il ne comprend pas la situation exactement comme une personne et ne connaît pas les détails que vous ne lui avez pas donnés.
Large — Grand Le modèle contient un très grand nombre de réglages appris pendant l’entraînement.
Ces réglages lui permettent de représenter de nombreuses régularités du langage.
Language — Langage Le modèle traite des suites de texte et d’autres formats proches du texte.
Phrases, code, JSON, tableaux et messages d’erreur.
Model — Modèle Un système mathématique entraîné pour produire un résultat à partir d’une entrée.
Un prompt entre ; une réponse générée en sort.
Une demande complète
Vous écrivez : « Préviens mes clients que la boutique fermera exceptionnellement à 17 h aujourd’hui. Utilise un ton poli et rédige un message WhatsApp court. » Le modèle connaît la forme habituelle d’une annonce et utilise les informations fournies pour rédiger le message.
Vous fournissez les faits et l’objectif ; le modèle prépare la formulation.
Une demande incomplète
Vous écrivez seulement : « Informe mes clients du nouveau prix. » Le modèle ne connaît ni le produit, ni l’ancien prix, ni le nouveau prix, ni la date d’application.
Pour répondre correctement, le modèle doit recevoir les informations manquantes ou poser une question de clarification.
Du prompt à la réponse
Le modèle commence par découper le texte en petites unités appelées tokens. Un token peut être un mot, une partie de mot, un nombre ou un signe de ponctuation. Le découpage dépend du modèle : un mot ne correspond donc pas toujours à un seul token.
Il examine ensuite le contexte disponible. Ce contexte comprend le prompt actuel, les messages précédents de la conversation, les extraits de documents fournis, les instructions du système et les résultats renvoyés par les outils. Le modèle ne peut utiliser que ce qui se trouve dans son contexte actuel.
La réponse est générée token après token. À chaque étape, le modèle estime quelle suite correspond le mieux au prompt et au texte déjà produit. Son mécanisme d’attention l’aide à relier les informations, par exemple « le nouveau prix » au montant indiqué plus haut.
| Étape | Ce qui se passe | Exemple concret |
|---|---|---|
| 1. Découpage | Le prompt est divisé en tokens. | La date, le prix, les consignes et la ponctuation deviennent des unités traitables. |
| 2. Lecture du contexte | Le modèle prend en compte les informations disponibles. | Il voit que le message s’adresse aux clients et doit convenir à WhatsApp. |
| 3. Choix de la suite | Le modèle choisit un token susceptible de bien poursuivre la réponse. | Il peut commencer par une salutation puisque le ton demandé est poli. |
| 4. Répétition | La même opération continue jusqu’à la fin de la réponse. | Chaque nouveau token rejoint le contexte utilisé pour choisir le suivant. |
L’information se trouve dans la conversation
Vous indiquez d’abord qu’un sac coûte 12 000 FCFA. Deux messages plus tard, vous demandez : « Réécris le message avec ce prix. » Le modèle peut relier « ce prix » au montant donné plus haut tant que cette information reste dans le contexte.
Les messages précédents peuvent fournir des informations à la réponse actuelle.
Une nouvelle conversation ne connaît pas l’ancienne
Vous ouvrez une nouvelle conversation et écrivez : « Réécris le message avec ce prix. » Le message et le prix ne sont plus disponibles ; le modèle ne peut donc pas savoir à quoi vous faites référence.
Le contexte n’est pas une mémoire permanente et illimitée.
Comment le modèle apprend avant son utilisation
Pendant le préentraînement, le modèle traite une très grande quantité de textes. Une partie du texte est cachée ou coupée, puis le modèle essaie de la prédire. Comme la réponse attendue est connue, le système mesure l’erreur et ajuste le modèle. Cet exercice est répété un très grand nombre de fois.
À la fin du préentraînement, le modèle sait compléter et transformer du texte, mais il n’est pas encore forcément un bon assistant. Le post-entraînement utilise des exemples sélectionnés et des retours humains pour lui apprendre à suivre des consignes, respecter un format, refuser certaines demandes, mieux raisonner et utiliser des outils lorsque cela est prévu.
Lorsque vous utilisez le modèle terminé, vous effectuez une inférence. Le modèle applique ce qu’il a appris à votre prompt. Une conversation normale ne modifie pas automatiquement ses poids et n’ajoute pas définitivement votre message à son entraînement.
| Moment | Objectif | Résultat |
|---|---|---|
| Préentraînement | Apprendre les grandes régularités présentes dans une immense quantité de textes. | Un modèle de base capable de compléter et de transformer du texte. |
| Post-entraînement | Apprendre au modèle à se comporter comme un assistant utile. | Un modèle qui suit mieux les consignes. |
| Utilisation | Générer une réponse pour un prompt réel. | La réponse affichée à l’utilisateur. |
Ce que le préentraînement enseigne
Après avoir rencontré de nombreuses lettres, rapports, recettes, conversations et exemples de code, le modèle apprend leurs structures habituelles et la manière dont leurs différentes parties s’enchaînent.
Il apprend des régularités communes à de nombreux exemples, pas une règle écrite pour chaque demande possible.
Ce que change le post-entraînement
Un modèle de base peut simplement continuer la phrase de l’utilisateur. Après le post-entraînement, il comprend plus facilement que « résume ce texte en trois points » est une consigne et produit le format demandé.
Maîtriser le langage et savoir suivre une consigne sont deux capacités liées, mais différentes.
Pourquoi un LLM peut donner une mauvaise réponse
Le modèle est entraîné pour produire une suite plausible. Il ne consulte pas automatiquement une base de données, le web ou une source officielle avant d’écrire chaque phrase. Une réponse vraisemblable peut donc être fausse.
Lorsque le modèle invente une information ou présente une information incertaine comme un fait, on parle d’hallucination. Il peut inventer une source, une date, un prix, une citation, une fonctionnalité ou une statistique, surtout si le prompt exige une réponse précise sans fournir de preuve.
Des outils peuvent réduire cette limite. Un outil web peut rechercher des sources actuelles, une calculatrice peut vérifier un calcul et un outil de base de données peut fournir les données exactes d’une entreprise. Le LLM utilise ensuite ces résultats pour préparer la réponse. L’outil apporte les éléments vérifiables ; le modèle les explique et les présente.
| Demande | LLM seul | Appui recommandé |
|---|---|---|
| Reformuler un paragraphe fourni | Généralement adapté, car le contenu nécessaire est déjà fourni. | Relire le sens et le ton. |
| Trouver le taux de change officiel du jour | Peut donner une information ancienne ou inventée. | Utiliser une source web ou un service de taux de change. |
| Calculer les totaux d’une longue facture | Peut expliquer le calcul, mais peut commettre une erreur arithmétique. | Utiliser une calculatrice, un tableur ou un outil de code. |
| Résumer un contrat joint | Peut préparer un résumé utile à partir du texte fourni. | Une personne qualifiée doit vérifier les conclusions juridiques importantes. |
Une information actuelle sans source
Vous demandez les horaires exacts d’un service public aujourd’hui. Si le modèle n’a pas accès au web et si vous ne fournissez aucun document officiel, il peut utiliser une ancienne information ou inventer un horaire vraisemblable.
Une information actuelle exige une source actuelle.
Un résumé fondé sur un document fourni
Vous joignez un compte rendu de réunion de deux pages et demandez les décisions, les responsables et les échéances. Le modèle peut extraire ces éléments, car la source est présente dans le contexte.
La réponse est plus facile à vérifier, car chaque point peut être comparé au document.
Un LLM génère du langage. Lorsque la vérité, l’actualité ou l’exactitude d’un calcul compte, fournissez une source ou utilisez l’outil adapté.