Du petit GPT au grand modèle

Notre petit GPT sait écrire des vers comme « 江山古馆响幽幽，山鸟无人见白头 ». Mais si vous lui demandez « quel est le vers qui suit 床前明月光 ? », il ne fera que continuer ces caractères en écrivant un poème, car il ne sait faire qu'une chose : continuer le texte.

DeepSeek et ChatGPT reposent sur la même structure, et savent pourtant répondre aux questions, écrire du code, retoucher un texte sur demande. Qu'est-ce qui manque entre les deux ? Cette leçon n'écrit pas de code : elle découpe ce chemin en quelques étapes.

Étape 1 : l'échelle

D'abord une comparaison des chiffres (ceux des grands modèles sont cités d'après les résumés des articles) :

                     参数            训练数据
我们的小 GPT         161 万          155 万个字符，训练了约 8 遍
GPT-3（2020）        1750 亿         （论文正文给出了数据量，这里不展开）
DeepSeek-V3（2024）  6710 亿，       14.8 万亿个词元
                     每个词元用 370 亿

DeepSeek-V3 a plus de quatre cent mille fois plus de paramètres que notre modèle, et environ dix millions de fois plus de données d'entraînement. Son entraînement complet a demandé 2,788 millions d'heures de GPU H800. Notre modèle s'est entraîné 7 minutes sur un CPU.

L'échelle n'apporte pas seulement une « meilleure écriture ». L'article de GPT-3 (« Language Models are Few-Shot Learners ») a montré qu'un modèle assez grand, sans entraînement dédié, sait accomplir des tâches comme la traduction, les questions-réponses ou l'arithmétique à partir de quelques exemples dans le prompt. C'est le few-shot de la leçon 2 du module 02 : s'il fonctionne, c'est grâce à l'échelle.

Quelle taille suffit ? En 2022, l'article Chinchilla de DeepMind a étudié la question. Conclusion : à puissance de calcul donnée, les paramètres du modèle et les données d'entraînement doivent croître dans la même proportion. Ils ont entraîné un modèle de 70 milliards de paramètres avec 4 fois plus de données, qui a surpassé sur toute la ligne Gopher et ses 280 milliards de paramètres ainsi que GPT-3 et ses 175 milliards. Beaucoup de grands modèles antérieurs étaient « trop grands, avec trop peu de données ».

Nous avons vu quelque chose de semblable à la leçon 6 du module 08 : passer de 100 à 898 images a apporté bien plus que n'importe quelle autre astuce.

Étape 2 : le pré-entraînement

Ce que nous avons fait sur les poèmes Tang s'appelle le pré-entraînement : prendre une grande quantité de texte et faire prédire au modèle, token après token, la suite. Un vrai pré-entraînement utilise des pages web, des livres, du code, des articles et toutes sortes de textes, soigneusement nettoyés et dédoublonnés.

À la fin du pré-entraînement, on obtient un modèle de base (base model). Il a appris de ces masses de texte la langue, des connaissances et une certaine capacité de raisonnement, mais son comportement reste « continuer le texte ». Donnez-lui une question, il écrira peut-être d'autres questions, car sur le web, une question est souvent suivie d'une autre.

C'est l'état actuel de notre petit GPT, à ceci près qu'il n'a lu que des poèmes Tang.

Étape 3 : le fine-tuning sur instructions

Pour que le modèle « réponde » au lieu de « continuer », il faut lui apprendre le format d'une conversation. La méthode est directe : préparer de nombreux exemples « question → bonne réponse » et poursuivre l'entraînement.

<用户>床前明月光的下一句是什么？
<助手>疑是地上霜。出自李白的《静夜思》。

La méthode d'entraînement est exactement celle du pré-entraînement, toujours prédire le token suivant ; seules les données deviennent ce genre de dialogue, et la perte n'est généralement calculée que sur la partie « assistant ». Cette étape s'appelle fine-tuning sur instructions, aussi appelé fine-tuning supervisé (Supervised Fine-Tuning, SFT).

Les données de fine-tuning sur instructions sont bien moins nombreuses que celles du pré-entraînement, mais doivent être de grande qualité. Les connaissances du modèle viennent surtout du pré-entraînement ; le fine-tuning sur instructions lui apprend « comment se servir de ces connaissances pour répondre aux gens ».

Le module 10 réalise un fine-tuning de vos mains.

Étape 4 : l'alignement sur les préférences

Après le fine-tuning sur instructions, le modèle sait répondre aux questions, mais la qualité des réponses est inégale : parfois bavardes, parfois inventées, parfois nuisibles.

Il est difficile d'écrire tous les exemples de « bonne réponse », mais il est facile pour un humain de comparer deux réponses et de dire laquelle est la meilleure. D'où la quatrième étape : faire générer au modèle plusieurs réponses à une même question, les faire classer par des humains, puis entraîner le modèle avec ces classements pour qu'il préfère écrire des réponses que les gens apprécient. Cette étape s'appelle l'alignement (alignment) ; la première méthode largement connue est l'apprentissage par renforcement à partir de retours humains (RLHF).

Quel est son effet ? OpenAI a rapporté dans un article de 2022 (« Training language models to follow instructions with human feedback ») qu'InstructGPT, avec 1,3 milliard de paramètres, entraîné par fine-tuning sur instructions et retours humains, était préféré dans les évaluations humaines à GPT-3 et ses 175 milliards de paramètres, avec cent fois moins de paramètres. ChatGPT a été construit sur cette voie.

Qu'un grand modèle « sache converser », il le doit surtout à ces deux dernières étapes ; qu'il « en sache beaucoup », surtout à la première.

Étape 5 : entraîner le raisonnement par apprentissage par renforcement

L'article DeepSeek-R1 de 2025 (« DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning ») est allé plus loin. Sa méthode : donner au modèle des problèmes dont la réponse se vérifie automatiquement, comme des problèmes de maths ou de programmation, le récompenser quand il répond juste, pas quand il se trompe, et l'entraîner ainsi encore et encore par apprentissage par renforcement.

L'article rapporte qu'avec cette seule récompense, sans raisonnements rédigés par des humains, le modèle a développé de lui-même des façons de raisonner comme la réflexion, la vérification ou le changement de piste. Le « mode réflexion » évoqué au module 01, où le modèle produit d'abord un raisonnement puis la réponse, est le fruit de ce type d'entraînement.

Ce qui manque encore à notre petit GPT

Retour à notre GPT : il a accompli l'étape 2, à une échelle bien moindre et avec seulement des poèmes Tang. D'après les étapes de cette leçon, pour qu'il ressemble davantage à un « assistant », il lui faudrait encore :

• Des données plus nombreuses et plus variées : s'il ne lit que des poèmes Tang, il n'écrira que des poèmes Tang.
• Un modèle plus grand : 1,61 million de paramètres ne contiennent pas beaucoup de connaissances.
• Un fine-tuning sur instructions et un alignement : pour qu'il apprenne à répondre selon la demande, au lieu de simplement continuer le texte.

Restent aussi d'innombrables problèmes d'ingénierie : comment entraîner sur des milliers de GPU à la fois, comment faire tourner un entraînement des mois sans panne, comment nettoyer des données de plus de dix mille milliards de tokens. Cela dépasse le cadre de ce cours. Mais le modèle lui-même, vous l'avez déjà construit de vos mains.

Exercices

1. Trouvez la fiche de modèle (model card) d'un modèle open source (par exemple un modèle Qwen ou DeepSeek sur Hugging Face), relevez son nombre de paramètres et la quantité de données d'entraînement, et regardez quelles versions il distingue (base, instruction, raisonnement, etc.).
2. Si vous avez accès à un modèle de base (beaucoup de modèles open source publient aussi une version de base), posez la même question à lui et à la version instruction correspondante, et comparez leurs réponses.
3. Selon la conclusion de l'article Chinchilla, quand les paramètres du modèle doublent, les données d'entraînement devraient doubler aussi. Si notre petit GPT avait dix fois plus de paramètres, ces 35 000 poèmes suffiraient-ils encore selon vous ? Essayez de l'entraîner et regardez la perte de validation.

Auto-test

1. Qu'est-ce qui distingue un modèle de base d'un modèle d'instruction ?

Un modèle de base n'a subi que le pré-entraînement ; il continue le texte qui précède, et si on lui donne une question, il n'y répond pas forcément. Un modèle d'instruction a été fine-tuné, à partir du modèle de base, sur de nombreuses données de dialogue « question → réponse », et a appris à répondre à l'utilisateur au format d'une conversation.

2. En quoi la méthode d'entraînement du fine-tuning sur instructions diffère-t-elle de celle du pré-entraînement ?

La méthode est essentiellement la même : prédire le token suivant, avec l'entropie croisée comme perte. La différence tient aux données : le pré-entraînement utilise des masses de texte ordinaire, le fine-tuning sur instructions des données de dialogue bien moins nombreuses mais de très grande qualité, et la perte n'est généralement calculée que sur la partie réponse.

3. Que montre l'expérience d'InstructGPT ?

InstructGPT, avec 1,3 milliard de paramètres, entraîné par fine-tuning sur instructions et retours humains, a été préféré dans les évaluations humaines à GPT-3 et ses 175 milliards de paramètres. Pour ce qui est d'être « utile », la méthode d'entraînement et les données comptent parfois davantage que la taille du modèle.