Quand faire un fine-tuning, et quand s'en abstenir

Quand on veut construire sa première application d'IA, la première idée est souvent : « Je vais fine-tuner un modèle avec les documents de mon entreprise. »

Cette idée est généralement fausse. Cette leçon explique ce que le fine-tuning peut et ne peut pas faire, et ce qu'il faut essayer avant de s'y lancer. Les leçons suivantes réalisent un fine-tuning de vos mains, mais abordez-les avec en tête la question : « en ai-je vraiment besoin ? »

Ce que change chacune des trois méthodes

Vous avez maintenant vu trois façons d'adapter un modèle à vos besoins :

            改变的是             代价                      改起来
提示词      这一次对话的指令      几乎为零，但每次都占词元     改一行字，马上生效
RAG         模型能看到的资料      要建检索系统，要维护        更新文档，马上生效
微调        模型本身的参数        要准备数据、训练、评估      重新训练，重新部署

Elles résolvent des problèmes différents :

• Le prompt dit au modèle « comment procéder cette fois ». Le module 02 l'a utilisé pour contrôler format, ton et étapes.
• Le RAG dit au modèle « voici les documents dont tu as besoin ». L'assistant du module 04 s'en sert pour répondre aux questions sur la documentation de httpx, avec des citations.
• Le fine-tuning change les « habitudes » du modèle. Inutile de les rappeler à chaque fois : elles sont gravées dans les paramètres.

Un malentendu fréquent : injecter des connaissances par fine-tuning

« Je fine-tune avec les documents de l'entreprise, et le modèle saura » est le malentendu le plus courant.

Le fine-tuning permet bien au modèle de retenir certains contenus, mais c'est une très mauvaise base de connaissances :

• Mémoire imprécise. Le modèle mêle ce qu'il a appris à ses connaissances antérieures et continue d'inventer des détails. Vous ne pouvez pas savoir si sa réponse vient de vos documents ou de son imagination.
• Pas de source. Le RAG peut dire de quel passage de quel document vient la réponse (leçon 5 du module 04) ; le fine-tuning non.
• Mise à jour pénible. Un caractère change dans un document, et le RAG n'a qu'à reconstruire son index ; le fine-tuning doit réentraîner, réévaluer, redéployer.
• Effets secondaires. La leçon 3 vous le montrera : il suffit d'apprendre au modèle une autre présentation de lui-même pour que sa façon de répondre aux questions ordinaires change aussi, et qu'apparaisse une erreur qu'il ne commettait pas.

Quand le modèle doit « connaître » certains documents, commencez donc par le RAG.

À quoi sert vraiment le fine-tuning

Le fine-tuning excelle à changer le comportement, en particulier celui qu'on explique difficilement en quelques phrases de prompt, ou qu'il serait trop coûteux de répéter à chaque fois :

• Un format et un style stables. Par exemple toujours rédiger les rapports au format de l'entreprise, toujours employer un certain ton. À la leçon 2, le petit GPT fine-tuné avec LoRA passe d'« écrire toutes sortes de poèmes » à n'écrire presque que des jueju à cinq caractères, alors que son « niveau » poétique (la perte) ne change presque pas : c'est l'habitude qui a changé.
• Des tâches précises. Par exemple classer les propos des utilisateurs dans quelques dizaines de catégories fixes, ou extraire des champs fixes de contrats. Avec quelques milliers d'exemples annotés, un petit modèle fine-tuné fait souvent presque aussi bien qu'un grand, en moins cher et bien plus rapide.
• « Distiller » les capacités d'un grand modèle dans un petit. Générer avec un grand modèle de nombreuses réponses de qualité, et s'en servir pour fine-tuner un petit modèle, afin qu'il approche le grand sur ce type de tâche. Le coût d'inférence baisse beaucoup.
• Raccourcir les prompts. Si chaque requête doit transporter un long bloc fixe d'instructions et d'exemples, le fine-tuning permet de le supprimer, réduisant tokens et latence à chaque appel.

L'ordre de décision

1. 先把提示词写好（第 02 模块），并准备评估集（第 06 模块）
      ↓ 效果还是不够？
2. 是缺资料吗？→ 用 RAG（第 04 模块）
      ↓ 不缺资料，是行为、格式、风格不稳定？
3. 在提示词里加几个例子（少样本）
      ↓ 还不行，或者例子太长、太贵？
4. 考虑微调。先准备几百到几千条高质量的数据

Quelques précisions :

Le jeu d'évaluation est un préalable. Sans lui, vous ne saurez pas si le fine-tuning a amélioré ou dégradé le modèle. Dans l'expérience de la leçon 3, quelques exemples suffisent à repérer une question correctement traitée avant et ratée après ; sans évaluation systématique, ce genre de problème se glisse discrètement dans le produit.

Les données sont le principal coût. L'entraînement lui-même est bon marché : une dizaine de secondes sur CPU à la leçon 3. Le difficile est de préparer quelques centaines ou milliers de données de qualité et bien couvrantes. Les erreurs et les biais des données, le modèle les apprend tels quels.

Les modèles évoluent. Vous passez un mois à fine-tuner un modèle aujourd'hui, et un modèle généraliste sorti trois mois plus tard fera peut-être mieux sans fine-tuning. Prompts et RAG se transposent directement sur le nouveau modèle ; un fine-tuning est à refaire de zéro.

Renseignez-vous d'abord auprès du fournisseur. En septembre 2026, certains fournisseurs d'API proposent un service de fine-tuning en ligne, d'autres non, et les prix comme les modèles pris en charge changent souvent. Déployer soi-même un modèle open source pour le fine-tuner suppose de considérer les coûts d'exploitation des leçons 4 et 5.

Retour sur les choix de RepoBot

RepoBot, construit dans la première partie de ce cours, a fait cette évaluation à chaque besoin, sans jamais recourir au fine-tuning :

• Répondre aux questions sur la documentation de httpx : il manquait des documents, d'où l'ajout du RAG au module 04. Quand la documentation change, il suffit de reconstruire l'index, et les réponses portent des sources.
• Consulter le code source avant de répondre : c'est un comportement en plusieurs étapes, réalisable avec un prompt et des outils, d'où l'agent du module 05.
• Bloquer les questions hors sujet ou malveillantes : le module 06 construit un garde-fou avec un prompt de classification et un jeu d'évaluation, plutôt qu'en entraînant un modèle de classification dédié. On atteint d'abord un niveau « suffisant » avec un prompt, on prouve sa précision avec le jeu d'évaluation, et on décide ensuite si un entraînement en vaut la peine.

La leçon 3 fine-tune RepoBot une fois, en ne changeant que sa présentation de lui-même. C'est pour montrer comment se fait un fine-tuning et quels effets secondaires il produit, non parce que RepoBot en aurait vraiment besoin.

S'il faut vraiment fine-tuner

Dans la plupart des cas, vous n'avez pas besoin d'entraîner tous les paramètres du modèle. La leçon 2 présente LoRA : geler les paramètres d'origine et n'entraîner qu'une petite partie de paramètres ajoutés. Dans nos expériences, le petit GPT n'a entraîné que 1,5 % de ses paramètres, et Qwen2.5-0.5B seulement 0,22 %, en atteignant l'objectif. LoRA économise la mémoire graphique, s'entraîne vite, et le fichier enregistré est petit : c'est aujourd'hui la méthode de fine-tuning la plus utilisée.

Exercices

1. Repensez à RepoBot des modules 03 à 06. Pour les besoins suivants, utiliseriez-vous un prompt, du RAG ou un fine-tuning ? Pourquoi ?
   • Lui faire répondre sur les nouveautés d'une nouvelle version de httpx.
   • Faire terminer chacune de ses réponses par « Sources : » avec la liste des documents cités.
   • Lui faire classer les questions des utilisateurs en quatre catégories, « installation », « utilisation », « erreur » et « autre », cent mille par jour.
2. Prenez un problème réel que vous voulez résoudre avec l'IA, passez-le par « l'ordre de décision » de cette leçon, et notez la conclusion de chaque étape.

Auto-test

1. Pourquoi est-il déconseillé de faire « retenir » les documents de l'entreprise à un modèle par fine-tuning ?

Un modèle fine-tuné retient imprécisément, mêle ce qu'il a appris à ses connaissances antérieures et continue d'inventer ; ses réponses n'ont pas de source et ne peuvent pas être vérifiées ; chaque mise à jour des documents impose un réentraînement ; et des effets secondaires sont possibles. Quand le modèle doit utiliser des documents, le RAG convient mieux.

2. À quel type de problèmes le fine-tuning convient-il le mieux ?

À changer le comportement du modèle : format et style stables, tâches précises disposant de beaucoup de données annotées, distillation des capacités d'un grand modèle dans un petit modèle bon marché, suppression des longs prompts transportés à chaque appel.

3. Pourquoi faut-il absolument un jeu d'évaluation avant de décider un fine-tuning ?

Sans lui, impossible de juger si le fine-tuning apporte vraiment une amélioration, ni de repérer ses effets secondaires, par exemple une question correctement traitée avant et ratée après. Le jeu d'évaluation est aussi le critère commun pour comparer prompt, RAG et fine-tuning.