Wann man feintunen sollte und wann nicht

Wer zum ersten Mal eine eigene KI-Anwendung bauen will, denkt oft zuerst: „Ich feintune ein Modell mit den Unterlagen der Firma.“

Dieser Gedanke ist oft falsch. Diese Lektion zeigt, was Feintuning kann und was nicht und was man vorher ausprobieren sollte. Die folgenden Lektionen führen selbst ein Feintuning durch, aber du solltest sie mit der Frage lernen, ob es wirklich nötig ist.

Was die drei Wege jeweils verändern

Bis hierher hast du drei Wege kennengelernt, ein Modell besser an deine Bedürfnisse anzupassen:

            改变的是             代价                      改起来
提示词      这一次对话的指令      几乎为零，但每次都占词元     改一行字，马上生效
RAG         模型能看到的资料      要建检索系统，要维护        更新文档，马上生效
微调        模型本身的参数        要准备数据、训练、评估      重新训练，重新部署

Sie lösen verschiedene Probleme:

• Prompts sagen dem Modell, „wie es diesmal vorgehen soll“. Modul 02 hat damit Ausgabeformat, Ton und Schritte gesteuert.
• RAG sagt dem Modell, „hier sind die Unterlagen, die du brauchst“. Der Frage-Antwort-Assistent aus Modul 04 beantwortete damit Fragen zur httpx-Dokumentation, mit Quellenangaben.
• Feintuning verändert die „Gewohnheiten“ des Modells. Man muss nicht jedes Mal daran erinnern, weil es in die Parameter eingeschrieben ist.

Ein häufiges Missverständnis: Wissen per Feintuning einfüllen

„Mit den Firmendokumenten feintunen, dann weiß das Modell Bescheid“, ist das häufigste Missverständnis.

Feintuning kann ein Modell zwar dazu bringen, sich einiges zu merken, ist aber eine sehr schlechte Wissensdatenbank:

• Ungenau. Das Modell vermischt Gelerntes mit seinem bisherigen Wissen und erfindet weiterhin Details. Du kannst nicht wissen, ob seine Antwort aus deinen Dokumenten oder aus seiner Fantasie stammt.
• Keine Quellen. RAG kann sagen, aus welchem Abschnitt welches Dokuments eine Antwort stammt (Modul 04, Lektion 5); Feintuning kann das nicht.
• Umständliche Aktualisierung. Ändert sich ein Zeichen im Dokument, muss RAG nur den Index neu aufbauen; Feintuning muss neu trainieren, neu evaluieren, neu bereitstellen.
• Nebenwirkungen. In Lektion 3 sieht man es selbst: Bringt man dem Modell nur eine andere Selbstvorstellung bei, ändert sich auch, wie es gewöhnliche Fragen beantwortet, und es kommt ein Fehler hinzu, den es vorher nicht gab.

Soll das Modell also bestimmte Unterlagen „kennen“, zuerst RAG.

Wofür Feintuning taugt

Feintuning ist gut darin, Verhalten zu ändern, besonders Verhalten, das sich schwer in ein paar Sätzen Prompt beschreiben lässt oder das jedes Mal zu beschreiben zu verschwenderisch wäre:

• Stabiles Format und stabiler Stil. Etwa Berichte immer im Firmenformat oder immer in einem bestimmten Ton. In Lektion 2 wird das kleine GPT per LoRA feingetunt und schreibt danach statt „aller Arten von Gedichten“ fast nur noch Jueju mit fünf Zeichen pro Zeile, während sein „Niveau“ beim Dichten (der Verlust) fast unverändert bleibt; geändert hat sich die Gewohnheit.
• Bestimmte Aufgaben. Etwa Nutzeräußerungen in einige Dutzend feste Kategorien einordnen oder feste Felder aus Verträgen extrahieren. Mit einigen Tausend annotierten Beispielen schafft ein feingetuntes kleines Modell oft fast so viel wie ein großes, und das billiger und viel schneller.
• Die Fähigkeiten eines großen Modells in ein kleines „destillieren“. Mit einem großen Modell viele hochwertige Antworten erzeugen und damit ein kleines Modell feintunen, damit es bei dieser Art Aufgabe nahe an das große herankommt. Die Inferenzkosten sinken erheblich.
• Prompts kürzen. Muss jede Anfrage einen langen festen Block aus Anweisungen und Beispielen mitschicken, kann man ihn nach dem Feintuning weglassen und spart bei jeder Anfrage Tokens und Latenz.

Die Reihenfolge der Entscheidung

1. 先把提示词写好（第 02 模块），并准备评估集（第 06 模块）
      ↓ 效果还是不够？
2. 是缺资料吗？→ 用 RAG（第 04 模块）
      ↓ 不缺资料，是行为、格式、风格不稳定？
3. 在提示词里加几个例子（少样本）
      ↓ 还不行，或者例子太长、太贵？
4. 考虑微调。先准备几百到几千条高质量的数据

Einige Erläuterungen:

Ein Evaluationsdatensatz ist Voraussetzung. Ohne ihn weißt du nicht, ob das Feintuning das Modell besser oder schlechter gemacht hat. Im Experiment von Lektion 3 findet man schon mit ein paar Beispielen eine Frage, die vorher richtig und nach dem Feintuning falsch beantwortet wird; ohne systematische Evaluation schleichen sich solche Probleme unbemerkt ins Produkt.

Daten sind der größte Kostenfaktor. Das Training selbst ist billig; in Lektion 3 dauerte es auf der CPU gut zehn Sekunden. Schwierig ist, einige Hundert bis Tausend hochwertige, umfassende Datensätze vorzubereiten. Fehler und Verzerrungen in den Daten lernt das Modell unverändert mit.

Modelle werden aktualisiert. Du feintunest heute einen Monat lang ein Modell, und ein allgemeines Modell, das drei Monate später erscheint, ist womöglich ohne Feintuning besser. Prompts und RAG lassen sich direkt auf das neue Modell übertragen, Feintuning muss von vorn beginnen.

Erst beim Anbieter nachfragen. Stand September 2026 bieten manche API-Anbieter Online-Feintuning an, manche nicht, und Preise sowie unterstützte Modelle ändern sich oft. Wer ein Open-Source-Modell selbst betreibt und feintunt, muss die Betriebskosten aus Lektionen 4 und 5 bedenken.

Rückblick auf die Entscheidungen bei RepoBot

RepoBot aus Teil 1 dieses Kurses hat bei jeder Anforderung genau diese Abwägung getroffen und nie Feintuning gebraucht:

• Es soll Fragen zur httpx-Dokumentation beantworten: Es fehlten Unterlagen, also kam in Modul 04 RAG hinzu. Wird die Dokumentation aktualisiert, genügt ein neuer Index, und die Antworten haben Quellenangaben.
• Es soll erst im Quellcode suchen und dann antworten: Das ist mehrstufiges Verhalten, das sich mit Prompt und Tools erreichen lässt, also wurde es in Modul 05 ein Agent.
• Es soll themenfremde oder böswillige Fragen abfangen: Modul 06 baut die Leitplanke mit einem geschriebenen Klassifikations-Prompt und einem Evaluationsdatensatz, statt eigens ein Klassifikationsmodell zu trainieren. Erst mit einem Prompt „ausreichend“ werden, mit dem Evaluationsdatensatz die Genauigkeit belegen, und dann entscheiden, ob sich ein Training lohnt.

Lektion 3 feintunt RepoBot einmal, und zwar nur seine Selbstvorstellung. Das dient dazu, zu zeigen, wie Feintuning geht und welche Nebenwirkungen es hat, nicht weil RepoBot es wirklich bräuchte.

Wenn wirklich feingetunt werden muss

Meistens musst du nicht alle Parameter des Modells trainieren. Lektion 2 behandelt LoRA: die ursprünglichen Parameter einfrieren und nur einen kleinen Teil neu hinzugefügter Parameter trainieren. In unseren Experimenten trainierte das kleine GPT nur 1,5 % seiner Parameter, Qwen2.5-0.5B nur 0,22 %, und das Ziel wurde erreicht. Es spart Grafikspeicher, trainiert schnell, die gespeicherte Datei ist klein, und es ist die derzeit verbreitetste Methode des Feintunings.

Übungen

1. Denk an RepoBot aus Modulen 03 bis 06. Mit welchem Weg (Prompt, RAG oder Feintuning) würdest du die folgenden Anforderungen umsetzen? Warum?
   • Es soll neue Funktionen einer neuen httpx-Version beantworten.
   • Jede Antwort soll mit „Quellen:“ enden und die zitierten Dokumente auflisten.
   • Es soll Nutzerfragen in die vier Kategorien „Installation“, „Nutzung“, „Fehlermeldung“ und „Sonstiges“ einordnen, hunderttausend pro Tag.
2. Such ein echtes Problem, das du mit KI lösen möchtest, geh es nach der „Reihenfolge der Entscheidung“ dieser Lektion durch und notiere das Ergebnis jedes Schritts.

Selbsttest

1. Warum ist es nicht ratsam, ein Modell per Feintuning die Firmendokumente „merken“ zu lassen?

Ein feingetuntes Modell merkt sich nicht genau, vermischt Gelerntes mit bisherigem Wissen und erfindet weiter; seine Antworten haben keine Quellen und lassen sich nicht prüfen; bei jeder Aktualisierung der Dokumente muss neu trainiert werden; und es kann Nebenwirkungen geben. Soll das Modell Unterlagen nutzen, passt RAG besser.

2. Für welche Art Probleme eignet sich Feintuning am besten?

Das Verhalten des Modells ändern: stabiles Format und stabiler Stil, bestimmte Aufgaben mit vielen annotierten Daten, die Fähigkeiten eines großen Modells in ein billiges kleines destillieren, lange Prompts einsparen, die sonst jedes Mal mitgeschickt werden.

3. Warum braucht man vor der Entscheidung für Feintuning unbedingt einen Evaluationsdatensatz?

Ohne ihn kann man nicht beurteilen, ob das Feintuning wirklich eine Verbesserung bringt, und findet keine Nebenwirkungen, etwa Fragen, die vorher richtig und jetzt falsch beantwortet werden. Der Evaluationsdatensatz ist auch der gemeinsame Maßstab, um Prompt, RAG und Feintuning zu vergleichen.