Wann Fine-Tuning: erst Kontext, dann Gewichte

Wann Fine-Tuning drankommt: erst Kontext und RAG, Training nur für den Engpass, den der Stapel nicht löst.

27 Okt.. 2026 | AI

Inhaltsverzeichnis

Robin Werner, Consultant für GenAI bei Pexon Consulting | 9 Min. Lesezeit | 06.10.2026


TL;DR: Wann Fine-Tuning noch drankommt

Wann Fine-Tuning drankommt, entscheidet der Stapel davor. Basis, Prompt, Kontext, dann RAG bei frischem Wissen, dann Skills bei Ablaufwissen. Training nur für einen Engpass, den der Rest nicht löst. Ein Legal-Modell lag 2023 bei 97 Prozent vor GPT-4 und verlor 2025 gegen sieben allgemeine Modelle. Pexon Consulting kauft diesen Rückstand nicht nach.


Das Problem: der Sieg von 2023 ist 2025 keiner mehr

Ein bekanntes Legal-AI-Unternehmen, der Name fällt im IBM-Video vom 21. Juli 2026 nicht, hat 2023 mit einem Frontier Lab ein eigenes Modell trainiert. In Blindtests zogen Anwälte es GPT-4 in 97 Prozent der Fälle vor. Die Lehre klang damals glatt: wenn das allgemeine Modell für Jura nicht reicht, trainieren.

2025, auf den eigenen Legal-Benchmarks derselben Geschichte, schlugen sieben allgemeine Modelle ohne juristisches Fine-Tuning das Custom-Modell. Die sieben Namen nennt das Video nicht. Wir erfinden sie nicht. BloombergGPT, von Grund auf trainiert, verlor später auf vielen Finanz-Benchmarks gegen GPT-4 und ChatGPT. Auch dort ohne die einzelnen Benchmark-Titel.

Der Abstand, den ein Training kauft, ist ein bewegliches Ziel. GPT-3 kam mit etwa 2.000 Tokens Kontext. Frontier-Modelle schaffen im Video regelmäßig über eine Million, das Beispiel sind 500 Seiten im Prompt. Reasoning passiert bei der Antwort, nicht nur im Training. Billigere Inferenz macht ein Custom-Training teurer im Vergleich, weil das allgemeine Modell nachzieht, ohne dass Sie einen Lauf bezahlen.


Wann Fine-Tuning überhaupt meint: weitertrainieren

Ein Basismodell kommt vom Frontier Lab oder als offene Gewichte. Es hat allgemeines Wissen in den Gewichten, aus einem großen Korpus. Fine-Tuning trainiert weiter, auf einem engen Satz: Verträge oder interne Tickets.

Das ist keine Suche über Ihre Dokumente. Es ist eine Veränderung der Gewichte. Was morgen in einem neuen Vertrag steht, ist dort nicht drin, bis Sie wieder trainieren. Genau deshalb steht frisches und proprietäres Wissen bei uns im Abruf, nicht im Lauf.

Die drei Wege Prompt, RAG und Training vergleicht RAG, Fine-Tuning und Prompt nebeneinander. Dieser Text ist die Reihenfolge, nicht die Tabelle noch einmal.

Stufe Was sie löst Wann wir sie überspringen
Basis plus Prompt und Kontext Ton, Format, welche Daten in die Anfrage gehören nie als Erstes streichen
RAG Wissen, das sich ändert oder Ihnen gehört wenn nichts Nachgeschlagenes fehlt
Agent Skills Ablaufwissen, das in Dateien steht, etwa ein SQL-Schema wenn die Schritte schon im Prompt halten
Fine-Tuning ein Engpass, den die drei nicht schließen als Default, oder um GPT-4 von 2023 einzuholen

Was das Training kostet, nachdem die GPU-Rechnung da ist

Der Lauf ist der sichtbare Posten. Daneben: Beispiele bauen, Evaluation, Regressionen, Pflege. Ein Modell, das 2023 gewonnen hat, muss 2025 erneut gemessen werden, sonst glauben Sie einem Blindtest, den die nächste Generation schon überholt hat.

LoRA ist der Weg, den das Video für einen großen Teil des produktiven „Fine-Tunings“ nennt: ein kleiner Adapter, die meisten Basisgewichte bleiben gesperrt. PEFT fällt in dieselbe Familie. Rank und Lernrate nennt das Video nicht. Wer sie aus einem Blog übernimmt, hat sie nicht aus dieser Quelle.

Trotzdem gibt es drei Gründe, an die Gewichte zu gehen.

  1. Latenz. Ein Sprachagent im Telefonat kann nicht auf ein großes Modell warten. Ein kleines mit Adapter antwortet in dem Fenster, das ein Anrufer aushält.
  2. Destillation. Reasoning-Spuren eines großen Modells wandern in ein kleines. Sie kopieren das Verhalten, nicht das ganze Frontier-Training.
  3. Reinforcement Fine-Tuning, nur wenn ein Grader die Antwort programmatisch benoten kann. Eine eindeutig richtige Antwort. Kein „klingt nach einem guten Memo“.

Ohne diesen Grader ist RFT der teure Weg, eine Meinung zu verstärken. Wir raten davon ab.

Konkret umsetzen? Wie die Stufe vor dem Training aussieht, wenn das Wissen in Ihren Dokumenten steckt, steht in RAG, Fine-Tuning und Prompt im Vergleich.

Das ist die weiche Stufe, kein Auftrag zum Trainieren. Pexon Consulting, 80 Mitarbeiter in Deutschland, Microsoft-Partner, baut den Abruf auf Azure, AWS und GCP. Ein Training beauftragen wir, wenn Latenz, Destillation oder ein benotbarer Grader übrig bleiben.

In der Modellübersicht von Anthropic steht am 6. Oktober 2026 unter anderem claude-sonnet-5-5. Die ID ist ein Basismodell, das Sie per Prompt und Kontext benutzen, bevor jemand seine Gewichte anfasst. Claude Code, falls der Ablauf als Skill im Terminal liegt, ist am selben Tag bei Version 2.1.292, 149.615 Sterne auf anthropics/claude-code. Skills sind Markdown-Ordner mit Ablaufwissen. Sie sind kein Training.


Die Reihenfolge, die wir unterschreiben

Start mit dem Basismodell. Prompt und Kontext: Systemanweisung, die Daten, das Format. Fehlt frisches oder proprietäres Wissen, RAG dazu. Fehlt das Wissen, wie ein Vorgang abläuft, eine Skill, zum Beispiel das Schema, nach dem abgefragt wird. Fine-Tuning erst, wenn ein Engpass übrig ist, den dieser Stapel nicht löst.

In unseren Projekten starten Teams oft bei Stufe 5, weil ein Anbieter „Branchen-LLM“ ins Angebot geschrieben hat. Die Gegenfrage ist langweilig und wirksam: welches Dokument ändert sich nächste Woche, und wäre es im Index oder in den Gewichten. Liegt die Antwort beim Index, ist das Training die teurere Kopie desselben Wissens.

Für einen IT-Leiter mit Budget zwischen 50.000 und 200.000 Euro ist die Reihenfolge auch eine Freigabe. Ein Training zu beauftragen, bevor der Index steht, bindet das Budget an Gewichte, die Sie bei jedem Modellwechsel neu bewerten. Ein Index auf denselben Verträgen bleibt liegen, wenn das Basismodell wechselt. Das ist der praktische Unterschied zwischen Stufe 3 und Stufe 5, nicht eine Geschmacksfrage.

Wer trotzdem trainiert, soll vorher den Grader benennen. Bei einem Sprachagenten am Telefon ist der Engpass die Latenz, messbar in der Pause, die ein Anrufer noch als Gespräch empfindet. Bei einem Memo ist der Engpass oft nur „klingt juristisch“, und das ist kein Grader. Dann bleibt das Memo im Prompt, die Quelle im Index, das Schema in einer Skill. Das Video vom 21. Juli 2026 zieht genau diese Grenze und lässt am Ende offen, ob Fine-Tuning seinen Platz behält. Unsere Antwort für den Mittelstand: ja, an letzter Stelle, mit einem benannten Engpass. Nein als erste Reaktion auf eine Branche, die „speziell“ sein soll.

Der 97-Prozent-Fall ist dafür das Warnschild, nicht die Vorlage. Er hat 2023 recht gehabt und 2025 nicht mehr. Wer heute ein Legal- oder Finanzmodell „weil die Branche speziell ist“ trainiert, wiederholt die Wette, ohne die sieben allgemeinen Modelle von 2025 gemessen zu haben.

Reihenfolge, gesprochen am 21. Juli 2026:
1. Basismodell
2. Prompt und Kontext
3. RAG, wenn Wissen frisch oder proprietär ist
4. Skills, wenn Ablaufwissen fehlt
5. Fine-Tuning nur für den Engpass, den 1 bis 4 nicht schließen

Die offene Frage am Ende des Videos lassen wir offen: Fine-Tuning ist nicht tot. Es ist die letzte Stufe. Eine Studie, die das für jede Branche beziffert, zitieren wir nicht. Das Video hat keine genannt.


Häufig gestellte Fragen

Was kostet Fine-Tuning gegenüber RAG?

Das Video setzt keine Eurozahl. Es zählt Posten: Lauf, Beispiele, Evaluation, Regressionen, Pflege. RAG kostet den Index und die Pflege der Dokumente. Training kostet zusätzlich die Wette, dass die Gewichte nicht von der nächsten allgemeinen Generation überholt werden.

Wann Fine-Tuning statt eines längeren Prompts?

Wenn der Kontext schon reicht, gar nicht. Eine Million Tokens und 500 Seiten im Prompt sind der Einwand gegen „wir müssen trainieren, weil der Prompt zu klein ist“. Der Einwand von GPT-3 mit 2.000 Tokens gilt so nicht mehr.

LoRA oder volles Training?

Viel produktives Fine-Tuning ist laut dem Video LoRA oder PEFT: kleiner Adapter, Basis weitgehend gesperrt. Volles Training von vorn, wie bei BloombergGPT, ist die teurere Wette und dort später oft verloren.

Ist RFT der Ersatz für eine Evaluation?

Nein. RFT braucht die Evaluation als Programm: eine definitive richtige Antwort. Ohne Grader verstärken Sie, was das Modell schon glaubt.

RAG oder Fine-Tuning für interne Tickets?

Tickets, die sich ändern und Ihnen gehören, legen wir in den Abruf. Training auf einem Ticket-Export von letztem Jahr bildet den Stand von letztem Jahr. Die Vergleichstabelle dazu steht im Schwestertext, nicht noch einmal hier.


Nächster Schritt

Wenn die Diskussion mit „wir trainieren ein Branchenmodell“ startet, stellen Sie sie auf die Stufe davor: was davon ist frisches Wissen, das ein Index lösen würde.

RAG-System Enterprise
Frisch bleibt im Index, nicht im Gewicht.
Wenn das Wissen sich ändert oder Ihnen gehört, bauen wir den Abruf, bevor jemand ein Training beauftragt, das in zwei Jahren überholt ist.

Verwandte Themen


Der betriebliche Mehraufwand: Inferenz, Drift und Regressions-Pipelines

Der Schritt von einem Standardmodell zu modifizierten Gewichten verändert die Architektur im Betrieb grundlegend. Bei Prompts und RAG bleibt die Modellanbindung eine statuslose Schnittstelle, die gegen standardisierte Endpunkte

Katastrophales Vergessen: Wenn spezifisches Training Basisfähigkeiten zerstört

Ein weit verbreitetes Risiko bei Eingriffen in die Modellgewichte ist das katastrophale Vergessen (Catastrophic Forgetting). Wenn ein Sprachmodell auf einem eng umgrenzten

-Vektors binnen Sekunden korrigiert, verbleiben Halluzinationen oder veraltete Richtlinien im feingetunten Modell manifestiert. Wer Berechtigungsstrukturen oder rollenbasierte Zugriffskontrollen (RBAC) abbilden muss, stößt bei

Datenschutz und Mandantenfähigkeit: Das Löschproblem in trainierten Gewichten

Ein wesentlicher Unterschied zwischen dem Bereitstellen von Kontext über RAG und dem Verändern von Modellgewichten liegt in der Daten-Governance. Während

Microsoft Fabric. Bilder Blogtemplate Whitepaper

Claude Code im Unternehmen

  • Praxis-Guide für IT-Leiter – mit konkreten Einblicken zu Kosten, Sicherheit und Rollout von Claude Code im Unternehmen.

Beratungsgespräch

Sichern Sie sich Ihre kostenfreie Erstberatung

Analyse Ihres individuellen Cloud- oder KI-Bedarfs
Erste Empfehlungen zu Umsetzungsstrategien
Transparente Einblicke in unsere Methoden, Technologien & Referenzen