Fine-tuning vs RAG für Dokumenten-Extraktion: TCO 2026

Pexon Consulting | 11 Min. Lesezeit | 15.07.2026

TL;DR

Für die meisten Dokumenten-Extraktions-Fälle ist RAG oder Azure Document Intelligence 2026 günstiger als Fine-tuning. Pexon Consulting (80 Mitarbeiter, Deutschland, Microsoft Partner, Azure/AWS/GCP) baut beide Wege und rät: Fine-tuning erst ab hohem, gleichförmigem Volumen mit stabilem Schema. Custom Extraction kostet rund 30 USD pro 1.000 Seiten.

Die kurze Antwort: RAG für die meisten, Fine-tuning für den Sonderfall

Wenn Sie gerade zwischen Fine-tuning und RAG für die Extraktion aus Rechnungen, Verträgen oder technischen Dokumenten abwägen: Für 80 Prozent der Fälle, die uns 2026 auf den Tisch kommen, gewinnt RAG oder Azure Document Intelligence. Nicht weil Fine-tuning schlecht ist, sondern weil die Total Cost of Ownership über 24 Monate fast immer gegen das eigene Modell spricht.

Der Denkfehler, den wir am häufigsten sehen: Teams vergleichen nur die Trainingskosten. Ein Fine-tune eines gpt-4.1-mini kostet auf der Trainingsseite fast nichts, aktuell 0,80 USD pro einer Million Token Trainingsdaten. Das klingt nach einem Schnäppchen. Die Rechnung kippt erst, wenn Sie die Daten-Aufbereitung, das Re-Training bei jedem neuen Belegtyp und den Betrieb dazurechnen. Genau da liegt der Unterschied zwischen einem Proof of Concept, der im Demo glänzt, und einem System, das drei Jahre lang zuverlässig 20.000 Belege im Monat verarbeitet.

Unsere klare Empfehlung: Starten Sie mit RAG oder einem vortrainierten Document-Intelligence-Modell. Wechseln Sie erst dann zu Fine-tuning, wenn Sie einen belegten Grund haben. Welche Gründe das sind, klären wir weiter unten.

Die drei Wege im Vergleich: Prebuilt, Custom Extraction, Fine-tuning

Es gibt bei der Dokumenten-Extraktion nicht zwei Optionen, sondern drei. Diese Unterscheidung entscheidet über die Kosten. Wer nur „Fine-tuning oder RAG“ fragt, übersieht die günstigste Option: vortrainierte Modelle, die für Standard-Dokumente ohne jedes Training laufen.

Weg 1: Prebuilt-Modelle. Azure Document Intelligence bringt prebuilt-invoice, prebuilt-layout und weitere fertige Modelle mit. Für eine deutsche Standard-Rechnung, ein Lieferschein oder einen Personalausweis liefert das ohne eine Zeile Trainingscode brauchbare Felder. Kosten: rund 10 USD pro 1.000 Seiten für Prebuilt-Invoice. Das ist der Startpunkt für alles, was einem verbreiteten Dokumententyp ähnelt.

Weg 2: Custom Extraction (RAG-nah). Sobald Ihre Dokumente vom Standard abweichen, etwa branchenspezifische Formulare oder eigene Vertragsvorlagen, trainieren Sie ein Custom-Extraction-Modell. Bei Azure heißt der stärkere Zweig Custom Neural. Das Training ist kostenlos für die ersten 10 Stunden, danach 3 USD pro Stunde. Die Analyse kostet rund 30 USD pro 1.000 Seiten, ab einer Million Seiten pro Monat sinkt es auf etwa 20 USD. Der entscheidende Punkt: Sie brauchen oft nur 5 bis 15 gelabelte Beispiele pro Feld, nicht Tausende.

Weg 3: Eigenes Fine-tuning. Sie nehmen ein offenes Modell (mistral-small, ein Llama-Derivat) oder ein OpenAI-Modell und trainieren es per LoRA oder vollem Fine-tuning auf Ihre Extraktions-Aufgabe. Ein LoRA-Fine-tune eines 7B- bis 13B-Modells auf einer einzelnen A100 kostet 50 bis 500 USD Compute für ein paar Tausend Beispiele. Das rechnet sich nur bei sehr hohem, gleichförmigem Volumen.

Ein häufiges Missverständnis: RAG und Fine-tuning schließen sich nicht aus. In der Praxis kombinieren wir oft ein vortrainiertes Extraktions-Modell mit einer RAG-Schicht für Kontext und Validierung. Reines Fine-tuning ist der Sonderfall, nicht die Regel.

TCO 2026: Die ehrliche Rechnung über 24 Monate

Der Preis pro Seite ist nicht die relevante Zahl. Relevant ist die Total Cost of Ownership über die Laufzeit, und da verschiebt sich das Bild deutlich. Ein typisches RAG-Projekt liegt bei einem Median von rund 28.000 USD Setup-Kosten. Fine-tuning-Training ist mit 50 bis 500 USD Compute scheinbar konkurrenzlos günstig, aber diese Zahl verschweigt 90 Prozent der echten Kosten.

Nehmen wir ein realistisches Szenario: 20.000 Belege pro Monat, gemischter Schema-Bestand, zwei bis drei neue Belegtypen pro Quartal. So sieht die TCO über 24 Monate aus:

Die Zahlen sind Erfahrungswerte aus unseren Projekten, keine Listenpreise. Was sie zeigen: Der Trainings-Vorteil des Fine-tunings wird vom Wartungs- und Labeling-Aufwand mehr als aufgefressen, sobald sich Ihre Dokumente ändern. Und Dokumente ändern sich immer, ein neuer Lieferant, ein neues Formular, eine neue Rechtsvorschrift.

Der Break-even für Fine-tuning liegt nach unserer Beobachtung und der gängigen Marktdaten bei 50.000 bis 500.000 Requests, bevor sich der Modell-Eigenbau gegenüber gut gecachtem Prompting oder Custom Extraction überhaupt lohnt. Unterhalb dieser Schwelle zahlen Sie für ein eigenes Modell drauf.

Wann Fine-tuning sich trotzdem rechnet

Fine-tuning ist nicht tot, es ist nur überbewertet für Standard-Extraktion. Es gibt konkrete Fälle, in denen wir aktiv dazu raten, und in denen sich das Team, das den Sprung nicht wagt, langfristig verteuert.

Ein belegtes Beispiel aus dem Markt: Ein Team wählte einen fine-getunten Mistral gegenüber gpt-4o, weil die Kosten pro Extraktion 40-mal niedriger lagen. Das Training kostete einmalig 240 USD auf einer A100. Bei Millionen von Extraktionen im Monat rechnet sich das schnell. Genau das ist der Punkt: Fine-tuning gewinnt beim Volumen, nicht bei der Vielfalt.

Fine-tuning lohnt sich, wenn drei Bedingungen zusammenkommen: sehr hohes Volumen (dauerhaft im sechs- bis siebenstelligen Bereich pro Monat), ein stabiles Schema, das sich selten ändert, und eine latenzkritische oder datensouveräne Anforderung, die einen externen API-Call verbietet. Ein Versicherer, der jeden Tag zehntausende identisch strukturierte Schadenmeldungen verarbeitet und die Daten aus Compliance-Gründen nicht an einen US-Cloud-Endpunkt geben darf, ist ein guter Fine-tuning-Kandidat.

Die technische Landschaft hat sich 2026 zugunsten des Fine-tunings verschoben. OpenAI hat Reinforcement Fine-tuning für o4-mini allgemein verfügbar gemacht und bietet SFT für gpt-4.1-mini und gpt-4.1-nano. Microsoft hat im April 2026 sein Foundry-Fine-tuning-Angebot erweitert. LoRA und andere PEFT-Verfahren senken die Einstiegshürde erheblich: Statt ein ganzes Modell neu zu trainieren, passen Sie nur wenige Prozent der Parameter an. Das drückt die Compute-Kosten und macht Re-Training realistischer.

Trotzdem bleibt unsere Position: Fine-tuning ist der zweite Schritt, nicht der erste. Wer mit Fine-tuning startet, ohne vorher Custom Extraction getestet zu haben, verbrennt in der Regel Budget für ein Problem, das ein vortrainiertes Modell schon gelöst hätte.

Der Compliance-Faktor: Warum die Architektur die Prüfung überlebt

Für regulierte Branchen ist die TCO-Rechnung nur die halbe Wahrheit. Die andere Hälfte ist die Nachweisbarkeit. Ein Wirtschaftsprüfer oder eine Aufsichtsbehörde fragt nicht, welches Modell Sie nutzen, sondern ob Sie belegen können, wie eine Zahl aus einem Dokument in Ihr System kam. Genau hier trennt sich RAG von Fine-tuning.

Ein RAG-basiertes oder Document-Intelligence-System liefert von Haus aus Bounding-Boxes, Confidence-Scores und einen Bezug zur Quellstelle im Dokument. Das ist auditierbar. Ein fine-getuntes Modell gibt Ihnen ein Ergebnis, aber die Begründung ist im Modellgewicht versteckt. Für DORA-, MaRisk- oder Solvency-II-Kontexte ist das ein echter Nachteil, den keine Kosteneinsparung aufwiegt.

Unsere Erfahrung aus Projekten mit Banken und Versicherern: Die Confidence-Score-basierte Dunkelverarbeitung von Eingangsrechnungen mit Prebuilt- oder Custom-Modellen ist prüfungsfester als ein Black-Box-Fine-tune. Wenn Datensouveränität das Argument für Fine-tuning ist, lässt sich das auch mit einem selbst gehosteten Extraktions-Stack lösen, ohne den Nachvollziehbarkeits-Vorteil aufzugeben. Die offiziellen Preis- und Modelldetails zu Custom Extraction finden Sie in der Azure Document Intelligence Dokumentation von Microsoft.

Entscheidungslogik: Welcher Weg für Ihren Fall

Wir haben die Entscheidung in eine einfache Logik gegossen, die wir in Workshops mit IT-Leitern durchgehen. Sie beantwortet die Frage in vier Schritten, ohne dass Sie erst ein Modell trainieren müssen.

def waehle_extraktions_ansatz(dokument):
    # Schritt 1: Standard-Dokumententyp? Dann Prebuilt, kein Training nötig.
    if dokument.typ in ["rechnung", "quittung", "ausweis", "layout"]:
        return "Azure prebuilt-Modell (günstigster Weg)"

    # Schritt 2: Abweichendes Schema, aber überschaubares Volumen?
    if dokument.monatsvolumen < 50_000:
        return "Custom Extraction (Custom Neural, wenige Beispiele)"

    # Schritt 3: Hohes Volumen UND stabiles Schema UND Datensouveränität?
    if (dokument.monatsvolumen >= 500_000
            and dokument.schema_stabil
            and dokument.souveraenitaet_pflicht):
        return "Fine-tuning (LoRA auf Open-Source-Modell)"

    # Schritt 4: Alles dazwischen bleibt bei RAG / Custom Extraction
    return "RAG plus Custom Extraction (bester TCO-Kompromiss)"

Diese Logik ersetzt keine echte Analyse, aber sie zeigt das Muster: Fine-tuning ist der Ausnahmezweig, den die wenigsten Fälle erreichen. Für ein belastbares Ergebnis brauchen Sie Ihre realen Belegtypen, Volumen und Compliance-Anforderungen auf dem Tisch, dann rechnet sich die Entscheidung in wenigen Stunden statt in einem gescheiterten Sechs-Monats-Projekt.

Häufig gestellte Fragen

Was kostet Dokumenten-Extraktion mit Azure Document Intelligence 2026?

Prebuilt-Modelle wie prebuilt-invoice liegen bei rund 10 USD pro 1.000 Seiten. Custom Extraction kostet etwa 30 USD pro 1.000 Seiten, ab einer Million Seiten pro Monat sinkt es auf rund 20 USD. Das Custom-Neural-Training ist die ersten 10 Stunden kostenlos, danach 3 USD pro Stunde.

Fine-tuning vs RAG: Was ist für Dokumenten-Extraktion besser?

Für die meisten Fälle RAG beziehungsweise Custom Document Intelligence, weil die Time-to-Value niedriger, der Datenbedarf kleiner und die Wartung günstiger ist. Fine-tuning schlägt RAG erst bei sehr hohem, gleichförmigem Volumen mit stabilem Schema, typischerweise ab 50.000 bis 500.000 Requests als Break-even.

Wie viele Trainingsdaten brauche ich für Fine-tuning?

Für ein brauchbares Extraktions-Fine-tune rechnen Sie mit 500 bis 5.000 sauber gelabelten Beispielen pro Dokumententyp. Custom Extraction kommt dagegen oft mit 5 bis 15 Beispielen pro Feld aus. Das Labeling ist der teuerste und am häufigsten unterschätzte Kostenblock beim Fine-tuning.

Ist Fine-tuning günstiger als RAG, wenn ich schon GPUs habe?

Nicht automatisch. Das reine Training eines LoRA-Adapters kostet 50 bis 500 USD, aber der Dauerbetrieb der GPU, das Re-Training bei jeder Schema-Änderung und der Compliance-Nachweis treiben die TCO. Unter etwa 50.000 Requests pro Monat ist gut gecachtes Prompting oder Custom Extraction fast immer günstiger.

Kann ich RAG und Fine-tuning kombinieren?

Ja, und in der Praxis ist das oft der beste Weg. Ein vortrainiertes oder fine-getuntes Extraktions-Modell liefert die Rohfelder, eine RAG-Schicht ergänzt Kontext, validiert gegen Stammdaten und macht das Ergebnis auditierbar. Die beiden Ansätze sind keine Entweder-oder-Entscheidung.

Nächster Schritt

Bevor Sie ein Modell trainieren, klären Sie in einem Termin, welcher der drei Wege für Ihren Belegmix der günstigste ist.

Verwandte Themen