OpenAI Embeddings 2026: 3-small vs 3-large

Constantin Budin, GenAI Consultant bei Pexon Consulting | 9 Min. Lesezeit | 08.09.2026

TL;DR: OpenAI Embeddings in fünf Sätzen

OpenAI Embeddings in der v3-Familie heißen text-embedding-3-small und text-embedding-3-large. Small kostet 0,02 USD je Million Token bei 1.536 Dimensionen, Large 0,13 USD bei 3.072. Pexon Consulting (80 MA, Deutschland) legt beide hinter ein Gateway. Für Aftersales-Handbücher starten wir mit Small plus Hybrid-Suche, nicht mit Large als Default.

Das Problem: Das falsche Modell klebt im Index fest

Ein Chat-Modell tauschen Sie hinter dem Proxy in einer Woche. Ein Embedding-Modell nicht. Jeder Chunk muss neu durch das Modell, der Index wächst oder schrumpft mit den Dimensionen, alte und neue Vektoren darf man nicht mischen. Wer im PoC text-embedding-ada-002 fest verdrahtet hat und jetzt „sicherheitshalber“ auf 3-large geht, zahlt die Rechnung zweimal: einmal in Token, einmal in Reindex.

Genau diese Lage sehen wir bei IT-Leitern im Maschinen- und Anlagenbau. Der PoC läuft. Die Hotline findet Synonyme besser als SharePoint. Artikelnummern, Fehlercodes und die eine Zahl zur Seriennummer liegen trotzdem daneben. Dann kommt der Reflex: größeres Embedding, mehr Dimensionen, mehr Qualität. Das ist die teure Stelle.

Unsere klare Empfehlung: Small vs Large erst messen, nachdem Hybrid-Suche und Metadaten stehen. Sonst kaufen Sie 3.072 Zahlen für ein Problem, das 3.072 Zahlen nicht lösen.

Was text-embedding-3-small und 3-large 2026 wirklich sind

Die kurze Antwort: Es sind dieselben zwei Modell-IDs wie im Januar 2024. OpenAI hat die v3-Familie bis September 2026 nicht ersetzt. text-embedding-3-small und text-embedding-3-large bleiben der Produktionsstandard in der API.

Release war der 25. Januar 2024. Small sollte ada-002 ablösen: gleiche Größenordnung bei der Qualität, ein Fünftel des Preises (0,02 statt 0,10 USD je Million Token). Large sollte die Spitze halten, zum 6,5-fachen von Small. Beide akzeptieren denselben dimensions-Parameter. Beide enden bei 8.191 Token Input, nicht bei 16.000. Wer das in Tutorials liest, hat ein älteres YouTube-Skript abgeschrieben. Die OpenAI-Dokumentation zu Embeddings ist hier eindeutig.

Was die Zahlen bedeuten: MTEB misst Durchschnitt über viele englischlastige Aufgaben. OpenAI nannte 62,3 für Small und 64,6 für Large. Das Delta ist real und klein. Auf MIRACL (mehrsprachige Retrieval-Aufgaben) ist der Abstand größer: 44,0 gegen 54,9. Das ist das eine Argument für Large, wenn Ihr Korpus Deutsch, Englisch und Servicepartner-Sprachen mischt und Sie das an eigenen Fragen sehen.

ada-002 bleibt im Katalog, ist aber Legacy. Teurer als Small, nicht kürzbar, schwächer auf MIRACL. Ein Upgrade ist ein Modellname plus ein Reindex, kein neues Produkt.

OpenAI Embeddings im Vergleich: wann Small, wann Large

Die Tabelle ist die Entscheidungshilfe. Der Rest ist Kommentar.

Wir raten aktuell davon ab, Large als stillen Default zu setzen. Der Aufpreis ist 6,5x auf jeden Embed-Lauf und jede Aktualisierung. Der Speicher im HNSW-Index verdoppelt sich. Was Sie dafür kaufen, ist ein kleines Delta auf Leaderboards, kein neues Vermögen bei „Drehmoment Lagerschild Baureihe 4“.

Small kürzen wir in Projekten oft auf 512 oder 1.024 Dimensionen. OpenAI hat 2024 gezeigt, dass ein gekürztes v3-Modell ada-002 in voller Länge schlagen kann. Weniger Dimensionen heißen weniger RAM und schnellere kNN, nicht automatisch schlechtere Treffer. Das müssen Sie auf Ihrem Gold-Set sehen, nicht auf MTEB.

Large hat eine berechtigte Nische: gemischtsprachige Korpora, in denen MIRACL-ähnliche Lücken im Gold-Set auftauchen, und juristisch dichte Fließtexte ohne harte Kennungen. Sobald Kennungen das Retrieval tragen, gewinnt Hybrid, nicht die dritte Tausend Dimension.

Den Open-Source-Fall (BGE-M3, E5, Nomic auf Deutsch) haben wir getrennt beschrieben, im Vergleich der Embedding-Modelle für deutsche Fachtexte. Dieser Text bleibt bei der OpenAI-API, weil genau die in vielen PoCs schon verdrahtet ist.

Warum Large in der Industrie selten der Hebel ist

Wir sehen das Muster wiederholt: Der PoC findet „Dichtung“ zu „O-Ring“. Der Produktivfall ist „Material 4711-A vs. 4711-B“ und „IEC 60076-5, Ausgabe 2006, Klausel 4.1.3“. Embeddings finden Bedeutung. Sie finden keine Zeichenkette. Zwei Nummern, die sich in einer Stelle unterscheiden, liegen nah beieinander. 3.072 Dimensionen ändern das nicht.

Was den Sprung bringt, steht in den Grenzen von Standard-RAG an technischen Dokumenten: Hybrid aus Stichwort und Vektor, Chunks an Überschriften und Klauseln, Filter auf Baureihe und Ausgabestand, bevor die Ähnlichkeit greift. Das ist unglamourös. Es ist der Grund, warum Techniker das System ein zweites Mal öffnen.

Pexon Consulting baut genau diese Schicht als Teil einer RAG-Wissenssuche für Enterprise-Korpora, nicht als Chat-Widget auf einem PDF-Ordner. Das Sprachmodell formuliert. Das Embedding misst nur Nähe. Wer die Messung falsch anlegt, kann das beste LLM nicht retten.

Eine Studie zu Hybrid Retrieval in der deutschen Produktionsplanung (JAIT 2025) kommt zum selben Schluss: Auf fachdeutschen Texten schlagen einfache Hybrid-Strategien reine Dense-Retriever. Das ist kein Pexon-Sonderweg. Es ist der Stand, den die Fertigung schon gemessen hat.

Was das in der Praxis bedeutet: Aftersales, eine Baureihe, 80 Gold-Fragen

Anonymisiert, Maschinen- und Anlagenbau, süddeutscher Mittelstand, grob 800 Mitarbeitende. Aftersales wollte, dass Hotline und Feld die richtige Stelle in Betriebsanleitungen finden. Korpus: rund 12.000 PDFs, Deutsch und Englisch, plus ältere Scans. Vorher SharePoint plus Kollegenanruf. Ein interner PoC auf text-embedding-ada-002, nur Dense. Techniker nutzten ihn kaum, sobald eine Nummer im Spiel war.

Wir haben nicht den ganzen Park indexiert. Eine Baureihe, sechs Wochen, 80 Fragen aus echten Tickets, Antworten von Anwendungstechnik gegengelesen. Index in Qdrant im eigenen Netz (qdrant/qdrant, 34.224 Sterne, Abruf 08.09.2026). Embedding hinter einem OpenAI-kompatiblen Gateway, damit derselbe App-Code Small, Large und später ein lokales Modell sprechen kann.

Auf denselben Chunks, demselben Gold-Set:

Der Erstindex der Baureihe mit Small lag im Listenpreis unter 20 USD. Derselbe Lauf mit Large wäre sechseinhalb mal so teuer gewesen und hätte den Nummern-Fall nicht gerettet. Der teure Teil war OCR, Schnitt, Metadaten. Nicht die API.

Das ist die Meinung, die wir aus solchen Vorhaben mitnehmen: Wer Large kauft, bevor Hybrid steht, kauft die falsche Schraube. Und wer das Modell in fünf Services hart verdrahtet, zahlt den Wechsel später als Projekt, nicht als Pipeline.

Pexon Consulting, 80 Mitarbeitende in Deutschland, ISO 27001 und Microsoft Partner, betreibt das nicht als gemieteten Chat. Gateway, Index und Reindex gehören Ihnen.

Technische Umsetzung: ein Gateway, ein Modellname, ein Reindex-Pfad

Der Anwendungscode spricht /v1/embeddings. Welches Modell dahinter liegt, ist Config. LiteLLM v1.99.0 (Release 01.09.2026) kann genau das, 57.899 GitHub-Sterne zum selben Stichtag. In der offenen Plattform ist das die Schicht, die Verbrauch statt Sitzlizenz durchsetzt.

# Ein Aufruf, Modell und Dimension stehen in der Config.
# Wechsel Small -> Large oder auf ein lokales Modell: Reindex,
# nicht fünf Services anfassen.
from openai import OpenAI

client = OpenAI(
    base_url="https://gateway.intern.example/v1",  # LiteLLM / eigener Proxy
    api_key="sk-intern",
)

resp = client.embeddings.create(
    model="text-embedding-3-small",  # oder text-embedding-3-large
    input="Drehmoment Lagerschild Baureihe 4, Seriennummer 12345",
    dimensions=512,  # Matryoshka: RAM sparen, Index klein halten
)

vektor = resp.data[0].embedding
assert len(vektor) == 512
# Danach: in Qdrant upserten, Cosine, Filter auf baureihe="4"

Drei Regeln, die wir in den Repos festnageln:

1. Modell-ID und dimensions kommen aus der Umgebung, nicht aus dem Feature-Code.
2. Alte und neue Dimensionen liegen nie in derselben Collection. Neuer Name, Cutover, alten Index löschen.
3. Jeder Embed-Lauf schreibt Modell, Dimension, Chunk-Version ins Log. Sonst wissen Sie in sechs Monaten nicht, warum Recall kippt.

Wer den Index selbst betreiben will, landet bei Qdrant, Weaviate oder pgvector, nicht bei Pinecone. Pinecone ist Managed Cloud. On-Prem-Tipps, die Pinecone und Qdrant in einen Satz packen, verdrehen den Betriebsfall. Serviceberichte mit Anlagenbezug gehören in Ihr Netz. Wie so ein Cluster aussieht, steht im Vergleich der Vektordatenbanken für Unternehmen.

Für den Produktivpfad (SSO, Kill-Switch, PII vor dem Prompt) ist das Embedding nur eine von mehreren Schichten. Die Enterprise-RAG-Architektur setzt genau dort an, wo der PoC auf dem Laptop aufhört.

Worauf Sie bei der Auswahl achten sollten

1. Gold-Set zuerst. 40 bis 100 Fragen aus der Hotline, keine Demo-Prompts.
2. Hybrid Pflicht, sobald Nummern, Normen oder Typenschlüssel vorkommen.
3. Small als Start, Large nur gegen dasselbe Gold-Set.
4. dimensions bewusst setzen. 512 ist oft genug, 3.072 selten nötig.
5. Gateway, bevor das dritte Team denselben OpenAI-Key in eine Function App schreibt.
6. Reindex als Pipeline planen. Modellwechsel ohne Pipeline ist ein Quartalsprojekt.
7. Rechtsgrundlage klären, bevor Serviceberichte die API sehen. Vektoren sind keine Anonymisierung.

Häufig gestellte Fragen

Was kosten OpenAI Embeddings für ein Firmenarchiv?

Listenpreis 0,02 USD je Million Token bei 3-small, 0,13 USD bei 3-large, Batch jeweils die Hälfte. Eine Baureihe mit niedrigem fünfstelligen Chunk-Stand war bei uns mit Small unter 20 USD Listenpreis. Der Index und die Pipeline kosten ein Vielfaches der API.

text-embedding-3-small vs 3-large: wann Large?

Kommt drauf an, aber der Default ist Small. Large lohnt, wenn Ihr Gold-Set eine Lücke zeigt, die Hybrid und Chunking nicht schließen, vor allem bei gemischten Sprachen. Als stille Absicherung gegen „unsicher“ ist Large Geldverschwendung.

Kann ich ada-002 1:1 durch OpenAI Embeddings v3 ersetzen?

Den Modellnamen ja, den Index nein. Small hat 1.536 Dimensionen wie ada-002, Large 3.072. Alte Vektoren nicht mit neuen mischen. Planen Sie einen Reindex, setzen Sie dimensions bewusst, werfen Sie ada-002 danach weg. Es ist teurer als Small und schwächer.

Dürfen Serviceberichte über die OpenAI-API?

Nur mit AVV, dokumentiertem Zweck und einer bewussten Drittland-Entscheidung. Der Vektor ist eine Repräsentation des Textes, keine Anonymisierung. Viele Aftersales-Korpora gehören on-prem oder in einen EU-Tenant. Dann ist die Frage lokales Modell vs. OpenAI, nicht Small vs Large.

OpenAI Embeddings vs BGE-M3 für deutsche Handbücher?

Für rein deutsche Fachtexte mit Materialnummern liegt BGE-M3 oft vorn, weil Dense und Sparse aus einem Modell kommen. OpenAI bleibt sinnvoll, wenn der Rest des Stacks schon die API spricht und das Gateway den späteren Wechsel offen hält. Messen Sie beide auf denselben 80 Fragen.

Nächster Schritt

Wenn Ihr PoC auf ada-002 oder auf 3-large „sicherheitshalber“ läuft, starten Sie nicht mit einem neuen Leaderboard. Legen Sie 40 echte Fragen vor, einmal Small, einmal Large, einmal Hybrid. Was dann noch fehlt, ist Plattform: Gateway, Index, Reindex, Rechte.

Verwandte Themen