Was sind Embeddings?
RetrievalEin Embedding ist die Umwandlung von Text in eine lange Zahlenfolge, den Vektor. Inhaltlich ähnliche Texte landen dabei mathematisch nah beieinander. Genau das macht semantische Suche möglich: Gefunden wird, was gemeint ist, nicht nur, was wörtlich übereinstimmt.
Kurz vorwegDie Qualität der Antworten entsteht im Retrieval, nicht im Modell. Zur hybriden Suche
Embeddings: Definition
Ein Embedding ist die Vektordarstellung eines Textabschnitts, eines Bildes oder eines anderen Inhalts. Ein eigens dafür trainiertes Modell, das Embedding-Modell, bildet den Inhalt auf eine Folge von Zahlen ab. Die Länge dieser Folge, die Dimension, ist je Modell festgelegt: text-embedding-3-small von OpenAI liefert standardmäßig 1.536 Werte, text-embedding-3-large 3.072 (Stand 08/2026).
Der Nutzen entsteht durch die Anordnung im Raum: Inhaltlich verwandte Texte liegen nah beieinander, unverwandte weit auseinander. Eine Suche rechnet deshalb keinen Stichwortabgleich, sondern den Abstand zwischen dem Vektor der Frage und den Vektoren im Index, meist über die Kosinus-Ähnlichkeit. Eine Anfrage nach Dichtungsring findet so auch Abschnitte, in denen von O-Ring die Rede ist.
Drei Begriffe werden dabei regelmäßig vermischt: Das Chunking bestimmt, welcher Textausschnitt eingebettet wird. Das Embedding erzeugt daraus den Vektor. Die Vektordatenbank speichert die Vektoren und findet die nächstgelegenen wieder. Das Embedding-Modell ist außerdem nicht dasselbe wie das antwortende Sprachmodell - es formuliert nichts, es misst nur Ähnlichkeit.
- Zweck
- Inhalte so in Zahlen abbilden, dass Ähnlichkeit messbar wird
- Kernidee
- Ähnlicher Inhalt, kürzerer Abstand
- Typische Dimension
- 384 bis 3.072 Werte je Vektor, je nach Modell
- Harte Bindung
- Index und Anfrage müssen dasselbe Modell nutzen
- Bekannte Modelle
- OpenAI text-embedding-3, BGE, E5, Nomic, Jina
Wie funktioniert die Suche mit Embeddings?
Der Ablauf ist in jedem RAG-System und jeder semantischen Suche derselbe:
- Index aufbauenJeder Chunk läuft durch das Embedding-Modell und wird als Vektor in einer Vektordatenbank abgelegt, zusammen mit dem Originaltext.
- Frage einbettenDie Nutzerfrage läuft durch dasselbe Modell und wird ebenfalls zu einem Vektor.
- Nachbarn suchenDie Datenbank sucht die Vektoren mit dem geringsten Abstand zur Frage, meist über die Kosinus-Ähnlichkeit.
- ÜbergebenDie zugehörigen Textabschnitte gehen als Kontext an das Sprachmodell, das daraus die Antwort formuliert.
Wo semantische Suche an ihre Grenze stößt
Embeddings finden Bedeutung, keine exakten Zeichenketten. Artikelnummern, Normbezeichnungen, Aktenzeichen und Versionsnummern sind für ein Embedding-Modell nahezu bedeutungsleer: Zwei Nummern, die sich in einer Ziffer unterscheiden, liegen im Vektorraum eng beieinander. In der Praxis wird deshalb hybrid gesucht - Stichwortsuche und Vektorsuche laufen parallel, die beiden Trefferlisten werden zusammengeführt.
Wann lohnt sich ein anderes Embedding-Modell?
- die Inhalte überwiegend deutschsprachig sind und das bisherige Modell auf Englisch trainiert wurde
- Fachsprache systematisch danebenliegt und sich das an gemessenen Treffern nachweisen lässt
- Datenschutzanforderungen ein selbst betriebenes Modell verlangen
- die schlechten Treffer aus schlecht geschnittenen Abschnitten stammen
- nur die Formulierung der Antwort stört - das ist Sache des Sprachmodells
- es keine Testfragen mit geprüften Antworten gibt, an denen sich ein Fortschritt zeigen ließe
Semantische Suche oder Stichwortsuche?
Beide Verfahren finden unterschiedliche Dinge. In der Praxis werden sie kombiniert, nicht gegeneinander gestellt.
| Kriterium | Semantische Suche | Stichwortsuche |
|---|---|---|
| Findet | inhaltlich Ähnliches, auch mit anderen Worten | exakte Begriffe und Zeichenketten |
| Stärke | Umschreibungen, Synonyme, Fragen in Alltagssprache | Artikelnummern, Normbezeichnungen, Eigennamen |
| Schwäche | exakte Kennungen gehen unter | kennt keine Synonyme |
| Braucht | ein Embedding-Modell und einen Vektorindex | einen klassischen Textindex |
| Typischer Einsatz | Fragen an Fließtext | Suche nach einer bekannten Bezeichnung |
Wie groß ist ein Vektor?
Die Dimension ist die Länge der Zahlenfolge. Mehr Dimensionen bedeuten mehr Speicher und langsamere Suche, nicht automatisch bessere Treffer.
Wie ein Vektor aussieht
Ein Embedding ist keine Zusammenfassung und kein Schlagwort, sondern eine Zahlenfolge. Lesbar ist sie für Menschen nicht, vergleichbar für Maschinen sehr wohl.
"Die Pumpe ist ausgefallen." -> [ 0.021, -0.144, 0.087, ... ]
"Das Aggregat steht still." -> [ 0.019, -0.139, 0.091, ... ]
"Der Vertrag läuft aus." -> [-0.202, 0.311, -0.056, ... ]Der Wechsel des Embedding-Modells ist keine Konfigurationsänderung, sondern ein Neuaufbau: Alte und neue Vektoren liegen in verschiedenen Räumen, der gesamte Index muss neu berechnet werden. Diese Entscheidung bindet länger als die Wahl des Sprachmodells.
„Ein besseres Embedding-Modell bringt bessere Antworten.“ Meist nicht. Die häufigste Ursache schwacher Treffer sind Abschnitte, die ohne ihren Kontext im Index liegen. Wer die Chunks nicht in Ordnung bringt, tauscht am falschen Ende.
Häufige Fragen zu Embeddings
Was ist der Unterschied zwischen Embedding und Vektordatenbank?
Das Embedding ist Vorgang und Ergebnis zugleich: Ein Inhalt wird in eine Zahlenfolge übersetzt. Die Vektordatenbank ist das System, das diese Zahlenfolgen speichert und zu einer Anfrage die nächstgelegenen findet. Das eine erzeugt die Darstellung, das andere durchsucht sie.
Kann ich das Embedding-Modell später wechseln?
Ja, aber nur zusammen mit einem vollständigen Neuaufbau des Index. Vektoren verschiedener Modelle liegen in unterschiedlichen Räumen und lassen sich nicht gegeneinander messen. Anfrage und Index müssen immer dasselbe Modell verwenden.
Funktionieren Embeddings auf Deutsch genauso gut wie auf Englisch?
Nicht automatisch. Mehrsprachige und explizit auf Deutsch trainierte Modelle verhalten sich bei deutschen Fachtexten spürbar anders als rein englische. Welches Modell zum eigenen Bestand passt, zeigt erst eine Messung an eigenen Fragen mit geprüften Antworten.
Welches Embedding-Modell Ihre Fachsprache trifft, zeigt erst eine Messung an Ihren eigenen Fragen - wir bauen den Testaufbau dafür.
Zur hybriden Suche