Was ist RAG? Retrieval Augmented Generation einfach erklärt

In den letzten 90 Tagen wurde dieser Artikel 453 Mal in der Google-Suche angezeigt. Klicks: null. Die häufigste Suchanfrage war schlicht "rag", dahinter kamen Sachen wie "ragsem", "rag medien" und "rag presseverlag". Durchschnittsposition 56. Die Leute suchten etwas ganz anderes, und Google hat ihnen einen maschinell übersetzten KI-Aufsatz hingelegt.

Sie hatten recht, nicht zu klicken. Die alte Fassung nannte RAG die Zukunft der KI und erklärte das Ganze an einem Mode-Blog, den es nie gab. Also habe ich sie weggeworfen. Wenn du wissen willst, was RAG in der KI bedeutet und ob du es brauchst, lies weiter.

RAG steht für Retrieval Augmented Generation. Bevor die KI antwortet, durchsucht dein System einen Stapel Dokumente, zieht die paar Passagen heraus, die passend aussehen, und klebt sie neben der Frage in den Prompt. Das Modell antwortet aus dem, was ihm gerade gereicht wurde, statt aus dem, woran es sich vom Training erinnert.

Einfach erklärt ist das eine Prüfung mit offenem Buch. Der Begriff stammt aus einem Paper von 2020 unter Leitung von Patrick Lewis, und an der Grundidee hat sich seitdem wenig geändert. Geändert hat sich, wie oft du sie überhaupt brauchst, und genau das lassen die meisten Erklärtexte weg.

Wie Retrieval Augmented Generation funktioniert, an einer einzigen Retoure

Stell dir einen erfundenen Online-Shop mit 400 Hilfeartikeln vor. Eine Kundin fragt im Chat-Widget: "Kann ich reduzierte Ware nach 30 Tagen noch zurückgeben?" Dann passieren vier Dinge, und das erste davon lange bevor überhaupt jemand fragt.

1. Indexierung. Die Artikel werden in Stücke von ein paar Absätzen zerlegt. Jedes Stück läuft durch ein Embedding-Modell, das Text in eine lange Zahlenreihe verwandelt, die für seine Bedeutung steht. Diese Zahlen landen in einer Vektordatenbank.
2. Retrieval. Die Frage bekommt dieselbe Behandlung. Die Datenbank liefert die Stücke, deren Zahlen am nächsten liegen. So findet "reduzierte Ware zurückgeben" auch einen Absatz mit dem Titel "Umtausch im Sale", obwohl die Wörter nicht passen.
3. Augmentation. Diese Stücke wandern in den Prompt, zusammen mit einer Anweisung wie "antworte nur aus dem folgenden Text".
4. Generation. Das Modell schreibt die Antwort, im besten Fall mit einem Link auf den Artikel, den es benutzt hat.

Das Modell selbst bleibt dabei unverändert. Es gibt keinen Trainingsschritt. Ändert sich die Rückgaberegel am Dienstag, passt du einen Artikel an, indexierst ihn neu, und die nächste Kundin bekommt die neue Antwort. Deshalb hat sich RAG durchgesetzt: Ein Dokument zu bearbeiten ist billig, ein Modell neu zu trainieren nicht.

Die meisten ernsthaften Systeme lassen neben den Vektoren auch eine normale Stichwortsuche laufen, weil Embeddings bei exakten Zeichenfolgen wie Artikelnummern und Fehlercodes schwach sind. Das nennt sich Hybrid Search.

RAG oder normales LLM, und wo ChatGPT dazwischen steht

ChatGPT ohne Websuche antwortet aus dem Gedächtnis. Schaltest du die Suche ein, macht es RAG, mit dem Internet als Dokumentenstapel. Ich habe beschrieben, wie du siehst, wonach ChatGPT wirklich sucht, und Googles AI Overviews arbeiten genauso: erst aus dem Suchindex holen, dann schreiben.

Ein normales LLM hat nur, was im Training drin war. Das endet an einem Stichtag, und deine Verträge oder deine Preisliste waren nie dabei. RAG gibt ihm die Möglichkeit, im Moment der Frage nachzuschlagen.

Fine-Tuning ist der andere Begriff, der hier gern fällt. Es verändert, wie sich ein Modell verhält, also Tonfall oder Ausgabeformat. Um Fakten beizubringen, die sich jeden Monat ändern, taugt es wenig. Wenn dir also ein Anbieter erzählt, seine KI sei "auf deinen Daten trainiert", frag nach, was das heißt. Meistens ist es RAG, und das ist in Ordnung, aber es gehört zu den Fragen, die du stellen solltest, bevor du für ein KI-Tool bezahlst.

RAG verhindert keine Halluzinationen

2024 haben Forschende aus Stanford juristische Recherche-Tools auf RAG-Basis getestet, also genau die Sorte, von der manche Anbieter behaupteten, sie würde Halluzinationen beseitigen. Lexis+ AI und zwei Tools von Thomson Reuters halluzinierten jeweils in 17 bis 33 Prozent der Fälle. Das ist besser als ein allgemeiner Chatbot wie GPT-4 und weit entfernt von beseitigt. Dabei hatten diese Tools kuratierte Rechtsprechung zum Durchsuchen, ein saubererer Stapel, als ihn die meisten Firmen je haben werden.

Das kann auf zwei getrennten Wegen schiefgehen. Das Retrieval kann danebengreifen: Die richtige Passage kommt nie beim Modell an, und es antwortet aus dem, was es stattdessen bekommen hat. Oder das Retrieval klappt, und das Modell liest die Passage falsch oder mischt zwei davon zu etwas, das in keiner steht.

Das Erste kannst du messen. In Anthropics Retrieval-Tests brachte ein Standard-Setup das richtige Stück in 5,7 Prozent der Fälle nicht unter die ersten 20 Treffer. Mit Kontext an jedem Stück, Stichwortsuche und einem Reranking-Schritt sank das auf 1,9 Prozent. Besser, aber nicht null.

Dann gibt es noch den Fehler, für den das Modell nichts kann. Liegt im Stapel ein PDF von 2021, zitiert RAG es treu und mit voller Überzeugung. Irgendjemand muss für die Dokumente zuständig sein.

Wann du gar kein RAG brauchst

Ich habe diesen Blog nachgezählt. Die englische Fassung hat 190 veröffentlichte Beiträge, rund 325.000 Wörter, grob 460.000 Tokens. Anthropics eigener Rat lautet: Unter 200.000 Tokens kannst du die gesamte Wissensbasis einfach in den Prompt packen. Ich liege drüber, aber der ganze Blog würde in ein Kontextfenster mit 1 Million Tokens passen. Und wenn mein Agent verwandte Beiträge für interne Links braucht, liest er eine schlichte JSON-Liste mit Titeln und Slugs, ganz ohne Embeddings oder Vektordatenbank.

Prüf also zuerst, wie groß dein Stapel ist, bevor du irgendetwas baust. Ein Handbuch mit 40 Seiten braucht keine Retrieval-Pipeline.

Lange Prompts haben allerdings ihre eigene Rechnung. Qdrant verkauft selbst eine Vektordatenbank, lies das also entsprechend, hat aber die Input-Kosten zu Preisen von Oktober 2026 durchgerechnet: etwa 0,01 Dollar pro Anfrage für RAG mit 5.000 Tokens, 0,40 Dollar für einen Prompt mit 200.000 Tokens, 0,02 Dollar, wenn dieser Prompt aus dem Cache kommt. Dazu kommt Forschung, nach der Modelle mit wachsender Prompt-Länge schlechter werden. Chroma hat 18 Modelle getestet und festgestellt, dass ihre Leistung mit längerem Input immer unzuverlässiger wird. Chroma verkauft ebenfalls eine Vektordatenbank, beide hören dieses Ergebnis also gern.

Was dem klassischen RAG außerdem zusetzt, ist Agentic Search. Claude Code ist mein tägliches Arbeitswerkzeug, und es arbeitet nicht mit einem Embedding-Index meines Codes. Boris Cherny, der es entwickelt hat, sagte, frühe Versionen hätten RAG mit einer lokalen Vektordatenbank probiert, und das Team habe es nicht behalten. Stattdessen erkundet das Modell den Code wie ein Entwickler: Es liest eine Datei, schaut sich die Imports an und liest dann diese Dateien. Nach jeder Suche liest es die Ergebnisse und entscheidet, wonach es als Nächstes sucht.

Verschwunden ist Retrieval dort nicht. Es wurde zu einem Werkzeug, das der Agent bei Bedarf aufruft, oft über MCP.

Wo RAG weiterhin seinen Platz hat

Claudes eigene Projects-Funktion schaltet RAG automatisch ein, wenn das Projektwissen an die Grenze des Kontextfensters kommt. Wenn sogar die Firma, die Kontextfenster mit einer Million Tokens verkauft, ab einer gewissen Größe Retrieval braucht, wirst du es auch brauchen.

RAG lohnt sich, wenn mindestens einer dieser Punkte zutrifft:

• Der Stapel ist zu groß. Jahre an Support-Tickets passen in keinen Prompt.
• Er ändert sich ständig. Preise und Lagerbestände veralten schneller, als du einen riesigen Prompt neu bauen willst.
• Verschiedene Leute dürfen Verschiedenes sehen. Retrieval kann nach Berechtigungen filtern, bevor das Modell etwas zu Gesicht bekommt. Ein riesiger Prompt kann das nicht.
• Du musst deine Quelle zeigen. Eine Support-Antwort oder eine juristische Auskunft braucht einen Link auf die Passage, aus der sie stammt.

Wenn deine Daten in Deutschland bleiben müssen, ist das Retrieval der einfache Teil. Embedding-Modelle laufen problemlos lokal, und die schwierigere Aufgabe ist der Zustand deiner Dateien.

Wenn du eins bauen willst

Ein Tool von mir, der AI Internal Linker, erledigt die Retrieval-Hälfte davon. Es exportiert die Inhalte einer WordPress-Seite, schickt sie durch OpenAI-Embeddings, legt die Vektoren in ChromaDB ab und clustert sie, um herauszufinden, welche Beiträge zusammengehören. Das ist ein Tool für interne Links und kein Chatbot für Kunden. Nimm den Rest dieses Abschnitts also als Überlegung, nicht als Messung.

Schreib zuerst den Test. Nimm 30 echte Fragen aus deinem Postfach und notiere zu jeder die richtige Antwort. Ohne diese Liste kannst du nicht erkennen, ob eine Änderung geholfen hat, und du stellst das Ding nach Bauchgefühl ein.

Dann nimm das langweiligste Werkzeug, das den Test besteht. OpenAIs gehostete File Search kann semantische Suche und Stichwortsuche, ohne dass du Infrastruktur betreiben musst. Wenn du sowieso Postgres nutzt, hält pgvector deine Vektoren neben deinen übrigen Daten. Spezialisierte Datenbanken wie Pinecone oder Qdrant kommen erst, wenn du aus diesen Lösungen herausgewachsen bist. Ein Framework wie LangChain ist optional, und ich würde es weglassen, bis du benennen kannst, was es dir spart.

Zeig die Quellen in der Antwort und sag dem Modell, dass es zugeben soll, wenn die Passagen die Frage nicht abdecken. Ein Bot, der eine Lücke zugibt, kostet dich ein Support-Ticket. Ein Bot, der eine Rückgaberegel erfindet, kostet mehr.

Was ich noch nicht weiß

RAG ist ein Nachschlageschritt vor dem Modell. Diese Idee bleibt, weil Modellen immer deine neuesten Daten fehlen werden. Bei der klassischen Variante mit ihren Textstücken und der festen Pipeline bin ich mir weniger sicher. Kontextfenster wachsen weiter, und Agenten werden besser im Suchen. Wo die Grenze in zwei Jahren liegt, kann ich dir nicht sagen.

Wenn du gerade herausfinden willst, ob deine Dokumente RAG brauchen oder nur eine Aufräumaktion, ist das genau die Art Frage für meine KI-Beratung. Einen Bot, der nie falsch liegt, kann ich dir nicht versprechen. Was ich dir bieten kann, ist eine klare Antwort darauf, ob du überhaupt einen brauchst, und vielleicht spart dir der ehrliche Flowchart sogar das Gespräch. Ansonsten: Lass uns reden.