Grundarchitektur
RAG verbindet zwei Komponenten: ein Abrufsystem (Retrieval), das relevante Textabschnitte aus einer Wissensbasis findet, und ein Sprachmodell (Generation), das aus diesen Abschnitten eine verständliche Antwort formuliert. Der folgende Ablauf zeigt die einzelnen Schritte von Dokument bis Antwort.
Dokumenten-Ingestion
Bevor eine Suche möglich ist, müssen Dokumente aufbereitet werden: PDFs, Handbücher, Wikis oder Support-Historie werden eingelesen, bereinigt und in ein einheitliches Textformat gebracht. Die Qualität dieses Schritts bestimmt maßgeblich, wie gut das System später antworten kann.
Chunks
Ganze Dokumente sind für eine gezielte Suche meist zu groß und thematisch zu breit. Deshalb werden sie in kleinere, in sich abgeschlossene Abschnitte – Chunks – zerlegt, etwa auf Absatz- oder Kapitelebene. So kann später genau der Abschnitt gefunden werden, der zu einer konkreten Frage passt, statt eines ganzen Dokuments.
Embeddings
Jeder Chunk wird von einem Embedding-Modell in einen Vektor – eine Liste von Zahlen – übersetzt, der die inhaltliche Bedeutung des Texts erfasst. Texte mit ähnlicher Bedeutung liegen im entstehenden Vektorraum nahe beieinander, auch wenn sie unterschiedliche Wörter verwenden.
Vektorsuche
Die Embeddings aller Chunks werden in einer Vektordatenbank oder einem Vektorindex gespeichert. Stellt ein Nutzer eine Frage, wird auch diese Frage in einen Vektor übersetzt und mit den gespeicherten Chunk-Vektoren verglichen. Das System findet so die Chunks, die inhaltlich am besten zur Frage passen – auch ohne exakte Wortübereinstimmung.
Retrieval und Kontext für das LLM
Die am besten passenden Chunks werden abgerufen (Retrieval) und zusammen mit der ursprünglichen Frage als Kontext an das Sprachmodell übergeben. Das Modell erhält dadurch genau die Informationen, die es für eine fundierte Antwort braucht, statt raten zu müssen.
Quellenbasierte Antworten
Auf Basis dieses Kontexts formuliert das Sprachmodell eine Antwort in natürlicher Sprache – häufig mit Verweis auf die verwendeten Quellen, sodass nachvollziehbar bleibt, worauf sich eine Aussage stützt.
Vorteile
- Neues oder geändertes Wissen lässt sich durch Aktualisieren des Index einbinden, ohne das Sprachmodell neu zu trainieren.
- Antworten lassen sich auf konkrete Quellen zurückführen, statt als reine Modell-Behauptung im Raum zu stehen.
- Eigenes, internes oder vertrauliches Wissen kann genutzt werden, ohne es dem Modell dauerhaft "einzutrainieren".
- In der Regel deutlich günstiger und schneller umzusetzen als ein eigenes Modelltraining.
Grenzen
RAG ist kein Garant für korrekte Antworten. Die Qualität hängt direkt von der Qualität der Dokumentaufbereitung, der Chunk-Einteilung und der Suche ab – schlecht vorbereitete Dokumente führen zu schlechten Antworten. Außerdem kann das Sprachmodell abgerufene Inhalte weiterhin falsch interpretieren, unvollständig zusammenfassen oder mit seinem allgemeinen trainierten Wissen vermischen. RAG reduziert Halluzinationen spürbar, beseitigt sie aber nicht vollständig. Der zusätzliche Suchschritt bedeutet außerdem eine gewisse zusätzliche Antwortzeit gegenüber einer reinen Modellantwort.
RAG vs. Fine-Tuning
Fine-Tuning verändert das Sprachmodell selbst, indem es mit zusätzlichen Beispielen weiter trainiert wird. Das eignet sich gut, um Stil, Format oder Verhalten anzupassen, ist aber aufwendig, und neues Faktenwissen lässt sich damit nur schwer und mit erneutem Trainingsaufwand aktuell halten. RAG verändert das Modell nicht, sondern erweitert es um eine durchsuchbare Wissensbasis – neues Wissen lässt sich dadurch einfacher und schneller einpflegen. In der Praxis werden beide Ansätze auch kombiniert.
Typische Anwendungsfälle
- Interne Wissensassistenten für Mitarbeitende, etwa für Handbücher, Richtlinien oder Prozessdokumentation.
- Support-Assistenten, die Antworten aus vorhandener Dokumentation statt aus allgemeinem Wissen ableiten.
- Durchsuchbares Vertrags- oder Richtlinienwissen mit Quellenangabe.
- Technische Dokumentations-Suche für komplexe Produkte oder Systeme.
Sicherheit und Zugriffsrechte
Da RAG Inhalte direkt aus einer Wissensbasis abruft, muss diese Abrufebene dieselben Zugriffsrechte respektieren wie die zugrunde liegenden Dokumente – ein Nutzer sollte über den Assistenten nichts einsehen können, worauf er auch direkt keinen Zugriff hätte. Wie ein Unternehmen solche Datengrenzen und Zugriffsrechte organisiert, ist Thema von Private AI.
Häufige Fragen
Benötigt RAG immer eine Vektordatenbank?
In der Praxis meist ja. Eine spezialisierte Vektordatenbank oder ein Vektorindex bildet semantische Ähnlichkeit deutlich besser ab als klassische Volltextsuche. Hybride Ansätze, die beides kombinieren, sind aber ebenfalls möglich.
Kann RAG halluzinierte Antworten vollständig verhindern?
Nein. RAG reduziert Halluzinationen deutlich, weil Antworten auf abgerufene Inhalte gestützt werden, verhindert sie aber nicht vollständig – das Sprachmodell kann abgerufene Inhalte weiterhin falsch interpretieren oder mit trainiertem Wissen vermischen.
Muss RAG lokal oder privat gehostet werden?
Nein. RAG ist eine Architektur, keine Hosting-Vorgabe. Es lässt sich mit Cloud-Modellen oder mit privat kontrollierten Modellen umsetzen; die Wahl hängt von Datenschutz- und Kontrollanforderungen ab.
Wie aktuell bleiben RAG-Antworten?
Neue oder geänderte Dokumente werden im Index aktualisiert. Das zugrunde liegende Sprachmodell selbst muss dafür nicht neu trainiert werden.
RAG für Ihr Unternehmenswissen umsetzen
365soft setzt RAG mit KAI produktiv um – von Dokumentenaufbereitung bis quellenbasierten Antworten.