Ein Sprachmodell kennt vieles – aber nicht Ihre Preisliste, nicht Ihre Kunden und nicht Ihre internen Regeln. Damit ein KI-Agent trotzdem verlässlich mit Ihrem betrieblichen Wissen arbeiten kann, braucht er eine Wissensanbindung. Das verbreitetste Verfahren dafür heißt RAG – retrieval-augmented generation, also „Erzeugung mit vorgeschaltetem Nachschlagen“. Dieser Artikel erklärt, wie RAG funktioniert, warum es Halluzinationen verringert und wo seine Grenzen liegen.
Er vertieft den zweiten Baustein aus dem Überblick Wie funktioniert ein KI-Agent?. Warum ein Sprachmodell Ihr Wissen von sich aus nicht enthält, erklärt der Artikel Wie funktioniert ein Sprachmodell? – RAG ist die Antwort auf genau diese Lücke.
Warum das Sprachmodell Ihr Wissen nicht kennt
Das Wissen eines Sprachmodells stammt aus seinem Training und ist allgemein: Es kennt Sprache, Weltwissen und typische Zusammenhänge, aber keine firmeninternen Details und nichts, was nach dem Trainingsende passiert ist. Man könnte versuchen, ein Modell auf die eigenen Daten nachzutrainieren – das ist aber teuer, träge bei Änderungen und macht nicht nachvollziehbar, woher eine Antwort stammt. RAG geht den umgekehrten, praktischeren Weg: Das Modell bleibt, wie es ist, und bekommt das nötige Wissen zur Laufzeit gereicht.
Die Idee hinter RAG: nachschlagen statt raten
RAG kombiniert zwei Schritte. Zuerst wird zu einer Anfrage passendes Wissen aus einer Wissensbasis abgerufen (retrieval); dann erzeugt das Sprachmodell seine Antwort gestützt auf diese abgerufenen Ausschnitte (augmented generation). Statt aus dem Gedächtnis zu antworten und dabei zu raten, schlägt der Agent also erst nach und formuliert dann auf Basis konkreter Belege.
Der Effekt ist derselbe wie bei einem Menschen, der eine Frage nicht frei aus dem Kopf beantwortet, sondern kurz in den richtigen Unterlagen nachsieht: Die Antwort wird belegbar, aktueller und deutlich weniger anfällig für Erfindungen. Der Agent bleibt dabei flexibel – kommt eine neue Regelung hinzu, genügt es, das entsprechende Dokument in die Wissensbasis aufzunehmen, damit er sie ab sofort berücksichtigt.
Wie eine Wissensbasis entsteht: von Dokumenten zu auffindbarem Wissen
Damit der Abruf funktioniert, werden Ihre Quellen – Handbücher, Preislisten, Richtlinien, frühere Vorgänge – in eine durchsuchbare Form gebracht. Vereinfacht geschieht das in drei Schritten:
- Zerlegen: Lange Dokumente werden in überschaubare Abschnitte (Chunks) geteilt, damit später gezielt der passende Absatz gefunden wird und nicht ein ganzes Handbuch.
- Bedeutung erfassen: Jeder Abschnitt wird in eine numerische Darstellung übersetzt, die seine Bedeutung abbildet (ein sogenanntes Embedding). Texte mit ähnlichem Sinn liegen darin nah beieinander – auch wenn sie andere Wörter verwenden.
- Ablegen: Diese Darstellungen landen in einem Index (oft eine Vektordatenbank), in dem sich sekundenschnell die inhaltlich ähnlichsten Abschnitte zu einer Anfrage finden lassen.
Stellt der Agent später eine Frage, wird diese ebenso in eine Bedeutungsdarstellung übersetzt, die passendsten Abschnitte werden herausgesucht und dem Sprachmodell zusammen mit der Frage in den Kontext gelegt. Diese Suche nach Sinn statt nach exakten Stichworten ist der Grund, warum RAG auch dann trifft, wenn der Nutzer andere Begriffe verwendet als die Dokumentation.
Der große Vorteil: Antworten mit Quelle, Daten in Ihrer Hand
Aus dieser Bauweise ergeben sich drei handfeste Vorteile. Erstens sind die Antworten belegbar: Weil der Agent auf konkrete Abschnitte zurückgreift, kann er die Quelle mit ausgeben – prüfbar statt behauptet. Zweitens bleiben Ihre Daten in Ihrer Hand: Das Wissen liegt in Ihrer Wissensbasis und wird dem Modell nur zur Beantwortung vorgelegt, nicht in fremde Modelle eintrainiert. Drittens ist die Wissensbasis aktuell zu halten: Ändert sich ein Preis oder eine Regel, aktualisiert man das Dokument – ohne das Modell anzufassen.
Für recherchierende Aufgaben ist dasselbe Prinzip die Grundlage; wie ein Agent damit belegte Ergebnisse liefert, zeigt der Recherche-Agent.
Grenzen von RAG: Müll rein, Müll raus
RAG ist kein Zauber. Der Agent kann nur so gut antworten, wie seine Wissensbasis es zulässt. Typische Schwachstellen:
- Veraltete oder widersprüchliche Quellen: Liegen zwei Fassungen einer Richtlinie vor, kann der Agent die falsche erwischen. Eine gepflegte, eindeutige Wissensbasis ist Pflicht.
- Lücken im Abruf: Was schlecht strukturiert oder gar nicht digital vorliegt, wird nicht gefunden. Steht die Antwort nirgends, kann RAG sie nicht herbeischaffen.
- Falsch gewählte Abschnitte: Manchmal holt die Suche nicht den treffendsten Absatz. Gute Zerlegung und Pflege der Basis verringern das, ganz ausschließen lässt es sich nicht.
- Zugriffsrechte: Wissen ist nicht für jeden bestimmt. Eine Wissensbasis muss berücksichtigen, wer welche Inhalte sehen darf.
Deshalb ersetzt RAG die menschliche Kontrolle nicht vollständig – es senkt das Fehlerrisiko deutlich, aber wichtige Ausgaben gehören weiterhin abgesichert, wie der Artikel Halluzinationen und Guardrails zeigt.
RAG, Integration und Werkzeuge – wie es zusammenspielt
RAG wird leicht mit anderen Bausteinen verwechselt. Die Abgrenzung: RAG versorgt den Agenten mit Wissen, damit er richtig antworten und entscheiden kann – es ist im Kern ein Lesevorgang. Damit der Agent aus diesem Wissen heraus auch handelt, braucht es das Function Calling und Werkzeuge. Und damit Wissensbasis wie Werkzeuge überhaupt an Ihre Systeme andocken, sorgt die technische Integration und Schnittstellenanbindung. Zusammen ergeben sie einen Agenten, der weiß, wovon er spricht, und danach das Richtige tut.
Kurz-Check: Ist Ihr Wissen RAG-tauglich?
- Liegen die relevanten Informationen digital und durchsuchbar vor?
- Gibt es je Thema eine eindeutige, aktuelle Fassung – ohne Widersprüche?
- Ist geklärt, wer welche Inhalte sehen darf?
- Existiert eine Person, die die Wissensbasis pflegt und veraltete Stände entfernt?
- Ist absehbar, wie oft sich das Wissen ändert, damit die Aktualisierung planbar ist?
Je mehr Ja, desto verlässlicher wird der Agent. Jedes Nein ist kein Ausschluss, aber ein Punkt für die Vorbereitung.
Häufige Fragen zu RAG und Wissensanbindung
Was bedeutet RAG?
RAG steht für retrieval-augmented generation, sinngemäß „Erzeugung mit vorgeschaltetem Nachschlagen“. Der Agent sucht zu einer Anfrage zuerst die passenden Ausschnitte aus einer Wissensbasis heraus und formuliert seine Antwort dann gestützt auf diese Belege. So antwortet er nachprüfbar aus Ihren Quellen, statt sich allein auf das allgemeine Wissen des Sprachmodells zu verlassen.
Fließen unsere Dokumente in das KI-Modell ein?
Bei RAG nicht. Ihre Dokumente bleiben in Ihrer Wissensbasis und werden dem Modell nur für die jeweilige Anfrage vorgelegt – sie werden nicht Teil des Modells und bei seriösen Geschäftsangeboten auch nicht zum Training fremder Modelle verwendet. Serverstandort, Trainingsausschluss und Auftragsverarbeitung sollten Sie sich dennoch vertraglich zusichern lassen.
Muss unsere Dokumentation perfekt sein, damit RAG funktioniert?
Perfekt nicht, aber ordentlich. Entscheidend ist, dass die Informationen digital, auffindbar und je Thema eindeutig sind. Veraltete oder widersprüchliche Quellen sind das größte Risiko, weil der Agent daraus falsche Auskünfte ziehen kann. Ein überschaubarer Aufräumschritt vor dem Start ist meist wertvoller als jede technische Feinjustierung.
Was ist der Unterschied zwischen RAG und dem Anlernen eines Modells?
Beim Anlernen (Training) verändert man das Modell selbst, damit es Wissen dauerhaft aufnimmt – das ist aufwändig, schlecht aktuell zu halten und wenig nachvollziehbar. RAG lässt das Modell unangetastet und reicht ihm das Wissen bei jeder Anfrage frisch aus einer pflegbaren Wissensbasis. Für firmenspezifisches, sich änderndes Wissen ist RAG deshalb in aller Regel der bessere und günstigere Weg.