Im Herzen jedes KI-Agenten steckt ein Sprachmodell – im Fachjargon ein Large Language Model (LLM). Es ist der Baustein, der Sprache versteht und erzeugt, und damit die Voraussetzung dafür, dass ein Agent Anliegen einordnen, Texte verfassen und Anweisungen befolgen kann. Wer verstehen will, warum Agenten manches mühelos beherrschen und an anderem prinzipiell scheitern, muss wissen, wie ein Sprachmodell arbeitet. Dieser Artikel erklärt das ohne Formeln – und ohne Mythen.
Er ist Teil unseres Ratgebers Wie funktioniert ein KI-Agent? und vertieft dessen ersten Baustein. Die begriffliche Einordnung, was einen Agenten überhaupt ausmacht, liefert ergänzend der Artikel Was sind autonome KI-Agenten?.
Was ein Sprachmodell im Kern tut: das nächste Wort vorhersagen
So beeindruckend die Ergebnisse wirken – die Grundaufgabe eines Sprachmodells ist erstaunlich schlicht. Es zerlegt Text in kleine Bausteine, sogenannte Token (meist Wortteile), und sagt für eine gegebene Folge das jeweils wahrscheinlichste nächste Token voraus. Wort für Wort entsteht so eine Antwort, indem das Modell immer wieder fragt: Was folgt hier mit der höchsten Wahrscheinlichkeit?
Diese Wahrscheinlichkeiten hat das Modell nicht auswendig gelernt, sondern in Form von Mustern aus riesigen Textmengen abgeleitet. Dass aus einer so einfachen Mechanik flüssige, oft treffende Sprache entsteht, ist der eigentliche Durchbruch – aber es bleibt eine statistische Vorhersage, kein Nachschlagen in einem Faktenspeicher. Man kann sich das Modell als ein riesiges Netz gelernter Zusammenhänge vorstellen: Es hat nicht die Texte selbst gespeichert, sondern die Regelmäßigkeiten dahinter, und fügt daraus für jede neue Anfrage eine passende Antwort zusammen.
Wie ein Sprachmodell lernt: Training in zwei Stufen
Ein Sprachmodell entsteht typischerweise in zwei Phasen. In der ersten, dem Vortraining, verarbeitet es sehr große Mengen an Text und lernt dabei allein durch die Vorhersage des nächsten Tokens die Struktur von Sprache: Grammatik, Bedeutungszusammenhänge, Fakten, Schreibstile. In der zweiten Phase wird das Modell verfeinert, damit es Anweisungen hilfreich befolgt und sich an gewünschte Umgangsformen hält – unter anderem, indem Menschen gute von schlechten Antworten unterscheiden und das Modell in die richtige Richtung lenken.
Wichtig für die Praxis: Das Wissen eines Modells ist mit dem Ende seines Trainings eingefroren. Es kennt keine Ereignisse, die danach passiert sind, und keine Informationen aus Ihrem Unternehmen – es sei denn, man reicht ihm diese gezielt nach. Genau dafür sorgt beim Agenten die Wissensanbindung.
Warum es Sprache versteht, ohne die Welt zu verstehen
Ein Sprachmodell wirkt oft, als „verstünde“ es ein Thema. Tatsächlich hat es aus Unmengen von Texten gelernt, welche Formulierungen in welchem Zusammenhang plausibel sind. Das reicht erstaunlich weit: Zusammenfassen, Umformulieren, Übersetzen, das Erkennen von Absichten in einer Kundenmail. Aber es ist ein Verständnis auf sprachlicher Ebene, kein Wissen über die Welt und kein bewusstes Nachdenken. Das Modell hat kein Konzept von „wahr“ oder „falsch“, sondern von „passt sprachlich“ oder „passt nicht“.
Diese Unterscheidung ist keine Haarspalterei. Sie erklärt, warum ein Modell eine falsche Auskunft genauso überzeugend formulieren kann wie eine richtige – und warum Agenten Guardrails brauchen, um verlässlich zu bleiben.
Das Kontextfenster: das Kurzzeitgedächtnis des Modells
Ein Sprachmodell betrachtet immer nur den Text, den man ihm gerade mitgibt – die Frage, die bisherige Unterhaltung, angehängte Dokumente. Diese Menge ist begrenzt und heißt Kontextfenster. Was hineinpasst, kann das Modell berücksichtigen; was nicht hineinpasst oder aus einer früheren, abgeschlossenen Sitzung stammt, ist für das Modell schlicht nicht vorhanden. Ein Modell hat von sich aus kein dauerhaftes Gedächtnis über einzelne Aufrufe hinweg.
Für den Agentenbau folgt daraus zweierlei: Erstens müssen relevante Informationen aktiv in den Kontext geholt werden – die Aufgabe der Wissensanbindung. Zweitens ist es keine gute Idee, einem Modell wahllos alles zu geben; gefragt ist der passende Ausschnitt, nicht die volle Aktenmenge. Je gezielter dieser Ausschnitt ist, desto genauer und wirtschaftlicher arbeitet der Agent – denn jeder Aufruf verarbeitet nur eine begrenzte, sorgfältig zusammengestellte Menge an Text.
Was ein Sprachmodell nicht ist
Viele Fehlerwartungen an KI-Agenten entstehen aus einem falschen Bild vom Sprachmodell. Deshalb die Klarstellung, was es nicht ist:
- keine Datenbank: Es speichert keine exakten Datensätze, die man verlässlich abrufen kann, sondern Muster. Präzise Fakten gehören in eine angebundene Wissensquelle.
- keine aktuelle Nachrichtenquelle: Ohne Anbindung endet sein Wissen beim Trainingsstand. Aktuelles muss von außen kommen.
- kein Taschenrechner: Es sagt plausible Ziffern voraus, rechnet aber nicht zuverlässig. Für Zahlen nutzt ein Agent besser ein echtes Werkzeug.
- nicht deterministisch: Dieselbe Frage kann unterschiedlich beantwortet werden, weil das Modell aus wahrscheinlichen Fortsetzungen auswählt. Für Konstanz sorgt man über die Einstellungen und die Prozessgestaltung, nicht durch Hoffnung.
Was das für KI-Agenten bedeutet
Ein Sprachmodell allein ist ein brillanter Sprachverarbeiter mit Löchern: kein aktuelles Fachwissen, keine Handlungsfähigkeit, keine Garantie auf Korrektheit. Ein KI-Agent schließt diese Löcher gezielt. Das fehlende Fachwissen liefert die Wissensanbindung über RAG. Die fehlende Handlungsfähigkeit stellt das Function Calling her, über das der Agent Werkzeuge nutzt. Und die fehlende Korrektheitsgarantie fängt man mit den Maßnahmen aus dem Artikel Halluzinationen und Guardrails ab. So wird aus dem Sprachmodell ein verlässlicher digitaler Mitarbeiter – dessen prinzipielle Grenzen man dennoch kennen sollte.
Kurz gemerkt: das Sprachmodell in fünf Punkten
- Es sagt Wort für Wort das wahrscheinlichste nächste Token voraus – eine statistische Vorhersage, kein Faktenabruf.
- Sein Wissen ist mit dem Trainingsende eingefroren und kennt weder Aktuelles noch Ihre internen Daten.
- Es versteht Sprache, nicht die Welt – „richtig klingend“ ist nicht dasselbe wie „richtig“.
- Das Kontextfenster ist sein begrenztes Kurzzeitgedächtnis; darüber hinaus gibt es kein automatisches Erinnern.
- Erst Wissensanbindung, Werkzeuge und Guardrails machen daraus einen brauchbaren Agenten.
Häufige Fragen zu Sprachmodellen
Ist ein Sprachmodell dasselbe wie ChatGPT?
Nicht ganz. Das Sprachmodell ist der Kern – die trainierte Technik, die Text versteht und erzeugt. Ein Produkt wie ein Chatbot ist eine Anwendung darum herum, die dieses Modell nutzbar macht. Ein KI-Agent geht noch einen Schritt weiter, indem er das Sprachmodell mit Wissensanbindung, Werkzeugen und einer Steuerungsschleife kombiniert, sodass es nicht nur antwortet, sondern Aufgaben bearbeitet.
Woher weiß ein Sprachmodell Dinge?
Aus den Mustern, die es beim Training aus großen Textmengen abgeleitet hat. Dieses Wissen ist allgemein, nicht immer aktuell und nicht auf Ihr Unternehmen bezogen. Für verlässliche und firmenspezifische Auskünfte wird dem Modell im Agenten gezielt eine geprüfte Wissensquelle zur Seite gestellt, statt sich auf sein allgemeines Trainingswissen zu verlassen.
Warum gibt ein Sprachmodell manchmal falsche Antworten?
Weil es Sprache nach Wahrscheinlichkeit fortsetzt und kein Konzept von Wahrheit besitzt. Fehlt ihm eine Information, erzeugt es leicht eine plausibel klingende, aber erfundene Aussage – das nennt man Halluzination. Deshalb bindet ein seriös gebauter Agent das Modell an geprüfte Quellen und sichert wichtige Ergebnisse über Freigaben ab, statt der reinen Modellantwort blind zu vertrauen.
Kann ein Sprachmodell rechnen?
Nur eingeschränkt. Es sagt auch bei Rechenaufgaben wahrscheinliche Ziffern voraus, was bei einfachen Fällen oft stimmt, bei größeren Zahlen aber unzuverlässig wird. Ein gut gebauter Agent überlässt exakte Berechnungen deshalb einem echten Werkzeug, etwa einer Rechenfunktion, und nutzt das Sprachmodell nur, um die Aufgabe zu verstehen und das Ergebnis einzuordnen.