Wie LLMs tatsächlich funktionieren

Ein Large Language Model ist ein neuronales Netz, das darauf trainiert wurde, das nächste Token in einer Sequenz vorherzusagen. Es wandelt Text in numerische Vektoren um, nutzt Attention, damit jedes Token Kontext von den anderen sammeln kann, und generiert die Ausgabe Token für Token durch Sampling aus einer Wahrscheinlichkeitsverteilung über sein Vokabular. Dieser eine Mechanismus – ein Token vorhersagen, anhängen, das nächste vorhersagen – ist der gesamte Motor hinter ChatGPT, GitHub Copilot, Claude und Gemini. Alles andere ist Skalierung, Trainingsverfahren und Engineering darüber hinaus.

Wer diese Werkzeuge täglich nutzt, ohne je einen Blick unter die Haube geworfen zu haben, wird festgestellt haben: selbstsichere falsche Antworten, ein Chat, der „vergisst”, wie er begann, völlig unterschiedliche Ausgaben bei leicht umformuliertem Prompt, die Unfähigkeit, die Buchstaben in „Erdbeere” zu zählen. Das sind keine zufälligen Eigenheiten. Jede einzelne ergibt sich direkt aus der Funktionsweise. Dieser Artikel vermittelt ein präzises mentales Modell dieser Mechanismen: Tokens und Embeddings, die Attention- und Feed-Forward-Schichten des Transformers, die drei Trainingsphasen, wie die Generierung tatsächlich Text sampelt – und eine gezielte Auseinandersetzung mit den Missverständnissen, die das Wort „tatsächlich” im Titel korrigieren soll.

Was ein LLM tatsächlich ist: Next-Token-Prediction

Im Kern löst ein Large Language Model immer wieder dasselbe eng gefasste Problem: Gegeben eine Sequenz von Tokens, welches Token kommt als nächstes? Es formuliert dies als Klassifikationsproblem über sein gesamtes Vokabular – Zehntausende mögliche Tokens – und gibt für jedes eine Wahrscheinlichkeit aus. Das Modell wählt eines aus, hängt es an die Sequenz an und führt den gesamten Vorgang erneut aus. Textgenerierung ist diese Schleife, die so lange läuft, bis eine Abbruchbedingung erfüllt ist.

Diese Umformulierung ist die entscheidende Erkenntnis. „Schreib eine Funktion, die einen Callback debounced” ist kein Befehl, zu dem das Modell eine Antwort nachschlägt. Es ist ein Prompt, den das Modell Token für Token fortsetzt, weil Sequenzen, die wie dieser Prompt aussehen, in seinen Trainingsdaten von Sequenzen gefolgt wurden, die wie funktionierender Code aussehen. Das Modell ist eine Fortsetzungsmaschine, die auf Ihre Eingabe gerichtet ist.

Die Architektur, die dies im großen Maßstab ermöglichte, ist der Transformer, eingeführt im Paper Attention Is All You Need von Vaswani et al. aus dem Jahr 2017. Das „GPT” in ChatGPT steht für Generative Pre-trained Transformer. Vor Transformers verarbeiteten Modelle Text mehr oder weniger von links nach rechts und hatten Schwierigkeiten, weit voneinander entfernte Wörter in einem Satz zu verknüpfen. Attention ermöglichte es einem Modell, jedes Token parallel gegen jedes andere Token abzuwägen – was sowohl die Qualität als auch die Trainingsgeschwindigkeit entscheidend verbesserte.

Tokens und Embeddings: Wie Text zu Zahlen wird

Bevor ein Modell irgendetwas mit Ihrem Prompt anfangen kann, zerlegt es den Text in Tokens – Sub-Wort-Einheiten, weder Wörter noch einzelne Buchstaben – und ordnet jedem Token eine Zahl zu. Ein Token kann ein ganzes Wort sein (" the"), ein Wortfragment ("ing"), ein einzelnes Zeichen oder ein Satzzeichen. Dieser Tokenisierungsschritt ist in der Chat-Oberfläche unsichtbar, erklärt aber eine ganze Klasse von Fehlern.

Da das Modell Sub-Wort-Tokens statt einzelner Buchstaben liest, arbeitet die Aufgabe, Buchstaben in einem Wort zu zählen, gegen die Art und Weise, wie es Text repräsentiert – weshalb Buchstabierzähl- und Rechtschreibaufgaben häufiger scheitern, als die allgemeine Sprachkompetenz des Modells vermuten lässt. Das Modell „sieht” nie die drei r’s in „strawberry”; es sieht ein paar undurchsichtige Integer-IDs, die für Token-Einheiten stehen, wobei die einzelnen Buchstaben verborgen bleiben.

Man kann dies mit OpenAIs Open-Source-Tokenizer tiktoken beobachten:

# pip install tiktoken
import tiktoken

enc = tiktoken.get_encoding("cl100k_base")
ids = enc.encode("strawberry")
print(ids)                       # a short list of integer token IDs
print([enc.decode([i]) for i in ids])  # the sub-word chunks, not letters

Führt man diesen Code aus, erhält man eine Handvoll Integer-IDs, die jeweils zu einem mehrzeichigen Chunk dekodieren – nicht zu zehn einzelnen Buchstaben. Das Modell operiert auf diesen IDs. Das Zählen von Zeichen würde Informationen erfordern, die die Tokenisierung verworfen hat – weshalb das Modell approximiert und dabei häufig Fehler macht.

Jede Token-ID wird dann auf ein Embedding abgebildet: eine lange Liste von Zahlen (ein Vektor), die das Token in einem hochdimensionalen „Wortraum” positioniert. In diesem Raum clustern ähnliche Wörter – cat liegt nahe bei dog, kitten und pet – und die Geometrie kodiert Bedeutung. Die klassische Demonstration stammt aus word2vec (Mikolov et al., 2013), das zeigte, dass Vektorarithmetik Beziehungen erfasst: Grob gesagt gilt biggest − big + small ≈ smallest und Paris − France + Italy ≈ Rome. Diese Vektoren erben auch menschliche Vorurteile aus dem Trainingstext – weshalb doctor − man + woman zu nurse tendieren kann. Embeddings werden während des Trainings erlernt, nicht manuell erstellt.

Im Inneren des Transformers: Attention- und Feed-Forward-Schichten

Ein Transformer ist ein Stapel identischer Schichten, die jeweils zwei Aufgaben nacheinander erfüllen: einen Attention-Schritt, bei dem Tokens Kontext von anderen Tokens sammeln, und einen Feed-Forward-Schritt, bei dem das Modell in seinen Gewichten gespeichertes Wissen auf jedes Token einzeln anwendet. Ein Frontier-Modell stapelt Dutzende dieser Schichten und verfeinert die Repräsentation jedes Tokens bei jeder weiteren Schicht ein wenig mehr. Frühe Schichten verarbeiten lokale Strukturen wie Grammatik und Mehrdeutigkeit; spätere Schichten verfolgen übergeordnete Bedeutungen – wer was mit wem getan hat und worum es in einem Abschnitt geht.

Attention funktioniert wie ein Vermittlungsdienst. Für jedes Token erzeugt das Modell einen Query-Vektor („Wonach suche ich?”) und einen Key-Vektor („Was biete ich an?”). Es vergleicht jeden Query mit jedem Key, und wo sie übereinstimmen, fließen Informationen zwischen diesen Tokens. Im Satz „When John gave the book to Mary, she thanked him” ist Attention der Mechanismus, der „she” mit „Mary” und „him” mit „John” verknüpft, damit spätere Schichten dies nutzen können. Eine einzelne Schicht führt viele solcher Attention-Operationen – sogenannte Heads – parallel aus, wobei jeder Head lernt, eine andere Art von Beziehung zu verfolgen.

Der Feed-Forward-Schritt ist der Ort, an dem erlernte Fakten gespeichert sind. Nachdem Attention den relevanten Kontext gesammelt hat, verarbeitet das Feed-Forward-Netzwerk jedes Token eigenständig und transformiert es auf Basis von Mustern, die während des Trainings aufgenommen wurden. Die klare Arbeitsteilung: Attention ruft Informationen aus dem vorliegenden Prompt ab, während Feed-Forward-Schichten Informationen liefern, die aus dem Trainingskorpus gelernt wurden. Wenn das Modell „The capital of Poland is” mit „Warsaw” fortsetzt, stammt dieses Wissen aus den Feed-Forward-Gewichten, nicht aus irgendetwas in Ihrem Prompt.

Für die lineare Algebra und die genauen Gleichungen hinter Attention ist das originale Transformer-Paper die primäre Quelle. Das mentale Modell – abgleichen, Kontext sammeln, dann gespeichertes Wissen anwenden, über viele Schichten wiederholt – reicht aus, um das Verhalten zu verstehen.

Wie LLMs trainiert werden: Pre-Training, Fine-Tuning und RLHF

Das Training verläuft in drei Phasen: selbstüberwachtes Pre-Training, bei dem das nächste Wort im normalen Text sein eigenes Label ist; Instruction Fine-Tuning auf von Menschen verfassten Prompt-Antwort-Paaren; und Reinforcement Learning from Human Feedback (RLHF), das die Ausgaben des Modells an menschliche Präferenzen anpasst. Jede Phase erzeugt eine andere Art von Modell.

Pre-Training ist selbstüberwacht: Da das korrekte nächste Wort bereits im Text steht, ist das Trainingssignal kostenlos und praktisch unbegrenzt – jeder Satz im Internet ist ein gelabeltes Beispiel. Das Modell beginnt mit zufälligen Gewichten, macht zunächst schlechte Vorhersagen und verbessert sich über Hunderte von Milliarden Beispielen, indem es seine Gewichte anpasst, um den Vorhersagefehler zu reduzieren (die Mathematik dieser Anpassung ist Backpropagation, anderweitig gut dokumentiert). Das Scaling-Laws-Paper von 2020 (Kaplan et al.) stellte fest, dass die Modellgenauigkeit als Potenzgesetz mit Modellgröße, Trainingsdaten und Rechenleistung steigt – das empirische Ergebnis, das den Bau immer größerer Modelle rechtfertigte.

Ein rein vortrainiertes Modell ist lediglich ein Vervollständiger. Fragt man es „What is your first name?”, könnte es mit „What is your last name?” fortfahren, weil das eine plausible Fortsetzung ist – nicht weil es unkooperativ wäre. Instruction Fine-Tuning und RLHF beheben das. Die Pipeline zur Umwandlung eines Rohmodells in einen Assistenten wurde im InstructGPT-Paper (Ouyang et al., 2022) beschrieben, der Arbeit, die direkt hinter ChatGPT steht, das am 30. November 2022 als öffentliche Research-Preview startete. Die meisten aktuellen Chat-Modelle werden mit einer Variante dieser Pipeline trainiert, obwohl die genauen Rezepte proprietär sind.

Zwei Anmerkungen zu Zahlen: Die häufig zitierten GPT-3-Werte – 175 Milliarden Parameter, 96 Schichten, 12.288-dimensionale Embeddings, ein Vokabular mit 50.257 Tokens – stammen aus dem GPT-3-Paper von 2020 und dienen als konkretes Anschauungsbeispiel, nicht als aktuelle Spezifikation. Frontier-Labs veröffentlichen keine Parameteranzahlen mehr für ihre neuesten Modelle: Es gibt keine offiziellen Parameterzahlen für die aktuelle GPT-5-Serie, Claude Opus/Sonnet/Haiku oder die Gemini-3.x-Linie. Jede Behauptung über „X Billionen Parameter” eines aktuellen Modells sollte als Gerücht betrachtet werden.

Wie Generierung funktioniert: Sampling, Temperatur und warum die Ausgabe probabilistisch ist

Wenn ein LLM Text generiert, führt es die Vorhersageschleife Token für Token aus und sampelt das nächste Token aus der berechneten Wahrscheinlichkeitsverteilung – es gibt nicht einfach „die Antwort” aus. Hier ist die Schleife in Pseudocode:

tokens = tokenize(prompt)
while not done:
    logits = model.forward(tokens)        # one score per vocabulary token
    probs  = softmax(logits / temperature) # convert scores to probabilities
    next_token = sample(probs)             # pick one, weighted by probability
    tokens.append(next_token)
    if next_token == END_OF_TEXT:
        break
output = detokenize(tokens)

Der Parameter temperature steuert, wie die Scores zu Wahrscheinlichkeiten werden. Standardmäßig ist ein LLM probabilistisch, nicht deterministisch: Eine Temperatur über null bedeutet, dass derselbe Prompt unterschiedliche Antworten liefern kann, weil das Modell aus einer Verteilung sampelt, anstatt immer das einzelne wahrscheinlichste Token zu wählen. Bei Temperatur 0 wird das Modell greedy – es wählt immer das Top-Token – was annähernd deterministisch und gut für Code oder Extraktion ist. Höhere Temperaturen glätten die Verteilung, machen Token mit geringerer Wahrscheinlichkeit wahrscheinlicher und die Ausgabe vielfältiger. Der temperature-Parameter ist in der OpenAI-API-Referenz und der Anthropic Messages API-Referenz dokumentiert; beide ermöglichen die Einstellung pro Anfrage.

Das erklärt, warum das erneute Ausführen desselben Prompts in ChatGPT jedes Mal eine andere Antwort liefern kann, und warum „Temperatur auf 0 setzen” der Standardrat ist, wenn reproduzierbare Ausgaben über eine API benötigt werden.

Häufige Missverständnisse über LLMs

Mehrere intuitive Annahmen darüber, wie LLMs funktionieren, sind falsch – und jede falsche Annahme verleitet Entwickler dazu, die Werkzeuge falsch einzusetzen oder ihre Fehler fehlzudeuten. Das Wort „tatsächlich” im Titel dieses Artikels soll diese Missverständnisse korrigieren.

Es ist kein Datenbankabgleich. Ein LLM schlägt keine Antworten in einer Datenbank nach – es hat keine gespeicherte Faktentabelle zum Abrufen; es berechnet bei jedem einzelnen Schritt eine neue Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular, wählt dann ein Token aus und wiederholt den Vorgang. Parameter als „Wissensdatenbank” zu bezeichnen ist irreführend: Gewichte kodieren statistische Regelmäßigkeiten, keine indizierten Datensätze.

Es kennt seine Antwort nicht im Voraus. Das Modell kennt seine Antwort nicht, bevor es sie schreibt: Jedes Token wird auf Basis aller vorherigen Tokens gewählt, sodass das „Denken”, das man sieht, von links nach rechts erzeugt wird – nicht als Ganzes abgerufen. Deshalb kann ein Modell einen selbstsicheren Satz beginnen und sich in eine Sackgasse manövrieren – es wird kein Plan abgelesen, sondern eine Fortsetzung berechnet.

Warum LLMs sich so verhalten, wie sie es tun

Sobald man den Mechanismus versteht, hören die alltäglichen Verhaltensweisen dieser Werkzeuge auf, rätselhaft zu sein. Jede einzelne ist eine direkte Konsequenz der Next-Token-Prediction über gelernte Wahrscheinlichkeiten.

Halluzination. Halluzination ist kein nachträglich aufgesetzter Fehler – es ist das Standardverhalten eines Modells, das darauf optimiert wurde, statistisch plausiblen Text zu erzeugen, und dafür belohnt wird, überzeugend zu klingen, nicht korrekt zu sein. Wenn das Modell kein starkes Signal für eine Tatsache hat, erzeugt es dennoch die plausibelste Fortsetzung – komplett mit selbstsicherem Ton – weil selbstsicherer Text seine Trainingsdaten dominiert. Ein erfundener Funktionsname oder eine nicht existierende Quellenangabe ist das Modell, das genau das tut, wofür es trainiert wurde.

Kontextfenster. Ein Kontextfenster ist die feste Anzahl von Tokens, auf die das Modell gleichzeitig achten kann; alles, was über diese Grenze hinausgeht, ist für das Modell schlicht nicht sichtbar – weshalb ein langer Chat irgendwann „vergisst”, wie er begann. Stand Juni 2026 konvergieren aktuelle Frontier-Modelle auf ein Fenster von etwa einer Million Tokens: Gemini 3.5 Flash verarbeitet 1.048.576 Eingabe-Tokens, Claude Opus 4.8 bietet standardmäßig ein 1M-Token-Fenster, und die GPT-5-Serie bietet über die API ein 1M-Token-Fenster. Groß, aber immer noch begrenzt: Sobald Ihr Gespräch oder Ihre Codebasis es überschreitet, fallen die ältesten Tokens aus dem Sichtfeld des Modells.

Prompt-Sensitivität, Chain-of-Thought und Few-Shot. Die genaue Formulierung Ihres Prompts verschiebt die Wahrscheinlichkeitsverteilung und damit die Antwort, weil die Ausgabe Token für Token aus den vorherigen Tokens berechnet wird. Dieselbe Eigenschaft erklärt, warum Prompting-Techniken funktionieren. Few-Shot-Prompting (das Zeigen von Beispielen) impft den Kontext mit dem Muster, das fortgesetzt werden soll. Chain-of-Thought-Prompting („think step by step”) funktioniert, weil der selbst generierte Text des Modells Teil der Eingabe wird, die es als nächstes liest – die Zwischenschritte fungieren als Arbeitsgedächtnis, auf dem das Modell aufbauen kann, anstatt die endgültige Antwort in einem einzigen Sprung zu erzwingen.

Grounding und RAG. Retrieval-Augmented Generation platziert relevante Dokumente direkt in den Prompt, sodass das Modell Fakten über Attention aus dem vorliegenden Text ziehen kann, anstatt aus seinen verlustbehafteten Feed-Forward-Gewichten. Deshalb ist ein Modell mit Websuche oder Ihren Dokumenten im Kontext bei Spezifika genauer – Sie haben die Last von „es aus dem Training abrufen” auf „es aus dem Prompt lesen” verlagert, was die Architektur weitaus zuverlässiger bewältigt.

Die Frage der „Stochastic Parrots”

Ob Next-Token-Prediction echtes Verstehen oder ausgefeilte Mimikry darstellt, ist eine offene und umstrittene Frage. Die skeptische Sichtweise wurde im Paper On the Dangers of Stochastic Parrots (Bender, Gebru et al., 2021) formuliert, das argumentierte, ein Modell, das Trainingstext nach statistischer Wahrscheinlichkeit zusammensetzt, ohne Verankerung in Bedeutung, sei eher Papagei als Geist. Die Gegenmeinung hält daran fest, dass das ausreichend gute Vorhersagen von Text ein komprimiertes, nutzbares Modell der beschriebenen Welt erfordert. Die Mechanismen in diesem Artikel sind gesichert; diese Interpretation ist es nicht – und man muss sie nicht auflösen, um die Werkzeuge sinnvoll einzusetzen.

Was man braucht, ist das mechanische Modell: Tokens hinein, Attention- und Feed-Forward-Schichten verfeinern sie über viele Transformer-Schichten, eine Wahrscheinlichkeitsverteilung heraus, ein Token nach dem anderen. Wer dieses Bild vor Augen hat, wird beim nächsten Mal, wenn Copilot eine Methode erfindet oder ChatGPT sich nach drei Gesprächsrunden widerspricht, genau wissen, welcher Teil der Maschine dafür verantwortlich ist – und, ebenso nützlich, welche Prompt-Änderung oder welcher Retrieval-Schritt das Problem beheben wird.

FAQs

Was ist der Unterschied zwischen einem Token und einem Wort in einem LLM?

Ein Token ist eine Sub-Wort-Einheit, kein Wort. Der Tokenizer zerlegt Text in Einheiten, die ein ganzes Wort, ein Wortfragment wie 'ing', ein einzelnes Zeichen oder ein Satzzeichen sein können, und ordnet jedem eine Integer-ID zu. Ein gebräuchliches Wort kann ein einzelnes Token sein, während ein selteneres Wort in mehrere aufgeteilt wird. Das Modell operiert ausschließlich auf diesen Token-IDs, nie auf rohen Wörtern oder Buchstaben – weshalb zeichenbasierte Aufgaben wie das Zählen von Buchstaben gegen die Art und Weise arbeiten, wie es Text repräsentiert.

Verbessert ein größeres Kontextfenster die Genauigkeit eines LLMs?

Nicht direkt. Ein größeres Kontextfenster ermöglicht es dem Modell lediglich, mehr Tokens gleichzeitig zu berücksichtigen; es macht das Modell nicht besser im Schlussfolgern oder Erinnern. Die Qualität kann dennoch abnehmen, wenn relevante Informationen weit von der Stelle entfernt liegen, an der sie benötigt werden, und zu viel irrelevanter Text im Prompt kann das Signal verwässern. Der Vorteil besteht darin, dass weniger frühe Tokens außerhalb des Fensters fallen, sodass das Modell bei langen Gesprächen oder Dokumenten weniger „vergisst".

Wenn ich die Temperatur auf 0 setze, liefert ein LLM immer identische Ausgaben?

Temperatur 0 macht die Generierung greedy und wählt immer das Token mit der höchsten Wahrscheinlichkeit, was für einen gegebenen Modell-Prompt annähernd deterministisch ist. In der Praxis ist exakte Reproduzierbarkeit über API-Aufrufe hinweg nicht immer garantiert, aufgrund von Faktoren wie Gleitkomma-Nichtdeterminismus auf paralleler Hardware, Modellversionsänderungen und providerseitigem Routing. Temperatur 0 ist die richtige Einstellung, wenn konsistente Ausgaben für Code oder Extraktion benötigt werden, sollte aber als annähernd deterministisch und nicht als harte Garantie betrachtet werden.

Warum reduziert Retrieval-Augmented Generation Halluzinationen?

RAG platziert relevante Dokumente direkt in den Prompt, sodass das Modell Fakten über Attention aus dem vorliegenden Text ziehen kann, anstatt aus seinen verlustbehafteten Feed-Forward-Gewichten. Die Architektur ruft Informationen aus dem Prompt weitaus zuverlässiger ab, als sie diffuse, während des Trainings gelernte Muster abruft. Dies verlagert die Aufgabe von 'diese Tatsache erinnern' zu 'diese Tatsache lesen' – weshalb ein Modell mit Ihren Dokumenten oder Webergebnissen im Kontext Spezifika genauer beantwortet, obwohl es das Gelesene immer noch falsch interpretieren oder falsch anwenden kann.