Wie funktionieren LLMs? Tokenisierung und Generierung

Ein Sprachmodell versteht Sprache nicht so, wie du und ich sie verstehen. Es macht einen überzeugenden Eindruck. Es reagiert passend, erklärt Metaphern und kann sogar einen schlechten Witz erkennen. Unter der Haube arbeitet trotzdem keine kleine Person mit Wörterbuch, sondern eine gewaltige Rechenmaschine.

Schauen wir unter die Haube. Dabei lernst du nicht nur, wie ein Large Language Model funktioniert. Du wirst auch besser darin, ihm Aufgaben zu geben – und seine Antworten nicht mit Wissen zu verwechseln.

Tokenisierung: Sprache wird in Einheiten zerlegt

Für dich besteht ein Text aus Buchstaben, Wörtern, Sätzen und Absätzen. Ein Sprachmodell verarbeitet zunächst Token: nummerierte Textbausteine, die je nach Tokenizer ein ganzes Wort, einen Wortteil, ein Satzzeichen oder sogar ein einzelnes Zeichen umfassen können.

Nehmen wir diesen deutschen Satz:

Dieser Teil des Prozesses ist leicht zu erklären.

Mit OpenAIs o200k_base-Tokenizer wird er in zehn Token zerlegt:

["Dieser", " Teil", " des", " Proz", "esses", " ist", " leicht", " zu", " erklären", "."]

Die Leerzeichen in einigen Elementen gehören zum jeweiligen Token. Mit einem anderen Modell oder Tokenizer kann die Aufteilung anders aussehen. Genau deshalb ist die bekannte Faustregel „ein Token entspricht ungefähr vier Zeichen“ nur für englischen Text halbwegs brauchbar. Für Deutsch, Französisch, Tschechisch oder Ukrainisch kann das Verhältnis deutlich abweichen.

Wenn du selbst experimentieren möchtest, kannst du den OpenAI Tokenizer verwenden. OpenAI erklärt außerdem in seiner Einführung zu Token, dass Leerzeichen, Großschreibung, Wortteile und Satzzeichen die Aufteilung beeinflussen.

Was solltest du dir merken?

Ein Token ist nicht dasselbe wie ein Wort.
Die Tokenisierung hängt vom konkreten Tokenizer und von der exakten Zeichenfolge ab.
Großschreibung, ein führendes Leerzeichen oder ein Sonderzeichen können andere Token erzeugen.
Lange oder in den Trainingsdaten seltene Wortformen werden häufiger in mehrere Teile zerlegt.
Token bestimmen Kontextlimit, Verarbeitungsaufwand und bei APIs oft auch den Preis.

Eine wichtige Korrektur zur üblichen Erklärung: Der Tokenizer versteht noch keine Wortbedeutung. Das deutsche Wort „Bank“ kann ein Geldinstitut oder eine Sitzbank meinen. Bei identischer Schreibweise und identischer Position wird es deshalb nicht allein wegen der Bedeutung anders tokenisiert. Erst spätere Schichten des Modells nutzen den Satzkontext, um unterschiedliche Repräsentationen aufzubauen.

Tokenisierung ist also keine Übersetzung von Sprache in Bedeutung. Sie ist eher das Zerschneiden des Rohmaterials in nummerierte Bauteile.

Embeddings: Aus IDs werden Positionen in einem Vektorraum

Eine Token-ID ist zunächst nur ein Index. Die Zahl 117759 bedeutet nicht von sich aus „Dieser“. Damit ein neuronales Netz damit arbeiten kann, ordnet es jedem Token einen Vektor zu: eine Liste vieler Zahlen. Diese Repräsentation heißt Embedding.

Warum eine Liste statt einer einzigen Zahl? Mit einer einzelnen alphabetischen Liste läge „Lampenschirm“ vielleicht näher an „Lamm“ als an „Lampe“. Das wäre für Sprache ziemlich nutzlos. In einem mehrdimensionalen Raum können Repräsentationen so gelernt werden, dass ähnliche Verwendungen ähnliche Muster erhalten.

Für ein Gedankenexperiment reichen zwei erfundene Achsen:

Wie konkret oder abstrakt ist etwas?
Tritt es häufiger in positivem oder negativem Kontext auf?

Dann könnten „Lampe“ und „Lampenschirm“ näher beieinanderliegen als „Lampe“ und „Hoffnung“. Tatsächliche Modelle bekommen solche Achsen allerdings nicht von Menschen beschriftet. Sie lernen während des Trainings viele numerische Merkmale, weil diese helfen, Vorhersagefehler zu reduzieren. Eine einzelne Dimension heißt deshalb nicht sauber „Konkretheit“ oder „Freundlichkeit“.

Und noch etwas ist entscheidend: Das anfängliche Token-Embedding ist nicht die fertige Bedeutung. Dasselbe Token für „Bank“ startet mit derselben gelernten Grundrepräsentation. Während es die Transformer-Schichten durchläuft, wird diese Repräsentation jedoch durch die umgebenden Token verändert. In „Die Bank erhöhte die Zinsen“ entsteht ein anderes kontextuelles Muster als in „Wir saßen auf der Bank im Park“.

Google unterscheidet in seiner Einführung zu Embeddings deshalb zwischen statischen und kontextuellen Repräsentationen. Das ist näher an der technischen Realität als die Vorstellung, jedes Wort besitze einen festen Punkt mit einer menschlich lesbaren Bedeutung.

Die Zahl der Dimensionen hängt vom Modell und von der jeweiligen Schicht ab. Es gibt keine allgemeine Regel, nach der moderne LLMs jedem Token exakt 12.000 „Bedeutungsparameter“ zuweisen.

Warum sind GPUs für diese Arbeit so nützlich? Nicht weil sie „Räume sehen“, sondern weil sie sehr viele Matrix- und Vektoroperationen parallel ausführen können. Genau daraus besteht ein großer Teil der Rechnung beim Training und bei der Nutzung eines Modells.

Transformer und Attention: Welche Teile des Kontexts zählen?

Ein Vektor allein löst das Sprachproblem nicht. Das Modell muss Beziehungen zwischen Token berücksichtigen.

Nehmen wir diesen Satz:

Der Junge, dessen Großmutter vorgestern ein Harley-Davidson-Motorrad gekauft hat, fährt zur Schule auf dem Hügel.

Wer fährt? Der Junge. Was wurde gekauft? Das Motorrad. Wer hat gekauft? Die Großmutter. Diese Beziehungen liegen nicht immer zwischen benachbarten Wörtern.

Hier hilft Self-Attention. Für jedes Token erzeugt der Transformer Abfragen, Schlüssel und Werte – meist als query, key und value bezeichnet. Vereinfacht gesagt berechnet er, wie stark andere Positionen für die aktuelle Verarbeitung gewichtet werden sollen. Mehrere Attention-Heads können gleichzeitig unterschiedliche Beziehungsmuster lernen.

Das 2017 veröffentlichte Paper Attention Is All You Need war nicht die Erfindung jeglicher Aufmerksamkeit in neuronalen Netzen. Sein Durchbruch bestand darin, eine Transformer-Architektur vorzuschlagen, die auf Rekurrenz und Faltungen verzichtete und Sequenzen mit Attention wesentlich paralleler verarbeitete.

Ein Transformer „liest“ den Satz auch nicht wie ein Redakteur. Er berechnet Gewichtungen und transformiert Vektoren. Manche Attention-Muster lassen sich im Nachhinein sinnvoll interpretieren, aber ein hohes Gewicht ist noch kein vollständiger Beweis dafür, wie das Modell zu einer Antwort gelangt ist.

Das nützliche mentale Modell lautet:

Tokenisierung liefert Textbausteine.
Embeddings machen daraus numerische Repräsentationen.
Positionsinformationen zeigen, wo ein Baustein im Text steht.
Self-Attention mischt Informationen aus dem relevanten Kontext in jede Repräsentation.
Viele Schichten wiederholen diesen Vorgang und bauen immer reichhaltigere kontextuelle Muster auf.

Generierung: Eine Verteilung, dann eine Auswahl

Nach der Verarbeitung des bisherigen Kontexts berechnet ein autoregressives Sprachmodell Wahrscheinlichkeiten für das nächste Token. Es erhält also nicht sofort eine fertige Antwort, sondern eine Verteilung über viele mögliche Fortsetzungen.

Für den Anfang

Eine gute Werbekampagne ist …

könnten zum Beispiel folgende Fortsetzungen plausibel sein:

„… eine, die verkauft.“
„… eine Investition, keine Ausgabe.“
„… die Grundlage für nachhaltiges Wachstum.“
„… nur so gut wie das Problem, das sie löst.“

Diese Liste ist ein didaktisches Beispiel, kein aus einem konkreten Modell ausgelesener Messwert. In einem echten System entscheidet eine Decoding- oder Sampling-Strategie, welches Token aus der berechneten Verteilung gewählt wird. Danach wird das neue Token an den Kontext angehängt, und die Rechnung beginnt erneut. Token für Token entsteht Text.

Zwei häufige Parameter sind:

Temperatur verändert die Form der Wahrscheinlichkeitsverteilung. Eine niedrigere Temperatur konzentriert die Auswahl stärker auf wahrscheinliche Token; eine höhere macht weniger wahrscheinliche Optionen zugänglicher. Sie fügt dem Modell kein Wissen und keine Kreativität hinzu. Sie verändert die Zufälligkeit der Auswahl.
top_p bezeichnet Nucleus Sampling. Dabei dürfen nur Token aus der kleinsten Kandidatenmenge berücksichtigt werden, deren kumulierte Wahrscheinlichkeit den gewählten Schwellenwert erreicht. Bei top_p: 0.9 bleibt also eine Menge übrig, die zusammen mindestens 90 Prozent Wahrscheinlichkeit abdeckt.

OpenAI beschreibt beide Parameter in der API-Referenz. Die Oberfläche von ChatGPT zeigt sie normalen Nutzern nicht unbedingt an. Personas, Schreibstile oder Reasoning-Einstellungen sind keine bloßen Ersatznamen für Temperatur und top_p; sie können auf andere Systemanweisungen, Modelle und Verarbeitungswege zurückgehen.

Was bedeutet das für gute Prompts?

Wenn du verstehst, dass im Kern Schritt für Schritt Fortsetzungen erzeugt werden, wirkt Prompting weniger wie Gedankenlesen und mehr wie ein gutes Briefing.

Schreibst du nur:

Erstelle eine Markenstrategie.

fehlt fast alles, was eine spezifische Antwort von einer generischen unterscheidet. Das Modell landet mit hoher Wahrscheinlichkeit bei vertrauten Überschriften und marktüblichen Floskeln.

Gibst du stattdessen einen konkreten Ausgangspunkt, verschiebt sich der relevante Kontext:

Du bist Markenstratege. Du arbeitest für ein B2B-Softwareunternehmen in Deutschland, das nach einer neuen Positionierung 20 Prozent seiner qualifizierten Leads verloren hat. Analysiere zuerst drei plausible Ursachen. Stelle Rückfragen, wenn dir Daten zu Zielgruppe, Kaufprozess oder Wettbewerb fehlen. Erstelle noch keine fertige Strategie.

Das Modell ist nicht plötzlich klüger geworden. Es hat aber mehr Informationen darüber, welche Fortsetzungen zur Aufgabe passen.

Dasselbe gilt für den Stil:

Ton: sachlich und präzise, mit trockener Ironie im Hintergrund. Keine Coaching-Sprache, keine Ausrufezeichen und keine Formulierung „in einer sich schnell verändernden Welt“.

Ein Beispieltext ist dabei meist stärker als eine lange Liste abstrakter Adjektive. Er zeigt dem Modell Rhythmus, Wortwahl und Absatzlänge direkt im Kontext.

Grenzen sind wichtiger als Zaubersprüche

Wenn ein Modell etwas nicht weiß, garantiert die Anweisung „Erfinde nichts“ noch keine korrekte Antwort. Ein Sprachmodell kann weiterhin eine plausible Quelle, Zahl oder Definition erzeugen. Gute Grenzen reduzieren das Risiko, beseitigen es aber nicht.

Nützlicher ist eine überprüfbare Arbeitsanweisung:

Verwende ausschließlich die beigefügten Quellen. Belege jede Zahl mit Dateiname und Abschnitt. Wenn die Quellen nicht ausreichen, nenne die fehlende Information ausdrücklich und leite keine Antwort aus Vermutungen ab.

Und danach gilt weiterhin: Quelle öffnen, Behauptung prüfen, Verantwortung übernehmen.

Moderne KI-Produkte bestehen außerdem nicht nur aus einem nackten Sprachmodell. Systemanweisungen, Retrieval, Websuche, Werkzeuge, Sicherheitsregeln und zusätzliche Reasoning-Schritte können das Ergebnis verändern. Das zugrunde liegende Modell generiert weiterhin Token, doch das gesamte Produkt kann vor, während und nach dieser Generierung weitere Arbeit leisten.

In der Praxis ähnelt ein gutes Briefing deshalb der Anleitung für einen sehr schnellen, sehr belesenen und manchmal erschreckend selbstbewussten Mitarbeiter:

Was ist die Aufgabe?
Welcher Kontext ist relevant?
Welche Quellen sind erlaubt?
Welche Form soll das Ergebnis haben?
Wo soll das System stoppen und nachfragen?
Wer prüft das Ergebnis?

Kein künstlicher Geist, sondern ein nützliches Modell

Die Geschichte der KI ist keine Geschichte vom plötzlichen Erwachen einer Maschine. Sie handelt davon, Komplexität in eine Form zu bringen, die sich berechnen, testen und verbessern lässt.

Von einfachen künstlichen Neuronen über IF-THEN-Regeln, statistische Modelle und Backpropagation bis zu Transformern und multimodalen Systemen hat jede Phase etwas versprochen und an etwas anderem versagt. Viele Ideen landeten nicht im Papierkorb, sondern im Regal mit der Aufschrift „zu früh“.

Heutige Sprachmodelle sind nicht das Ende dieser Geschichte. Viele ältere Ideen funktionieren erstmals gleichzeitig: große Datenmengen, geeignete Architekturen, leistungsfähige Hardware und Training in enormem Maßstab. Statistik beginnt dadurch wie Kompetenz auszusehen.

Für Marketing ist die Unterscheidung wichtig. Ein LLM hat keine Markenabsicht, keine Ambition und keine eigene Vorstellung davon, warum eine Botschaft gesagt werden sollte. Es ist außerordentlich gut darin, Muster zu reproduzieren und neu zu kombinieren: Stile, Erzählformen, Argumentationsschemata, Klischees und kulturelle Abkürzungen.

Das verschiebt die Grenze zwischen Denken und Ausführen. Wo früher jemand zwanzig Varianten von Hand schreiben musste, kann das System sie in Sekunden erzeugen. Dadurch wird die Entscheidung nicht unwichtiger, sondern sichtbarer: Welche Variante ist wahr? Welche passt zur Marke? Welche sollten wir überhaupt veröffentlichen?

Am Ende wartet kein künstlicher Kollege mit einer Vision. Dort wartet etwas Nüchterneres und oft Nützlicheres: ein statistisches Echo der Texte, Bilder, Daten und Entscheidungen, die Menschen erzeugt haben.

Ein Echo kann erstaunlich gut antworten. Vorausgesetzt, du stellst eine sinnvolle Frage – und weißt, wie du die Antwort prüfen musst.

Wie funktionieren LLMs? Tokenisierung, Vektoren und Generierung