Was ist ein Token und wie funktioniert die Tokenisierung?
Große Sprachmodelle (LLMs) wie GPT-4o, Claude oder Gemini verarbeiten Texte nicht Buchstabe für Buchstabe oder Wort für Wort, sondern in sogenannten Tokens. Bei der Tokenisierung zerlegt ein Algorithmus (der Tokenizer) eingehenden Text in handliche Bruchstücke – häufig ganze Wörter, Wortstämme oder Silben. Im Englischen entspricht ein Token im Schnitt etwa 0,75 Wörtern (bzw. 1.000 Tokens ≈ 750 Wörter). In der deutschen Sprache mit ihren langen Komposita und Umlauten liegt der Schnitt typischerweise bei etwa 1 bis 1,5 Tokens pro Wort.
Input-Tokens vs. Output-Tokens
Bei der Nutzung von KI wird grundsätzlich zwischen zwei Arten von Tokens unterschieden:
- Input-Tokens (Prompt-Tokens): Alle Informationen, die an das Modell übermittelt werden – dazu zählen deine Nutzeranfrage (Prompt), System-Prompts, der bisherige Chatverlauf sowie hochgeladene Dokumente oder RAG-Kontexte.
- Output-Tokens (Completion-Tokens): Die Antwort, die das KI-Modell generiert und an den Nutzer zurückgibt.
Warum sind Tokens für Unternehmen und Abrechnung wichtig?
In den meisten KI-Systemen und Cloud-APIs bildet das verbrauchte Token-Volumen die Basis für Kosten und Rechenressourcen. Bei mulios ist eine faire und professionelle Token-Nutzung in den monatlichen Tarifen (Everyday und Agentic) bereits vollständig enthalten. So können Teams unbesorgt recherchieren, Dokumente analysieren und Workflows ausführen, ohne ständig auf den Token-Zähler achten zu müssen.
Kontextfenster (Context Window)
Jedes KI-Modell besitzt ein maximales Kontextfenster, das in Tokens gemessen wird (z. B. 128k bis 2M Tokens). Es bestimmt, wie viele Tokens das Modell gleichzeitig im „Arbeitsgedächtnis“ halten kann. Ein großes Kontextfenster ermöglicht es, umfangreiche Handbücher, ganze Verträge oder mehrstündige Meeting-Transkripte in einem einzigen Schritt zu analysieren.