Token
Simpele Uitleg
Een token is het kleinste stukje tekst dat AI begrijpt - denk aan het als "woord-achtige stukjes". Ongeveer 1 woord = 1.3 tokens. Waarom belangrijk? Tokens bepalen wat je BETAALT en hoeveel tekst AI kan lezen. ChatGPT API rekent per token: 1000 tokens input + 500 tokens output = €0.01. Als je dagelijks 100.000 tokens gebruikt, ben je €1/dag = €30/maand kwijt. Tokens zijn letterlijk je AI budget.
Technische Definitie
Tokens zijn de fundamentele verwerkingseenheden van taalmodellen. AI leest geen woorden, het leest tokens. Het tokenization proces splitst tekst op in subword units via algoritmes zoals BPE (Byte Pair Encoding) of WordPiece. Waarom subwords? Efficiëntie én flexibiliteit. Het woord "onverklaarbaar" wordt bv gesplitst in ["on", "verk", "laar", "baar"] = 4 tokens. Zo kan AI ook woorden begrijpen die niet in de training stonden. Technisch: elke token wordt omgezet naar een numerieke ID die het model verwerkt. GPT-4 heeft een vocabulary van ~100K tokens. Context windows (hoeveel AI tegelijk kan lezen) worden uitgedrukt in tokens: GPT-4 = 128K tokens, Claude = 200K tokens.
Waarom Dit Belangrijk Is
Tokens zijn de VALUTA van AI. Twee redenen waarom dit cruciaal is: 1. KOSTEN: API pricing is per token. GPT-4: €0.03 per 1000 input tokens, €0.06 per 1000 output tokens. Als je een chatbot bouwt die 10.000 chats/maand doet (gem 200 tokens per chat) = 2M tokens = €60-120/maand. Als je niet let op tokens, kunnen kosten exploderen. Real case: bedrijf bouwde chatbot zonder token limit → €3000 factuur na 1 maand (users paste hele documents in). 2. LIMIETEN: Context windows zijn beperkt. GPT-4 kan max 128K tokens lezen = ~96.000 woorden. Wil je een 500 pagina boek analyseren maar het is 150K tokens? Past niet. Je moet het opsplitsen of samenvatten. Token counting is essentieel voor document processing. Extra: tokens zijn ook performance. Meer tokens = langzamer. Een 100K token prompt duurt 30+ seconden om te verwerken.
Hoe Het Werkt
Hoe worden woorden tokens? STAP 1: TOKENIZATION (tekst → tokens) "Ik vind AI geweldig!" → Wordt gesplitst in: ["Ik", " vind", " AI", " geweldig", "!"] → 5 tokens (spaties zijn onderdeel van tokens) Complexe woorden: "Internationale" → ["Inter", "nation", "ale"] → 3 tokens (lange woorden = meerdere tokens) Nederlands vs Engels: "ChatGPT is fantastisch" = 6 tokens (Nederlands = langere woorden = meer tokens) "ChatGPT is fantastic" = 5 tokens (Engels = efficiënter) STAP 2: KOSTEN BEREKENING Je stuurt prompt naar ChatGPT API: Input: "Schrijf een 500 woorden artikel over AI" = 12 tokens Output: 500 woorden artikel = ~650 tokens Kosten: - Input: 12 tokens × €0.03 / 1000 = €0.0004 - Output: 650 tokens × €0.06 / 1000 = €0.039 TOTAAL: €0.04 per artikel Doe je dit 1000x per maand? €40/maand. STAP 3: TOKEN OPTIMIZATION Slechte prompt (300 tokens): "Je bent een expert writer met 20 jaar ervaring in tech journalism... [lange backstory]... schrijf nu een artikel..." Goede prompt (50 tokens): "Schrijf 500-woord tech artikel over AI, professional tone, voor B2B publiek." Resultaat: 6x goedkoper, zelfde output quality.
Praktische Toepassingen
Budget Management voor AI Chatbots
E-commerce site bouwt support chatbot. Zonder token limits: users kopiëren hele ordergeschiedenis (10K tokens) in elke vraag. Kosten: €500/maand. Met optimalisatie: limiet op 500 tokens input, relevante info uit database ophalen ipv user het laten paste. Kosten: €50/maand. 10x goedkoper door token awareness.
Document Processing Pipeline
Legal firm wil 1000 contracten analyseren. Elk contract = 20.000 tokens. Probleem: GPT-4 context window = 128K tokens max. Oplossing: (1) Split contracts in chunks van 10K tokens, (2) Analyseer per chunk, (3) Combine results. Token planning voorkomt dat je halverwege vastloopt.
Cost Monitoring Dashboard
Startup gebruikt Claude API voor hun product. Ze bouwen een dashboard die token usage tracked: daily tokens, cost per feature, cost per user. Discovery: 1 feature gebruikte 60% van alle tokens door ongeoptimaliseerde prompts. Fix → €400/maand bespaard.
Voorbeelden
Token Counting Voorbeelden
SIMPELE TEKST: "Hallo wereld" = 3 tokens ["Hallo", " wereld", ""] "Hello world" = 3 tokens (zelfde) NEDERLANDS (inefficiënt): "De implementatie van artificiële intelligentie" = 11 tokens "The implementation of artificial intelligence" = 8 tokens → Nederlands gebruikt ~25% meer tokens CODE (super inefficiënt): ```python def hello(): print("Hi") ``` = ~20 tokens (indentation en newlines zijn tokens!) JSON (efficiënt format): {"name":"John","age":30} = 11 tokens Voorbeeld waarom dit belangrijk is: als je 1000 producten wilt categoriseren met AI, en elk product is 200 tokens (description) + 50 tokens (prompt) = 250 tokens × 1000 = 250K tokens. Kosten: €7.50. Als je JSON gebruikt ipv natural language: 50 tokens per product = 50K tokens = €1.50. 5x goedkoper!
Real Cost Blowup Scenario
Bedrijf bouwt "AI email writer" feature. Gebruiker schrijft basis email, AI verfraait het. Wat ze DACHTEN: Input: 50 tokens (user email) Output: 150 tokens (verfraaide email) Kosten per email: €0.01 1000 emails/maand = €10 Wat er GEBEURDE: Users paste hele email threads als "context" → gemiddeld 2000 tokens input Prompt template was 500 tokens (te lang, veel overtollige instructies) AI generated 800 tokens output (te verbose) Totaal per email: 3300 tokens = €0.15 1000 emails/maand = €150 15x DUURDER dan verwacht! Fix: - Limiet: max 200 tokens user input - Optimized prompt: 50 tokens - Instructie: "max 200 words output" Resultaat: €12/maand Lessen: ALTIJD test token usage met real users voordat je live gaat.
Token Optimizer Tricks
TRICK 1: Gebruik afkortingen in systeem prompts Slechte prompt: "You are a customer support agent. You should always be polite and professional. You should answer questions about our products." Goede prompt: "Polite customer support agent. Answer product questions." → 60% minder tokens, zelfde effect TRICK 2: JSON voor structured output Slecht: "Give me the name, age, and email of the user." Goed: Use function calling of JSON mode → directe structured output, geen parsing tokens nodig TRICK 3: Caching (Claude) Claude heeft prompt caching: als je dezelfde system prompt herhaaldelijk gebruikt, wordt die gecached = 90% goedkoper. Als je 1000 calls doet met dezelfde 5000-token system prompt, betaal je 1x voor die 5000 tokens, dan 9x minder voor herhalingen. TRICK 4: Smaller models for simple tasks GPT-4: €0.03 per 1K tokens GPT-3.5: €0.001 per 1K tokens (30x goedkoper!) Vraag: "Categorize this product: iPhone 15" → GPT-3.5 is perfect, GPT-4 is overkill Vraag: "Write a nuanced legal analysis..." → GPT-4 nodig 80% van tasks kunnen met goedkopere models.
Veelgemaakte Fouten
Fout:
Denken dat 1 token = 1 woord
Realiteit:
1 woord = ~1.3 tokens gemiddeld. "AI" = 1 token. "Internationale" = 3-4 tokens. Spaties, punctuatie, en emoji tellen ook. "👍" = 1-3 tokens! Test altijd met tokenizer tool (OpenAI heeft er één online).
Fout:
Geen token limits instellen voor user input
Realiteit:
Users gaan rare dingen doen. Iemand gaat een heel boek pasten in je chatbot (100K tokens = €6). Zet ALTIJD limieten: max 2000 tokens user input, truncate daarb oven. Show een warning: "Input te lang, eerste 2000 tokens gebruikt".
Fout:
Prompts niet optimaliseren voor tokens
Realiteit:
System prompts worden elke call herhaald. Een 1000-token system prompt × 10K calls = 10M tokens = €300/maand ALLEEN aan system prompt. Optimize je prompts: haal fluff eruit, wees concise. Test of kortere prompts zelfde output geven.
Fout:
Niet monitoren hoeveel tokens je gebruikt
Realiteit:
Veel bedrijven ontdekken pas na €1000+ factuur dat ze een probleem hebben. Implementeer token tracking DAG 1: log elke API call, tokens used, costs. Build alerts: "usage >€50/dag" → email naar team.
Tools Die Dit Gebruiken
Veelgestelde Vragen
Hoe tel ik hoeveel tokens mijn tekst is?
Gebruik een tokenizer tool: 1. OpenAI Tokenizer: platform.openai.com/tokenizer (gratis, browser-based) 2. TikToken library (Python): `pip install tiktoken` → voor automation 3. Vuistregel: 100 woorden ≈ 130 tokens, 1 pagina A4 ≈ 350 tokens Voor developers: integreer token counting in je app VOORDAT je API call doet. Check token count, warn user als te lang.
Waarom zijn tokens niet gewoon woorden? Waarom deze weird splitting?
Twee redenen: 1. EFFICIENCY: Vocabulary van alle mogelijke woorden = miljoenen entries. Te groot. Met subwords (tokens) = 50K-100K vocabulary = veel kleiner, sneller. 2. NEW WORDS: Als AI alleen hele woorden kent, en het ziet "unfriend" (niet in training), geen idee. Met tokens: ["un", "friend"] = begrijpt het. Tokens maken AI flexibel voor nieuwe woorden, typos, meerdere talen. Nadeel: niet intuïtief voor mensen. "Waarom is dit 3 tokens?" → je went eraan.
Hoe duur is token usage eigenlijk? Real examples?
REAL COSTS: 1. Chatbot met 1000 users, 20 messages/user/maand - Per message: 150 tokens in + 100 tokens out = 250 tokens - Totaal: 1000 × 20 × 250 = 5M tokens - Kosten (GPT-4): ~€200/maand - Kosten (GPT-3.5): ~€7/maand 2. Document analysis: 100 PDFs, 50 pagina's each - Per PDF: 50 × 350 tokens = 17.500 tokens - Totaal: 100 × 17.500 = 1.75M tokens input - Output: 1000 tokens per summary × 100 = 100K tokens - Kosten: ~€60 (één keer) 3. Email writer: 500 emails/maand - Per email: 100 tokens in + 300 tokens out - Kosten: ~€6/maand TL;DR: Voor most business use cases: €10-500/maand, afhankelijk van volume en model choice.
Wat gebeurt er als ik over de token limit ga?
Depends on context: 1. CONTEXT WINDOW LIMIT (bv 128K tokens): API geeft error "prompt too long". Je moet input inkorten of splitsen. Geen partial processing. 2. RATE LIMITS (bv 10M tokens/minute): API geeft "rate limit exceeded" error. Wacht even, dan retry. Of upgrade naar hoger tier. 3. BUDGET LIMITS: Als je hard limit instelt in OpenAI dashboard (bv €100/maand), bij limit → API stops working. Set soft warning (email @ €80) en hard limit (stop @ €100). Best practice: implement token counting client-side. VOOR je API call doet: check tokens, truncate if nodig, show warning to user.
Gerelateerde Termen
LLM
Een LLM (Large Language Model) is een AI systeem dat getraind is op enorme hoeveelheden tekst en daardoor menselijke taal kan begrijpen en genereren. Denk aan ChatGPT, Claude, of Gemini.
Context Window
De context window is hoeveel tekst een AI model tegelijk kan "onthouden". Groter = meer context, maar ook langzamer en duurder.
Embeddings
Embeddings zijn hoe AI begrijpt dat woorden op elkaar lijken. Het zet tekst om in getallen, waarbij vergelijkbare betekenissen dichtbij elkaar komen. Denk aan GPS coördinaten: "hond" en "puppy" krijgen coördinaten die dicht bij elkaar liggen, "hond" en "auto" liggen ver uit elkaar. Hierdoor kan AI zoeken op betekenis ipv alleen letterlijke woorden. Je zoekt "laptop repareren" en AI vindt ook "notebook herstellen" - want de betekenis is hetzelfde.
API
Een API is de "telefoonlijn" waarmee software met andere software praat. In plaats van ChatGPT te gebruiken via hun website (typen, copy-pasten), kun je via een API direct vanuit jouw eigen tools vragen sturen en antwoorden ontvangen. Denk aan een restaurant: website = je komt zelf eten, API = bezorgdienst die het eten naar je brengt. Dit is hoe bedrijven AI écht gebruiken - geïntegreerd in hun eigen systemen ipv handmatig via een chatvenster.
Prompt Engineering
Prompt Engineering is de kunst van het schrijven van effectieve instructies (prompts) voor AI modellen zoals ChatGPT. Goede prompts leveren betere, relevantere antwoorden op.
Leer Token in de Praktijk
Wil je Token echt beheersen? Volg onze hands-on training en leer het in 4 uur.
Bekijk Trainingen