[D66] Aandrang: Waarom de discussielijst niet in de context van een een LLM chat past

[René Oudeweg]

Deze lijst begon met AANDRANG:
http://www.tuxtown.net/pipermail/d66/1997-January/053990.html


Even een wc (word count) loslaten op het archief? Hoeveel tokens zou de 
totale lijst tot de INDEX cutoff date bevatten?



Categorie	Voorbeeld modellen	Contextlengte

Standaard commerciële LLM’s (top)	
GPT-4o, LLaMA 3.1	                  ~128 K tokens

High-end commerciële LLM’s	
Claude 4	                          ~200 K tokens

Ultra-lange context / enterprise	
Gemini 2.5 Pro, Qwen2.5 Turbo	          ~1 M–2 M tokens

Oudere/kleinere LLM’s	
GPT-3.5, LLaMA 2	                  ~4 K–32 K tokens




Tokens → woorden (gemiddeld)

Vuistregel (gemiddelde):

     1 token ≈ 0,75 woord
     1 woord ≈ 1,3–1,4 tokens