Čo to znamená v praxi
Keď vy čítate text, vidíte písmená a slová. Keď text číta umelá inteligencia (LLM model), rozseká si ho na menšie kúsky, ktoré sa volajú tokeny.
V angličtine platí zhruba pravidlo, že 1 token = 3/4 slova. Krátke slovo (ako “pes”) je jeden token. Dlhé slovo (ako “nezrozumiteľný”) sa môže rozsekať na 3 alebo 4 tokeny. V slovenčine je to trochu horšie – kvôli diakritike a skloňovaniu modely často spotrebujú na jedno slovenské slovo viac tokenov ako na anglické.
Prečo to firmy musia poznať
Pre bežného zamestnanca, ktorý si platí ChatGPT Plus za 20 eur mesačne, tokeny nie sú dôležité. Pre firmu, ktorá chce AI integrovať do svojich procesov, sú tokeny synonymom pre peniaze.
- Cenovka za AI. Keď prepojíte váš firemný systém cez API s modelmi od OpenAI alebo Anthropic, neplatíte mesačný paušál. Platíte za spotrebu – presnejšie, platíte za každý jeden token, ktorý do AI pošlete (vstup), a za každý token, ktorý AI vygeneruje (výstup).
- Limit pamäte (Context Window). Každý model má svoj limit, koľko tokenov si dokáže naraz zapamätať. Ak má model limit 128 000 tokenov, znamená to, že mu do jedného promptu môžete vložiť zhruba 300-stranovú knihu. Ak vložíte viac, model začne “zabúdať” to, čo bolo na začiatku.
- Slovenčina je drahšia. Keďže AI modely rozsekávajú slovenský text na viac tokenov ako anglický, spracovanie slovenského dokumentu vás môže stáť o 30 až 50 % viac ako spracovanie rovnako dlhého anglického dokumentu.
Príklad z praxe
Predstavte si, že chcete, aby AI zhrnula každý prichádzajúci email do vášho zákazníckeho systému. Jeden priemerný email má 500 tokenov. Ak vám denne príde 1000 emailov, spotrebujete 500 000 tokenov denne.
Ak si na túto úlohu vyberiete ten najdrahší model, môže vás to stáť stovky eur mesačne. Ak si vyberiete menší, lacnejší model (ktorý na jednoduché zhrnutie bohato stačí), účet môže byť len pár eur.
Na našich firemných AI workshopoch ukazujeme nielen to, ako AI používať, ale aj to, ako odhadnúť náklady a vybrať správny model tak, aby automatizácia dávala ekonomický zmysel.