Token

Podstawowa jednostka tekstu, którą "widzi" i przetwarza model językowy. To nie jest ani litera, ani całe słowo – to fragment tekstu o długości od jednego znaku do kilku słów.

Modele AI nie czytają liter ani słów tak jak ludzie. Dzielą tekst na kawałki zwane tokenami. • Krótkie, popularne słowa (np. "the", "a", "kot") to zazwyczaj jeden token. • Dłuższe lub rzadsze słowa są dzielone na części (np. "niezaprzeczalnie" może być podzielone na 3-4 tokeny). • Orientacyjnie: 1 token ≈ 0.75 słowa w języku angielskim (w polskim zwykle mniej, bo nasze słowa są dłuższe). Tokeny są ważne, bo od nich zależy wszystko: rozmiar okna kontekstowego (ile tekstu model "widzi"), szybkość generowania i – przede wszystkim – cena (płacisz za liczbę przetworzonych tokenów).

Zrozumienie tokenów jest kluczowe do kontrolowania kosztów i efektywności pracy z AI. Wklejając do modelu 50-stronicowy dokument, płacisz za każdy jego token. Długi, rozwlekły prompt kosztuje więcej niż krótki i zwięzły.