DefinicjaTokeny to małe kawałki tekstu, np. całe słowa, części słów albo znaki interpunkcyjne, na które model językowy dzieli to, co czyta i pisze. W tokenach mierzy się długość polecenia i odpowiedzi, limit tekstu, który model obejmie naraz (okno kontekstu), oraz opłaty za korzystanie z modeli przez API.
Czym jest token?
Token to kawałek tekstu, którym posługuje się model językowy: czasem całe krótkie słowo, czasem jego część, czasem sam przecinek. Długie albo rzadkie słowa model dzieli na kilka tokenów. Ten sam tekst może dać różną liczbę tokenów w zależności od języka i od modelu, bo każdy dostawca dzieli tekst po swojemu.
Obrazy i pliki PDF też są przeliczane na tokeny, zanim trafią do modelu. Dla Ciebie liczy się jedno: im więcej tekstu wysyłasz do modelu i dostajesz z powrotem, tym więcej tokenów.
Dlaczego tokeny wpływają na koszty?
Gdy firma korzysta z modelu przez API, czyli z poziomu własnego programu, dostawca liczy opłaty za tokeny: osobno za to, co model dostał (polecenie, dokumenty, historia rozmowy), i za to, co napisał. Im dłuższe polecenia i odpowiedzi, tym wyższy rachunek.
Przykład: chatbot na stronie sklepu przy każdym pytaniu dostaje regulamin, cennik i całą dotychczasową rozmowę. Jeśli do każdego pytania dokleja się cały regulamin, płacisz za niego za każdym razem. Gdy model dostaje tylko pasujące fragmenty, liczba tokenów i koszt spadają.
Na co zwrócić uwagę przy planowaniu AI w firmie?
- Szacunek kosztów. Poproś wykonawcę o wyliczenie, ile tokenów zużyje typowa sprawa i ile spraw jest miesięcznie. Ceny za token sprawdzaj na stronie dostawcy modelu.
- Limit długości. Model obejmuje naraz ograniczoną liczbę tokenów. Bardzo długie dokumenty trzeba dzielić albo podawać tylko potrzebne fragmenty.
- Wybór modelu. Do prostych zadań, np. sortowania maili, często wystarczy mniejszy, tańszy model.
- Monitoring. Ustal, kto i gdzie widzi zużycie, żeby błąd w automatyzacji nie generował kosztów przez tydzień.
Jak policzyć, czy rozwiązanie z AI się zwróci, opisuje artykuł Audyt AI: co sprawdza.
Najczęstsze pytania
Czy token to to samo co słowo?
Nie. Krótkie, częste słowa bywają jednym tokenem, ale dłuższe i rzadsze model dzieli na kilka. Dokładną liczbę tokenów pokazują narzędzia dostawców do ich liczenia.
Czy tokeny AI mają coś wspólnego z kryptowalutami albo logowaniem?
Nie. Słowo „token” ma w informatyce kilka znaczeń. Tu chodzi wyłącznie o kawałki tekstu, które czyta i pisze model językowy.
Zobacz też
Źródła