Penghitung token LLM

Model membaca teks, dan menagihnya, dalam satuan token: kata utuh, potongan kata, satu karakter, atau byte. Tiap vendor melatih tokenizer sendiri, jadi teks yang sama menghasilkan jumlah token berbeda di tiap model. Teks selain bahasa Inggris biasanya butuh lebih banyak token.

Untuk model open-weight, kami memakai file tokenizer yang dipublikasikan vendor di Hugging Face, dikunci ke satu versi. Browser kamu mengunduhnya sekali, menyimpannya, lalu menghitung di worker latar belakang, jadi angkanya sama dengan hasil tokenizer model itu sendiri untuk teks yang sama.

Kalau vendor tidak memublikasikan tokenizer-nya, atau selama file belum dimuat, hitungannya adalah byte UTF-8 ÷ 4, dibulatkan ke atas. Kira-kira empat huruf per token untuk bahasa Inggris dan sekitar 0.75 token per karakter Mandarin atau Jepang (tiga byte). Anggap sebagai gambaran kasar.

Hanya teks yang kamu tempel. Permintaan sungguhan juga membawa format chat seperti penanda peran, plus definisi tool atau gambar, jadi token input yang ditagih sedikit lebih banyak. Kolom usage di tiap respons API menunjukkan angka yang ditagih.

Biaya adalah biaya teks ini sebagai input, dengan harga yang kamu bayar di cheapaimodel. Angka yang dicoret adalah teks yang sama dengan harga resmi vendor.

biaya = token ÷ 1,000,000 × harga input per 1 juta token

Penghitungan berlangsung di perangkatmu. Satu-satunya permintaan jaringan adalah untuk file tokenizer, dan tidak berisi teksmu.