Contador de tokens para LLM

Los modelos leen el texto, y lo cobran, en tokens: palabras completas, partes de palabras, caracteres sueltos o bytes. Cada proveedor entrena su propio tokenizador, así que el mismo texto da un número distinto de tokens en cada modelo. El texto que no está en inglés suele necesitar más tokens.

Para los modelos de pesos abiertos usamos el archivo del tokenizador que el proveedor publicó en Hugging Face, fijado a una versión. Tu navegador lo descarga una vez, lo guarda y cuenta en un proceso en segundo plano, así que el número es el que da el tokenizador del propio modelo para el mismo texto.

Si el proveedor no ha publicado su tokenizador, o mientras los archivos no se cargan, el conteo es bytes UTF-8 ÷ 4, redondeado hacia arriba. Eso equivale a unas cuatro letras por token en inglés y a unos 0.75 tokens por carácter chino o japonés (tres bytes cada uno). Tómalo como referencia aproximada.

Solo el texto que pegas. Una solicitud real también lleva el formato del chat, como las marcas de rol, además de definiciones de herramientas o imágenes, así que los tokens de entrada que se cobran son un poco más. El campo usage de cada respuesta de la API muestra lo que se cobró.

El costo es lo que cuesta este texto como entrada, al precio que pagas en cheapaimodel. Un monto tachado es el mismo texto al precio de lista del proveedor.

costo = tokens ÷ 1,000,000 × precio de entrada por 1M de tokens

El conteo ocurre en tu dispositivo. Las únicas solicitudes de red son para los archivos del tokenizador, y no incluyen tu texto.