Bộ đếm token LLM

Mô hình đọc văn bản, và tính phí, theo token: cả một từ, một phần của từ, một ký tự hoặc từng byte. Mỗi nhà cung cấp tự huấn luyện tokenizer riêng, nên cùng một đoạn văn bản cho ra số token khác nhau trên từng mô hình. Văn bản không phải tiếng Anh thường tốn nhiều token hơn.

Với mô hình trọng số mở, chúng tôi dùng tệp tokenizer mà nhà cung cấp công bố trên Hugging Face, cố định ở một phiên bản. Trình duyệt tải về một lần, lưu lại và đếm trong một worker chạy nền, nên con số chính là kết quả tokenizer của chính mô hình đó cho cùng đoạn văn bản.

Khi nhà cung cấp chưa công bố tokenizer, hoặc khi tệp chưa được nạp, số đếm là số byte UTF-8 ÷ 4, làm tròn lên. Tức khoảng bốn chữ cái một token với tiếng Anh và khoảng 0.75 token cho mỗi chữ Hán hoặc chữ Nhật (ba byte). Chỉ nên dùng làm con số tham khảo.

Chỉ tính phần văn bản bạn dán vào. Một yêu cầu thật còn mang định dạng chat như nhãn vai trò, cùng định nghĩa công cụ hoặc hình ảnh, nên số token đầu vào bị tính phí sẽ nhiều hơn một chút. Trường usage trong mỗi phản hồi API cho biết số bị tính phí.

Chi phí là số tiền của đoạn văn bản này khi làm đầu vào, theo giá bạn trả trên cheapaimodel. Số bị gạch là cùng đoạn văn bản theo giá niêm yết của nhà cung cấp.

chi phí = số token ÷ 1,000,000 × giá đầu vào cho 1 triệu token

Việc đếm diễn ra trên thiết bị của bạn. Yêu cầu mạng duy nhất là tải tệp tokenizer, và không chứa văn bản của bạn.