Giới hạn tốc độ
Điều gì xảy ra khi bạn gửi quá nhiều yêu cầu và cách giãn thời gian chờ trước khi thử lại.
Gateway giới hạn tốc độ yêu cầu để giữ dịch vụ công bằng và ổn định. Các nhà cung cấp upstream cũng có giới hạn riêng. Khi vượt giới hạn, bạn sẽ nhận 429 Too Many Requests.
Xử lý 429
Thử lại với exponential backoff và jitter: chờ khoảng một giây, rồi hai giây, bốn giây và cứ thế tăng dần. Mỗi lần cộng thêm một khoảng chờ ngẫu nhiên, và dừng sau vài lần thử.
Các SDK chính thức của OpenAI và Anthropic đã tự động thử lại (có backoff) khi gặp 429 và 5xx. Bạn có thể tăng số lần thử:
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaimodel.ai/v1", max_retries=5)Tránh chạm giới hạn
- Giới hạn số yêu cầu chạy đồng thời, đừng gửi tất cả cùng lúc.
- Dùng streaming cho những lượt sinh nội dung dài, để một yêu cầu chậm không giữ kết nối mở mà chẳng có output nào.
- Nếu bạn cần thông lượng cao liên tục, hãy gửi email tới support@cheapaimodel.ai.