Batas permintaan
Apa yang terjadi kalau kamu mengirim terlalu banyak permintaan, dan cara memberi jeda sebelum mencoba lagi.
Gateway membatasi laju permintaan supaya layanan tetap adil dan stabil, dan penyedia model juga menerapkan batasnya sendiri. Kalau kamu melewati batas, kamu akan mendapat 429 Too Many Requests.
Menangani 429
Coba lagi dengan exponential backoff dan jitter: tunggu sekitar satu detik, lalu dua, empat, dan seterusnya, tambahkan jeda acak setiap kali, lalu berhenti setelah beberapa kali percobaan.
SDK resmi OpenAI dan Anthropic sudah otomatis mencoba ulang respons 429 dan 5xx dengan backoff. Kamu bisa menambah jumlah percobaannya:
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaimodel.ai/v1", max_retries=5)Menghindari batas
- Jalankan permintaan dengan jumlah konkurensi yang dibatasi, jangan kirim semuanya sekaligus.
- Pakai streaming untuk output yang panjang, supaya satu permintaan yang lambat tidak menahan koneksi tetap terbuka tanpa mengirim apa pun.
- Kalau beban kerjamu butuh throughput tinggi secara terus-menerus, kirim email ke support@cheapaimodel.ai.