速率限制

為了讓服務公平且穩定，閘道會限制請求速率，上游供應商也有各自的限制。超過限制時，你會收到 429 Too Many Requests。

處理 429

以指數退避加隨機抖動重試：先等大約一秒，再依序等兩秒、四秒，以此類推，每次都加上一段隨機延遲，並在嘗試幾次後放棄。

官方 OpenAI 與 Anthropic SDK 已經會以退避方式重試 429 與 5xx 回應。你可以調高重試次數：

from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaimodel.ai/v1", max_retries=5)

避免觸及限制

• 以有上限的並行數執行請求，而不是一次全部送出。
• 長篇生成請使用串流，避免單一緩慢的請求長時間佔住連線卻沒有任何輸出。
• 如果你的工作負載需要持續的高輸送量，請寄信至 support@cheapaimodel.ai。