レート制限

ゲートウェイは、サービスを公平かつ安定して提供するためにリクエストのレートを制限しています。アップストリームのプロバイダーにも独自の制限があります。制限を超えると429 Too Many Requestsが返されます。

429への対処

ジッター付きの指数バックオフで再試行してください。まず約1秒待ち、2秒、4秒と待ち時間を倍にしながら毎回ランダムな揺らぎを加え、数回失敗したら再試行をやめます。

公式のOpenAI SDKとAnthropic SDKは、429と5xxをデフォルトでバックオフしながら再試行します。再試行回数は次のように増やせます。

from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaimodel.ai/v1", max_retries=5)

制限に達しないために

• リクエストは一度にまとめて送らず、同時実行数を抑えてください。
• 生成に時間がかかる場合はストリーミングを使い、遅いリクエストが何も返さないまま接続を占有しないようにしてください。
• 高いスループットを継続的に必要とする場合は、support@cheapaimodel.aiまでメールでご連絡ください。