Límites de solicitudes
Qué pasa cuando envías demasiadas solicitudes y cómo reintentar con retroceso.
El gateway limita la frecuencia de las solicitudes para que el servicio sea justo y estable, y los proveedores de los modelos aplican sus propios límites. Cuando superas un límite, recibes 429 Too Many Requests.
Cómo manejar el 429
Reintenta con retroceso exponencial y una variación aleatoria (jitter): espera alrededor de un segundo, luego dos, cuatro y así sucesivamente, agrega un retraso aleatorio cada vez y desiste después de unos cuantos intentos.
Los SDK oficiales de OpenAI y Anthropic ya reintentan las respuestas 429 y 5xx con retroceso. Puedes aumentar el número de intentos:
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaimodel.ai/v1", max_retries=5)Cómo evitar los límites
- Ejecuta las solicitudes con una concurrencia limitada en lugar de enviarlas todas a la vez.
- Usa streaming en las generaciones largas para que una sola solicitud lenta no mantenga una conexión abierta sin enviar nada.
- Si tu carga de trabajo necesita un alto rendimiento sostenido, escribe a support@cheapaimodel.ai.