LiteLLM

LiteLLM se conecta a servicios compatibles con OpenAI mediante su prefijo de modelo openai/. Úsalo directamente desde Python, o agrega los modelos de cheapaimodel a la configuración de un LiteLLM Proxy.

Configuración

pip install litellm

import os
import litellm

response = litellm.completion(
    model="openai/deepseek-v4-1-flash",
    api_base="https://api.cheapaimodel.ai/v1",
    api_key=os.environ["CHEAPAIMODEL_API_KEY"],
    messages=[{"role": "user", "content": "Explain recursion in one sentence."}],
)
print(response.choices[0].message.content)

# Streaming
stream = litellm.completion(
    model="openai/deepseek-v4-1-flash",
    api_base="https://api.cheapaimodel.ai/v1",
    api_key=os.environ["CHEAPAIMODEL_API_KEY"],
    messages=[{"role": "user", "content": "Write a haiku about rivers."}],
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

Errores comunes

• LLM Provider NOT provided. Pass in the LLM provider you are trying to call. You passed model=deepseek-v4-1-flash. Falta el prefijo openai/. LiteLLM usa el prefijo para elegir el proveedor y falla antes de enviar nada. Escribe openai/deepseek-v4-1-flash.
• litellm.NotFoundError o Invalid URL (POST /v1/chat/completions/chat/completions). A api_base le falta /v1, o incluye la ruta del endpoint. Defínelo exactamente como https://api.cheapaimodel.ai/v1.
• Embeddings apuntados a cheapaimodel. cheapaimodel todavía no tiene modelos de embeddings, así que litellm.embedding() o una entrada de embeddings en model_list no tiene nada que llamar aquí. Mantén los embeddings con otro proveedor.
• LiteLLM no muestra ningún costo para estas llamadas. Su lista de precios integrada no incluye los modelos de cheapaimodel: el proxy registra un costo de 0, y litellm.completion_cost() lanza This model isn't mapped yet. Tu gasto real está en la página Registros de la consola. Para darle seguimiento en el proxy, define input_cost_per_token y output_cost_per_token en el model_info de la entrada: los precios por millón de tokens de la página del modelo, divididos entre 1,000,000.