LiteLLM

LiteLLMはモデル名のopenai/プレフィックスでOpenAI互換サービスに接続します。Pythonから直接使うか、LiteLLM Proxyの設定にcheapaimodelのモデルを登録します。

設定

pip install litellm

import os
import litellm

response = litellm.completion(
    model="openai/deepseek-v4-1-flash",
    api_base="https://api.cheapaimodel.ai/v1",
    api_key=os.environ["CHEAPAIMODEL_API_KEY"],
    messages=[{"role": "user", "content": "Explain recursion in one sentence."}],
)
print(response.choices[0].message.content)

# ストリーミング
stream = litellm.completion(
    model="openai/deepseek-v4-1-flash",
    api_base="https://api.cheapaimodel.ai/v1",
    api_key=os.environ["CHEAPAIMODEL_API_KEY"],
    messages=[{"role": "user", "content": "Write a haiku about rivers."}],
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

よくある間違い

• LLM Provider NOT provided. Pass in the LLM provider you are trying to call. You passed model=deepseek-v4-1-flash。 openai/プレフィックスがありません。LiteLLMはプレフィックスでプロバイダーを判別するため、リクエストを送る前にエラーになります。openai/deepseek-v4-1-flashと書いてください。
• litellm.NotFoundErrorまたはInvalid URL (POST /v1/chat/completions/chat/completions)。 api_baseに/v1がないか、エンドポイントのパスまで含めています。api_baseはhttps://api.cheapaimodel.ai/v1に設定してください。
• 埋め込みのリクエストをcheapaimodelに送っている。 cheapaimodelにはまだ埋め込みモデルがないため、litellm.embedding()やmodel_listの埋め込み用エントリーは、cheapaimodel経由では呼び出せるモデルがありません。埋め込みは別のプロバイダーのまま使ってください。
• LiteLLMでこれらのリクエストの費用が表示されない。 LiteLLM内蔵の価格表にはcheapaimodelのモデルが含まれていないため、proxyは費用を0と記録し、litellm.completion_cost()はThis model isn't mapped yetを返します。実際の利用額はコンソールのログページで確認できます。proxyで追跡するには、エントリーのmodel_infoにinput_cost_per_tokenとoutput_cost_per_tokenを設定します。値はモデルのページにある100万トークンあたりの価格を1,000,000で割ったものです。