LiteLLM

LiteLLM terhubung ke layanan yang kompatibel dengan OpenAI lewat prefiks model openai/. Pakai langsung dari Python, atau daftarkan model cheapaimodel di konfigurasi LiteLLM Proxy.

Penyiapan

pip install litellm

import os
import litellm

response = litellm.completion(
    model="openai/deepseek-v4-1-flash",
    api_base="https://api.cheapaimodel.ai/v1",
    api_key=os.environ["CHEAPAIMODEL_API_KEY"],
    messages=[{"role": "user", "content": "Explain recursion in one sentence."}],
)
print(response.choices[0].message.content)

# Streaming
stream = litellm.completion(
    model="openai/deepseek-v4-1-flash",
    api_base="https://api.cheapaimodel.ai/v1",
    api_key=os.environ["CHEAPAIMODEL_API_KEY"],
    messages=[{"role": "user", "content": "Write a haiku about rivers."}],
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

Kesalahan umum

• LLM Provider NOT provided. Pass in the LLM provider you are trying to call. You passed model=deepseek-v4-1-flash. Prefiks openai/ tidak ada. LiteLLM memakai prefiks itu untuk memilih penyedia, jadi gagal sebelum mengirim apa pun. Tulis openai/deepseek-v4-1-flash.
• litellm.NotFoundError atau Invalid URL (POST /v1/chat/completions/chat/completions). api_base tidak memakai /v1, atau malah menyertakan path endpoint. Isi persis dengan https://api.cheapaimodel.ai/v1.
• Embeddings diarahkan ke cheapaimodel. cheapaimodel belum punya model embedding, jadi litellm.embedding() atau entri embedding di model_list tidak punya apa-apa untuk dipanggil di sini. Pakai penyedia lain untuk embedding.
• LiteLLM tidak menampilkan biaya untuk panggilan ini. Daftar harga bawaannya tidak mencakup model cheapaimodel: proxy mencatat biaya 0, dan litellm.completion_cost() memunculkan This model isn't mapped yet. Pengeluaranmu yang sebenarnya ada di halaman Log di Konsol. Untuk melacaknya di proxy, atur input_cost_per_token dan output_cost_per_token di bawah model_info milik entri itu: harga per 1 juta token di halaman model, dibagi 1,000,000.