Streaming
Terima token saat sedang dibuat, lewat server-sent events.
Atur "stream": true, dan respons akan datang sebagai server-sent events, bukan satu body JSON. Setiap format tetap memakai bentuk event-nya sendiri:
| Endpoint | Format stream |
|---|---|
/v1/chat/completions | Baris data: berisi objek chat.completion.chunk, diakhiri data: [DONE] |
/v1/responses | Event bertipe, misalnya response.output_text.delta dan response.completed |
/v1/messages | Event Anthropic: message_start, content_block_delta, message_stop |
Pemakaian token saat streaming
Untuk chat completions, tambahkan "stream_options": { "include_usage": true } supaya kamu mendapat chunk terakhir berisi jumlah token. Stream Responses dan Messages melaporkan pemakaian di event penutupnya.
Contoh
stream = client.chat.completions.create(
model="deepseek-v4-1-flash",
messages=[{"role": "user", "content": "Write a haiku about rivers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)