流式接口逐步返回生成结果,减少等待完整响应的时间。
开启流式输出
bash
curl -N http://localhost:3187/v1/chat/completions \
-H "Authorization: Bearer $YUNHAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"YOUR_MODEL_ID","stream":true,"messages":[{"role":"user","content":"介绍一下你自己"}]}'处理事件
按 Server-Sent Events 读取响应,不要假设一次网络读取就是一个完整事件。Chat Completions 常用 data: 事件传递增量文本,结束标记为 [DONE]。
连接中断
为网络读取设置合理超时,并允许用户取消。对于工具调用或有副作用的任务,重试前确认任务状态,避免重复执行。