云海 AI 开放平台 · 多模型统一接入查看活动
云海
文档控制台EN / 中登录 / 注册
文档中心流式输出

流式输出

流式接口逐步返回生成结果,减少等待完整响应的时间。

开启流式输出

bash
curl -N http://localhost:3187/v1/chat/completions \
  -H "Authorization: Bearer $YUNHAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"YOUR_MODEL_ID","stream":true,"messages":[{"role":"user","content":"介绍一下你自己"}]}'

处理事件

按 Server-Sent Events 读取响应,不要假设一次网络读取就是一个完整事件。Chat Completions 常用 data: 事件传递增量文本,结束标记为 [DONE]。

连接中断

为网络读取设置合理超时,并允许用户取消。对于工具调用或有副作用的任务,重试前确认任务状态,避免重复执行。