开发文档
Chat Completions
使用最广泛的路径。请求与响应格式与 OpenAI Chat Completions 相同,现有代码可直接沿用。
请求体
仅 model 与 messages 为必填。在 model 中填入路由路径,即会为每次请求重新挑选候选。
| Field | Type | Required | Note |
|---|---|---|---|
| model | string | Yes | Model ID or route path |
| messages | array | Yes | system, user, assistant, tool |
| stream | boolean | No | SSE deltas, default false |
| tools | array | No | Tool-capable models only |
| max_tokens | integer | No | Capped by model limit |
| temperature | number | No | 0–2 |
流式传输
将 stream 设为 true 即通过 SSE 推送增量。流式传输开始后不再进行故障转移,直接判定失败。
工具调用
传入 tools 数组后,只有支持工具的模型会保留为候选。若没有符合的模型,将以 400 中断。
图像输入
在 content 中混入 image_url 部分,候选会收窄为支持视觉的模型。
取消流式传输与计费
在流式传输途中断开连接,上游的生成不一定随之停止。网关会在既定的时间与输出上限内将响应读取到结束,并按上游报告的最终用量计费。若先达到上限,则按截至当时已生成的内容估算计费。
service_tier
service_tier 参数会被接收但忽略。所有请求均按标准层级处理,并按标准单价计费。