跳到正文
alpharouter

开发文档

Chat Completions

使用最广泛的路径。请求与响应格式与 OpenAI Chat Completions 相同,现有代码可直接沿用。

请求体

仅 model 与 messages 为必填。在 model 中填入路由路径,即会为每次请求重新挑选候选。

FieldTypeRequiredNote
modelstringYesModel ID or route path
messagesarrayYessystem, user, assistant, tool
streambooleanNoSSE deltas, default false
toolsarrayNoTool-capable models only
max_tokensintegerNoCapped by model limit
temperaturenumberNo0–2

流式传输

将 stream 设为 true 即通过 SSE 推送增量。流式传输开始后不再进行故障转移,直接判定失败。

工具调用

传入 tools 数组后,只有支持工具的模型会保留为候选。若没有符合的模型,将以 400 中断。

图像输入

在 content 中混入 image_url 部分,候选会收窄为支持视觉的模型。

取消流式传输与计费

在流式传输途中断开连接,上游的生成不一定随之停止。网关会在既定的时间与输出上限内将响应读取到结束,并按上游报告的最终用量计费。若先达到上限,则按截至当时已生成的内容估算计费。

service_tier

service_tier 参数会被接收但忽略。所有请求均按标准层级处理,并按标准单价计费。