文档/模型与路由

模型 Provider / 渠道

同一个模型可能由多个上游渠道提供;了解渠道之间的差别,以及怎么查到某次调用走了哪里。

本页目录

什么是渠道

渠道(Provider)是实际提供推理服务的上游。同一个模型可以由多个渠道提供,例如厂商官方接口和云平台托管版本。模型相同,但区域、限流与稳定性各不相同。

渠道之间差在哪

延迟首 token

受区域与排队情况影响,同一模型的首 token 延迟在渠道之间可能相差不少。

可用性近期表现

网关持续观察各渠道的成功率,把近期表现差的渠道往后排或暂时跳过。

容量并发

每个渠道能同时承接的请求有限,满载时网关会换到其他渠道。

能力差异项

个别能力只在部分渠道开放,网关只会把请求发给支持本次所需能力的渠道。

怎么知道这次走了哪个渠道

在控制台 › 用量 › 请求明细里按请求 ID(响应头 X-Maxx-Request-ID)检索,可以看到这次调用的状态码、用量、首字延迟与最终使用的模型。

说明

你不需要选择渠道——路由会替你选,单个渠道出问题时也会自动切换,见故障转移。

联系我们

文档没写清楚,或者需要人工协助?按问题类型选一个渠道即可。

邮箱

技术支持support@apione.ai

WhatsApp

Telegram

工单

计费与账户控制台 › 反馈