本页目录
什么是渠道
渠道(Provider)是实际提供推理服务的上游。同一个模型可以由多个渠道提供,例如厂商官方接口和云平台托管版本。模型相同,但区域、限流与稳定性各不相同。
渠道之间差在哪
延迟首 token受区域与排队情况影响,同一模型的首 token 延迟在渠道之间可能相差不少。
可用性近期表现网关持续观察各渠道的成功率,把近期表现差的渠道往后排或暂时跳过。
容量并发每个渠道能同时承接的请求有限,满载时网关会换到其他渠道。
能力差异项个别能力只在部分渠道开放,网关只会把请求发给支持本次所需能力的渠道。
怎么知道这次走了哪个渠道
在控制台 › 用量 › 请求明细里按请求 ID(响应头 X-Maxx-Request-ID)检索,可以看到这次调用的状态码、用量、首字延迟与最终使用的模型。
说明
你不需要选择渠道——路由会替你选,单个渠道出问题时也会自动切换,见故障转移。
联系我们
文档没写清楚,或者需要人工协助?按问题类型选一个渠道即可。