本页目录
按 Key 限制并发
APIONE 按同时进行中的请求数限流,而不是按每分钟请求数或 token 数。每把 Key 默认最多 6 个请求同时进行,API 调用与网页对话分开计算;需要更高并发请联系我们调整。
超出时请求会先短暂排队;排不上才返回 429,并带 Retry-After: 1:
json
{
"error": {
"message": "API token concurrent request limit exceeded",
"type": "rate_limit_error",
"code": "api_key_concurrency_exceeded",
"retryable": true
}
}撞到限流怎么办
- 先退避重试:遵守
Retry-After,配合指数退避与抖动,避免所有实例同时重试造成二次冲击。 - 做客户端并发控制:给批量任务加一个低于上限的并发数(信号量 / 队列),比撞上去再退避更稳。
- 拆分 Key:把批处理与线上服务用不同 Key,各自计算并发,批处理跑满时不影响用户请求。
- 缩短单次请求:裁剪历史、开启提示缓存,请求更快结束,并发自然更宽裕。
python
import asyncio
sem = asyncio.Semaphore(4) # 低于 Key 的并发上限,避免自己把自己限流
async def ask(client, prompt):
async with sem:
return await client.chat.completions.create(
model="deepseek-v4-flash",
messages=[{"role": "user", "content": prompt}],
)上游渠道的限流
上游渠道也各有配额。某个渠道被上游限流时,网关会把请求转到其他候选渠道,你通常感知不到;只有所有候选都不可用时,才会返回 429 rate_limit_exceeded 或 503 provider_saturated,两者都可以退避后重试。
联系我们
文档没写清楚,或者需要人工协助?按问题类型选一个渠道即可。