文档/API 接入

限流说明

限流按 Key 的同时请求数计算;本页说明上限、返回内容和应对方式。

本页目录

按 Key 限制并发

APIONE 按同时进行中的请求数限流,而不是按每分钟请求数或 token 数。每把 Key 默认最多 6 个请求同时进行,API 调用与网页对话分开计算;需要更高并发请联系我们调整。

超出时请求会先短暂排队;排不上才返回 429,并带 Retry-After: 1:

json
{
  "error": {
    "message": "API token concurrent request limit exceeded",
    "type": "rate_limit_error",
    "code": "api_key_concurrency_exceeded",
    "retryable": true
  }
}

撞到限流怎么办

  1. 先退避重试:遵守 Retry-After,配合指数退避与抖动,避免所有实例同时重试造成二次冲击。
  2. 做客户端并发控制:给批量任务加一个低于上限的并发数(信号量 / 队列),比撞上去再退避更稳。
  3. 拆分 Key:把批处理与线上服务用不同 Key,各自计算并发,批处理跑满时不影响用户请求。
  4. 缩短单次请求:裁剪历史、开启提示缓存,请求更快结束,并发自然更宽裕。
python
import asyncio

sem = asyncio.Semaphore(4)   # 低于 Key 的并发上限,避免自己把自己限流

async def ask(client, prompt):
    async with sem:
        return await client.chat.completions.create(
            model="deepseek-v4-flash",
            messages=[{"role": "user", "content": prompt}],
        )

上游渠道的限流

上游渠道也各有配额。某个渠道被上游限流时,网关会把请求转到其他候选渠道,你通常感知不到;只有所有候选都不可用时,才会返回 429 rate_limit_exceeded 或 503 provider_saturated,两者都可以退避后重试。

联系我们

文档没写清楚,或者需要人工协助?按问题类型选一个渠道即可。

邮箱

技术支持support@apione.ai

WhatsApp

Telegram

工单

计费与账户控制台 › 反馈