多模态输入 - APIONE AI

多模态输入的结构取决于协议和模型。先查询模型参数，确认支持的输入类型、图片数量、大小、格式和传递方式。

OpenAI 兼容图片示意

{
  "model": "YOUR_VISION_MODEL_ID",
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "text", "text": "概括图片中的主要信息"},
        {"type": "image_url", "image_url": {"url": "https://example.com/image.png"}}
      ]
    }
  ]
}

这只是常见 OpenAI 兼容结构。Anthropic 和 Gemini 使用不同内容块；不要跨协议直接复制请求体。

URL、Base64 与文件引用

方式	优点	注意事项
HTTPS URL	请求体小	URL 必须能被服务访问，避免长期公开敏感文件
Base64 / Data URL	不依赖外部下载	请求体显著增大，注意大小限制和日志泄露
文件 ID 或上传接口	便于复用	只有模型或平台明确支持时使用

输入预处理

删除 EXIF、定位和不必要的个人信息；
将超大图片缩放到业务所需分辨率；
检查 MIME 与真实文件类型一致；
对扫描件、表格和截图分别准备评测样例；
不在日志中记录完整 Base64 或临时签名 URL。

常见错误

现象	检查
模型不识别图片	模型是否支持视觉，协议结构是否正确
URL 下载失败	是否公开可达、是否过期、是否阻止服务端访问
413	图片数量、分辨率或 Base64 请求体过大
回答忽略某张图	图片顺序、文本指令和模型图片数量限制
OCR 不稳定	图片清晰度、旋转、语言和版面复杂度

下一步：选择模型、结构化输出、图像生成、请求跟踪、超时与重试。