跳到主要内容
版本：3.10.x

接入兼容 OpenAI 协议的模型服务

API7 AI 网关支持接入遵循 OpenAI Chat Completions 格式的模型服务。你可以使用 openai-compatible 类型连接自托管模型（如 vLLM、Ollama、LM Studio）、第三方模型平台（如 Together AI、Groq、Fireworks）或企业内部大模型服务。

备注

如果模型服务已经有专用驱动，例如 OpenAI、DeepSeek、Anthropic、Azure OpenAI、Gemini、Vertex AI 或 OpenRouter，建议优先使用对应类型。专用驱动会自动处理不同服务的认证和端点构造差异。

前提条件​

  • 已安装 Docker 和 cURL。
  • 已有可用的 API7 企业版网关环境。
  • 已有一个接受 /v1/chat/completions 请求的兼容 OpenAI 协议端点。
  • 已设置 ADMIN_API_KEY 和 SERVICE_ID 环境变量。

配置自定义模型服务​

使用 openai-compatible 时，必须通过 override.endpoint 指定完整模型端点。

curl "http://127.0.0.1:7080/apisix/admin/routes?gateway_group_id=default" -X PUT \
  -H "X-API-KEY: $ADMIN_API_KEY" \
  -d '{
  "id": "custom-model-route",
  "service_id": "'"$SERVICE_ID"'",
  "paths": ["/custom-model"],
  "plugins": {
    "ai-proxy": {
      "provider": "openai-compatible",
      "auth": {
        "header": {
          "Authorization": "Bearer your-api-key"
        }
      },
      "options": {
        "model": "your-model-name"
      },
      "override": {
        "endpoint": "https://your-model-endpoint.example.com/v1/chat/completions"
      }
    }
  }
}'

适用场景​

  • 企业内部模型服务已兼容 OpenAI 协议，希望复用现有 SDK。
  • 需要接入小众模型服务或自托管推理服务。
  • 需要在网关层统一接入、限流、审计和观察多个模型端点。

注意事项​

  • 确认上游端点路径、模型名称和鉴权方式与实际服务一致。
  • 如果自托管模型没有返回标准令牌用量字段，成本统计和令牌限流可能需要结合实际响应格式验证。
  • 生产环境建议将凭证放入密钥管理系统，而不是直接写入配置文件。