跳到主要内容
版本：3.9.x

通过 OpenRouter 接入数百种大语言模型

OpenRouter 提供统一的 OpenAI 兼容 API，可访问多个服务提供方的 200 多种模型。本指南介绍如何使用 ai-proxy 插件，通过 API7 网关将流量路由到 OpenRouter。

前置条件​

  • 安装 Docker。

  • 安装 cURL，用于发送请求并验证服务。

  • 拥有一个正在运行的 API7 网关实例。

  • 从控制台获取令牌，并将其保存到环境变量：

    export API_KEY=your-dashboard-token   # 请替换为你的控制台令牌

  • 将 {gateway_group_id} 替换为网关组 ID。如果正在按照快速入门操作，请使用 default。

  • 如果使用 Admin API 示例，请在 API7 网关中创建或复用一个服务。如果尚无服务，请按照创建或复用服务操作，然后将其 ID 保存到环境变量：

    export SERVICE_ID=your-service-id         # 请替换为你的服务 ID

获取 OpenRouter API Key（API 密钥）​

在 openrouter.ai 创建账户并生成 API Key，然后将 API Key 保存到环境变量：

export OPENROUTER_API_KEY=sk-or-xxxxxxxxxxxxxxxxxxxxxxxx   # 请替换为你的 OpenRouter API Key

为 OpenRouter 配置 AI 代理​

创建一个启用 ai-proxy 插件的路由：

curl -k "https://localhost:7443/apisix/admin/routes?gateway_group_id={gateway_group_id}" -X PUT \
  -H "X-API-KEY: ${API_KEY}" \
  -d '{
    "id": "openrouter-route",
    "service_id": "'"$SERVICE_ID"'",
    "paths": ["/openrouter"],
    "plugins": {
      "ai-proxy": {
        "provider": "openrouter",
        "auth": {
          "header": {
            "Authorization": "Bearer '"$OPENROUTER_API_KEY"'"
          }
        },
        "options": {
          "model": "anthropic/claude-sonnet-4-20250514"
        }
      }
    }
  }'

❶ 将服务提供方设置为 openrouter。

❷ 在 Authorization 请求头中附加 OpenRouter API Key。

❸ 使用 provider/model 格式设置模型。可在 openrouter.ai/models 浏览可用模型。

通过 OpenRouter 实现多模型路由​

使用 ai-proxy-multi 在 OpenRouter 提供的不同模型之间进行负载均衡：

curl -k "https://localhost:7443/apisix/admin/routes?gateway_group_id={gateway_group_id}" -X PUT \
  -H "X-API-KEY: ${API_KEY}" \
  -d '{
    "id": "openrouter-multi-route",
    "service_id": "'"$SERVICE_ID"'",
    "paths": ["/openrouter"],
    "plugins": {
      "ai-proxy-multi": {
        "instances": [
          {
            "name": "budget-model",
            "provider": "openrouter",
            "auth": { "header": { "Authorization": "Bearer '"$OPENROUTER_API_KEY"'" } },
            "options": { "model": "google/gemini-2.0-flash" },
            "weight": 8
          },
          {
            "name": "premium-model",
            "provider": "openrouter",
            "auth": { "header": { "Authorization": "Bearer '"$OPENROUTER_API_KEY"'" } },
            "options": { "model": "anthropic/claude-sonnet-4-20250514" },
            "weight": 2
          }
        ]
      }
    }
  }'

❶ 将 80% 的流量路由到经济型模型。

❷ 将 20% 的流量路由到高级模型，以获得质量更高的响应。

更多路由策略请参阅多模型路由和故障转移。

验证配置​

发送聊天补全请求：

curl "http://127.0.0.1:9080/openrouter" -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [
      { "role": "user", "content": "What is an API gateway?" }
    ]
  }'

你应收到类似以下内容的响应：

{
  "id": "chatcmpl-abc123",
  "object": "chat.completion",
  "model": "anthropic/claude-sonnet-4-20250514",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "An API gateway is a server that acts as a single entry point for a set of microservices or APIs, handling request routing, composition, and protocol translation."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 10,
    "completion_tokens": 32,
    "total_tokens": 42
  }
}

要启用流式响应，请在请求体中设置 "stream": true。使用 proxy-buffering 插件禁用 NGINX proxy_buffering，避免服务器发送事件（SSE）被缓冲。

后续步骤​

你已经了解如何通过 API7 网关将流量路由到 OpenRouter。有关可用模型和定价的更多信息，请参阅 OpenRouter 文档。