跳到主要内容

参数​

请参阅 插件通用配置 了解所有插件可用的配置选项。

  • provider

    string

    required

    vaild vaule:

    openai, deepseek, azure-openai, aimlapi, gemini, vertex-ai, anthropic, openrouter, openai-compatible

    LLM 服务提供商。

    当设置为 openai 时，插件将请求代理到 https://api.openai.com/chat/completions。

    当设置为 deepseek 时，插件将请求代理到 https://api.deepseek.com/chat/completions。

    当设置为 gemini (API7 企业版 3.9.2 及更高版本) 时，插件将请求代理到 https://generativelanguage.googleapis.com/v1beta/openai/chat/completions。如果代理请求到 Embedding 模型，则应在 override 中配置 Embedding 模型端点。

    当设置为 vertex-ai (API7 企业版 3.9.2 及更高版本) 时，插件将请求代理到 Google Cloud Vertex AI。对于聊天完成，插件将请求代理到 https://{region}-aiplatform.googleapis.com/v1beta1/projects/{project_id}/locations/{region}/endpoints/openapi/chat/completions。对于 Embedding，插件将请求代理到 https://{region}-aiplatform.googleapis.com/v1/projects/{project_id}/locations/{region}/publishers/google/models/{model}:predict。这些需要配置 provider_conf 中的 project_id 和 region。或者，你可以在 override 中配置自定义端点。

    当设置为 anthropic (API7 企业版 3.9.2 及更高版本) 时，插件将请求代理到 https://api.anthropic.com/v1/chat/completions。

    当设置为 openrouter (API7 企业版 3.9.2 及更高版本) 时，插件将请求代理到 https://openrouter.ai/api/v1/chat/completions。

    当设置为 aimlapi 时，插件默认使用 OpenAI 兼容驱动程序并将请求代理到 https://api.aimlapi.com/v1/chat/completions。此参数从 APISIX 3.15.0 版本和 API7 企业版 3.8.17 版本开始可用。

    当设置为 openai-compatible 时，插件将请求代理到 override 中配置的自定义端点。

    当设置为 azure-openai 时，插件也会将请求代理到 override 中配置的自定义端点，并另外从用户请求中移除 model 参数。

  • auth

    object

    required

    认证配置。

    • header

      object

      认证头。必须至少配置 header 和 query 中的一个。

    • query

      object

      认证查询参数。必须至少配置 header 和 query 中的一个。

    • gcp

      object

      Vertex AI 的 GCP 服务账号认证。在 API7 企业版 3.9.2 及更高版本中可用，在 APISIX 中不可用。

      • service_account_json

        string

        用于认证的 GCP 服务账号 JSON 内容。可以使用此参数配置，也可以通过设置 GCP_SERVICE_ACCOUNT 环境变量来配置。

      • max_ttl

        integer

        GCP 访问令牌缓存的最大 TTL（秒）。

      • expire_early_secs

        integer

        default: 60

        在实际过期时间之前使访问令牌过期的秒数。这可以防止在活动请求期间令牌过期的边缘情况。

  • options

    object

    模型配置。

    除了 model 之外，你还可以配置其他参数，它们将在请求体中转发到上游 LLM 服务。例如，如果你使用 OpenAI，你可以配置 temperature、top_p 和 stream 等附加参数。更多可用选项请参见你的 LLM 提供商的 API 文档。

    • model

      string

      LLM 模型名称，例如 gpt-4 或 gpt-3.5。更多可用模型请参见你的 LLM 提供商 API 文档。

  • provider_conf

    object

    提供商特定配置。当 provider 为 vertex-ai 时，必须配置 provider_conf 或 override 之一。

    在 API7 企业版 3.9.2 及更高版本中可用，在 APISIX 中不可用。

    • project_id

      string

      required

      Vertex AI 的 Google Cloud Project ID。

    • region

      string

      required

      Vertex AI 的 Google Cloud Region。

  • override

    object

    覆盖设置。

    • endpoint

      string

      LLM 提供商端点。当 provider 为 openai-compatible 时必填。

  • logging

    object

    日志配置。

    • summaries

      boolean

      default: false

      如果为 true，记录请求 LLM 模型、持续时间、请求和响应 Token。

    • payloads

      boolean

      default: false

      如果为 true，记录请求和响应 Payload。

  • timeout

    integer

    default: 30000

    vaild vaule:

    greater than or equal to 1

    请求 LLM 服务时的请求超时时间（毫秒）。

  • keepalive

    boolean

    default: true

    如果为 true，在请求 LLM 服务时保持连接活动。

  • keepalive_timeout

    integer

    default: 60000

    vaild vaule:

    greater than or equal to 1000

    请求 LLM 服务时的 Keepalive 超时时间（毫秒）。

  • keepalive_pool

    integer

    default: 30

    连接 LLM 服务时的 Keepalive 连接池大小。

  • ssl_verify

    boolean

    default: true

    如果为 true，验证 LLM 服务的证书。