AI Request Rewrite | API 网关文档

参数

有关所有插件均可使用的配置项，请参阅插件通用配置。

prompt
string
必填
用于指示 LLM 如何重写客户端请求的提示词。
provider
string
必填
有效值：
openai、deepseek、azure-openai、aimlapi、gemini、vertex-ai、anthropic、openrouter、openai-compatible
模型服务提供方。
当设置为 openai 时，插件将代理请求到 https://api.openai.com/v1/chat/completions。
当设置为 deepseek 时，插件将代理请求到 https://api.deepseek.com/chat/completions。
当设置为 gemini（自 APISIX 3.15.0 和企业版 3.9.3 起可用）时，插件将代理请求到 https://generativelanguage.googleapis.com/v1beta/openai/chat/completions。如果你代理请求到嵌入模型，则应在 override 中配置嵌入模型端点。
当设置为 vertex-ai（自 APISIX 3.15.0 和企业版 3.9.3 起可用）时，插件代理请求到 Google Cloud Vertex AI。对于聊天补全，插件将代理请求到 https://{region}-aiplatform.googleapis.com/v1beta1/projects/{project_id}/locations/{region}/endpoints/openapi/chat/completions。对于嵌入，插件将代理请求到 https://{region}-aiplatform.googleapis.com/v1/projects/{project_id}/locations/{region}/publishers/google/models/{model}:predict。这些需要配置 provider_conf 中的 project_id 和 region。或者，你可以配置 override 以使用自定义端点。
当设置为 anthropic（自 APISIX 3.15.0 和企业版 3.9.2 起可用）时，插件将代理请求到 https://api.anthropic.com/v1/chat/completions。
当设置为 openrouter（自 APISIX 3.15.0 和企业版 3.9.2 起可用）时，插件将代理请求到 https://openrouter.ai/api/v1/chat/completions。
当设置为 aimlapi（自 APISIX 3.14.0 和企业版 3.8.17 起可用）时，插件使用 OpenAI 兼容驱动并将请求代理到 https://api.aimlapi.com/v1/chat/completions。
当设置为 openai-compatible 时，插件代理请求到 override 中配置的自定义端点。
当设置为 azure-openai 时，插件也会代理请求到 override 中配置的自定义端点，并且另外从用户请求中移除 model 参数。
auth
object
必填
认证配置。
- header
  object
  身份认证请求头。header 和 query 中至少应配置一个。
- query
  object
  认证查询参数。header 和 query 中至少应配置一个。
- gcp
  object
  Vertex AI 的 GCP 服务账号认证。在 API7 企业版 3.9.3 及更高版本中可用，APISIX 中不可用。
  service_account_json
  string
  用于认证的 GCP 服务账号 JSON 内容。可以使用此参数配置，也可以通过设置 GCP_SERVICE_ACCOUNT 环境变量来配置。
  max_ttl
  integer
  GCP 访问令牌缓存的最大 TTL（以秒为单位）。
  expire_early_secs
  integer
  默认值：60
  访问令牌在其实际过期时间之前过期的秒数。这可以防止令牌在活动请求期间过期的边缘情况。
options
object
模型配置。
除了 model 之外，你还可以配置其他参数，它们将作为请求体转发到上游 LLM 服务。例如，如果你正在使用 OpenAI，你可以配置 temperature、top_p 和 stream 等其他参数。有关更多可用选项，请参阅你的模型服务提供方的 API 文档。
- model
  string
  LLM 模型的名称，例如 gpt-4 或 gpt-3.5。有关更多可用模型，请参阅你的模型服务提供方的 API 文档。
provider_conf
object
提供商特定的配置。当 provider 为 vertex-ai 时，应配置 provider_conf 或 override 之一。
在 API7 企业版 3.9.3 及更高版本中可用，APISIX 中不可用。
- project_id
  string
  必填
  Vertex AI 的 Google Cloud 项目 ID。
- region
  string
  必填
  Vertex AI 的 Google Cloud 区域。
override
object
覆盖设置。
- endpoint
  string
  模型服务提供方端点。当 provider 为 openai-compatible 时必填。
timeout
integer
默认值：30000
有效值：
介于 1 和 60000 之间（含边界值）
请求 LLM 服务时的请求超时时间（毫秒）。
keepalive
boolean
默认值：true
如果为 true，则在请求 LLM 服务时保持连接处于活动状态。
keepalive_timeout
integer
默认值：60000
有效值：
大于或等于 1000
请求 LLM 服务时的 Keepalive 超时时间（毫秒）。
keepalive_pool
integer
默认值：30
连接 LLM 服务时的 Keepalive 连接池大小。
ssl_verify
boolean
默认值：true
如果为 true，则验证 LLM 服务的证书。

参数​

参数