跳到主要内容

AI RAG 配置选项

AI RAG 插件在代理 LLM 请求之前,使用 Azure OpenAI 生成嵌入向量,并通过 Azure AI Search 检索上下文。 配置涵盖插件参数和请求体字段。

插件参数​

有关所有插件均可使用的配置项,请参阅插件通用配置。

  • embeddings_provider

    object

    必填


    为向量检索生成嵌入向量的服务提供方。

    • azure_openai

      object

      必填


      用于生成嵌入向量的 Azure OpenAI 端点和身份认证配置。

      • endpoint

        string

        必填


        Azure OpenAI 嵌入模型端点。

      • api_key

        string

        必填


        Azure OpenAI API Key。为网关配置存储启用数据加密时,此值会加密存储。

  • vector_search_provider

    object

    必填


    使用生成的嵌入向量检索上下文的服务提供方。

    • azure_ai_search

      object

      必填


      用于向量检索的 Azure AI Search 端点和身份认证配置。

      • endpoint

        string

        必填


        Azure AI Search 端点。

      • api_key

        string

        必填


        Azure AI Search API Key。为网关配置存储启用数据加密时,此值会加密存储。

  • ssl_verify

    boolean

    默认值:true


    设为 true 时,调用嵌入模型和向量搜索端点会验证 TLS 证书。仅在使用不受信任的证书进行临时开发或迁移时设为 false。

    自 API7 企业版 3.9.10 和 APISIX 3.17.0 起可用。

请求体参数​

按以下字段配置请求中的 ai_rag 对象。

  • ai_rag

    object

    必填


    在代理 LLM 请求之前生成嵌入向量并检索上下文所用的输入。

    • embeddings

      object

      必填


      发送到 Azure OpenAI 的输入,用于生成检索所需的嵌入向量。

      • model

        string


        Azure OpenAI 嵌入模型部署的名称。配置的端点使用 Azure OpenAI v1 API 时,请求体必须包含此字段。旧版部署专用端点的 URL 已包含部署名称。

      • input

        string

        必填


        用于生成检索所需嵌入向量的文本。请将用户请求单独放入 LLM 协议的提示词字段,例如 Chat Completions 的 messages。

      • user

        string


        代表最终用户的唯一标识符,有助于监控和检测滥用。

      • encoding_format

        string

        默认值:float

        有效值:

        float 或 base64

        返回的嵌入向量的数据类型。

      • dimensions

        integer


        请求的嵌入向量维度。设置此项时,必须与 Azure AI Search 向量字段的维度一致。text-embedding-ada-002 固定为 1536 维。text-embedding-3-small 支持 1 至 1536 维,text-embedding-3-large 支持 1 至 3072 维。

    • vector_search

      object

      必填


      Azure AI Search 的向量检索输入。

      • fields

        string

        必填


        用于检索的 Azure AI Search 向量字段名称。