AI RAG 配置选项
AI RAG 插件在代理 LLM 请求之前,使用 Azure OpenAI 生成嵌入向量,并通过 Azure AI Search 检索上下文。 配置涵盖插件参数和请求体字段。
插件参数
有关所有插件均可使用的配置项,请参阅插件通用配置。
embeddings_provider
为向量检索生成嵌入向量的服务提供方。
azure_openai
用于生成嵌入向量的 Azure OpenAI 端点和身份认证配置。
endpoint
Azure OpenAI 嵌入模型端点。
api_key
Azure OpenAI API Key。为网关配置存储启用数据加密时,此值会加密存储。
vector_search_provider
使用生成的嵌入向量检索上下文的服务提供方。
azure_ai_search
用于向量检索的 Azure AI Search 端点和身份认证配置。
endpoint
Azure AI Search 端点。
api_key
Azure AI Search API Key。为网关配置存储启用数据加密时,此值会加密存储。
ssl_verify
设为 true 时,调用嵌入模型和向量搜索端点会验证 TLS 证书。仅在使用不受信任的证书进行临时开发或迁移时设为 false。
自 API7 企业版 3.9.10 和 APISIX 3.17.0 起可用。
请求体参数
按以下字段配置请求中的 ai_rag 对象。
ai_rag
在代理 LLM 请求之前生成嵌入向量并检索上下文所用的输入。
embeddings
发送到 Azure OpenAI 的输入,用于生成检索所需的嵌入向量。
model
Azure OpenAI 嵌入模型部署的名称。配置的端点使用 Azure OpenAI v1 API 时,请求体必须包含此字段。旧版部署专用端点的 URL 已包含部署名称。
input
用于生成检索所需嵌入向量的文本。请将用户请求单独放入 LLM 协议的提示词字段,例如 Chat Completions 的
messages。user
代表最终用户的唯一标识符,有助于监控和检测滥用。
encoding_format
有效值:
float或base64返回的嵌入向量的数据类型。
dimensions
请求的嵌入向量维度。设置此项时,必须与 Azure AI Search 向量字段的维度一致。
text-embedding-ada-002固定为 1536 维。text-embedding-3-small支持 1 至 1536 维,text-embedding-3-large支持 1 至 3072 维。
vector_search
Azure AI Search 的向量检索输入。
fields
用于检索的 Azure AI Search 向量字段名称。