管理和保护 AI 流量
API7 AI 网关是 API7 网关中的 AI 流量管理层。它在应用程序与大语言模型（LLM）服务提供方之间提供统一控制点， 使平台工程师无需修改应用程序代码，即可集中管理身份认证、实施安全护栏、控制成本，并获得所有 AI 流量的可观测性。
本文概述 AI 网关的功能、架构和支持的服务提供方。
架构
AI 网关以一组插件的形式运行在 API7 数据面上，并通过控制面进行配置。请求在到达 LLM 服务提供方之前，会流经以下处理管道：
处理管道的各个阶段对应运行在数据面上的 AI 插件。每个阶段都是可选的，只需配置所需功能。
核心能力
| 能力 | 描述 | 插件 |
|---|---|---|
| LLM 代理 | 通过统一 API 接入八个以上的服务提供方，包括任意 OpenAI 兼容端点 | ai-proxy |
| 多模型路由 | 在多个模型和服务提供方之间实现负载均衡、故障转移、健康检查和基于优先级的路由 | ai-proxy-multi |
| 协议转换 | 将 Anthropic 协议转换为 OpenAI 协议，并自动转换响应，对客户端透明 | ai-proxy |
| 提示词工程 | 在网关层使用可复用模板并注入系统提示词 | ai-prompt-decorator、ai-prompt-template |
| 内容安全护栏 | 基于 PCRE 过滤提示词，并通过外部服务检测有害内容 | ai-prompt-guard、ai-aws-content-moderation、ai-aliyun-content-moderation |
| PII 脱敏 | 在提示词到达 LLM 服务提供方之前屏蔽敏感数据 | ai-request-rewrite |
| Token 限流 | 根据 Token 数量，按消费者、路由或模型实例控制预算 | ai-rate-limiting |
| RAG 集成 | 使用 Azure AI Search 和 Azure OpenAI 向量嵌入实现检索增强生成 | ai-rag |
| AI 驱动的转换 | 使用 LLM 智能改写请求 | ai-request-rewrite |
| AI 可观测性 | 内置日志记录（摘要和负载）以及用于 Token 统计的 Prometheus 指标 | ai-proxy |
| MCP 网关 | 将 OpenAPI 服务公开为供 AI Agent 使用的 MCP 工具 | openapi-to-mcp |
支持的 LLM 服务提供方
API7 AI 网关为以下 LLM 服务提供方提供专用驱动实现：
| 服务提供方 | 服务提供方标识 | 指南 |
|---|---|---|
| OpenAI | openai | 将流量路由到 OpenAI |
| Azure OpenAI | azure-openai | 集成 Azure OpenAI |
| Anthropic | anthropic | 接入 Anthropic Claude |
| DeepSeek | deepseek | 将流量路由到 DeepSeek |
| Google Gemini | gemini | 接入 Google Gemini |
| Vertex AI | vertex-ai | 将流量路由到 Vertex AI |
| OpenRouter | openrouter | 通过 OpenRouter 访问 LLM |
| OpenAI 兼容服务 | openai-compatible | 接入任意 OpenAI 兼容大语言模型 |
任何遵循 OpenAI Chat Completion 格式的 LLM API 都可以使用 openai-compatible 服务提供方类型进行代理。
备注
计划在未来版本中支持带有原生 SigV4 签名的 AWS Bedrock。