跳到主要内容

Mistral AI

本指南将 AISIX AI 网关连接到 Mistral AI。调用方可以通过网关的 OpenAI 兼容 API 访问 Mistral 模型，凭证、模型允许列表、限流和用量核算由 AISIX 管理。

Mistral 提供 OpenAI 兼容 API，因此使用 openai 适配器并搭配 Mistral 的 api_base。

前提条件​

以下示例使用自托管 AISIX 网关。配置上游前，请准备以下内容：

配置 Mistral 上游​

为 Mistral 支持的 Chat Completions 路由创建服务提供方密钥、模型别名和调用方 API Key。

创建服务提供方密钥​

创建用于存储 Mistral 凭证和 API 根地址的服务提供方密钥：

# Replace with your values
export AISIX_ADMIN_KEY="YOUR_ADMIN_KEY"
export MISTRAL_API_KEY="YOUR_PROVIDER_API_KEY"

curl -sS -X POST "http://127.0.0.1:3001/admin/v1/provider_keys" \
  -H "Authorization: Bearer ${AISIX_ADMIN_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "mistral-prod",
    "provider": "mistral",
    "adapter": "openai",
    "secret": "'"${MISTRAL_API_KEY}"'",
    "api_base": "https://api.mistral.ai/v1"
  }'

❶ provider 为 mistral。

❷ adapter 为 openai，因为 Mistral 接受 OpenAI chat completions 请求。

❸ secret 存储 Mistral API Key，遵循服务提供方凭证中的凭证处理行为。

❹ api_base 必填，且已包含 /v1 路径。AISIX 会在其后追加 /chat/completions。

复制返回的服务提供方密钥 ID。

创建模型​

以 -latest 结尾的 Mistral 模型 ID 会跟随该模型的最新快照。如需固定具体版本，请使用 Mistral 模型列表中的日期版本 ID。

创建调用方将在请求中发送的模型别名：

# Replace with your values
export PROVIDER_KEY_ID="YOUR_PROVIDER_KEY_ID"

curl -sS -X POST "http://127.0.0.1:3001/admin/v1/models" \
  -H "Authorization: Bearer ${AISIX_ADMIN_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "mistral-large-prod",
    "provider": "mistral",
    "model_name": "mistral-large-latest",
    "provider_key_id": "'"${PROVIDER_KEY_ID}"'"
  }'

❶ display_name 是调用方在 model 中发送的别名。

❷ model_name 是 Mistral 模型 ID，例如 mistral-large-latest 或 mistral-small-latest。

❸ provider_key_id 将别名关联到 Mistral 服务提供方密钥。

创建调用方 API Key​

选择应用发送给 AISIX 的调用方 API Key，然后为 Admin 资源计算哈希：

# Replace with your values
export AISIX_API_KEY="YOUR_CALLER_API_KEY"

CALLER_KEY_HASH=$(printf '%s' "${AISIX_API_KEY}" | shasum -a 256 | awk '{print $1}')

创建允许访问该模型别名的调用方 API Key 资源：

curl -sS -X POST "http://127.0.0.1:3001/admin/v1/apikeys" \
  -H "Authorization: Bearer ${AISIX_ADMIN_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "key_hash": "'"${CALLER_KEY_HASH}"'",
    "allowed_models": ["mistral-large-prod"]
  }'

allowed_models 必须与你创建的模型别名匹配。

验证服务提供方连接​

通过 AISIX 代理发送 chat completions 请求：

curl -sS -X POST "http://127.0.0.1:3000/v1/chat/completions" \
  -H "Authorization: Bearer ${AISIX_API_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-large-prod",
    "messages": [
      {
        "role": "user",
        "content": "Say hello from Mistral."
      }
    ]
  }'

网关会返回回显面向调用方别名 mistral-large-prod 的 OpenAI 兼容响应。如果 AISIX 返回上游认证错误，请检查服务提供方密钥的 secret；如果返回上游路由错误，请检查 api_base 和 model_name 中的 Mistral 模型 ID。

下一步​

你现在已将 AISIX 连接到 Mistral，并验证了模型别名。接下来可继续阅读：