跳到主要内容

Groq

本指南将 AISIX AI 网关连接到 Groq。调用方可以通过网关的 OpenAI 兼容 API 访问 Groq 托管的模型，凭证、模型允许列表、限流和用量核算由 AISIX 管理。

Groq 提供 OpenAI 兼容 API，因此使用 openai 适配器并搭配 Groq 的 api_base。

前提条件​

以下示例使用自托管 AISIX 网关。配置上游前，请准备以下内容：

配置 Groq 上游​

为 Groq 支持的 Chat Completions 路由创建服务提供方密钥、模型别名和调用方 API Key。

创建服务提供方密钥​

创建用于存储 Groq 凭证和 API 根地址的服务提供方密钥：

# 请替换为实际值
export AISIX_ADMIN_KEY="YOUR_ADMIN_KEY"
export GROQ_API_KEY="YOUR_PROVIDER_API_KEY"

curl -sS -X POST "http://127.0.0.1:3001/admin/v1/provider_keys" \
  -H "Authorization: Bearer ${AISIX_ADMIN_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "groq-prod",
    "provider": "groq",
    "adapter": "openai",
    "secret": "'"${GROQ_API_KEY}"'",
    "api_base": "https://api.groq.com/openai/v1"
  }'

❶ provider 为 groq。

❷ adapter 为 openai，因为 Groq 接受 OpenAI Chat Completions 请求。

❸ secret 存储 Groq API Key，遵循服务提供方凭证中的凭证处理行为。

❹ api_base 必填，且已包含 /openai/v1 路径。AISIX 会在其后追加 /chat/completions。

复制返回的服务提供方密钥 ID。

创建模型​

Groq 的模型可用性会随时间变化。创建模型别名前，请在 Groq 模型列表中确认当前模型 ID。

创建调用方将在请求中发送的模型别名：

# 请替换为实际值
export PROVIDER_KEY_ID="YOUR_PROVIDER_KEY_ID"

curl -sS -X POST "http://127.0.0.1:3001/admin/v1/models" \
  -H "Authorization: Bearer ${AISIX_ADMIN_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "groq-gptoss-prod",
    "provider": "groq",
    "model_name": "openai/gpt-oss-120b",
    "provider_key_id": "'"${PROVIDER_KEY_ID}"'"
  }'

❶ display_name 是调用方在 model 中发送的别名。

❷ model_name 是 Groq 模型 ID，例如 openai/gpt-oss-120b。

❸ provider_key_id 将别名关联到 Groq 服务提供方密钥。

创建调用方 API Key​

选择应用发送给 AISIX 的调用方 API Key，然后为 Admin 资源计算哈希：

# 请替换为实际值
export AISIX_API_KEY="YOUR_CALLER_API_KEY"

CALLER_KEY_HASH=$(printf '%s' "${AISIX_API_KEY}" | shasum -a 256 | awk '{print $1}')

创建允许访问该模型别名的调用方 API Key 资源：

curl -sS -X POST "http://127.0.0.1:3001/admin/v1/apikeys" \
  -H "Authorization: Bearer ${AISIX_ADMIN_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "key_hash": "'"${CALLER_KEY_HASH}"'",
    "allowed_models": ["groq-gptoss-prod"]
  }'

allowed_models 必须与你创建的模型别名匹配。

验证服务提供方连接​

通过 AISIX 代理发送 Chat Completions 请求：

curl -sS -X POST "http://127.0.0.1:3000/v1/chat/completions" \
  -H "Authorization: Bearer ${AISIX_API_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "groq-gptoss-prod",
    "messages": [
      {
        "role": "user",
        "content": "Say hello from Groq."
      }
    ]
  }'

网关会返回回显面向调用方别名 groq-gptoss-prod 的 OpenAI 兼容响应。如果 AISIX 返回上游认证错误，请检查服务提供方密钥的 secret；如果返回上游路由错误，请检查 api_base 和 model_name 中的 Groq 模型 ID。

下一步​

你现在已将 AISIX 连接到 Groq，并验证了模型别名。接下来可继续阅读：