跳到主要内容

Weights & Biases Inference

Weights & Biases Inference 通过 W&B 平台为开放模型提供托管推理服务。AISIX 将这些模型映射到稳定的别名，并在网关处控制调用方访问权限。

准备工作​

开始前，请准备以下内容：

  • 一套 AISIX 环境：
    • 对于 AISIX Cloud，需要一个已关联网关的环境和具有写入作用域的 Admin Token。对于 On-Premises，请按照 AISIX Cloud 快速入门操作。如需申请 Hybrid Cloud 访问权限，请联系 API7。
    • 对于开源 AISIX 网关，请准备本地 AISIX 安装，或使用开源 AISIX 网关快速入门中的 Docker 环境。配置网关以加载声明式资源文件。
  • 一个已获 Inference 授权的 W&B API Key。
  • curl 和 jq。

使用 AISIX Cloud 配置​

导出 AISIX Cloud 连接信息：

# AISIX_CP 是 Admin API 基础 URL；应包含 /api，且末尾不带斜杠
# 本地 On-Premises 快速入门使用 http://localhost:8080/api
export AISIX_CP="YOUR_AISIX_CLOUD_ADMIN_API_URL"
export AISIX_TOKEN="YOUR_ADMIN_TOKEN"
export ENV_ID="YOUR_ENVIRONMENT_ID"

W&B Inference 是使用 OpenAI 兼容 API 的社区目录服务提供方。AISIX 通过 openai 适配器连接，并使用 Bearer Token 对上游请求进行身份认证。

创建服务提供方密钥​

export WANDB_API_KEY="YOUR_WANDB_API_KEY"

PROVIDER_KEY_ID=$(
  curl -sS -X POST "$AISIX_CP/provider_keys" \
    -H "Authorization: Bearer $AISIX_TOKEN" \
    -H "Content-Type: application/json" \
    -d '{
      "display_name": "wandb-prod",
      "provider": "wandb",
      "api_key": "'"${WANDB_API_KEY}"'",
      "api_base": "https://api.inference.wandb.ai/v1",
      "allowed_environments": ["'"${ENV_ID}"'"]
    }' | jq -er '.provider_key.id'
)

echo "$PROVIDER_KEY_ID"

AISIX 服务提供方 ID 是 wandb，而不是 weights-and-biases。不要添加 adapter；AISIX 会为目录服务提供方推导出 openai 适配器。

显式 API Base 中包含 /v1。AISIX 发送上游请求时会追加 /chat/completions。

创建模型​

使用完整的 W&B 模型 ID 创建别名：

MODEL_ID=$(
  curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/models" \
    -H "Authorization: Bearer $AISIX_TOKEN" \
    -H "Content-Type: application/json" \
    -d '{
      "display_name": "wandb-llama-prod",
      "model_name": "meta-llama/Llama-3.1-8B-Instruct",
      "provider_key_id": "'"${PROVIDER_KEY_ID}"'"
    }' | jq -er '.model.id'
)

echo "$MODEL_ID"

替换为 W&B Inference 目录中的其他模型时，请保留发布方命名空间和大小写。

创建调用方 API Key​

AISIX_API_KEY=$(
  curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/api_keys" \
    -H "Authorization: Bearer $AISIX_TOKEN" \
    -H "Content-Type: application/json" \
    -d '{
      "display_name": "wandb-inference-caller",
      "allowed_models": ["'"${MODEL_ID}"'"]
    }' | jq -er '.plaintext'
)

echo "$AISIX_API_KEY"

使用开源 AISIX 网关配置​

导出上游凭证，并选择应用将发送给网关的调用方 API Key：

export WANDB_API_KEY="YOUR_PROVIDER_API_KEY"
export CALLER_API_KEY="YOUR_CALLER_API_KEY"

为该服务提供方创建完整的声明式资源文件：

resources.yaml
_format_version: "1"

provider_keys:
  - display_name: "wandb-prod"
    provider: "wandb"
    adapter: "openai"
    api_key: ${WANDB_API_KEY}
    api_base: "https://api.inference.wandb.ai/v1"

models:
  - display_name: "wandb-llama-prod"
    provider: "wandb"
    model_name: "meta-llama/Llama-3.1-8B-Instruct"
    provider_key: "wandb-prod"

api_keys:
  - display_name: "wandb-inference-caller"
    key_env: CALLER_API_KEY
    allowed_models:
      - "wandb-llama-prod"

如果 AISIX 安装在本地，请在加载前验证文件：

aisix validate --resources resources.yaml

验证后，在网关进程环境中提供文件引用的环境变量，再启动网关。仅当这些变量已经可供进程使用时，才重新加载现有网关；否则，请使用更新后的环境重启网关。

如果使用 Docker，请调整开源 AISIX 网关快速入门中的验证和启动命令。挂载此 resources.yaml 文件，并在两条命令中使用 -e 传入它引用的每个环境变量。资源加载后，准备下文共用的验证请求：

export AISIX_API_KEY="$CALLER_API_KEY"

验证服务提供方连接​

导出 AISIX 网关 Origin：

# 本地快速入门使用 http://127.0.0.1:3000
export AISIX_PROXY="YOUR_AISIX_GATEWAY_ORIGIN"

通过 AISIX 代理发送 Chat Completions 请求：

curl -sS -X POST "$AISIX_PROXY/v1/chat/completions" \
  -H "Authorization: Bearer $AISIX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "wandb-llama-prod",
    "messages": [
      {
        "role": "user",
        "content": "Say hello from W&B Inference."
      }
    ]
  }'

AISIX 将上游模型 ID 转发到 POST /v1/chat/completions，并在 Bearer 请求头中携带 W&B API Key。

端点覆盖范围​

支持 Chat Completions。AISIX 可以通过聊天适配器桥接兼容的 Responses 和 Anthropic Messages 请求。Embeddings 需要使用 W&B 在同一 API Root 上提供的嵌入模型。

图像生成、视频生成和重排序不接受 wandb 服务提供方值。请参阅服务提供方兼容性。

故障排查​

现象检查项
上游返回 401 或 403确认 W&B API Key 具有 Inference 访问权限。
上游返回 404在 API Base 中保留 /v1，并验证模型 ID。
找不到模型保留发布方命名空间和大小写。
创建服务提供方密钥时返回 400使用 provider: "wandb"，且不要添加 adapter。

后续步骤​

现在，你已将 AISIX 连接到 W&B Inference，并验证了模型别名。请继续阅读以下指南：