Together AI

Together AI 为开放模型和合作伙伴模型提供托管推理。应用通过稳定的 AISIX 别名调用所选模型，网关负责保管 Together API Key。

准备工作

开始前，请准备以下内容：

• 一套 AISIX 环境：
  • 对于 AISIX Enterprise 或 AISIX Cloud，需要一个已关联网关的环境和具有写入作用域的 Admin Token。对于 AISIX Enterprise，请按照 AISIX Enterprise 快速入门操作。如需申请 AISIX Cloud 访问权限，请联系 API7。
  • 对于开源 AISIX 网关，请准备本地 AISIX 安装，或使用开源 AISIX 网关快速入门中的 Docker 环境。配置网关以加载声明式资源文件。
• 从 Together 控制台获取的 Together API Key。
• curl 和 jq。

使用 AISIX Enterprise 或 AISIX Cloud 配置

导出控制面连接信息：

# AISIX_CP 是 Admin API 基础 URL；应包含 /api，且不含尾部斜杠
# 本地 AISIX Enterprise 快速入门使用 http://localhost:8080/api
export AISIX_CP="YOUR_AISIX_CONTROL_PLANE_API_URL"
export AISIX_TOKEN="YOUR_ADMIN_TOKEN"
export ENV_ID="YOUR_ENVIRONMENT_ID"

为由 Together 提供支持的 Chat Completions 路由创建服务提供方密钥、模型别名和调用方 API Key。

由于 Together AI 提供 OpenAI 兼容 API，AISIX 通过 openai 适配器连接，并使用 Together API 根地址作为 api_base。

创建服务提供方密钥

创建用于存储 Together 凭证和 API 根地址的服务提供方密钥，并允许其在该环境中使用：

# 请替换为实际值
export TOGETHER_API_KEY="YOUR_PROVIDER_API_KEY"

PROVIDER_KEY_ID=$(curl -sS -X POST "$AISIX_CP/provider_keys" \
  -H "Authorization: Bearer $AISIX_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "together-prod",
    "provider": "togetherai",
    "api_key": "'"${TOGETHER_API_KEY}"'",
    "api_base": "https://api.together.ai/v1",
    "allowed_environments": ["'"$ENV_ID"'"]
  }' | jq -r '.provider_key.id')

❶ provider 为目录服务提供方 ID togetherai。

❷ api_key 存储 Together API Key。其行为遵循服务提供方密钥中的凭证处理方式。

❸ api_base 已包含 /v1 路径。AISIX 会将 /chat/completions 追加到该地址。Together 当前记录的地址是 https://api.together.ai/v1；省略该字段时，控制面仍会填入等价的 https://api.together.xyz/v1 根地址。请显式设置官方根地址，使目标在资源中保持可见，且不依赖该回退值。

该命令会将返回的服务提供方密钥 ID 保存到 PROVIDER_KEY_ID。

创建模型

Together 目录经常变化。创建模型别名前，请在 Together 模型列表中查找准确的 <publisher>/<model> ID。

创建调用方将在请求中发送的模型别名：

MODEL_ID=$(curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/models" \
  -H "Authorization: Bearer $AISIX_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "together-gptoss-prod",
    "model_name": "openai/gpt-oss-120b",
    "provider_key_id": "'"$PROVIDER_KEY_ID"'"
  }' | jq -r '.model.id')

❶ display_name 是调用方在 model 中发送的别名。

❷ model_name 是 <publisher>/<model> 形式的 Together 模型 ID。gpt-4o 等不含命名空间的 OpenAI 风格名称会导致 Together 返回 404。

❸ provider_key_id 将别名关联到 Together 服务提供方密钥。

创建调用方 API Key

创建可访问模型别名的调用方 API Key。API 会生成密钥值，并仅返回一次明文：

AISIX_API_KEY=$(curl -sS -X POST "$AISIX_CP/environments/$ENV_ID/api_keys" \
  -H "Authorization: Bearer $AISIX_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "display_name": "together-caller",
    "allowed_models": ["'"$MODEL_ID"'"]
  }' | jq -r '.plaintext')

allowed_models 值通过 ID 引用模型。明文密钥仅在此响应中返回，因此请妥善保存。

新资源会自动投射到已关联的网关。

使用开源 AISIX 网关配置

导出上游凭证，并选择应用将发送给网关的调用方 API Key：

export TOGETHER_API_KEY="YOUR_PROVIDER_API_KEY"
export CALLER_API_KEY="YOUR_CALLER_API_KEY"

对于新网关，请使用此完整资源文件。对于现有网关，请将这些条目合并到其当前文件中，并保留其他资源：

resources.yaml

_format_version: "1"

provider_keys:
  - display_name: "together-prod"
    provider: "togetherai"
    adapter: "openai"
    api_key: ${TOGETHER_API_KEY}
    api_base: "https://api.together.ai/v1"

models:
  - display_name: "together-gptoss-prod"
    provider: "togetherai"
    model_name: "openai/gpt-oss-120b"
    provider_key: "together-prod"

api_keys:
  - display_name: "together-caller"
    key_env: CALLER_API_KEY
    allowed_models:
      - "together-gptoss-prod"

如果 AISIX 安装在本地，请在加载文件前进行验证：

aisix validate --resources resources.yaml

验证后，在网关进程环境中提供文件引用的环境变量，再启动网关。仅当这些变量已经可供进程使用时，才重新加载现有网关；否则，请使用更新后的环境重启网关。

如果使用 Docker，请调整开源 AISIX 网关快速入门中的验证和启动命令。挂载此 resources.yaml 文件，并在两条命令中使用 -e 传入它引用的每个环境变量。资源加载后，准备下文共用的验证请求：

export AISIX_API_KEY="$CALLER_API_KEY"

验证服务提供方连接

导出 AISIX 网关 Origin：

# AISIX_PROXY 不含尾部斜杠或端点路径
# 本地快速入门使用 http://127.0.0.1:3000
export AISIX_PROXY="YOUR_AISIX_GATEWAY_URL"

通过 AISIX 代理发送 Chat Completions 请求：

curl -sS -X POST "$AISIX_PROXY/v1/chat/completions" \
  -H "Authorization: Bearer ${AISIX_API_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "together-gptoss-prod",
    "messages": [
      {
        "role": "user",
        "content": "Say hello from Together AI."
      }
    ]
  }'

网关会返回 OpenAI 兼容响应，其中回显面向调用方的别名 together-gptoss-prod。如果请求失败，请检查服务提供方密钥的 api_key、api_base，以及 model_name 中的 <publisher>/<model> ID。

端点覆盖

Together 在同一基础地址上提供多个 OpenAI 格式 API，但规范化路由支持也取决于模型的 togetherai 服务提供方值：

路由	使用 Together AI 别名时的行为
/v1/chat/completions	所选模型实现该路由时支持，包括缓冲和流式传输。
/v1/completions	所选模型实现该路由时支持缓冲响应。该路由不支持流式传输——需要流式请改用 /v1/chat/completions。
/v1/responses	通过 AISIX Responses 桥接支持。Together 没有实现原生 Responses API，没有 Chat Completions 等价项的字段会被忽略。
/v1/messages	通过转换为 Chat Completions 支持。/v1/messages/count_tokens 仅限 Anthropic 后端模型。
/v1/embeddings	本页使用的无服务器配置当前不支持此端点。Together 的无服务器模型目录未列出任何嵌入模型。专用推理采用不同的部署方式和 API 基址。
/v1/audio/transcriptions、/v1/audio/translations 和 /v1/audio/speech	别名指向所选音频路由对应的 Together 模型时支持。AISIX 会在重写模型别名的同时保留 OpenAI 请求和响应结构。
/v1/images/generations	不支持。即使 Together 原生提供相同路径，规范化路由只接受配置的服务提供方为 openai 的模型。请改用 /passthrough/togetherai/images/generations。
/v1/videos	不支持。视频路由允许列表不包含 togetherai；请通过透传路由使用 Together 原生视频协议。
/v1/rerank	不支持。规范化路由只接受 openai、cohere 和 jina 服务提供方值。请通过 /passthrough/togetherai/rerank 使用 Together 重排模型和原生请求体。
/passthrough/togetherai/*rest	通过已配置的透传路由可用于 Together 原生路由，网关规范化有限。透传不会重写请求体中面向调用方的别名，并会增量中继上游 SSE。顶层带 query 和 documents 数组的 rerank 请求体会从响应中记录输入 Token。所有会记录 Token 用量的请求形态，参见信封识别与用量。

本页的 /passthrough/togetherai 路径假定一条透传路由认领该前缀，target_url 设为 Together 的 API 根地址；在调用方 Key 的 allowed_routes 上授予路由名称。

完整端点与服务提供方矩阵请参阅服务提供方兼容性。

后续步骤

你已将 AISIX 连接到 Together AI，并验证了模型别名。接下来可阅读以下指南：

• 模型别名：为此别名配置路由、重试行为或成本元数据。
• 路由与故障转移：在 Together 与另一个服务提供方之间进行故障转移。
• 语音和音频：通过规范化音频路由调用 Together 转录、翻译或文本转语音模型。
• 透传路由：访问 Together 图片、视频、重排和其他原生路由。
• 服务提供方专属覆盖项：当上游 API 与其适配器不同时，调整请求和响应形态。
• 服务提供方兼容性：查看受支持的代理端点和服务提供方专属边界。