准备测试环境(AWS EKS)
你也可以访问公开的性能基准测试仓库。该仓库详细记录了测试使用的所有资源部署配置,以及各测试场景的具体配置信息。
前提条件
创建集群
- 在 AWS EKS 中新增集群:

- 配置集群。如果此前未使用 EKS 服务配置过集群服务角色,可以按照文档创建 EKS 集群角色。

- 配置网络:

- 配置可观测性:

- 配置插件:

- 创建集群:

添加节点
创建密钥对(可选)
为节点配置密钥对后,可以直接登录节点。如果已有密钥对,可以跳过创建密钥对的步骤。
- 在 AWS 控制台选择 EC2,进入 EC2 界面。点击左侧的密钥对,再点击右侧的创建密钥对。

- 设置密钥对名称:

- 创建密钥对。此时浏览器会自动下载密钥对,应将其保存,以便稍后使用命令登录节点。

创建节点组
接下来将添加 3 个节点组,分别部署 API7 EE、NGINX 上游和 wrk2。
注意:如果尚未创建 EKS 节点角色,需要先创建。步骤与创建 EKS 集群服务角色类似。详情参阅 Amazon EKS 节点 IAM 角色。
- 选择计算,点击添加节点组。

- 配置节点组详情,例如名称和节点 IAM 角色。

- 将 AMI 类型设为
Amazon Linux2 (AL2_x86_64),实例类型设为c5.4xlarge。

- 配置网络。如果需要通过 SSH 登录节点,应相应配置节点远程访问控制。

- 重复上述步骤,创建 3 个节点,名称分别为 api7ee、upstream 和
wrk2。

配置 AWS CLI
- 在
kubectl的config文件中新增上下文,使kubectl能够与前面创建的集群通信。详情参阅创建 Amazon EKS 集群。
aws eks update-kubeconfig --region region-code --name my-cluster
- 运行
kubectl get svc,确认能够与集群通信。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.100.0.1 <none> 443/TCP 39m
配置 Kubernetes 集群节点标签
为节点添加标签:
kubectl label nodes <your-node-name> <label_key=label_value>
# 示例
kubectl label nodes <your-node1-name> nodeName=api7ee
kubectl label nodes <your-node2-name> nodeName=upstream
kubectl label nodes <your-node3-name> nodeName=wrk2
安装
安装 API7 EE
控制面
- 创建命名空间:
kubectl create namespace api7
- 安装 API7 控制面:
helm repo add api7 https://charts.api7.ai
helm repo update
# 指定安装 api7ee 的节点(使用前面为节点设置的标签)。
helm install api7ee3 api7/api7ee3 --set nodeSelector."nodeName"=api7ee --set postgresql.primary.nodeSelector."nodeName"=api7ee --set prometheus.server.nodeSelector."nodeName"=api7ee -n api7
默认情况下,PostgreSQL 和 Prometheus 启用持久化存储。如果未为集群配置 StorageClass,可能会遇到一些错误。
也可以使用以下命令临时禁用持久化存储,但请注意,不要在生产环境中禁用持久化存储,否则 Pod 重启后数据将丢失。
helm install api7ee3 api7/api7ee3 --set nodeSelector."nodeName"=api7ee --set postgresql.primary.nodeSelector."nodeName"=api7ee --set prometheus.server.nodeSelector."nodeName"=api7ee --set postgresql.primary.persistence.enabled=false --set prometheus.server.persistence.enabled=false -n api7
- 检查部署状态:
kubectl get svc -owide -l app.kubernetes.io/name=api7ee3 -n api7
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
api7ee3-dashboard ClusterIP 10.100.25.236 <none> 7080/TCP 18s app.kubernetes.io/component=dashboard,app.kubernetes.io/instance=api7ee3,app.kubernetes.io/name=api7ee3
api7ee3-dp-manager ClusterIP 10.100.239.32 <none> 7900/TCP,7943/TCP 18s app.kubernetes.io/component=dp-manager,app.kubernetes.io/instance=api7ee3,app.kubernetes.io/name=api7ee3
- 将控制台端口转发到本地机器,登录控制台并上传许可证:
kubectl -n api7 port-forward svc/api7ee3-dashboard 7443:7443
- 设置控制面地址:
登录控制台,在网关设置中将控制面地址配置为 https://api7ee3-dp-manager:7943。

禁用全局插件 prometheus

API7 网关(数据面)
- 点击新增网关实例按钮:

- 选择 Kubernetes 方式:
选择 Kubernetes 方式,配置命名空间,生成安装脚本并运行。默认情况下,API7 网关和控制面通过 mTLS 进行身份认证。例如:
helm repo add api7 https://charts.api7.ai
helm repo update
cat > /tmp/tls.crt <<EOF
-----BEGIN CERTIFICATE-----
MIIBiDCCATqgAwIBAgICBAAwBQYDK2VwMEQxCzAJBgNVBAYTAlVTMRMwEQYDVQQI
EwpDYWxpZm9ybmlhMQ0wCwYDVQQKEwRBUEk3MREwDwYDVQQDEwhBUEk3IEluYzAe
Fw0yNDA4MDkwNjM0NDRaFw0yNTA5MDgwNjM0NDRaMDAxDTALBgNVBAoTBEFQSTcx
HzAdBgNVBAMTFmFwaTdlZTMtYXBpc2l4LWdhdGV3YXkwKjAFBgMrZXADIQA4EF9i
qogMWwWQnhrD478bCTQxxeDrT8zUUC+KC4lbLaNkMGIwDgYDVR0PAQH/BAQDAgeA
MBMGA1UdJQQMMAoGCCsGAQUFBwMCMC0GA1UdDgQmBCQzMmE2MTU3Yi0yMGFmLTQ4
NDctYWEyOC04M2M1M2ZmMTY4ZDAwDAYDVR0jBAUwA4ABMDAFBgMrZXADQQDzxx2i
QV62ZB0WOdxofuQ2J+35sh6tYCOayrjAn5KISQ5L1JMIrDZKotq5G8JLM3qMs9Nc
DZjDWzx+W1j94GAO
-----END CERTIFICATE-----
EOF
cat > /tmp/tls.key <<EOF
-----BEGIN PRIVATE KEY-----
MC4CAQAwBQYDK2VwBCIEILY+bFM98L+OLxTWd73hnl9FmYGfhGASUhuYrpt/Q0CE
-----END PRIVATE KEY-----
EOF
cat > /tmp/ca.crt <<EOF
-----BEGIN CERTIFICATE-----
MIIBdjCCASigAwIBAgIRAJDZ9s+rZMNiqiiAyT3NXpkwBQYDK2VwMEQxCzAJBgNV
BAYTAlVTMRMwEQYDVQQIEwpDYWxpZm9ybmlhMQ0wCwYDVQQKEwRBUEk3MREwDwYD
VQQDEwhBUEk3IEluYzAeFw0yNDA4MDkwNjI4MDBaFw0zNDA4MDcwNjI4MDBaMEQx
CzAJBgNVBAYTAlVTMRMwEQYDVQQIEwpDYWxpZm9ybmlhMQ0wCwYDVQQKEwRBUEk3
MREwDwYDVQQDEwhBUEk3IEluYzAqMAUGAytlcAMhAN/VCNB2ChcL4BrXVImIW/EH
YZi2oDrXVub/mXaMSr7Zoy8wLTAOBgNVHQ8BAf8EBAMCAoQwDwYDVR0TAQH/BAUw
AwEB/zAKBgNVHQ4EAwQBMDAFBgMrZXADQQCA0M1McTsw6c9LGqmFP1g/BXNyeyDI
dBnVnPlZgCwMQCDqkI9S8wyZbz4jLGGccKnqAclNhuJsSn94UGuteaIG
-----END CERTIFICATE-----
EOF
kubectl create secret generic -n api7 api7-ee-3-gateway-tls --from-file=tls.crt=/tmp/tls.crt --from-file=tls.key=/tmp/tls.key --from-file=ca.crt=/tmp/ca.crt
helm upgrade --install -n api7 --create-namespace api7-ee-3-gateway api7/gateway \
--set "etcd.auth.tls.enabled=true" \
--set "etcd.auth.tls.existingSecret=api7-ee-3-gateway-tls" \
--set "etcd.auth.tls.certFilename=tls.crt" \
--set "etcd.auth.tls.certKeyFilename=tls.key" \
--set "etcd.auth.tls.verify=true" \
--set "gateway.tls.existingCASecret=api7-ee-3-gateway-tls" \
--set "gateway.tls.certCAFilename=ca.crt" \
--set "apisix.extraEnvVars[0].name=API7_GATEWAY_GROUP_SHORT_ID" \
--set "apisix.extraEnvVars[0].value=default" \
--set "etcd.host[0]=https://api7ee3-dp-manager:7943" \
--set "apisix.replicaCount=1" \
--set "apisix.image.repository=api7/api7-ee-3-gateway" \
--set "apisix.image.tag=3.2.14.4" \
--set "nginx.workerProcesses"=1 \
--set apisix.nodeSelector.nodeName=api7ee \
--set apisix.securityContext.runAsNonRoot=false \
--set apisix.securityContext.runAsUser=0
应将网关安装在单独的节点上,并按需调整 worker_processes。此外,如果希望在网关容器内安装 top 等工具,可以使用 root 用户启动。例如:
❶ 配置网关 worker_processes:--set "nginx.workerProcesses"=1
❷ 配置节点选择器:--set apisix.nodeSelector.nodeName=api7ee
❸ 以 root 用户运行:
--set apisix.securityContext.runAsNonRoot=false--set apisix.securityContext.runAsUser=0
安装 NGINX 上游
- 创建 NGINX 上游部署文件:
nginx-upstream.yaml
---
apiVersion: v1
kind: ConfigMap
metadata:
namespace: api7
name: nginx-config
data:
nginx.conf: |
master_process on;
worker_processes 1;
events {
worker_connections 4096;
}
http {
resolver ipv6=off 8.8.8.8;
#access_log logs/access.log;
access_log off;
server_tokens off;
keepalive_requests 10000000;
server {
listen 1980;
server_name _;
location / {
proxy_set_header Connection "";
return 200 "hello world\n";
}
}
}
---
apiVersion: apps/v1
kind: Deployment
metadata:
namespace: api7
name: nginx-deployment
spec:
replicas: 1
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx
volumeMounts:
- name: nginx-config-volume
mountPath: /etc/nginx/nginx.conf
subPath: nginx.conf
nodeSelector:
nodeName: upstream
volumes:
- name: nginx-config-volume
configMap:
name: nginx-config
---
- 部署 NGINX 上游:
kubectl apply -f nginx-upstream.yaml
安装 wrk2
- 创建
wrk2部署文件:
wrk2.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
namespace: api7
name: wrk2-deployment
spec:
replicas: 1
selector:
matchLabels:
app: wrk2
template:
metadata:
labels:
app: wrk2
spec:
containers:
- name: wrk2
image: bootjp/wrk2
nodeSelector:
nodeName: wrk2
- 部署
wrk2:
kubectl apply -f wrk2.yaml