跳到主要内容
版本:3.8.x

准备测试环境(AWS EKS)

你也可以访问公开的性能基准测试仓库。该仓库详细记录了测试使用的所有资源部署配置,以及各测试场景的具体配置信息。

前提条件​

创建集群​

  1. 在 AWS EKS 中新增集群:

创建集群

  1. 配置集群。如果此前未使用 EKS 服务配置过集群服务角色,可以按照文档创建 EKS 集群角色。

配置集群

  1. 配置网络:

配置集群网络

  1. 配置可观测性:

配置可观测性

  1. 配置插件:

配置集群插件

  1. 创建集群:

等待集群创建

添加节点​

创建密钥对(可选)​

为节点配置密钥对后,可以直接登录节点。如果已有密钥对,可以跳过创建密钥对的步骤。

  1. 在 AWS 控制台选择 EC2,进入 EC2 界面。点击左侧的密钥对,再点击右侧的创建密钥对。

创建密钥对

  1. 设置密钥对名称:

配置密钥对

  1. 创建密钥对。此时浏览器会自动下载密钥对,应将其保存,以便稍后使用命令登录节点。

密钥对创建成功

创建节点组​

接下来将添加 3 个节点组,分别部署 API7 EE、NGINX 上游和 wrk2。

注意:如果尚未创建 EKS 节点角色,需要先创建。步骤与创建 EKS 集群服务角色类似。详情参阅 Amazon EKS 节点 IAM 角色。

  1. 选择计算,点击添加节点组。

添加节点组

  1. 配置节点组详情,例如名称和节点 IAM 角色。

配置节点组详情

  1. 将 AMI 类型设为 Amazon Linux2 (AL2_x86_64),实例类型设为 c5.4xlarge。

配置 EC2

  1. 配置网络。如果需要通过 SSH 登录节点,应相应配置节点远程访问控制。

配置网络

  1. 重复上述步骤,创建 3 个节点,名称分别为 api7ee、upstream 和 wrk2。

节点信息

配置 AWS CLI​

  1. 在 kubectl 的 config 文件中新增上下文,使 kubectl 能够与前面创建的集群通信。详情参阅创建 Amazon EKS 集群。
aws eks update-kubeconfig --region region-code --name my-cluster
  1. 运行 kubectl get svc,确认能够与集群通信。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.100.0.1 <none> 443/TCP 39m

配置 Kubernetes 集群节点标签​

为节点添加标签:

kubectl label nodes <your-node-name> <label_key=label_value>

# 示例
kubectl label nodes <your-node1-name> nodeName=api7ee
kubectl label nodes <your-node2-name> nodeName=upstream
kubectl label nodes <your-node3-name> nodeName=wrk2

安装​

安装 API7 EE​

控制面​

  1. 创建命名空间:
kubectl create namespace api7
  1. 安装 API7 控制面:
helm repo add api7 https://charts.api7.ai
helm repo update
# 指定安装 api7ee 的节点(使用前面为节点设置的标签)。
helm install api7ee3 api7/api7ee3 --set nodeSelector."nodeName"=api7ee --set postgresql.primary.nodeSelector."nodeName"=api7ee --set prometheus.server.nodeSelector."nodeName"=api7ee -n api7

默认情况下,PostgreSQL 和 Prometheus 启用持久化存储。如果未为集群配置 StorageClass,可能会遇到一些错误。

也可以使用以下命令临时禁用持久化存储,但请注意,不要在生产环境中禁用持久化存储,否则 Pod 重启后数据将丢失。

helm install api7ee3 api7/api7ee3 --set nodeSelector."nodeName"=api7ee --set postgresql.primary.nodeSelector."nodeName"=api7ee --set prometheus.server.nodeSelector."nodeName"=api7ee --set postgresql.primary.persistence.enabled=false --set prometheus.server.persistence.enabled=false -n api7
  1. 检查部署状态:
kubectl get svc -owide -l app.kubernetes.io/name=api7ee3 -n api7

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
api7ee3-dashboard ClusterIP 10.100.25.236 <none> 7080/TCP 18s app.kubernetes.io/component=dashboard,app.kubernetes.io/instance=api7ee3,app.kubernetes.io/name=api7ee3
api7ee3-dp-manager ClusterIP 10.100.239.32 <none> 7900/TCP,7943/TCP 18s app.kubernetes.io/component=dp-manager,app.kubernetes.io/instance=api7ee3,app.kubernetes.io/name=api7ee3
  1. 将控制台端口转发到本地机器,登录控制台并上传许可证:

许可证免费试用

kubectl -n api7 port-forward svc/api7ee3-dashboard 7443:7443
  1. 设置控制面地址:

登录控制台,在网关设置中将控制面地址配置为 https://api7ee3-dp-manager:7943。

网关设置

禁用全局插件 prometheus​

禁用 Prometheus

API7 网关(数据面)​

  1. 点击新增网关实例按钮:

新增网关实例

  1. 选择 Kubernetes 方式:

选择 Kubernetes 方式,配置命名空间,生成安装脚本并运行。默认情况下,API7 网关和控制面通过 mTLS 进行身份认证。例如:

helm repo add api7 https://charts.api7.ai
helm repo update
cat > /tmp/tls.crt <<EOF
-----BEGIN CERTIFICATE-----
MIIBiDCCATqgAwIBAgICBAAwBQYDK2VwMEQxCzAJBgNVBAYTAlVTMRMwEQYDVQQI
EwpDYWxpZm9ybmlhMQ0wCwYDVQQKEwRBUEk3MREwDwYDVQQDEwhBUEk3IEluYzAe
Fw0yNDA4MDkwNjM0NDRaFw0yNTA5MDgwNjM0NDRaMDAxDTALBgNVBAoTBEFQSTcx
HzAdBgNVBAMTFmFwaTdlZTMtYXBpc2l4LWdhdGV3YXkwKjAFBgMrZXADIQA4EF9i
qogMWwWQnhrD478bCTQxxeDrT8zUUC+KC4lbLaNkMGIwDgYDVR0PAQH/BAQDAgeA
MBMGA1UdJQQMMAoGCCsGAQUFBwMCMC0GA1UdDgQmBCQzMmE2MTU3Yi0yMGFmLTQ4
NDctYWEyOC04M2M1M2ZmMTY4ZDAwDAYDVR0jBAUwA4ABMDAFBgMrZXADQQDzxx2i
QV62ZB0WOdxofuQ2J+35sh6tYCOayrjAn5KISQ5L1JMIrDZKotq5G8JLM3qMs9Nc
DZjDWzx+W1j94GAO
-----END CERTIFICATE-----
EOF
cat > /tmp/tls.key <<EOF
-----BEGIN PRIVATE KEY-----
MC4CAQAwBQYDK2VwBCIEILY+bFM98L+OLxTWd73hnl9FmYGfhGASUhuYrpt/Q0CE
-----END PRIVATE KEY-----
EOF
cat > /tmp/ca.crt <<EOF
-----BEGIN CERTIFICATE-----
MIIBdjCCASigAwIBAgIRAJDZ9s+rZMNiqiiAyT3NXpkwBQYDK2VwMEQxCzAJBgNV
BAYTAlVTMRMwEQYDVQQIEwpDYWxpZm9ybmlhMQ0wCwYDVQQKEwRBUEk3MREwDwYD
VQQDEwhBUEk3IEluYzAeFw0yNDA4MDkwNjI4MDBaFw0zNDA4MDcwNjI4MDBaMEQx
CzAJBgNVBAYTAlVTMRMwEQYDVQQIEwpDYWxpZm9ybmlhMQ0wCwYDVQQKEwRBUEk3
MREwDwYDVQQDEwhBUEk3IEluYzAqMAUGAytlcAMhAN/VCNB2ChcL4BrXVImIW/EH
YZi2oDrXVub/mXaMSr7Zoy8wLTAOBgNVHQ8BAf8EBAMCAoQwDwYDVR0TAQH/BAUw
AwEB/zAKBgNVHQ4EAwQBMDAFBgMrZXADQQCA0M1McTsw6c9LGqmFP1g/BXNyeyDI
dBnVnPlZgCwMQCDqkI9S8wyZbz4jLGGccKnqAclNhuJsSn94UGuteaIG
-----END CERTIFICATE-----
EOF
kubectl create secret generic -n api7 api7-ee-3-gateway-tls --from-file=tls.crt=/tmp/tls.crt --from-file=tls.key=/tmp/tls.key --from-file=ca.crt=/tmp/ca.crt
helm upgrade --install -n api7 --create-namespace api7-ee-3-gateway api7/gateway \
--set "etcd.auth.tls.enabled=true" \
--set "etcd.auth.tls.existingSecret=api7-ee-3-gateway-tls" \
--set "etcd.auth.tls.certFilename=tls.crt" \
--set "etcd.auth.tls.certKeyFilename=tls.key" \
--set "etcd.auth.tls.verify=true" \
--set "gateway.tls.existingCASecret=api7-ee-3-gateway-tls" \
--set "gateway.tls.certCAFilename=ca.crt" \
--set "apisix.extraEnvVars[0].name=API7_GATEWAY_GROUP_SHORT_ID" \
--set "apisix.extraEnvVars[0].value=default" \
--set "etcd.host[0]=https://api7ee3-dp-manager:7943" \
--set "apisix.replicaCount=1" \
--set "apisix.image.repository=api7/api7-ee-3-gateway" \
--set "apisix.image.tag=3.2.14.4" \
--set "nginx.workerProcesses"=1 \
--set apisix.nodeSelector.nodeName=api7ee \
--set apisix.securityContext.runAsNonRoot=false \
--set apisix.securityContext.runAsUser=0

应将网关安装在单独的节点上,并按需调整 worker_processes。此外,如果希望在网关容器内安装 top 等工具,可以使用 root 用户启动。例如:

❶ 配置网关 worker_processes:--set "nginx.workerProcesses"=1

❷ 配置节点选择器:--set apisix.nodeSelector.nodeName=api7ee

❸ 以 root 用户运行:

  • --set apisix.securityContext.runAsNonRoot=false
  • --set apisix.securityContext.runAsUser=0

安装 NGINX 上游​

  1. 创建 NGINX 上游部署文件:
nginx-upstream.yaml
---
apiVersion: v1
kind: ConfigMap
metadata:
namespace: api7
name: nginx-config
data:
nginx.conf: |
master_process on;

worker_processes 1;
events {
worker_connections 4096;
}

http {
resolver ipv6=off 8.8.8.8;

#access_log logs/access.log;
access_log off;
server_tokens off;
keepalive_requests 10000000;

server {
listen 1980;
server_name _;

location / {
proxy_set_header Connection "";
return 200 "hello world\n";
}
}
}
---
apiVersion: apps/v1
kind: Deployment
metadata:
namespace: api7
name: nginx-deployment
spec:
replicas: 1
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx
volumeMounts:
- name: nginx-config-volume
mountPath: /etc/nginx/nginx.conf
subPath: nginx.conf
nodeSelector:
nodeName: upstream
volumes:
- name: nginx-config-volume
configMap:
name: nginx-config
---
  1. 部署 NGINX 上游:
kubectl apply -f nginx-upstream.yaml

安装 wrk2​

  1. 创建 wrk2 部署文件:
wrk2.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
namespace: api7
name: wrk2-deployment
spec:
replicas: 1
selector:
matchLabels:
app: wrk2
template:
metadata:
labels:
app: wrk2
spec:
containers:
- name: wrk2
image: bootjp/wrk2
nodeSelector:
nodeName: wrk2
  1. 部署 wrk2:
kubectl apply -f wrk2.yaml

配置​

你可以在公开的性能基准测试仓库中找到各测试场景的配置,并使用 ADC 工具直接创建各场景的配置。