跳到主要内容
版本:3.8.x

自动扩缩容 API7 网关(K8s)

自动扩缩容是一种自动调整网关可用资源的机制,可确保网关在不同流量负载下保持稳定性能。

本文将指导你设置 CPU 和内存资源请求、为 API7 网关创建 Horizontal Pod Autoscaler(HPA),并通过简单的负载测试验证扩缩容行为,使部署能够动态响应工作负载的变化。

以下说明假设 API7 网关已安装在 Kubernetes 集群中。

部署 Metrics Server​

Horizontal Pod Autoscaler(HPA)需要集群中的 CPU 和内存指标。Kubernetes Metrics Server 从 kubelet 收集这些指标,并通过 Kubernetes API 提供。

运行以下命令部署 Metrics Server:

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

为 Metrics Server Deployment 打补丁,使其允许与 kubelet 建立不安全的 TLS 连接;某些集群配置可能需要这样做:

kubectl patch deployment metrics-server \
-n kube-system \
--type='json' \
-p='[{"op": "add", "path": "/spec/template/spec/containers/0/args/-", "value":"--kubelet-insecure-tls"}]'

要验证 Metrics Server 是否正常工作,可以查看当前命名空间中 Pod 的 CPU 和内存使用量:

kubectl top pods

假设网关 Pod 运行在当前命名空间,你应能看到其 CPU 和内存指标:

NAME CPU(cores) MEMORY(bytes)
api7-ee-3-gateway-7998bf6dc6-2kh7q 16m 291Mi

这说明已收集到指标,HPA 可以使用这些指标。

配置资源请求和限制​

为确保正确分配资源并使 HPA 有效扩缩容 API7 网关,应为网关 Pod 设置 CPU 和内存资源请求与限制。

为此,先导出 API7 网关 Helm Release 当前的 values:

# 更新为你的网关名称
helm get values api7-ee-3-gateway --all > values.yaml

更新 resources 部分,加入 CPU 和内存资源请求与限制。这可确保 Kubernetes 调度器为每个 Pod 分配足够的资源,并使 HPA 准确监控 Pod 使用量。

以下 values 是示例设置。在生产环境中,应根据预期流量、工作负载特征和集群资源调整 CPU 和内存资源请求与限制。

values.yaml
apisix:
resources:
requests:
cpu: "200m" # 保证的最低 CPU(0.2 个 CPU 核心)
memory: "256Mi" # 保证的最低内存(256 MiB)
limits:
cpu: "1" # 允许使用的最高 CPU(1 个 CPU 核心)
memory: "512Mi" # 允许使用的最高内存(512 MiB)

升级 Helm Release,应用更新后的配置:

# 更新为你的网关名称
helm upgrade api7-ee-3-gateway api7/gateway -f values.yaml

创建 HPA​

为网关 Deployment 创建一个 HorizontalPodAutoscaler,使 Pod 数量在 2 到 10 之间自动扩缩。扩缩容依据平均 CPU 使用率,目标值为 50%,以适应不同流量负载。请按工作负载和集群资源需要调整副本数和 CPU 目标值。

gateway-hpa.yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: gateway-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: api7-ee-3-gateway # 更新为你的网关 Deployment 名称
minReplicas: 2
maxReplicas: 10
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 50

应用配置以创建 HPA:

kubectl apply -f gateway-hpa.yaml

查看集群中 HPA 的当前状态:

kubectl get hpa

你应能看到类似以下的输出:

NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
gateway-hpa Deployment/api7-ee-3-gateway cpu: 7%/50% 2 10 2 30s

使用负载测试验证自动扩缩容​

要验证自动扩缩容,可启动 20 个负载 Pod,对网关产生流量。也可以使用 k6 或 wrk 等负载测试工具。

# 更新为你的网关 Service 名称
for i in $(seq 1 20); do
kubectl run load-$i --image=busybox:1.28 --restart=Never \
--labels=app=loadgen \
-- /bin/sh -c "while true; do wget -q -O- http://api7-ee-3-gateway-gateway/ >/dev/null 2>&1; done" &
done

在另一个终端中监控 HPA 状态,实时查看当前指标、副本数和扩缩容活动:

kubectl get hpa gateway-hpa -w

你应能看到 CPU 使用率上升。负载持续且足够高时,HPA 开始扩容网关 Deployment:

NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
gateway-hpa Deployment/api7-ee-3-gateway cpu: 59%/50% 2 10 2 4m30s
gateway-hpa Deployment/api7-ee-3-gateway cpu: 37%/50% 2 10 3 7m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 60%/50% 2 10 3 9m16s
gateway-hpa Deployment/api7-ee-3-gateway cpu: 62%/50% 2 10 4 9m46s
gateway-hpa Deployment/api7-ee-3-gateway cpu: 52%/50% 2 10 5 11m

要观察 Deployment 缩容,请删除所有产生负载的 Pod:

kubectl delete pod -l app=loadgen

你应能看到 CPU 使用率下降,网关 Deployment 的副本数随之减少:

NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
gateway-hpa Deployment/api7-ee-3-gateway cpu: 6%/50% 2 10 6 17m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 8%/50% 2 10 6 17m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 9%/50% 2 10 5 17m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 7%/50% 2 10 4 18m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 7%/50% 2 10 2 18m

后续步骤​

除了本指南展示的基于 CPU 的方式,Kubernetes 还提供多种自动扩缩容策略。根据工作负载特征,API7 网关可以依据内存使用率、自定义指标或多种指标的组合扩缩容,以做出更准确的扩缩容决策。此外,Kubernetes 允许配置扩缩容策略以控制扩容和缩容事件的速率,这对维持生产环境的稳定性很重要。

有关受支持指标、扩缩容行为和高级配置选项的完整说明,请参阅 Kubernetes 官方文档: