在 Kubernetes 上自动扩缩容 API7 网关
自动扩缩容机制会自动调整可供网关使用的资源,从而在流量变化时保持性能稳定。
本指南介绍如何设置 CPU 和内存请求量,为 API7 网关创建 Horizontal Pod Autoscaler(HPA),并通过简单的负载测试验证扩缩容,让部署能够随工作负载变化动态调整。
以下步骤假设你已在 Kubernetes 集群中安装 API7 网关。
部署 Metrics Server
Horizontal Pod Autoscaler(HPA)需要获取集群中的 CPU 和内存指标。Kubernetes Metrics Server 从 kubelet 收集这些指标,再通过 Kubernetes API 提供这些指标。
运行以下命令部署 Metrics Server。
kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
修改 Metrics Server Deployment,允许通过不校验证书的 TLS 连接访问 kubelet。某些集群配置可能需要此设置。
kubectl patch deployment metrics-server \
-n kube-system \
--type='json' \
-p='[{"op": "add", "path": "/spec/template/spec/containers/0/args/-", "value":"--kubelet-insecure-tls"}]'
通过查看当前命名空间下各 Pod 的 CPU 和内存用量,验证 Metrics Server 是否正常工作。
kubectl top pods
如果网关 Pod 正在当前命名空间运行,应能看到该 Pod 的 CPU 和内存指标。
NAME CPU(cores) MEMORY(bytes)
api7-ee-3-gateway-7998bf6dc6-2kh7q 16m 291Mi
这表明指标已被收集,HPA 可以使用它们。
配置资源请求量和限制
为确保资源分配合理,并让 HPA 能有效扩缩容 API7 网关,请设置网关 Pod 的 CPU 和内存请求量及限制。
先导出当前 API7 网关发布实例的 Helm 配置值。
# 替换为你的网关名称
helm get values api7-ee-3-gateway --all > values.yaml
更新资源配置,添加 CPU 和内存请求量及限制。这可确保 Kubernetes 调度器为各 Pod 分配充足的资源,以及 HPA 准确监控 Pod 用量。
以下配置值仅为示例。在生产环境中,请根据预期流量、工作负载特征和集群资源调整 CPU 和内存请求量及限制。
apisix:
resources:
requests:
cpu: "200m" # Minimum CPU guaranteed (0.2 CPU cores)
memory: "256Mi" # Minimum memory guaranteed (256 MiB)
limits:
cpu: "1" # Maximum CPU allowed (1 CPU core)
memory: "512Mi" # Maximum memory allowed (512 MiB)
升级发布实例以应用更新后的配置。
# 替换为你的网关名称
helm upgrade api7-ee-3-gateway api7/gateway -f values.yaml
创建 HPA
为网关 Deployment 创建 HorizontalPodAutoscaler,将 Pod 数量自动调整在 2 到 10 个之间。扩缩容基于平均 CPU 使用率,目标为 50%,以应对流量变化。按工作负载和集群资源调整副本数和 CPU 目标。
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: gateway-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: api7-ee-3-gateway # update with your gateway deployment name
minReplicas: 2
maxReplicas: 10
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 50
应用配置,创建 HPA。
kubectl apply -f gateway-hpa.yaml
查看集群中 HPA 的当前状态。
kubectl get hpa
你应看到类似以下内容的输出。
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
gateway-hpa Deployment/api7-ee-3-gateway cpu: 7%/50% 2 10 2 30s
通过负载测试验证自动扩缩容
要验证自动扩缩容,请启动 20 个负载 Pod 向网关发送流量。也可以使用 k6 或 wrk 等负载测试工具。
# 替换为你的网关 Service 名称
for i in $(seq 1 20); do
kubectl run load-$i --image=busybox:1.28 --restart=Never \
--labels=app=loadgen \
-- /bin/sh -c "while true; do wget -q -O- http://api7-ee-3-gateway-gateway/ >/dev/null 2>&1; done" &
done
在另一个终端中实时观察 HPA 状态,包括当前指标、副本数和扩缩容活动。
kubectl get hpa gateway-hpa -w
你应看到 CPU 使用率升高。当负载持续且足够高时,HPA 会开始扩展网关 Deployment。
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
gateway-hpa Deployment/api7-ee-3-gateway cpu: 59%/50% 2 10 2 4m30s
gateway-hpa Deployment/api7-ee-3-gateway cpu: 37%/50% 2 10 3 7m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 60%/50% 2 10 3 9m16s
gateway-hpa Deployment/api7-ee-3-gateway cpu: 62%/50% 2 10 4 9m46s
gateway-hpa Deployment/api7-ee-3-gateway cpu: 52%/50% 2 10 5 11m
要观察 Deployment 缩容,删除生成负载的所有 Pod。
kubectl delete pod -l app=loadgen
你应看到 CPU 使用率降低,网关 Deployment 的副本数随之减少。
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
gateway-hpa Deployment/api7-ee-3-gateway cpu: 6%/50% 2 10 6 17m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 8%/50% 2 10 6 17m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 9%/50% 2 10 5 17m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 7%/50% 2 10 4 18m
gateway-hpa Deployment/api7-ee-3-gateway cpu: 7%/50% 2 10 2 18m
后续步骤
除了本指南的 CPU 扩缩容,Kubernetes 还提供其他自动扩缩容策略。根据工作负载特征,API7 网关可以基于内存使用率、自定义指标或多种指标的组合进行扩缩容,让决策更加准确。Kubernetes 还支持使用扩缩容策略来控制扩容和缩容速度,这对保持生产环境稳定很重要。
有关支持的指标、扩缩容行为和高级配置选项,请参阅 Kubernetes 官方文档。