自动扩展 APISIX 网关 (K8s)
自动扩展是一种机制,可自动调整网关可用的资源,确保在不同流量负载下保持一致的性能。
本文档将指导你完成设置 CPU 和内存请求、为 APISIX 创建水平 Pod 自动伸缩器(HPA),并通过简单的负载测试验证扩展行为,使你的部署能够动态响应工作负载更改。
以下说明假定 APISIX 已安装在 Kubernetes 集群中。
提供资源指标
水平 Pod 自动伸缩器(HPA)需要资源指标 API 提供 CPU 和内存指标。Metrics Server 是从 kubelet 收集指标并通过 Kubernetes API 提供指标的一种实现。先检查集群是否已提供资源指标 API:
kubectl get --raw /apis/metrics.k8s.io/v1beta1/nodes
如果 API 不可用,可以使用 Kubernetes 提供商支持的资源指标集成,或安装 Metrics Server。安装前,应从兼容性矩阵选择与集群 Kubernetes 版本兼容的已发布版本,并固定版本,不使用会变化的 latest URL:
export METRICS_SERVER_VERSION="vX.Y.Z"
kubectl apply -f "https://github.com/kubernetes-sigs/metrics-server/releases/download/${METRICS_SERVER_VERSION}/components.yaml"
Metrics Server 应验证 kubelet 的服务端证书。可以使用由集群 CA 签发的 kubelet 证书,或将 CA 证书挂载到 Metrics Server 并配置 --kubelet-certificate-authority 指向该证书。参阅 Metrics Server 安全说明。
如果一次性测试集群使用自签名的 kubelet 服务端证书,可以临时禁用证书验证:
kubectl patch deployment metrics-server \
-n kube-system \
--type='json' \
-p='[{"op": "add", "path": "/spec/template/spec/containers/0/args/-", "value":"--kubelet-insecure-tls"}]'
此参数仅供测试,不得在生产环境中使用。
要验证 Metrics Server 是否正常运行,你可以检查当前命名空间中 Pod 的 CPU 和内存使用情况:
kubectl top pods
假设 APISIX Pod 在当前命名空间中运行,你应该会看到其 CPU 和内存指标:
NAME CPU(cores) MEMORY(bytes)
apisix-595698f9df-hmbwn 19m 296Mi
这确认了指标正在被收集并且可供 HPA 使用。
配置资源请求和限制
为了确保适当的资源分配并使 HPA 能够有效地扩展 APISIX,你应该为 APISIX Gateway Pod 设置 CPU 和内存的请求和限制。
设置 Release 名称和命名空间,然后将所有计算后的 Helm 值导出为 YAML:
export APISIX_RELEASE="apisix"
export APISIX_NAMESPACE="<namespace>"
helm get values "${APISIX_RELEASE}" -n "${APISIX_NAMESPACE}" --all -o yaml > values.yaml
更新 resources 部分以包含 CPU 和内存的请求和限制。这确保 Kubernetes 调度程序可以为每个 Pod 分配足够的资源,并且 HPA 可以准确监控 Pod 的使用情况。
以下值是示例设置。在生产环境中,你应根据预期的流量、工作负载特性和集群资源调整 CPU 和内存的请求和限制。
resources:
requests:
cpu: "200m" # Minimum CPU guaranteed (0.2 CPU cores)
memory: "256Mi" # Minimum memory guaranteed (256 MiB)
limits:
cpu: "1" # Maximum CPU allowed (1 CPU core)
memory: "512Mi" # Maximum memory allowed (512 MiB)
先查找已安装的 Chart 版本:
helm list -n "${APISIX_NAMESPACE}"
在 CHART 列中,Chart 名称后带有版本,例如 apisix-2.18.3。只取版本后缀设置已安装版本,再应用更新的配置。固定 Chart 版本可避免调整资源配置时同时升级 Chart 或其默认镜像。
export APISIX_CHART_VERSION="<installed-chart-version>"
helm upgrade "${APISIX_RELEASE}" apisix/apisix \
-n "${APISIX_NAMESPACE}" \
--version "${APISIX_CHART_VERSION}" \
-f values.yaml
创建 HPA
为 APISIX 部署创建一个 HorizontalPodAutoscaler,自动将 Pod 数量扩展到 2 到 10 个之间。扩展基于平均 CPU 使用率,目标为 50%,以适应不同的流量负载。根据需要调整副本数和 CPU 目标以匹配你的工作负载和集群资源。
先列出该 Helm Release 安装的工作负载和 Service,然后填入实际名称。名称为 apisix 的 Release 通常对应 Deployment apisix 和 Service apisix-gateway,但自定义名称会改变它们:
kubectl get deployment,service \
-n "${APISIX_NAMESPACE}" \
-l "app.kubernetes.io/instance=${APISIX_RELEASE}"
export APISIX_DEPLOYMENT="<apisix-deployment-name>"
export APISIX_GATEWAY_SERVICE="<apisix-gateway-service-name>"
export APISIX_HPA="${APISIX_RELEASE}-hpa"
在同一命名空间创建 HPA,并指向选定的 Deployment:
kubectl apply -f - <<EOF
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: ${APISIX_HPA}
namespace: ${APISIX_NAMESPACE}
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: ${APISIX_DEPLOYMENT}
minReplicas: 2
maxReplicas: 10
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 50
EOF
查看集群中 HPA 的当前状态:
kubectl get hpa "${APISIX_HPA}" -n "${APISIX_NAMESPACE}"
你应该会看到类似以下的输出:
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
apisix-hpa Deployment/apisix cpu: 6%/50% 2 10 2 10m
使用负载测试验证自动扩展
为了验证自动扩展,你将启动 20 个负载 Pod 对网关生成流量。或者,你也可以使用诸如 k6 或 wrk 之类的负载测试工具。
for i in $(seq 1 20); do
kubectl run "load-$i" -n "${APISIX_NAMESPACE}" \
--image=busybox:1.28 --restart=Never \
--labels=app=loadgen \
-- /bin/sh -c "while true; do wget -q -O- http://${APISIX_GATEWAY_SERVICE}/ >/dev/null 2>&1; done" &
done
在另一个终端中,实时观察 HPA 的状态,包括当前指标、副本数和扩展活动:
kubectl get hpa "${APISIX_HPA}" -n "${APISIX_NAMESPACE}" -w
你应该会看到 CPU 利用率上升。当负载持续且足够高时,HPA 开始扩展 APISIX 部署:
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
apisix-hpa Deployment/apisix cpu: 14%/50% 2 10 2 54m
apisix-hpa Deployment/apisix cpu: 37%/50% 2 10 2 55m
apisix-hpa Deployment/apisix cpu: 365%/50% 2 10 2 56m
apisix-hpa Deployment/apisix cpu: 73%/50% 2 10 4 56m
apisix-hpa Deployment/apisix cpu: 21%/50% 2 10 7 56m
apisix-hpa Deployment/apisix cpu: 39%/50% 2 10 7 57m
要观察部署缩减,请删除所有生成负载的 Pod:
kubectl delete pod -n "${APISIX_NAMESPACE}" -l app=loadgen
你应该会看到 CPU 利用率下降,并且 APISIX 部署缩减副本数量:
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
apisix-hpa Deployment/apisix cpu: 26%/50% 2 10 7 62m
apisix-hpa Deployment/apisix cpu: 17%/50% 2 10 5 63m
apisix-hpa Deployment/apisix cpu: 6%/50% 2 10 4 64m
apisix-hpa Deployment/apisix cpu: 6%/50% 2 10 3 64m
apisix-hpa Deployment/apisix cpu: 6%/50% 2 10 2 64m
后续步骤
Kubernetes 提供了多种自动扩展策略,超出了本指南中展示的基于 CPU 的方法。根据你的工作负载特性,APISIX 可以基于内存利用率、自定义指标或多个指标的组合进行扩展,以实现更准确的扩展决策。此外,Kubernetes 允许配置扩展策略来控制扩容和缩容事件的速度,这对于在生产环境中保持稳定性非常重要。
有关支持的指标、扩展行为和高级配置选项的完整概述,请查阅官方 Kubernetes 文档: