网关告警通知
API 网关使用中的异常流量模式或错误可能表明存在问题或恶意攻击。为特定阈值和活动设置告警后,可以及时发现并了解可能表明安全漏洞、滥用或异常使用的模式。
本教程介绍如何创建告警策略,在发生特定事件时接收邮件和 webhook 通知。以下互动演示以统计网关组中健康网关实例数量的场景为例,帮助你了解操作流程。
前提条件
- 安装 API7 企业版。
- 在网关组中运行一个 API。
- 获取通知系统的 webhook URL。
设置 SMTP 服务器
- 从顶部导航栏选择组织,再选择设置。
- 点击 SMTP 服务器选项卡。
- 点击启用。
- 在对话框中执行以下操作。
- 在 SMTP 服务器地址中输入 SMTP 服务器地址,例如
127.0.0.1。 - 在用户名和密码中输入连接 SMTP 服务器的凭据。
- 在发件人姓名中输入
API7 Enterprise,将其作为邮件中显示的发件人名称。 - 在发件人邮箱地址中输入
noreply@api7.ai,作为实际发件人地址。 - 点击启用。
添加联系人
联系人 定义一组邮件地址或 webhook URL,可由多个告警策略复用。
添加邮件联系人
- 从顶部导航栏选择组织,再选择联系人。
- 点击新增联系人。
- 在对话框中执行以下操作。
- 在名称中输入
Emergency Team Email List。 - 在类型中选择邮件。
- 在邮件地址中输入收件人的邮件地址,例如
emergencyteamlist@api7.ai。 - 点击新增。
添加 Webhook 联系人
使用 Slack 接收 webhook,将 API7 企业版的消息发送到 Slack。
- 从顶部导航栏选择组织,再选择联系人。
- 点击新增联系人。
- 在对话框中执行以下操作。
- 在名称中输入
Slack Notification。 - 在类型中选择Webhook。
- 在 URL 中输入
https://hooks.slack.com/services/T00000000/B00000000/XXXXXXXXXXXXXXXXXXXXXXXX。请替换为你的 ID。 - 点击新增。
添加必要的告警策略
强烈建议配置以下告警策略,它们对大多数用户至关重要。
监控控制面到数据面的 mTLS 证书到期
API7 控制面证书和控制面 CA 证书支持控制面与数据面之间的安全 mTLS 通信,在部署网关实例时激活,有效期为 13 个月。
为主动监控网关实例中即将到期的证书并发送告警,请设置每日任务检查证书到期日期。如果网关实例证书即将在 30 天内到期,则向应急小组发送邮件告警,并向 Slack 发送通知。
- 从侧边导航栏选择告警,再点击策略。
- 点击新增告警策略。
- 在对话框中执行以下操作。
-
在名称中输入
Gateway Instance Certificate Expiration。 -
在告警等级中选择高。
-
在检查间隔中输入
1440分钟。 -
在触发条件中执行以下操作。
- 在条件类型中选择满足下列所有条件 (AND)。
- 在事件中选择控制面和数据面之间的 mTLS 证书将要过期。
- 在触发网关组中选择全选。
- 在规则中设置距离到期时间为 30 天。
-
点击新增通知。
-
在对话框中执行以下操作。
-
在类型中选择邮件。
-
在联系人中选择
Emergency Team Email List。 -
在告警邮件主题中输入以下内容。
[API7 Alert] Gateway Instance Certificate Expiration Warning. -
在告警邮件内容中输入以下内容。
Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}. -
点击新增。
-
-
点击新增通知。
-
在对话框中执行以下操作。
-
在类型中选择Webhook。
-
在联系人中选择
Slack Notification。 -
在告警消息中输入以下内容。
"text": "{{.AlertDetail}}.". -
点击新增。
-
- 点击新增。
验证
假设控制面证书于 2024-12-31 到期,告警策略在 2024-12-10 触发。
- 收到以下邮件。
* Subject: [API7 Alert] Gateway Instance Certificate Expiration Warning
* Alert Time: 2024 DEC 10 17:00:00, Detail: The certificate for gateway instance: gateway 123 will expire in 21 days.
- 在 Slack 中收到以下消息。
The certificate for gateway instance: gateway 123 will expire in 21 days.
- 从侧边导航栏选择告警,再点击历史。
- 页面会显示该事件的告警记录。点击详情后,可以看到以下信息。
- 告警策略
Gateway Instance Certificate Expiration - 告警等级:高
- 告警时间:5 分钟前
- 触发网关组
production group - 告警详情
The certificate for gateway instance: gateway 123 will expire in 21 days.
检测网关实例离线
如果网关实例(数据面节点)超过 2 小时未向控制面报告心跳,且该状态持续 7 天,数据面节点将被自动移除,并标记为 offline。
设置每小时运行的任务进行检查,出现问题时向应急小组发送邮件告警和 Slack 通知。随后应安排人员尝试恢复离线网关实例。
- 从侧边导航栏选择告警,再点击策略。
- 点击新增告警策略。
- 在对话框中执行以下操作。
- 在名称中输入
Gateway Instance Offline。 - 在告警等级中选择高。
- 在检查间隔中输入
60分钟。 - 在触发条件中执行以下操作。
- 在条件类型中选择满足下列所有条件 (AND)。
- 在事件中选择网关实例离线。
- 在触发网关组中选择全选。
- 在规则中填写“网关组中任一网关实例离线超过 1 小时”。
- 点击新增通知。
- 在对话框中执行以下操作。
-
在类型中选择邮件。
-
在联系人中选择
Emergency Team Email List。 -
在告警邮件主题中输入以下内容。
[API7 Alert] Gateway Instance Offline Warning. -
在告警邮件内容中输入以下内容。
Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}. -
点击新增。
-
- 点击新增通知。
- 在对话框中执行以下操作。
-
在类型中选择Webhook。
-
在联系人中选择
Slack Notification。 -
在告警消息中输入以下内容。
"text": "{{.AlertDetail}}". -
点击新增。
-
- 点击新增。
验证
假设两个网关实例分别在 2024-12-31 14:00:00 和 2024-12-31 13:00:00 离线。 告警策略在 2024-12-31 17:00:00 触发。
- 收到以下邮件。
* Subject: [API7 Alert] Gateway Instance Offline Warning
* Alert Time: 2024 DEC 31 17:00:00, Detail: Gateway instance: gateway 123 in the gateway group: production group has been offline for 3 hours.
Gateway instance: gateway 456 in the gateway group: test group has been offline for 4 hours.
- 在 Slack 中收到以下消息。
Gateway instance: gateway 123 in the gateway group: production group has been offline for 3 hours.
Gateway instance: gateway 456 in the gateway group: test group has been offline for 4 hours.
- 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
- 点击记录的详情后,可以看到以下信息。
- 告警策略
Gateway Instance Offline - 告警等级:高
- 告警时间:5 分钟前
- 触发网关组
production group - 告警详情
Gateway instance: gateway 123 in the gateway group: production group has been offline for 3 hours.Gateway instance: gateway 456 in the gateway group: test group has been offline for 4 hours.
检测 CPU 核数超出限制
如果所有网关组的 CPU 核使用量连续七天超过许可证的 CPU 核数限制,资源添加或修改将受到限制。现有服务和路由会继续正常运行。
设置每小时运行的任务,检查生产环境的所有网关组。出现问题时,向应急小组发送邮件告警和 Slack 通知。
- 从侧边导航栏选择告警,再点击策略。
- 点击新增告警策略。
- 在对话框中执行以下操作。
- 在名称中输入
CPU Cores Exceeding Quota。 - 在告警等级中选择高。
- 在检查间隔中输入
60分钟。 - 在触发条件中执行以下操作。
- 在条件类型中选择满足下列所有条件 (AND)。
- 在事件中选择CPU 核心数超出 License 限制。
- 点击新增通知。
- 在对话框中执行以下操作。
-
在类型中选择邮件。
-
在联系人中选择
Emergency Team Email List。 -
在告警邮件主题中输入以下内容。
[API7 Alert] CPU Cores Exceeding Quota. -
在告警邮件内容中输入以下内容。
Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}. -
点击新增。
-
- 点击新增通知。
- 在对话框中执行以下操作。
-
在类型中选择Webhook。
-
在联系人中选择
Slack Notification。 -
在告警消息中输入以下内容。
"text": "{{.AlertDetail}}". -
点击新增。
-
- 点击新增。
验证
假设 API7 企业版许可证的限制为 100 个 CPU 核,告警策略在 2024-12-31 17:00:00 触发。
- 收到以下邮件。
* Subject: [API7 Alert] CPU Cores Exceeding Quota
* Alert Time: 2024 DEC 31 17:00:00, Detail: Total CPU usage 110c has exceeded the allowed license CPU quota 100c.
- 在 Slack 中收到以下消息。
Total CPU usage 110c has exceeded the allowed license CPU quota 100c.
- 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
- 点击记录的详情后,可以看到以下信息。
- 告警策略
CPU Cores Exceeding Quota - 告警等级:高
- 告警时间:5 分钟前
- 告警详情
Total CPU usage 110c has exceeded the allowed license CPU quota 100c.
更多告警策略示例
监控 SSL 证书到期
为主动监控即将到期的 SSL 证书并发送告警,请设置每日任务检查证书到期日期。
如果证书即将在 30 天内到期,则向应急小组发送邮件告警,并向 Slack 发送通知。
- 从侧边导航栏选择告警,再点击策略。
- 点击新增告警策略。
- 在对话框中执行以下操作。
-
在名称中输入
SSL Certificate Expiration。 -
在告警等级中选择中。
-
在检查间隔中输入
1440分钟。 -
在触发条件中执行以下操作。
- 在条件类型中选择满足下列所有条件 (AND)。
- 在事件中选择SSL 证书即将过期。
- 在触发网关组中选择全选。
- 在规则中填写“SSL 证书将在 30 天内过期”。
-
点击新增通知。
-
在对话框中执行以下操作。
-
在类型中选择邮件。
-
在联系人中选择
Emergency Team Email List。 -
在告警邮件主题中输入以下内容。
[API7 Alert] SSL Certificate Expiration Warning. -
在告警邮件内容中输入以下内容。
Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}. -
点击新增。
-
-
点击新增通知。
-
在对话框中执行以下操作。
-
在类型中选择Webhook。
-
在联系人中选择
Slack Notification。 -
在告警消息中输入以下内容。
"text": "{{.AlertDetail}}.". -
点击新增。
-
- 点击新增。
验证
假设 SSL 证书于 2024-12-31 到期,告警策略在 2024-12-10 触发。
- 收到以下邮件。
* Subject: [API7 Alert]SSL Certificate Expiration Warning
* Alert Time: 2024 DEC 10 17:00:00, Detail: SSL Certificate: sslcert123 in gateway group: production group expires in 21 days.
- 在 Slack 中收到以下消息。
SSL Certificate: sslcert123 in gateway group: production group will expire in 21 days.
- 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
- 点击记录的详情后,可以看到以下信息。
- 告警策略
SSL Certificate Expiration - 告警等级:中
- 告警时间:5 分钟前
- 触发网关组
production group - 告警详情
SSL Certificate: sslcert123 in gateway group: production group expires in 21 days.
统计网关组中的健康网关实例数
如果网关组中健康网关实例的数量低于临界阈值,则表明可能出现服务中断,并影响流量处理。 这种场景在 Kubernetes 部署中尤为常见,因为网关实例可能发生故障或意外缩容。
设置高频运行的任务进行检查,出现问题时向应急小组发送邮件告警和 Slack 通知。
- 从侧边导航栏选择告警,再点击策略。
- 点击新增告警策略。
- 在对话框中执行以下操作。
-
在名称中输入
No Enough Healthy Gateway Instances in Production Group。 -
在告警等级中选择中。
-
在检查间隔中输入
30分钟。 -
在触发网关组中选择
Production Group。 -
在触发条件中执行以下操作。
- 在条件类型中选择满足下列所有条件 (AND)。
- 在事件中选择健康网关实例的数量。
- 在规则中填写“网关组中的网关实例数量少于 50”。
-
点击新增通知。
-
在对话框中执行以下操作。
-
在类型中选择邮件。
-
在联系人中选择
Emergency Team Email List。 -
在告警邮件主题中输入以下内容。
[API7 Alert] No Enough Healthy Gateway Instances in Production Group`.* In the **Alert Email Content** field, enter `Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}. -
点击新增。
-
-
点击新增通知。
-
在对话框中执行以下操作。
-
在类型中选择Webhook。
-
在联系人中选择
Slack Notification。 -
在告警消息中输入以下内容。
"text": "{{.AlertDetail}}". -
点击新增。
-
- 点击新增。
验证
假设网关组至少需要 50 个健康网关实例,但截至 2024-12-31 只有 40 个实例正常运行。 如此大的数量缺口可能导致服务降级或中断,需要立即处理。
- 收到以下邮件。
* Subject: [API7 Alert] No Enough Healthy Gateway Instances in Production Group
* Alert Time: 2024 DEC 31 17:00:00, Detail: The number of healthy gateway instances 40 in gateway group: Production Group is less than the minimum requirement of 50.
- 在 Slack 中收到以下消息。
The number of healthy gateway instances 40 in gateway group: Production Group is less than the minimum requirement of 50.
- 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
- 点击记录的详情后,可以看到以下信息。
- 告警策略
No Enough Healthy Gateway Instances in Production Group - 告警等级:中
- 告警时间:5 分钟前
- 触发网关组
Production Group - 告警详情
The number of healthy gateway instances 40 in gateway group: Production Group is less than the minimum requirement of 50.
监控状态码
如果特定 API 响应状态码的数量超过阈值,例如出现过多的 500 错误,则表明可能出现服务中断,并影响流量处理。
设置高频运行的任务进行检查,出现问题时向应急小组发送邮件告警和 Slack 通知。
- 从侧边导航栏选择告警,再点击策略。
- 点击新增告警策略。
- 在对话框中执行以下操作。
-
在名称中输入
Too many 500 status code in production gateway groups。 -
在告警等级中选择中。
-
在检查间隔中输入
30分钟。 -
在触发网关组中选择标签匹配,再输入键值对
envType: production。 -
在触发条件中执行以下操作。
- 在条件类型中选择满足下列所有条件 (OR)。
- 在事件中选择状态码 500 的数量。
- 在规则中填写“过去 60 分钟内,任一网关组的所有已发布服务收到的状态码为 500 的请求数量达到或超过 100 次”。
-
点击新增条件。
-
在触发条件中执行以下操作。
- 在事件中选择状态码 500 的比例。
- 在规则中填写“过去 60 分钟内,任一网关组的所有已发布服务收到的状态码为 500 的请求比例达到或超过 10%”。
-
点击新增通知。
-
在对话框中执行以下操作。
-
在类型中选择邮件。
-
在联系人中选择
Emergency Team Email List。 -
在告警邮件主题中输入以下内容。
[API7 Alert] Too many 500 status code in {{.TriggerGatewayGroup}}. -
在告警邮件内容中输入以下内容。
Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}. -
点击新增。
-
-
点击新增通知。
-
在对话框中执行以下操作。
-
在类型中选择Webhook。
-
在联系人中选择
Slack Notification。 -
在告警消息中输入以下内容。
"text": "{{.AlertDetail}}". -
点击新增。
-
- 点击新增。
验证
假设网关组 VIP Group 带有标签 envType:production,在 2024 年 12 月 31 日 16:00 至 17:00 期间错误率为 15%,1000 个请求中有 150 个返回 500 错误。
网关组 US Group 也带有标签 envType:production,在 2024 年 12 月 31 日 16:00 至 17:00 期间错误率为 10%,500 个请求中有 50 个返回 500 错误。
- 收到以下邮件。
* Subject: [API7 Alert] [API7 Alert] Too many 500 status code in VIP Group,US Group
* Alert Time: 2024 DEC 31 17:00:00, Detail: The number of 500 status code requests received by all published services in gateway group: VIP Group exceeded the threshold of 100 with a count of 150 in the last 60 minutes. Details: 100 requests for get-ip-route within httpbin-service, 40 requests for get-address-route within httpbin-service, and 10 unmatched requests.
500 status code request ratio for gateway group: VIP Group was 15% in the last 60 minutes (Total requests: 1000). Details: 100 requests (10%) for get-ip-route in httpbin-service, 40 requests (4%) for get-address-route in httpbin-service, and 10 (1%) for unmatched requests.
500 status code request ratio for gateway group: US Group was 10% in the last 60 minutes (Total requests: 500). Details: 100 requests (10%) for get-ip-route in httpbin-service.
- 在 Slack 中收到以下消息。
The number of 500 status code requests received by all published services in gateway group: VIP Group exceeded the threshold of 100 with a count of 150 in the last 60 minutes. Details: 100 requests for get-ip-route within httpbin-service, 40 requests for get-address-route within httpbin-service, and 10 unmatched requests.
500 status code request ratio for gateway group: VIP Group was 15% in the last 60 minutes (Total requests: 1000). Details: 100 requests (10%) for get-ip-route in httpbin-service, 40 requests (4%) for get-address-route in httpbin-service, and 10 (1%) for unmatched requests.
500 status code request ratio for gateway group: US Group was 10% in the last 60 minutes (Total requests: 500). Details: 100 requests (10%) for get-ip-route in httpbin-service.
- 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
- 点击记录的详情后,可以看到以下信息。
- 告警策略
Too many 500 status code in production gateway groups - 告警等级:中
- 告警时间:5 分钟前
- 触发网关组
VIP Group - 告警详情
The number of 500 status code requests received by all published services in gateway group: VIP Group exceeded the threshold of 100 with a count of 150 in the last 60 minutes. Details: 100 requests for get-ip-route within httpbin-service, 40 requests for get-address-route within httpbin-service, and 10 unmatched requests.500 status code request ratio for gateway group: VIP Group was 15% in the last 60 minutes (Total requests: 1000). Details: 100 requests (10%) for get-ip-route in httpbin-service, 40 requests (4%) for get-address-route in httpbin-service, and 10 (1%) for unmatched requests.500 status code request ratio for gateway group: US Group was 10% in the last 60 minutes (Total requests: 500). Details: 100 requests (10%) for get-ip-route in httpbin-service.
更多资源
- 参考