跳到主要内容
版本:3.8.x

网关告警通知

API 网关使用中的异常流量模式或错误可能表明存在问题或恶意攻击。为特定阈值和活动设置告警后,可以及时发现并了解可能表明安全漏洞、滥用或异常使用的模式。

本教程介绍如何创建告警策略,在发生特定事件时接收邮件和 webhook 通知。以下互动演示以统计网关组中健康网关实例数量的场景为例,帮助你了解操作流程。

前提条件​

  1. 安装 API7 企业版。
  2. 在网关组中运行一个 API。
  3. 获取通知系统的 webhook URL。

设置 SMTP 服务器​

  1. 从顶部导航栏选择组织,再选择设置。
  2. 点击 SMTP 服务器选项卡。
  3. 点击启用。
  4. 在对话框中执行以下操作。
  • 在 SMTP 服务器地址中输入 SMTP 服务器地址,例如 127.0.0.1。
  • 在用户名和密码中输入连接 SMTP 服务器的凭据。
  • 在发件人姓名中输入 API7 Enterprise,将其作为邮件中显示的发件人名称。
  • 在发件人邮箱地址中输入 noreply@api7.ai,作为实际发件人地址。
  • 点击启用。

添加联系人​

联系人 定义一组邮件地址或 webhook URL,可由多个告警策略复用。

添加邮件联系人​

  1. 从顶部导航栏选择组织,再选择联系人。
  2. 点击新增联系人。
  3. 在对话框中执行以下操作。
  • 在名称中输入Emergency Team Email List。
  • 在类型中选择邮件。
  • 在邮件地址中输入收件人的邮件地址,例如 emergencyteamlist@api7.ai。
  • 点击新增。

添加 Webhook 联系人​

使用 Slack 接收 webhook,将 API7 企业版的消息发送到 Slack。

  1. 从顶部导航栏选择组织,再选择联系人。
  2. 点击新增联系人。
  3. 在对话框中执行以下操作。
  • 在名称中输入Slack Notification。
  • 在类型中选择Webhook。
  • 在 URL 中输入 https://hooks.slack.com/services/T00000000/B00000000/XXXXXXXXXXXXXXXXXXXXXXXX。请替换为你的 ID。
  • 点击新增。

添加必要的告警策略​

强烈建议配置以下告警策略,它们对大多数用户至关重要。

监控控制面到数据面的 mTLS 证书到期​

API7 控制面证书和控制面 CA 证书支持控制面与数据面之间的安全 mTLS 通信,在部署网关实例时激活,有效期为 13 个月。

为主动监控网关实例中即将到期的证书并发送告警,请设置每日任务检查证书到期日期。如果网关实例证书即将在 30 天内到期,则向应急小组发送邮件告警,并向 Slack 发送通知。

  1. 从侧边导航栏选择告警,再点击策略。
  2. 点击新增告警策略。
  3. 在对话框中执行以下操作。
  • 在名称中输入Gateway Instance Certificate Expiration。

  • 在告警等级中选择高。

  • 在检查间隔中输入 1440 分钟。

  • 在触发条件中执行以下操作。

    • 在条件类型中选择满足下列所有条件 (AND)。
    • 在事件中选择控制面和数据面之间的 mTLS 证书将要过期。
    • 在触发网关组中选择全选。
    • 在规则中设置距离到期时间为 30 天。
  • 点击新增通知。

  • 在对话框中执行以下操作。

    • 在类型中选择邮件。

    • 在联系人中选择Emergency Team Email List。

    • 在告警邮件主题中输入以下内容。

      [API7 Alert] Gateway Instance Certificate Expiration Warning.
    • 在告警邮件内容中输入以下内容。

      Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}.
    • 点击新增。

  • 点击新增通知。

  • 在对话框中执行以下操作。

    • 在类型中选择Webhook。

    • 在联系人中选择Slack Notification。

    • 在告警消息中输入以下内容。

      "text": "{{.AlertDetail}}.".
    • 点击新增。

  1. 点击新增。

验证​

假设控制面证书于 2024-12-31 到期,告警策略在 2024-12-10 触发。

  1. 收到以下邮件。
* Subject: [API7 Alert] Gateway Instance Certificate Expiration Warning
* Alert Time: 2024 DEC 10 17:00:00, Detail: The certificate for gateway instance: gateway 123 will expire in 21 days.
  1. 在 Slack 中收到以下消息。
The certificate for gateway instance: gateway 123 will expire in 21 days.
  1. 从侧边导航栏选择告警,再点击历史。
  2. 页面会显示该事件的告警记录。点击详情后,可以看到以下信息。
  • 告警策略 Gateway Instance Certificate Expiration
  • 告警等级:高
  • 告警时间:5 分钟前
  • 触发网关组 production group
  • 告警详情 The certificate for gateway instance: gateway 123 will expire in 21 days.

检测网关实例离线​

如果网关实例(数据面节点)超过 2 小时未向控制面报告心跳,且该状态持续 7 天,数据面节点将被自动移除,并标记为 offline。

设置每小时运行的任务进行检查,出现问题时向应急小组发送邮件告警和 Slack 通知。随后应安排人员尝试恢复离线网关实例。

  1. 从侧边导航栏选择告警,再点击策略。
  2. 点击新增告警策略。
  3. 在对话框中执行以下操作。
  • 在名称中输入Gateway Instance Offline。
  • 在告警等级中选择高。
  • 在检查间隔中输入 60 分钟。
  • 在触发条件中执行以下操作。
    • 在条件类型中选择满足下列所有条件 (AND)。
    • 在事件中选择网关实例离线。
    • 在触发网关组中选择全选。
    • 在规则中填写“网关组中任一网关实例离线超过 1 小时”。
  • 点击新增通知。
  • 在对话框中执行以下操作。
    • 在类型中选择邮件。

    • 在联系人中选择Emergency Team Email List。

    • 在告警邮件主题中输入以下内容。

      [API7 Alert] Gateway Instance Offline Warning.
    • 在告警邮件内容中输入以下内容。

      Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}.
    • 点击新增。

  • 点击新增通知。
  • 在对话框中执行以下操作。
    • 在类型中选择Webhook。

    • 在联系人中选择Slack Notification。

    • 在告警消息中输入以下内容。

      "text": "{{.AlertDetail}}".
    • 点击新增。

  1. 点击新增。

验证​

假设两个网关实例分别在 2024-12-31 14:00:00 和 2024-12-31 13:00:00 离线。 告警策略在 2024-12-31 17:00:00 触发。

  1. 收到以下邮件。
* Subject: [API7 Alert] Gateway Instance Offline Warning
* Alert Time: 2024 DEC 31 17:00:00, Detail: Gateway instance: gateway 123 in the gateway group: production group has been offline for 3 hours.
Gateway instance: gateway 456 in the gateway group: test group has been offline for 4 hours.
  1. 在 Slack 中收到以下消息。
Gateway instance: gateway 123 in the gateway group: production group has been offline for 3 hours.
Gateway instance: gateway 456 in the gateway group: test group has been offline for 4 hours.
  1. 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
  2. 点击记录的详情后,可以看到以下信息。
  • 告警策略 Gateway Instance Offline
  • 告警等级:高
  • 告警时间:5 分钟前
  • 触发网关组 production group
  • 告警详情 Gateway instance: gateway 123 in the gateway group: production group has been offline for 3 hours. Gateway instance: gateway 456 in the gateway group: test group has been offline for 4 hours.

检测 CPU 核数超出限制​

如果所有网关组的 CPU 核使用量连续七天超过许可证的 CPU 核数限制,资源添加或修改将受到限制。现有服务和路由会继续正常运行。

设置每小时运行的任务,检查生产环境的所有网关组。出现问题时,向应急小组发送邮件告警和 Slack 通知。

  1. 从侧边导航栏选择告警,再点击策略。
  2. 点击新增告警策略。
  3. 在对话框中执行以下操作。
  • 在名称中输入CPU Cores Exceeding Quota。
  • 在告警等级中选择高。
  • 在检查间隔中输入 60 分钟。
  • 在触发条件中执行以下操作。
    • 在条件类型中选择满足下列所有条件 (AND)。
    • 在事件中选择CPU 核心数超出 License 限制。
  • 点击新增通知。
  • 在对话框中执行以下操作。
    • 在类型中选择邮件。

    • 在联系人中选择Emergency Team Email List。

    • 在告警邮件主题中输入以下内容。

      [API7 Alert] CPU Cores Exceeding Quota.
    • 在告警邮件内容中输入以下内容。

      Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}.
    • 点击新增。

  • 点击新增通知。
  • 在对话框中执行以下操作。
    • 在类型中选择Webhook。

    • 在联系人中选择Slack Notification。

    • 在告警消息中输入以下内容。

      "text": "{{.AlertDetail}}".
    • 点击新增。

  1. 点击新增。

验证​

假设 API7 企业版许可证的限制为 100 个 CPU 核,告警策略在 2024-12-31 17:00:00 触发。

  1. 收到以下邮件。
* Subject: [API7 Alert] CPU Cores Exceeding Quota
* Alert Time: 2024 DEC 31 17:00:00, Detail: Total CPU usage 110c has exceeded the allowed license CPU quota 100c.
  1. 在 Slack 中收到以下消息。
Total CPU usage 110c has exceeded the allowed license CPU quota 100c.
  1. 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
  2. 点击记录的详情后,可以看到以下信息。
  • 告警策略 CPU Cores Exceeding Quota
  • 告警等级:高
  • 告警时间:5 分钟前
  • 告警详情 Total CPU usage 110c has exceeded the allowed license CPU quota 100c.

更多告警策略示例​

监控 SSL 证书到期​

为主动监控即将到期的 SSL 证书并发送告警,请设置每日任务检查证书到期日期。

如果证书即将在 30 天内到期,则向应急小组发送邮件告警,并向 Slack 发送通知。

  1. 从侧边导航栏选择告警,再点击策略。
  2. 点击新增告警策略。
  3. 在对话框中执行以下操作。
  • 在名称中输入SSL Certificate Expiration。

  • 在告警等级中选择中。

  • 在检查间隔中输入 1440 分钟。

  • 在触发条件中执行以下操作。

    • 在条件类型中选择满足下列所有条件 (AND)。
    • 在事件中选择SSL 证书即将过期。
    • 在触发网关组中选择全选。
    • 在规则中填写“SSL 证书将在 30 天内过期”。
  • 点击新增通知。

  • 在对话框中执行以下操作。

    • 在类型中选择邮件。

    • 在联系人中选择Emergency Team Email List。

    • 在告警邮件主题中输入以下内容。

      [API7 Alert] SSL Certificate Expiration Warning.
    • 在告警邮件内容中输入以下内容。

      Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}.
    • 点击新增。

  • 点击新增通知。

  • 在对话框中执行以下操作。

    • 在类型中选择Webhook。

    • 在联系人中选择Slack Notification。

    • 在告警消息中输入以下内容。

      "text": "{{.AlertDetail}}.".
    • 点击新增。

  1. 点击新增。

验证​

假设 SSL 证书于 2024-12-31 到期,告警策略在 2024-12-10 触发。

  1. 收到以下邮件。
* Subject: [API7 Alert]SSL Certificate Expiration Warning
* Alert Time: 2024 DEC 10 17:00:00, Detail: SSL Certificate: sslcert123 in gateway group: production group expires in 21 days.
  1. 在 Slack 中收到以下消息。
SSL Certificate: sslcert123 in gateway group: production group will expire in 21 days.
  1. 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
  2. 点击记录的详情后,可以看到以下信息。
  • 告警策略 SSL Certificate Expiration
  • 告警等级:中
  • 告警时间:5 分钟前
  • 触发网关组 production group
  • 告警详情 SSL Certificate: sslcert123 in gateway group: production group expires in 21 days.

统计网关组中的健康网关实例数​

如果网关组中健康网关实例的数量低于临界阈值,则表明可能出现服务中断,并影响流量处理。 这种场景在 Kubernetes 部署中尤为常见,因为网关实例可能发生故障或意外缩容。

设置高频运行的任务进行检查,出现问题时向应急小组发送邮件告警和 Slack 通知。

  1. 从侧边导航栏选择告警,再点击策略。
  2. 点击新增告警策略。
  3. 在对话框中执行以下操作。
  • 在名称中输入No Enough Healthy Gateway Instances in Production Group。

  • 在告警等级中选择中。

  • 在检查间隔中输入 30 分钟。

  • 在触发网关组中选择Production Group。

  • 在触发条件中执行以下操作。

    • 在条件类型中选择满足下列所有条件 (AND)。
    • 在事件中选择健康网关实例的数量。
    • 在规则中填写“网关组中的网关实例数量少于 50”。
  • 点击新增通知。

  • 在对话框中执行以下操作。

    • 在类型中选择邮件。

    • 在联系人中选择Emergency Team Email List。

    • 在告警邮件主题中输入以下内容。

      [API7 Alert] No Enough Healthy Gateway Instances in Production Group`.
      * In the **Alert Email Content** field, enter `Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}.
    • 点击新增。

  • 点击新增通知。

  • 在对话框中执行以下操作。

    • 在类型中选择Webhook。

    • 在联系人中选择Slack Notification。

    • 在告警消息中输入以下内容。

      "text": "{{.AlertDetail}}".
    • 点击新增。

  1. 点击新增。

验证​

假设网关组至少需要 50 个健康网关实例,但截至 2024-12-31 只有 40 个实例正常运行。 如此大的数量缺口可能导致服务降级或中断,需要立即处理。

  1. 收到以下邮件。
* Subject: [API7 Alert] No Enough Healthy Gateway Instances in Production Group
* Alert Time: 2024 DEC 31 17:00:00, Detail: The number of healthy gateway instances 40 in gateway group: Production Group is less than the minimum requirement of 50.
  1. 在 Slack 中收到以下消息。
The number of healthy gateway instances 40 in gateway group: Production Group is less than the minimum requirement of 50.
  1. 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
  2. 点击记录的详情后,可以看到以下信息。
  • 告警策略 No Enough Healthy Gateway Instances in Production Group
  • 告警等级:中
  • 告警时间:5 分钟前
  • 触发网关组 Production Group
  • 告警详情 The number of healthy gateway instances 40 in gateway group: Production Group is less than the minimum requirement of 50.

监控状态码​

如果特定 API 响应状态码的数量超过阈值,例如出现过多的 500 错误,则表明可能出现服务中断,并影响流量处理。

设置高频运行的任务进行检查,出现问题时向应急小组发送邮件告警和 Slack 通知。

  1. 从侧边导航栏选择告警,再点击策略。
  2. 点击新增告警策略。
  3. 在对话框中执行以下操作。
  • 在名称中输入Too many 500 status code in production gateway groups。

  • 在告警等级中选择中。

  • 在检查间隔中输入 30 分钟。

  • 在触发网关组中选择标签匹配,再输入键值对 envType: production。

  • 在触发条件中执行以下操作。

    • 在条件类型中选择满足下列所有条件 (OR)。
    • 在事件中选择状态码 500 的数量。
    • 在规则中填写“过去 60 分钟内,任一网关组的所有已发布服务收到的状态码为 500 的请求数量达到或超过 100 次”。
  • 点击新增条件。

  • 在触发条件中执行以下操作。

    • 在事件中选择状态码 500 的比例。
    • 在规则中填写“过去 60 分钟内,任一网关组的所有已发布服务收到的状态码为 500 的请求比例达到或超过 10%”。
  • 点击新增通知。

  • 在对话框中执行以下操作。

    • 在类型中选择邮件。

    • 在联系人中选择Emergency Team Email List。

    • 在告警邮件主题中输入以下内容。

      [API7 Alert] Too many 500 status code in {{.TriggerGatewayGroup}}.
    • 在告警邮件内容中输入以下内容。

      Alert Time: {{.AlertTime.Format "2006 Jan 02 15:04:05"}}, Detail:{{.AlertDetail}}.
    • 点击新增。

  • 点击新增通知。

  • 在对话框中执行以下操作。

    • 在类型中选择Webhook。

    • 在联系人中选择Slack Notification。

    • 在告警消息中输入以下内容。

      "text": "{{.AlertDetail}}".
    • 点击新增。

  1. 点击新增。

验证​

假设网关组 VIP Group 带有标签 envType:production,在 2024 年 12 月 31 日 16:00 至 17:00 期间错误率为 15%,1000 个请求中有 150 个返回 500 错误。 网关组 US Group 也带有标签 envType:production,在 2024 年 12 月 31 日 16:00 至 17:00 期间错误率为 10%,500 个请求中有 50 个返回 500 错误。

  1. 收到以下邮件。
* Subject: [API7 Alert] [API7 Alert] Too many 500 status code in VIP Group,US Group
* Alert Time: 2024 DEC 31 17:00:00, Detail: The number of 500 status code requests received by all published services in gateway group: VIP Group exceeded the threshold of 100 with a count of 150 in the last 60 minutes. Details: 100 requests for get-ip-route within httpbin-service, 40 requests for get-address-route within httpbin-service, and 10 unmatched requests.
500 status code request ratio for gateway group: VIP Group was 15% in the last 60 minutes (Total requests: 1000). Details: 100 requests (10%) for get-ip-route in httpbin-service, 40 requests (4%) for get-address-route in httpbin-service, and 10 (1%) for unmatched requests.
500 status code request ratio for gateway group: US Group was 10% in the last 60 minutes (Total requests: 500). Details: 100 requests (10%) for get-ip-route in httpbin-service.
  1. 在 Slack 中收到以下消息。
The number of 500 status code requests received by all published services in gateway group: VIP Group exceeded the threshold of 100 with a count of 150 in the last 60 minutes. Details: 100 requests for get-ip-route within httpbin-service, 40 requests for get-address-route within httpbin-service, and 10 unmatched requests.
500 status code request ratio for gateway group: VIP Group was 15% in the last 60 minutes (Total requests: 1000). Details: 100 requests (10%) for get-ip-route in httpbin-service, 40 requests (4%) for get-address-route in httpbin-service, and 10 (1%) for unmatched requests.
500 status code request ratio for gateway group: US Group was 10% in the last 60 minutes (Total requests: 500). Details: 100 requests (10%) for get-ip-route in httpbin-service.
  1. 告警历史中会出现记录。从侧边导航栏选择告警,再点击历史查看记录。
  2. 点击记录的详情后,可以看到以下信息。
  • 告警策略 Too many 500 status code in production gateway groups
  • 告警等级:中
  • 告警时间:5 分钟前
  • 触发网关组 VIP Group
  • 告警详情 The number of 500 status code requests received by all published services in gateway group: VIP Group exceeded the threshold of 100 with a count of 150 in the last 60 minutes. Details: 100 requests for get-ip-route within httpbin-service, 40 requests for get-address-route within httpbin-service, and 10 unmatched requests. 500 status code request ratio for gateway group: VIP Group was 15% in the last 60 minutes (Total requests: 1000). Details: 100 requests (10%) for get-ip-route in httpbin-service, 40 requests (4%) for get-address-route in httpbin-service, and 10 (1%) for unmatched requests. 500 status code request ratio for gateway group: US Group was 10% in the last 60 minutes (Total requests: 500). Details: 100 requests (10%) for get-ip-route in httpbin-service.

更多资源​