跳到主要内容
版本:3.2.15.2.1

记录 API 流量日志

API7 企业版可以记录路由的访问日志,包括主机、客户端 IP 地址和请求时间戳等信息。你可以使用这些日志定位和排查问题。

API7 企业版通过插件系统与多种日志平台集成,提供以下开箱即用的集成方式。

  • HTTP/TCP/UDP 日志服务器
  • SkyWalking
  • Kafka
  • RocketMQ
  • ClickHouse
  • Syslog
  • 阿里云 SLS
  • Google Cloud 日志服务
  • Splunk HTTP Event Collector (HEC)
  • 文件日志
  • Elasticsearch
  • 腾讯云 CLS
  • Grafana Loki

本教程介绍如何配置 clickhouse-logger 插件,将 API 流量日志写入 ClickHouse 数据库。

前提条件​

  1. 安装 API7 企业版。
  2. 在网关组中运行一个 API。

启动 ClickHouse 服务器​

在 Docker 中启动名为 quickstart-clickhouse-server 的 ClickHouse 实例,使用默认数据库 quickstart_db、默认用户 quickstart-user 和密码 quickstart-pass。

docker run -d \
--name quickstart-clickhouse-server \
--network=api7-ee_api7 \
-e CLICKHOUSE_DB=quickstart_db \
-e CLICKHOUSE_USER=quickstart-user \
-e CLICKHOUSE_PASSWORD=quickstart-pass \
-e CLICKHOUSE_DEFAULT_ACCESS_MANAGEMENT=1 \
--ulimit nofile=262144:262144 \
clickhouse/clickhouse-server

在本地或 Docker 中使用命令行工具 clickhouse-client 连接到 ClickHouse 实例。

docker exec -it quickstart-clickhouse-server clickhouse-client

在 quickstart_db 数据库中创建 test 表。示例中的 host、client_ip、route_id 和 @timestamp 字段均为 String 类型,你也可以按需调整。

CREATE TABLE quickstart_db.test (
`host` String,
`client_ip` String,
`route_id` String,
`@timestamp` String,
PRIMARY KEY(`@timestamp`)
) ENGINE = MergeTree()

操作成功后,输出会显示 Ok。

输入 exit 退出 Docker 容器。

为所有服务配置日志记录​

强烈建议通过全局规则启用日志插件,以便记录所有服务和路由的流量。

  1. 从侧边栏选择网关组的插件设置。
  2. 选择插件全局规则选项卡,然后点击启用插件。
  3. 在插件字段中搜索 clickhouse-logger 插件,然后点击启用。
  4. 在对话框中完成以下操作。
  • 将以下配置添加到 JSON 编辑器。

    {
    "log_format": {
    "host": "$host",
    "@timestamp": "$time_iso8601",
    "client_ip": "$remote_addr"
    },
    "user": "quickstart-user",
    "password": "quickstart-pass",
    "database": "quickstart_db",
    "logtable": "test",
    "endpoint_addrs": ["http://quickstart-clickhouse-server:8123"]
    }
  • 点击启用。

验证​

向路由发送请求,生成一条访问日志。

curl -i "http://127.0.0.1:9080/ip"

使用 Docker 中的命令行工具 clickhouse-client 连接到 ClickHouse 数据库。

docker exec -it quickstart-clickhouse-server clickhouse-client

查询 quickstart_db.test 表中的所有记录。

SELECT * from quickstart_db.test

你应该能看到类似以下示例的访问日志。

┌─host───────────┬─client_ip────┬─route_id─────────────────────────────┬─@timestamp────────────────┐
│ 127.0.0.1 │ 192.168.2.10 │ f4a6ec82-5b9d-4c2d-9d36-2d3a7cf1c3b4 │ 2024-07-18T19:24:16+00:00 │
└────────────────┴──────────────┴──────────────────────────────────────┴───────────────────────────┘