可观测性
学习如何监控RDI
RDI 使用 Prometheus exporter endpoints 报告其操作的指标。 您可以使用 Prometheus 连接到这些端点以查询指标并绘制简单的图表,或者使用 Grafana 生成更复杂的可视化和仪表板。
RDI 暴露了两个端点,一个用于 CDC 收集器指标,另一个用于 流处理器指标。以下部分将更详细地解释这些指标集。有关这些概念的介绍,请参阅 架构概述。
注意:
如果您不使用Prometheus或Grafana,您仍然可以通过Redis Insight中的RDI监控屏幕或通过CLI中的
redis-di status
命令查看RDI指标。收集器指标
收集器指标的端点是 https://
这些指标分为三组:
- 管道状态: 关于管道模式和连接性的指标
- 数据流计数器: 用于按源表分解数据的计数器
- 处理性能: RDI微批次的处理速度
流处理器指标
流处理器指标的端点是 https://
RDI报告在摄取管道的两个主要阶段中的指标,即快照阶段和变更数据捕获(CDC)阶段。(有关更多信息,请参阅管道生命周期文档)。下表显示了RDI报告的全部指标。
指标 | 阶段 |
---|---|
捕获的表 | 两者 |
已连接 | CDC |
最后事件 | 两者 |
最后交易ID | CDC |
MilliSecondsBehindSource | CDC |
自上次事件以来的毫秒数 | 两者 |
已提交事务的数量 | CDC |
NumberOfEventsFiltered | 两者 |
队列剩余容量 | 两者 |
队列总容量 | 两者 |
剩余表计数 | 快照 |
扫描的行数 | 快照 |
快照中止 | 快照 |
快照完成 | 快照 |
快照持续时间(秒) | 快照 |
快照已暂停 | 快照 |
快照暂停时长(秒) | 快照 |
快照运行中 | 快照 |
源事件位置 | CDC |
已观察到的创建事件总数 | CDC |
已看到的删除事件总数 | CDC |
TotalNumberOfEventsSeen | 两者 |
已看到的更新事件总数 | CDC |
总表数 | 快照 |
RDI 日志
RDI 使用 fluentd 和
logrotate 来传输和轮换其 Kubernetes (K8s) 组件的日志。
因此,每当 RDI 操作进程或 K8s 移除一个容器化组件时,
日志仍然可供您检查。
默认情况下,RDI 将日志存储在主机 VM 文件系统的 /opt/rdi/logs
目录中。
日志以最低 INFO
级别记录,并在达到 100MB 大小时进行轮换。
默认情况下,RDI 保留最后五个轮换的日志文件。
日志采用简单的文本格式,使您可以使用多种不同的可观测性工具进行分析。
您可以使用
redis-di config-rdi
命令更改默认的日志设置。
转储支持包
如果您需要向Redis支持发送一套全面的取证数据,那么您应该从CLI运行redis-di dump-support-package
命令。有关更多信息,请参阅Troubleshooting。