Redis 数据集成发布说明 1.0 (2024年6月)

处理模式的更改。简单安装。静默安装。管道编排。日志记录。监控。高可用性机制。

这是Redis数据集成（RDI）的第一个正式发布版本。

RDI的使命是帮助Redis客户将Redis Enterprise与来自他们缓慢的基于磁盘的数据库的实时数据同步，以实现以下目标：

RDI 使用 变更数据捕获 (CDC) 机制，保持 Redis 缓存与主数据库的更改同步。它还允许你将关系表中的数据转换为符合应用程序需求的便捷且快速的数据结构。你通过配置系统指定转换规则，因此无需编写代码。

头条新闻

处理模式的更改：RDI的预览版本使用Redis Enterprise数据库中的分片CPU处理数据。GA版本将数据处理移出集群。RDI现在部署在虚拟机或Kubernetes（K8s）上。
简单安装：RDI 附带所有依赖项。一个简单的交互式安装程序提供了一个简化的过程，只需几分钟即可完成。
静默安装：RDI 可以通过脚本和输入文件由软件进行安装。
管道编排：RDI的预览版本要求您手动安装和配置Debezium服务器。在此版本中，我们增加了对源数据库配置的支持，以及对所有管道组件（包括Debezium服务器（RDI收集器））的管道配置和编排。
日志记录：所有RDI组件的日志现在都被发送到一个中央文件夹，并由RDI的日志记录机制进行轮换。
监控：RDI 附带两个 Prometheus 导出器，一个用于 Debezium Server，另一个用于 RDI 的管道数据处理。
高可用性机制：RDI的预览版本使用了外部集群依赖来提供Debezium服务器的主动-被动部署。GA版本在主动虚拟机和被动虚拟机之间具有基于Redis的内置故障转移机制。Kubernetes部署依赖于RDI组件中包含的K8s探针。

RDI 可以将数据写入 Redis 主动-主动数据库。然而，它不支持将数据写入两个或更多主动-主动副本。从 RDI 向多个主动-主动副本写入数据可能会轻易损害数据完整性，因为 RDI 与源数据库提交不同步。
RDI 写回（目前处于预览阶段）不应与 RDI 摄取写入 Redis 的同一数据集一起使用。这可能会导致无限循环或损害数据完整性，因为摄取和写回都是异步的、最终一致的过程。