Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用？
Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用？[阿里云实时计算 Flink版]
「点点赞赏，手留余香」
还没有人赞赏，快来当第一个赞赏的人吧！
=====这是一个广告位，招租中，联系qq 78315851====
同尘云，您身边的云智能顾问
Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用？
截至目前，Flink CDC 尚未原生支持 Redis 的 CDC 功能。然而，Flink 社区中已经有一些开源项目提供了将 Redis 与 Flink 实现 CDC 同步的解决方案，例如
Redis-FlinkCDC（https://github.com/asura-bi/Redis-FlinkCDC）。Redis-FlinkCDC是一个将 Redis 数据实时同步到 MySQL、HBase、Elasticsearch 等系统的方案，基于 Flink CDC 实现。它具有以下特点：– 使用 Flink CDC 读取 Redis 的增量数据，通过 Redis Streams 来实现。 – 与 Flink 良好集成，可以使用 Flink SQL 进行数据转换和处理。 – 配置灵活，支持不同的同步方案，包括 1:1 或 1:N 的同步关系。 – 支持高可用性，能够从故障中恢复同步过程。
使用该方案的方式大致如下：
1. 将 Redis 配置为高可用模式，并启用 Redis Streams 功能。 2. 在 Flink 端，使用提供的 Redis Source 和 Sink 连接器来实现数据同步。 3. Redis Source 使用 Flink CDC Reader 来从 Redis Streams 获取增量数据。 4. 经过 Flink SQL 的转换后，将数据写入下游系统。
这是一个不错的选择，可以将 Redis 中实时变更的数据同步到数据湖或数据仓库。然而，请注意，在实际应用中，大多数公司并不将 Redis 作为主要的数据存储，而更常用于缓存数据。真实的数据通常存储在业务数据库中，例如 HBase、Table Store、Doris、StarRocks
对于Redis CDC,Flink没有内置支持。不过社区已经有开源项目提供了Redis到Flink CDC的同步功能:
https://github.com/asura-bi/Redis-FlinkCDC
这个项目是一个 Redis 到 MySQL/HBase/Elasticsearch 等系统的实时同步方案,基于 Flink CDC 实现。
特点是:
使用 FlinkCDC 读取 Redis 的增量数据(通过 Redis Streams)
与 Flink 良好集成,可以通过 Flink SQL 实现数据转换
配置灵活,支持多种同步方案(1:1 或 1:N)
支持高可用,可以从故障中恢复同步
使用方式为:
将 Redis 配置为高可用模式,启用 Redis Streams 功能
在 Flink 端,使用提供的 Redis Source 和 Sink 连接器实现数据同步
Redis Source 使用 Flink CDC Reader 从 Redis Streams 获取增量数据
通过 Flink SQL 转换后,写入下游系统
这是一个不错的选择,可以将 Redis 的实时变更同步到数据湖或数据仓库。
你去看看hbase，table-store，doris，starrocks等，redis太小了，redis存储的是缓存数据，真正的数据还是在业务数据库，没见过哪家公司把redis当做存储数据来用，此回答整理自钉群“Flink CDC 社区”