tongchenkeji 发表于:2023-7-2 12:01:490次点击 已关注取消关注 关注 私信 Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用?[阿里云实时计算 Flink版] 暂停朗读为您朗读 Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# NoSQL625# Redis510# 云数据库 Redis 版509# 实时计算 Flink版3179# 数据库1310# 流计算2236
Star时光AM 2023-11-27 18:16:50 1 截至目前,Flink CDC 尚未原生支持 Redis 的 CDC 功能。然而,Flink 社区中已经有一些开源项目提供了将 Redis 与 Flink 实现 CDC 同步的解决方案,例如 Redis-FlinkCDC(https://github.com/asura-bi/Redis-FlinkCDC)。 Redis-FlinkCDC 是一个将 Redis 数据实时同步到 MySQL、HBase、Elasticsearch 等系统的方案,基于 Flink CDC 实现。它具有以下特点: – 使用 Flink CDC 读取 Redis 的增量数据,通过 Redis Streams 来实现。 – 与 Flink 良好集成,可以使用 Flink SQL 进行数据转换和处理。 – 配置灵活,支持不同的同步方案,包括 1:1 或 1:N 的同步关系。 – 支持高可用性,能够从故障中恢复同步过程。 使用该方案的方式大致如下: 1. 将 Redis 配置为高可用模式,并启用 Redis Streams 功能。 2. 在 Flink 端,使用提供的 Redis Source 和 Sink 连接器来实现数据同步。 3. Redis Source 使用 Flink CDC Reader 来从 Redis Streams 获取增量数据。 4. 经过 Flink SQL 的转换后,将数据写入下游系统。 这是一个不错的选择,可以将 Redis 中实时变更的数据同步到数据湖或数据仓库。然而,请注意,在实际应用中,大多数公司并不将 Redis 作为主要的数据存储,而更常用于缓存数据。真实的数据通常存储在业务数据库中,例如 HBase、Table Store、Doris、StarRocks
算精通AM 2023-11-27 18:16:50 2 对于Redis CDC,Flink没有内置支持。不过社区已经有开源项目提供了Redis到Flink CDC的同步功能:https://github.com/asura-bi/Redis-FlinkCDC这个项目是一个 Redis 到 MySQL/HBase/Elasticsearch 等系统的实时同步方案,基于 Flink CDC 实现。特点是:使用 FlinkCDC 读取 Redis 的增量数据(通过 Redis Streams)与 Flink 良好集成,可以通过 Flink SQL 实现数据转换配置灵活,支持多种同步方案(1:1 或 1:N)支持高可用,可以从故障中恢复同步使用方式为:将 Redis 配置为高可用模式,启用 Redis Streams 功能在 Flink 端,使用提供的 Redis Source 和 Sink 连接器实现数据同步Redis Source 使用 Flink CDC Reader 从 Redis Streams 获取增量数据通过 Flink SQL 转换后,写入下游系统这是一个不错的选择,可以将 Redis 的实时变更同步到数据湖或数据仓库。
xin在这AM 2023-11-27 18:16:50 3 你去看看hbase,table-store,doris,starrocks等,redis太小了,redis存储的是缓存数据,真正的数据还是在业务数据库,没见过哪家公司把redis当做存储数据来用,此回答整理自钉群“Flink CDC 社区”
截至目前,Flink CDC 尚未原生支持 Redis 的 CDC 功能。然而,Flink 社区中已经有一些开源项目提供了将 Redis 与 Flink 实现 CDC 同步的解决方案,例如
Redis-FlinkCDC
(https://github.com/asura-bi/Redis-FlinkCDC)。Redis-FlinkCDC
是一个将 Redis 数据实时同步到 MySQL、HBase、Elasticsearch 等系统的方案,基于 Flink CDC 实现。它具有以下特点:– 使用 Flink CDC 读取 Redis 的增量数据,通过 Redis Streams 来实现。 – 与 Flink 良好集成,可以使用 Flink SQL 进行数据转换和处理。 – 配置灵活,支持不同的同步方案,包括 1:1 或 1:N 的同步关系。 – 支持高可用性,能够从故障中恢复同步过程。
使用该方案的方式大致如下:
1. 将 Redis 配置为高可用模式,并启用 Redis Streams 功能。 2. 在 Flink 端,使用提供的 Redis Source 和 Sink 连接器来实现数据同步。 3. Redis Source 使用 Flink CDC Reader 来从 Redis Streams 获取增量数据。 4. 经过 Flink SQL 的转换后,将数据写入下游系统。
这是一个不错的选择,可以将 Redis 中实时变更的数据同步到数据湖或数据仓库。然而,请注意,在实际应用中,大多数公司并不将 Redis 作为主要的数据存储,而更常用于缓存数据。真实的数据通常存储在业务数据库中,例如 HBase、Table Store、Doris、StarRocks
对于Redis CDC,Flink没有内置支持。不过社区已经有开源项目提供了Redis到Flink CDC的同步功能:
https://github.com/asura-bi/Redis-FlinkCDC
这个项目是一个 Redis 到 MySQL/HBase/Elasticsearch 等系统的实时同步方案,基于 Flink CDC 实现。
特点是:
使用 FlinkCDC 读取 Redis 的增量数据(通过 Redis Streams)
与 Flink 良好集成,可以通过 Flink SQL 实现数据转换
配置灵活,支持多种同步方案(1:1 或 1:N)
支持高可用,可以从故障中恢复同步
使用方式为:
将 Redis 配置为高可用模式,启用 Redis Streams 功能
在 Flink 端,使用提供的 Redis Source 和 Sink 连接器实现数据同步
Redis Source 使用 Flink CDC Reader 从 Redis Streams 获取增量数据
通过 Flink SQL 转换后,写入下游系统
这是一个不错的选择,可以将 Redis 的实时变更同步到数据湖或数据仓库。
你去看看hbase,table-store,doris,starrocks等,redis太小了,redis存储的是缓存数据,真正的数据还是在业务数据库,没见过哪家公司把redis当做存储数据来用,此回答整理自钉群“Flink CDC 社区”