Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用?[阿里云实时计算 Flink版]

Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 截至目前,Flink CDC 尚未原生支持 Redis 的 CDC 功能。然而,Flink 社区中已经有一些开源项目提供了将 Redis 与 Flink 实现 CDC 同步的解决方案,例如 Redis-FlinkCDC(https://github.com/asura-bi/Redis-FlinkCDC)。

    Redis-FlinkCDC 是一个将 Redis 数据实时同步到 MySQL、HBase、Elasticsearch 等系统的方案,基于 Flink CDC 实现。它具有以下特点:

    – 使用 Flink CDC 读取 Redis 的增量数据,通过 Redis Streams 来实现。 – 与 Flink 良好集成,可以使用 Flink SQL 进行数据转换和处理。 – 配置灵活,支持不同的同步方案,包括 1:1 或 1:N 的同步关系。 – 支持高可用性,能够从故障中恢复同步过程。

    使用该方案的方式大致如下:

    1. 将 Redis 配置为高可用模式,并启用 Redis Streams 功能。 2. 在 Flink 端,使用提供的 Redis Source 和 Sink 连接器来实现数据同步。 3. Redis Source 使用 Flink CDC Reader 来从 Redis Streams 获取增量数据。 4. 经过 Flink SQL 的转换后,将数据写入下游系统。

    这是一个不错的选择,可以将 Redis 中实时变更的数据同步到数据湖或数据仓库。然而,请注意,在实际应用中,大多数公司并不将 Redis 作为主要的数据存储,而更常用于缓存数据。真实的数据通常存储在业务数据库中,例如 HBase、Table Store、Doris、StarRocks 

  2. 对于Redis CDC,Flink没有内置支持。不过社区已经有开源项目提供了Redis到Flink CDC的同步功能:
    https://github.com/asura-bi/Redis-FlinkCDC
    这个项目是一个 Redis 到 MySQL/HBase/Elasticsearch 等系统的实时同步方案,基于 Flink CDC 实现。
    特点是:
    使用 FlinkCDC 读取 Redis 的增量数据(通过 Redis Streams)
    与 Flink 良好集成,可以通过 Flink SQL 实现数据转换
    配置灵活,支持多种同步方案(1:1 或 1:N)
    支持高可用,可以从故障中恢复同步
    使用方式为:
    将 Redis 配置为高可用模式,启用 Redis Streams 功能
    在 Flink 端,使用提供的 Redis Source 和 Sink 连接器实现数据同步
    Redis Source 使用 Flink CDC Reader 从 Redis Streams 获取增量数据
    通过 Flink SQL 转换后,写入下游系统
    这是一个不错的选择,可以将 Redis 的实时变更同步到数据湖或数据仓库。

  3. 你去看看hbase,table-store,doris,starrocks等,redis太小了,redis存储的是缓存数据,真正的数据还是在业务数据库,没见过哪家公司把redis当做存储数据来用,此回答整理自钉群“Flink CDC 社区”