tongchenkeji 发表于:2023-10-18 17:40:330次点击 已关注取消关注 关注 私信 实时计算 Flink版有通过flink将数据写入doris的吗 成功了吗?[阿里云实时计算 Flink版] 暂停朗读为您朗读 实时计算 Flink版有通过flink将数据写入doris的吗 成功了吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236
wljslmzAM 2023-11-27 18:45:33 1 是的,实时计算 Flink版确实支持通过Flink将数据写入Doris。一种常见的实践方式是通过Flink CDC(变更数据捕获)结合Doris的Flink Connector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。另一个例子是,上游维持以每秒10万条的超高频率写入的情况下,使用Flink同步上游Kafka中的非结构化数据,经过处理后,可以使用Flink Doris Connector将数据实时写入Doris中。此外,还有一种做法是通过FlinkCDC采集MySQL Binlog到Kafka中的Topic,然后开发Flink任务消费这些Binlog生成相关主题的宽表,最后将这些数据写入Topic2,再配置Doris Routine Load任务,将Topic2的数据导入Doris。这些例子表明,Flink与Doris可以很好地集成,以满足不同的实时数据处理需求。
是的,实时计算 Flink版确实支持通过Flink将数据写入Doris。一种常见的实践方式是通过Flink CDC(变更数据捕获)结合Doris的Flink Connector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。另一个例子是,上游维持以每秒10万条的超高频率写入的情况下,使用Flink同步上游Kafka中的非结构化数据,经过处理后,可以使用Flink Doris Connector将数据实时写入Doris中。此外,还有一种做法是通过FlinkCDC采集MySQL Binlog到Kafka中的Topic,然后开发Flink任务消费这些Binlog生成相关主题的宽表,最后将这些数据写入Topic2,再配置Doris Routine Load任务,将Topic2的数据导入Doris。这些例子表明,Flink与Doris可以很好地集成,以满足不同的实时数据处理需求。