tongchenkeji 发表于:2022-10-29 23:43:070次点击 已关注取消关注 关注 私信 flink怎么判断全量已经跑完了,开始走增量的数据处理逻辑呢?有没有什么api可以知道的或者怎么打个[阿里云实时计算 Flink版] 暂停朗读为您朗读 flink怎么判断全量已经跑完了,开始走增量的数据处理逻辑呢?有没有什么api可以知道的或者怎么打个标记? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# API1163# 实时计算 Flink版3179# 数据处理45# 流计算2236
三掌柜666AM 2023-11-27 18:36:26 2 楼主你好,你可以看一下flink的Checkpoint。Flink的Checkpoint机制的核心思想实质上是通过Barrier来标记触发快照的时间点和对应需要进行快照的数据集,将数据流处理和快照操作解耦开来,从而最大程度降低快照对系统性能的影响。
wljslmzAM 2023-11-27 18:36:26 3 Checkpoint机制可以实现的,Flink有两种基本类型的状态:托管状态(Managed State)和原生状态(Raw State)。从名称中也能读出两者的区别:Managed State是由Flink管理的,Flink帮忙存储、恢复和优化,Raw State是开发者自己管理的,需要自己序列化。
认真学习的heartAM 2023-11-27 18:36:26 4 Flink提供了Checkpoint机制,可以用来记录数据处理的进度,以便在出现故障时可以从Checkpoint中恢复,也可以用来判断全量数据是否处理完毕,从而开始走增量数据处理逻辑。 Flink提供了Checkpoint的API,可以用来记录Checkpoint,以及检查Checkpoint是否完成,从而判断全量数据是否处理完毕,开始走增量数据处理逻辑。
这个属于同步的指标。需要看楼主使用哪种同步方案,Debezium、或者是FlinkCDC,前端可以通过JMX指标来判断,后者理论也有相应的指标
楼主你好,你可以看一下flink的Checkpoint。Flink的Checkpoint机制的核心思想实质上是通过Barrier来标记触发快照的时间点和对应需要进行快照的数据集,将数据流处理和快照操作解耦开来,从而最大程度降低快照对系统性能的影响。
Checkpoint机制可以实现的,Flink有两种基本类型的状态:托管状态(Managed State)和原生状态(Raw State)。从名称中也能读出两者的区别:Managed State是由Flink管理的,Flink帮忙存储、恢复和优化,Raw State是开发者自己管理的,需要自己序列化。
Flink提供了Checkpoint机制,可以用来记录数据处理的进度,以便在出现故障时可以从Checkpoint中恢复,也可以用来判断全量数据是否处理完毕,从而开始走增量数据处理逻辑。 Flink提供了Checkpoint的API,可以用来记录Checkpoint,以及检查Checkpoint是否完成,从而判断全量数据是否处理完毕,开始走增量数据处理逻辑。