tongchenkeji 发表于：2023-7-2 11:51:430次点击 已关注取消关注 关注 私信 Flink CDC动态添加表，这里能不能设置启动模式为增量？[阿里云实时计算 Flink版] 暂停朗读为您朗读 Flink CDC动态添加表，这里能不能设置启动模式为增量？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236
Star时光AM 2023-11-27 18:14:43 1 对于 Flink CDC 动态添加表，可以设置启动模式为增量。具体有两种方式： 1. 通过设置 allowNonRestoredState 配置参数：在 Flink 的配置文件中，可以设置 table.dynamic.table-sources.name.allowNonRestoredState=true。这个配置参数可以使得在动态添加表时，忽略之前的状态，从当前的 binlog 文件开始同步，实现增量启动。 2. 通过指定 binlog 的开始位置：在 Flink 的配置文件中，可以设置 table.dynamic.table-sources.name.binlogStartPosition = "xxxxx.binlogfilename:xxxx"。通过指定具体的 binlog 文件位置，CDC 作业会从该位置开始同步，实现增量效果。 因此，总结起来，有两种方法可以实现动态添加表的增量启动模式： – 允许非恢复状态：通过配置 allowNonRestoredState，从当前的 binlog 开始消费，忽略之前的状态。 – 指定 binlog 的开始位置：通过配置 binlogStartPosition，从指定的位置开始消费 binlog，达到增量的效果。 这些方式都能确保新添加的表不需要处理历史数据，仅消费 binlog 日志中从当前开始的变更，避免重复消费。默认情况下，动态添加表会试图将状态还原到上次作业停止的位置，但通过上述配置，可以实现新表的增量启动模式。
算精通AM 2023-11-27 18:14:43 2 对于Flink CDC动态添加表,确实可以设置为增量启动模式。主要有两种方式:通过设置配置 allowNonRestoredState:propertiesCopytable.dynamic.table-sources.name.allowNonRestoredState=true这个配置能让表在动态添加时,忽略之前的状态,从当前binlog文件开始同步。即增量启动。通过直接指定 binlog 的开始位置:propertiesCopy table.dynamic.table-sources.name.binlogStartPosition = “xxxxx.binlogfilename:xxxx”指定 binlog 文件的具体位置后,CDC 作业也会从该位置开始同步,达到增量的效果。所以总的来说,有两种方法可以实现动态添加表的增量启动模式:允许非恢复状态(忽略之前状态),从当前 binlog 开始消费直接指定 binlog 的开始位置(offset),从指定位置开始消费这两种方式都可以确保:新添加的表不需要处理历史的数据仅消费 binlog 日志中当前开始的变更,避免重复消费默认情况下,动态添加表会尝试将状态还原到上次作业停止时的位置。但通过上述配置,可以让新添加的表仅处理最新的数据,即增量启动。
对于 Flink CDC 动态添加表，可以设置启动模式为增量。具体有两种方式：
1. 通过设置
allowNonRestoredState配置参数：在 Flink 的配置文件中，可以设置table.dynamic.table-sources.name.allowNonRestoredState=true。这个配置参数可以使得在动态添加表时，忽略之前的状态，从当前的 binlog 文件开始同步，实现增量启动。2. 通过指定 binlog 的开始位置：在 Flink 的配置文件中，可以设置
table.dynamic.table-sources.name.binlogStartPosition = "xxxxx.binlogfilename:xxxx"。通过指定具体的 binlog 文件位置，CDC 作业会从该位置开始同步，实现增量效果。因此，总结起来，有两种方法可以实现动态添加表的增量启动模式：
– 允许非恢复状态：通过配置
allowNonRestoredState，从当前的 binlog 开始消费，忽略之前的状态。– 指定 binlog 的开始位置：通过配置
binlogStartPosition，从指定的位置开始消费 binlog，达到增量的效果。这些方式都能确保新添加的表不需要处理历史数据，仅消费 binlog 日志中从当前开始的变更，避免重复消费。默认情况下，动态添加表会试图将状态还原到上次作业停止的位置，但通过上述配置，可以实现新表的增量启动模式。
对于Flink CDC动态添加表,确实可以设置为增量启动模式。
主要有两种方式:
通过设置配置 allowNonRestoredState:
properties
Copy
table.dynamic.table-sources.name.allowNonRestoredState=true
这个配置能让表在动态添加时,忽略之前的状态,从当前binlog文件开始同步。即增量启动。
通过直接指定 binlog 的开始位置:
properties
Copy
table.dynamic.table-sources.name.binlogStartPosition = “xxxxx.binlogfilename:xxxx”
指定 binlog 文件的具体位置后,CDC 作业也会从该位置开始同步,达到增量的效果。
所以总的来说,有两种方法可以实现动态添加表的增量启动模式:
允许非恢复状态(忽略之前状态),从当前 binlog 开始消费
直接指定 binlog 的开始位置(offset),从指定位置开始消费
这两种方式都可以确保:
新添加的表不需要处理历史的数据
仅消费 binlog 日志中当前开始的变更,避免重复消费
默认情况下,动态添加表会尝试将状态还原到上次作业停止时的位置。
但通过上述配置,可以让新添加的表仅处理最新的数据,即增量启动。