tongchenkeji 发表于：2023-7-2 11:49:380次点击 已关注取消关注 关注 私信 Flink CDC原始表中数据被删除,但结果表未被删除,一般是什么啊？[阿里云实时计算 Flink版] 暂停朗读为您朗读 Flink CDC原始表中数据被删除,但结果表未被删除,一般是什么啊？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236
Star时光AM 2023-11-27 18:12:50 1 如果 Flink CDC 的原始表中的数据被删除，但结果表未被删除，通常有以下几种可能的原因： 1. Flink CDC 作业未正常消费删除事件：可能由于网络问题或其他错误，Flink CDC 没有正确消费对应的删除事件（delete change log event）。因此，结果表没有受到影响，数据未被删除。 2. Sink 端不支持数据删除：如果下游系统（如Kafka）不支持数据删除操作，那么在结果表中就无法执行删除操作。 3. Flink 作业配置错误：可能是由于 watermark 或 event-time 模式的配置错误，导致无法正确跟踪删除事件。 4. 数据超出了水位线（watermarks）范围：如果删除事件发生的时间比当前水位线更早，那么可能需要回溯到更早的 binlog 才能找到删除事件。 5. 生产环境和测试环境表结构差异：在测试环境中支持删除操作，但在生产环境中结果表的结构不同，不支持删除操作。 6. 作业性能问题导致积压：如果作业遇到了性能问题，例如处理速度慢，可能会导致删除事件和其他事件一起积压，从而无法及时处理删除操作。 以上是导致 Flink CDC 的原始表数据被删除但结果表保留数据的一些常见原因。要准确定位问题，需要提供更详细的信息，例如 Flink 和 Flink CDC 的版本，Sink 表的类型（如 Kafka、Hive 等），以及相关配置（如水位线和时间模式等）。
算精通AM 2023-11-27 18:12:50 2 如果 Flink CDC的源表中数据被删除,但结果表(Sink表)中未删除,一般有以下几种原因:Flink CDC 作业未正常消费 deletion event由于网络原因或其他错误,Flink CDC 没有正常消费对应的 delete change log event。因此结果表未受影响,数据未被删除。Sink 端不支持数据删除如果下游系统不支持删除数据(如Kafka),就无法在结果表中实施删除操作。Flink作业配置错误如 watermark 或 event-time 模式配置错误,无法 track delete event。数据久远,超出了watermarks可能需要回溯到更早的binlog才能找到删除事件。生产环境和测试环境表结构存在差异测试环境支持删除,但生产环境结果表结构不同,不支持删除。作业出现了性能问题,携程积压连同 deletion event 一起积压,没有处理。以上都是可能导致 Flink CDC 源表删除但结果表保留数据的常见原因。要准确定位问题,需要提供详细信息:Flink和Flink CDC 版本Sink表是什么类型(Kafka、Hive 等)配置的watermark 和
xin在这AM 2023-11-27 18:12:50 3 看看binlog看一下删除的数据，before的，里面数据和where是不是不匹配，要用datastream方式拉取原始binlog，不要拿历史数据，直接拿最开始的binlog，，此回答整理自钉群“Flink CDC 社区”
如果 Flink CDC 的原始表中的数据被删除，但结果表未被删除，通常有以下几种可能的原因：
1. Flink CDC 作业未正常消费删除事件：可能由于网络问题或其他错误，Flink CDC 没有正确消费对应的删除事件（delete change log event）。因此，结果表没有受到影响，数据未被删除。
2. Sink 端不支持数据删除：如果下游系统（如Kafka）不支持数据删除操作，那么在结果表中就无法执行删除操作。
3. Flink 作业配置错误：可能是由于 watermark 或 event-time 模式的配置错误，导致无法正确跟踪删除事件。
4. 数据超出了水位线（watermarks）范围：如果删除事件发生的时间比当前水位线更早，那么可能需要回溯到更早的 binlog 才能找到删除事件。
5. 生产环境和测试环境表结构差异：在测试环境中支持删除操作，但在生产环境中结果表的结构不同，不支持删除操作。
6. 作业性能问题导致积压：如果作业遇到了性能问题，例如处理速度慢，可能会导致删除事件和其他事件一起积压，从而无法及时处理删除操作。
以上是导致 Flink CDC 的原始表数据被删除但结果表保留数据的一些常见原因。要准确定位问题，需要提供更详细的信息，例如 Flink 和 Flink CDC 的版本，Sink 表的类型（如 Kafka、Hive 等），以及相关配置（如水位线和时间模式等）。
如果 Flink CDC的源表中数据被删除,但结果表(Sink表)中未删除,一般有以下几种原因:
Flink CDC 作业未正常消费 deletion event
由于网络原因或其他错误,Flink CDC 没有正常消费对应的 delete change log event。
因此结果表未受影响,数据未被删除。
Sink 端不支持数据删除
如果下游系统不支持删除数据(如Kafka),就无法在结果表中实施删除操作。
Flink作业配置错误
如 watermark 或 event-time 模式配置错误,无法 track delete event。
数据久远,超出了watermarks
可能需要回溯到更早的binlog才能找到删除事件。
生产环境和测试环境表结构存在差异
测试环境支持删除,但生产环境结果表结构不同,不支持删除。
作业出现了性能问题,携程积压
连同 deletion event 一起积压,没有处理。
以上都是可能导致 Flink CDC 源表删除但结果表保留数据的常见原因。
要准确定位问题,需要提供详细信息:
Flink和Flink CDC 版本
Sink表是什么类型(Kafka、Hive 等)
配置的watermark 和
看看binlog看一下删除的数据，before的，里面数据和where是不是不匹配，要用datastream方式拉取原始binlog，不要拿历史数据，直接拿最开始的binlog，，此回答整理自钉群“Flink CDC 社区”