Flink CDC中oracle cdc 2.3里面导致数据库连接数暴涨的BUG是不是也存在啊?[阿里云实时计算 Flink版]

Flink CDC中oracle cdc 2.3里面导致数据库连接数暴涨的BUG是不是也存在啊?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 在 Flink CDC 2.3 版本中,的确存在一个已知的问题,即在使用 Oracle CDC 时可能会导致数据库连接数暴涨的问题。

    这个问题是由于 Oracle CDC 在进行数据抽取时,使用了一种基于数据库触发器的实现方式,每次触发器执行时都会创建一个新的数据库连接。如果数据抽取的频率比较高,可能会导致数据库连接数暴涨,从而影响系统的稳定性和性能。

    针对这个问题,Flink CDC 2.4 版本中提供了一个新的 Oracle CDC 实现方式,使用了基于日志挖掘的方式来进行数据抽取,可以避免数据库连接数暴涨的问题,并提高数据抽取和同步的效率。如果你在使用 Flink CDC 2.3 版本时遇到了数据库连接数暴涨的问题,建议升级到 Flink CDC 2.4 版本,并使用新的 Oracle CDC 实现方式来进行数据抽取和同步。

    需要注意的是,在使用 Flink CDC 2.4 版本时,你需要根据具体的数据库和表结构,选择合适的数据抽取策略和配置参数,以达到最佳的数据同步效果。同时,你也需要根据实际情况,适当调整 Flink CDC 的并行度、批处理大小、网

  2. Flink CDC 在 Oracle CDC 2.3 版本中的确存在一个已知的问题,即会导致数据库连接数暴涨。这个问题主要涉及到 Flink 使用的开源库 LogMiner,它在特定情况下无法正确释放数据库连接,导致连接数逐渐增加。

    由于这个问题的存在,使用 Flink CDC 2.3 版本时可能会出现数据库连接数增加到上限、性能下降以及其他与连接相关的问题。

    好消息是,Flink 社区已经修复了这个问题,并在后续版本中进行了改进。如果您遇到了数据库连接数暴涨的问题,我建议您升级到最新版本的 Flink CDC(如 2.4.0 或更新版本),以获得修复后的版本。

    除升级到最新版本外,您还可以考虑以下临时解决办法:

    • 限制并发任务数:通过限制 Flink 任务的并发数来减少数据库连接数。
    • 缩短 CDC 拉取频率:如果可能,调整 Flink CDC 的配置参数,在拉取变更数据的频率上进行适当的调整,从而减少连接数增长速度。
  3. Flink CDC中Oracle CDC 2.3版本中,Oracle CDC连接器对接到了Flink CDC增量快照框架上,实现了增量快照算法,从而提供无锁读取、并行读取和断点续传的功能。 但确实不少用户反映在Flink CDC中Oracle CDC 2.3版本里面导致数据库连接数暴涨的BUG存在。