Flink CDC中可不可以配置mysql源端控制提取变更数据的间隔 类似配置成每5秒获取变更数据?[阿里云实时计算 Flink版]

Flink CDC中可不可以配置mysql源端控制提取变更数据的间隔 类似配置成每5秒获取变更数据这种?
看源码里好像真没有TIMESTAMP,但是枚举里有定义
oracle

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 在 Flink CDC 中,可以通过配置参数来控制增量同步的频率和间隔。具体来说,您可以通过以下两个参数来控制 Flink CDC 提取变更数据的时间间隔:

    scan.interval.ms:该参数用于指定增量同步的时间间隔,单位为毫秒。例如,如果您将该参数设置为 5000,则 Flink CDC 每 5 秒会从源数据库读取一次变更数据。

    scan.startup.mode:该参数用于指定增量同步的启动模式,例如 earliest-offset、latest-offset、specific-offsets 等。如果您将该参数设置为 latest-offset,则 Flink CDC 会在启动后立即读取一次最新的变更数据,并在 scan.interval.ms 的时间间隔内继续读取增量数据。

  2. 是的,Flink CDC 中可以配置 MySQL 源端控制提取变更数据的间隔。您可以使用 poll.interval.ms 参数来设置轮询间隔,以便控制 Flink CDC 从 MySQL 数据库中获取变更数据的频率。

    具体而言,poll.interval.ms 参数用于指定两次轮询之间的等待时间,单位为毫秒。您可以将该参数设置为 5000(即 5 秒),以实现每 5 秒获取一次变更数据的效果。

    示例配置如下:

    debezium.poll.interval.ms=5000

    在配置文件中添加上述配置,并将其传递给 Flink CDC 应用程序,即可将轮询间隔设置为 5 秒。

    请注意,不同的 CDC 连接器可能会有不同的参数名称和语法,具体取决于所使用的连接器版本和功能。因此,在实际配置过程中,请参考相应的文档或源码,以确保正确使用和理解参数

  3. poll.interval.ms和max.batch.size有这两个参数可以参考。你这是哪个connector啊,枚举里的值不只给一个connector用的。其他connector有支持TIMESTAMP的。,此回答整理自钉群“Flink CDC 社区”