问题1:Flink CDC中是这个参数没有开,gtid_mode = onenforce_gtid_consistency = onlog-slave-updates = 1请问这个参数是从节点配置还是所有节点都要配置? 问题2:大佬文章中没有提到配置哪个节点呀,但是我百度的文章有的说主从都要配置log-slave-updates = 1 想和您这边确认一下
Flink CDC中是这个参数没有开,请问这个参数是从节点配置还是所有节点都要配置?[阿里云实时计算 Flink版]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
在 Flink CDC 中,参数
gtid_mode=on
、enforce_gtid_consistency=on
和log-slave-updates=1
是 MySQL 数据库的配置参数,而不是 Flink CDC 的参数。这些参数用于开启 MySQL 的 GTID(全局事务标识符)模式和二进制日志复制,以确保数据同步的一致性和准确性。根据您的描述,需要将这些参数配置在 MySQL 数据库的配置文件中,而不是 Flink CDC 的节点配置中。
通常情况下,这些参数应该在所有主从节点的 MySQL 配置文件中进行配置,以保持一致性。如果只在从节点或主节点配置,可能会导致数据同步的问题。
请注意,具体的配置方式可能因为不同的 MySQL 版本和拓扑结构而有所差异。建议参考 MySQL 官方文档或与数据库管理员进行进一步的沟通,确保正确配置了这些参数。
sink.partitioner这个参数需要在 Flink 任务的配置中指定。
Flink 的 sink.partitioner 参数是用来指定如何分区数据的,可以配置如下几种分区方式:
DefaultPartitioner: 默认分区方式,按轮询的方式分配
ForwardPartitioner:按数据的key值分区
BroadcastPartitioner:广播分区,将所有数据发送到所有的分区上
CustomPartitioner:自定义分区逻辑
对于 Flink CDC 来说,通常推荐使用sink.partitioner =ForwardPartitioner,这样可以根据表中主键等字段来做分区,让同一主键的数据落在同一个分区。
因此,这个参数需要配置在所有 TaskManager 上的 Flink 任务配置中,这样所有节点才能有一致的分区逻辑。
所以答案是: sink.partitioner这个参数需要在所有 Flink 任务节点的配置中都指定。
回答1:文档都有写的 回答2:看你链接地址呀,此回答整理自钉群“Flink CDC 社区”