tongchenkeji 发表于：2023-12-17 7:24:160次点击 已关注取消关注 关注 私信 dataworks支持mysql整库实时同步到clickhouse?[阿里云] 暂停朗读为您朗读 dataworks支持mysql整库实时同步到clickhouse? 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 阿里云# DataWorks3343# MySQL1179# 云数据库 ClickHouse98# 云数据库 RDS MySQL 版1517# 关系型数据库2577# 大数据开发治理平台 DataWorks3946
小周sirAM 2023-12-21 7:31:46 2 确实，DataWorks提供了实时数据同步功能，支持将源端数据库中的部分或全部表的数据变化实时同步至目标数据库中。您可以使用单表或整库同步方式，实现目标库实时保持和源库的数据对应。然而，虽然DataWorks可以将支持的各种数据源数据离线同步至云数据库ClickHouse，目前它还不支持MySQL到ClickHouse的实时同步。 不过，有其他方案可以实现MySQL到ClickHouse的实时同步，例如使用Canal组件完成binlog的解析和数据同步，Canal-Server进程会伪装成MySQL的slave，使用MySQL的binlog同步协议完成数据同步；Canal-Adapter进程负责从canal-server获取解析后的binlog，并且通过jdbc接口写入到ClickHouse。这种方案接受分钟级别的同步延迟，在每天规模500G，记录数目亿级别的场景下表现良好。
目前不支持哈 下拉列表没有的话 一般是目前不支持 ，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
确实，DataWorks提供了实时数据同步功能，支持将源端数据库中的部分或全部表的数据变化实时同步至目标数据库中。您可以使用单表或整库同步方式，实现目标库实时保持和源库的数据对应。然而，虽然DataWorks可以将支持的各种数据源数据离线同步至云数据库ClickHouse，目前它还不支持MySQL到ClickHouse的实时同步。
不过，有其他方案可以实现MySQL到ClickHouse的实时同步，例如使用Canal组件完成binlog的解析和数据同步，Canal-Server进程会伪装成MySQL的slave，使用MySQL的binlog同步协议完成数据同步；Canal-Adapter进程负责从canal-server获取解析后的binlog，并且通过jdbc接口写入到ClickHouse。这种方案接受分钟级别的同步延迟，在每天规模500G，记录数目亿级别的场景下表现良好。