tongchenkeji
发表于：0次点击

DataWorks现在有一个mysql数据表，数据量非常大，数据会不断更新，有什么比较好的同步方式？[阿里云DataWorks]

DataWorks现在有一个mysql数据表，数据量非常大，数据会不断更新，然后想把数据同步到datawork这边，有什么比较好的同步方式？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
DataWorks# DataWorks3343# MySQL1179# 云数据库 RDS MySQL 版1517# 关系型数据库2577# 大数据开发治理平台 DataWorks3946
=====这是一个广告位，招租中，联系qq 78315851====
DataWorks
DataWorks数据分析模块，sql查询只能查dev环境吗？[阿里云DataWorks]
DataWorks
DataWorks出现异常：非法参数]？[阿里云DataWorks]
2 条回复 A 作者 M 管理员

  1. 建议是使用数据集成主站的 一次性全量 实时增量的任务https://help.aliyun.com/zh/dataworks/user-guide/synchronize-data-to-maxcompute-in-real-time?spm=a2c4g.11186623.0.0.5a5541a07WYN9r，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    已喜欢 已反对

  2. DataWorks提供了几种不同的方式来将大量更新的数据从MySQL同步过来：

    1. 使用实时订阅MySQL binlog的方式进行增量同步：这种方式只需要在DataWorks控制台上添加一个增量同步任务即可，而不需要修改MySQL服务器上的任何设置；当MySQL服务器上有新行插入或现有行发生更改时，DataWorks将实时获取这些更改并将它们传递到目标系统中。
    2. 使用批量同步的方式：这种方式适用于大型数据集，因为它们不会频繁发生变化；通过定义一批批数据来同步，可以在较少时间内获得最新的数据；
    3. 使用定时任务进行同步：定时任务可以帮助您定期检查MySQL服务器并获取最新更改。您可以设置定时任务来在一天中的特定时间自动执行，这样您就不必手动执行这些任务了。
    已喜欢 已反对

  3. 对于数据量非常大的MySQL表，可以考虑采用分批次的方式将数据同步到DataWorks：

    1. 批次同步：可以把数据分批导出到CSV或者其他格式的文件，再将这些文件上传到DataWorks中的指定目录下，最后通过DataWorks的文件上传功能将这些文件导入到DataWorks的数据源中。
    2. 实时同步：可以通过MySQL的binlog日志来实现实时同步，将MySQL表的变化同步到DataWorks的数据源中。
    3. 定时同步：可以通过设置定时任务来定期同步MySQL表中的变化数据。
    已喜欢 已反对