tongchenkeji
发表于：0次点击

DataWorks中maxcompute单表离线同步到mysql的时候，可以做到吗？[阿里云MaxCompute]

DataWorks中maxcompute单表离线同步到mysql的时候，能够一个分区的数据同步到两个表里么，要求数据不重复同步，比如max表里有两千万条数据，我要往MySQL的两张表里分别一张表同步一千万数据。 可以做到吗？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
MaxCompute# DataWorks3343# MaxCompute2748# MySQL1179# 云原生大数据计算服务 MaxCompute3255# 云数据库 RDS MySQL 版1517# 关系型数据库2577# 分布式计算2827
=====这是一个广告位，招租中，联系qq 78315851====
MaxCompute
DataWorks中maxcomputer 如何存储16进制数据？[阿里云MaxCompute]
MaxCompute
DataWorks中maxcompute怎么找ip啊？[阿里云MaxCompute]
2 条回复 A 作者 M 管理员

  1. 需要先将macompute数据处理好 放到两张临时表里之类的 再进行同步 因为maxcompute reader 是走的tunnel 只能按分区同步，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    已喜欢 已反对

  2. DataWorks中 maxcompute单表离线同步到MySQL时，可以实现一个分区的数据同步到两个表而不重复，但是您需要自己定制脚本，以便按照您的需求进行同步。
    您可以在ODPS SQL语句中编写SELECT语句以筛选数据，并将数据分别插入到两个不同的MySQL表中。以下是一个简单的示例：

    INSERT INTO TABLE my_table1 SELECT * FROM my_maxcompute_table WHERE MOD(row_id, 2) = 0;INSERT INTO TABLE my_table2 SELECT * FROM my_maxcompute_table WHERE MOD(row_id, 2) = 1;

    在这个例子中，row_id是从ODPS表中抽取的一个字段，可以根据实际情况进行修改。第一个SQL语句将奇数行的数据同步到my_table1中，第二个SQL语句则将偶数行的数据同步到my_table2中。

    已喜欢 已反对