tongchenkeji
发表于：0次点击

大数据计算MaxCompute计算完的数据，能通过id更新mysql中表的数据吗？[阿里云MaxCompute]

maxcompute计算完的数据，能通过id更新mysql中表的数据吗？比方说mysql中的数据 做核算太慢了，想用maxcompute进行核算，核算完通过查找mysql的id把核算完的数据更新到mysql。

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
MaxCompute# MaxCompute2748# MySQL1179# 云原生大数据计算服务 MaxCompute3255# 云数据库 RDS MySQL 版1517# 关系型数据库2577# 分布式计算2827# 大数据1264
=====这是一个广告位，招租中，联系qq 78315851====
MaxCompute
在大数据计算MaxCompute中，有什么方案可以让别人自动触发我的maxcompute任务吗？[阿里云MaxCompute]
MaxCompute
在大数据计算MaxCompute中，maxcompute任务可以通过事件触发吗？[阿里云MaxCompute]
2 条回复 A 作者 M 管理员

  1. 可以使用 MaxCompute 的 JOIN 功能来实现 MySQL 和 MaxCompute 之间的交互。具体来说，可以按照以下步骤操作：

    1. 使用 MaxCompute SQL 查询 MySQL 数据表，并将其导入到 MaxCompute 中。例如：
      SELECT * FROM mysql_table WHERE condition;
    2. 在 MaxCompute 中对导入的数据进行计算或汇总处理。例如：
      SELECT id, SUM(value) AS total_value FROM maxcompute_table GROUP BY id;
    3. 再次查询 MySQL 数据表，并获取最新的数据。例如：
      SELECT * FROM mysql_table WHERE condition;
    4. 使用 MaxCompute 的 JOIN 功能，将第一步查询的结果与第三步查询的结果合并。例如：
      SELECT t1.id, COALESCE(t2.total_value, t1.value) AS value FROM mysql_table AS t1 LEFT JOIN maxcompute_table AS t2 ON t1.id = t2.id;

    最后一步会返回所有在 MaxCompute 中经过处理的数据，并将它们与 MySQL 数据表中的数据合并在一起。这样，您就可以将 MaxCompute 中处理过的数据更新到 MySQL 中了。
    注意，上述步骤只是示例性操作，并且可能存在一些安全风险。

    已喜欢 已反对

  2. 确实，MaxCompute具备更新数据库的能力。您可以使用其delete或update功能来操作数据，这与传统数据库的使用方式非常类似。当执行删除或更新操作时，系统会自动生成用户不可见的Delta文件，这些文件被用来记录被删除或更新的数据信息。

    例如，如果您想要更新MySQL中的数据，可以先在MaxCompute中完成相应的计算和更新操作，然后通过ID将更新后的数据查询出来，并插入到MySQL中。此外，如果需要向目标表或静态分区中插入或更新数据，MaxCompute也支持使用insert into或insert overwrite命令。

    为了同步数据，您还需要确保已完成数据源环境的准备。对于MaxCompute 2.0，Decimal类型是受支持的数据类型，所以在同步前，可能需要先开启MaxCompute 2.0的数据类型。如果您的数据源是MySQL，那么需要开启Binlog相关功能。

    已喜欢 已反对

  3. 可以通过DataWorks数据集成，或者MaxCompute Tunnel sdk，把MaxCompute 表数据回传到mysql。此回答整理自钉钉群：MaxCompute开发者社区1群

    已喜欢 已反对