tongchenkeji
发表于：0次点击

DataWorks如何将maxcompute生产环境数据同步到对应的开发环境？[阿里云MaxCompute]

DataWorks如何将maxcompute生产环境数据同步到对应的开发环境？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
MaxCompute# DataWorks3343# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据开发治理平台 DataWorks3946
=====这是一个广告位，招租中，联系qq 78315851====
云原生数据仓库AnalyticDB
云数据仓库ADB更改分区函数 会对当前表现有的数据造成影响吗？[阿里云云原生数据仓库]
DataWorks
DataWorks我只有一个补数任务为什么会报这个呢，平时都好好的，出现这个问题了是什么原因导致的?[阿里云DataWorks]
3 条回复 A 作者 M 管理员

  1. 在DataWorks中，可以通过创建数据同步任务将MaxCompute生产环境的数据同步到对应的开发环境。首先，需要创建一个数据同步任务，并选择源端为MaxCompute生产环境的数据源，同时选择目的端为开发环境的数据源。

    为了完成此操作，DataWorks通过空间级预设角色与开发环境MaxCompute引擎Role的映射关系，赋予被授予空间角色的RAM用户（子账号）拥有该角色映射的开发引擎权限。这些用户默认拥有开发环境对应的引擎项目权限，但无生产环境对应的引擎项目权限。

    当配置好数据同步的规则和映射关系后，就可以提交任务以进行数据同步。在整个过程中，如果存在生产环境关联的同步任务，需要格外注意，因为删除开发环境和生产环境的数据源是不可逆的操作，删除后，在开发环境配置同步任务时此数据源将不可见。如果生产环境在使用此数据源配置的同步任务，删除后，生产环境任务可能不可正常运行。

    最后，值得强调的是，在实际应用过程中，我们常常会需要将开发和生产环境进行隔离，开发环境用于数据同步测试，生产环境用于生产数据的同步处理。

    已喜欢 已反对

  2. DataWorks提供了MaxCompute数据同步服务，可以将MaxCompute生产环境数据同步到对应的开发环境。具体步骤如下：

    1. 在DataWorks中创建一个数据同步任务，选择源端和目的端的数据源，然后配置数据同步的规则和映射关系。
    2. 在源端选择MaxCompute数据源，将生产环境的表作为源数据。
    3. 在目的端选择MaxCompute数据源，将开发环境的表作为目的数据。
    4. 配置数据同步的规则和映射关系，将生产环境的表中的数据同步到开发环境的表中。
    5. 点击“运行”按钮，开始数据同步任务。
    已喜欢 已反对

  3. 可以通过指定项目名前缀来指定访问生产表、开发表，insert+select方式写入 权限问题可以通过安全中心申请，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    已喜欢 已反对

  4. DataWorks可以使用同步任务将MaxCompute生产环境数据同步到对应的开发环境。具体步骤如下：

    1. 在DataWorks中创建一个数据同步任务。
    2. 选择源端为MaxCompute生产环境的数据源。
    3. 选择目的端为开发环境的数据源。
    4. 配置数据同步的规则和映射关系。
    5. 在数据同步任务的配置页面中，选择“开发环境”作为源端数据源。
    6. 点击“保存”按钮，完成数据同步任务的创建。
    7. 在DataWorks中启动数据同步任务，将MaxCompute生产环境数据同步到对应的开发环境。
    已喜欢 已反对