tongchenkeji
发表于：0次点击

DataWorks首次数据同步全量到maxcompute，如何重新写到数据原本的业务日期的分区？[阿里云MaxCompute]

DataWorks首次数据同步全量到maxcompute，如何重新写到数据原本的业务日期的分区？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
MaxCompute# DataWorks3343# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据开发治理平台 DataWorks3946
=====这是一个广告位，招租中，联系qq 78315851====
DataWorks
DataWorks中mysql配置白名单， 资源组ip又变了。请问一下ip段再哪里查询？[阿里云DataWorks]
DataWorks
dataworks基础版和增值版的有哪些功能？[阿里云DataWorks]
2 条回复 A 作者 M 管理员

  1. 在初次使用DataWorks从Hive向MaxCompute进行全量同步时，可以选择指定一个初始日期作为全量的时间边界，并将该日期前后的数据分别写入不同的分区，具体步骤如下：

    1. 创建一个脚本文件，使用MapReduce函数实现对Hive表中的数据进行分桶操作，并根据业务日期字段划分不同的桶，分别写入MaxCompute的不同分区。
    2. 将上述脚本文件提交给DataWorks进行调度执行，实现全量数据同步至MaxCompute的目标分区。
    3. 设置定时任务，定期执行该脚本文件，实现增量数据同步，并自动将新的增量数据写入正确的MaxCompute分区。
    已喜欢 已反对

  2. 当您首次使用DataWorks将数据全量同步到MaxCompute后，如果希望重新写到数据原本的业务日期的分区，您可以按照以下步骤操作：

    1. 在DataWorks数据开发任务中，首先删除原有的同步节点。
    2. 根据您的业务需求，重新配置数据源和目标表信息。确保目标表中的分区字段与您的业务日期分区相匹配。
    3. 添加一个新的同步节点，并设置相关参数，如数据过滤条件、数据转换等。
    4. 提交并运行该数据开发任务，确保数据正确同步到MaxCompute的相应分区中。

    在整个过程中，建议您仔细检查每一步的配置，确保数据的完整性和准确性。如果遇到问题，可以随时查看任务运行日志以获取更多详细信息。

    已喜欢 已反对