tongchenkeji 发表于：2023-4-3 22:41:010次点击 已关注取消关注 关注 私信 dataworks如何同步maxcompute -all？[阿里云DataWorks] 暂停朗读为您朗读 dataworks如何同步maxcompute -all？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 DataWorks# DataWorks3343# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据开发治理平台 DataWorks3946
wljslmzAM 2023-11-27 21:01:39 1 1、进入节点管理列表。 登录DataWorks控制台，选择需要同步的项目，在项目中进入节点管理列表。 2、选择同步方向。 在节点管理列表中，首先选择同步方向为“新增/修改MaxCompute元数据“。选择后，页面中会出现“同步依赖关系”选项和“修改表结构“选项。 3、配置同步依赖关系。 如果数据同步中需要进行依赖关系的同步，则需要在“同步依赖关系“选项中进行配置。例如，如果有一个表A和B都存在依赖关系，需要进行同步，则需要在配置中明确指定。 4、配置表结构修改。 如果需要修改MaxCompute表的结构，则需要在“修改表结构“选项中进行配置。在该选项中，用户可以定义新增，修改或者删除表字段的操作。 5、运行同步任务。 完成以上配置后，可以点击“运行“按钮，启动同步任务。在任务运行后，即可全局同步MaxCompute所有数据。
意中人jswyAM 2023-11-27 21:01:39 2 “在同步解决方案页面的右上角单击新建任务。在新建任务页面选择数据同步的来源与去向后，选择可用的同步方案。支持的来源数据源与去向数据源，可参见支持的数据源，当前支持的同步方案如下所示。 根据数据同步的目的数据源类型进行分类，当前DataWorks数据同步支持以下几种数据同步方案：同步数据至DataHub：当前支持的数据同步解决方案为一键实时同步至DataHub。同步数据至Elasticsearch：当前支持的数据同步解决方案为一键实时同步至Elasticsearch。同步数据至Hologres：当前支持的数据同步解决方案为一键实时同步至Hologres。同步数据至AnalyticDB MySQL3.0：当前支持的数据同步解决方案为一键实时同步至AnalyticDB MySQL3.0。同步数据至MaxCompute：当前支持的数据同步解决方案为一键实时同步至MaxCompute整库离线同步至MaxCompute（周期性全量）整库离线同步至MaxCompute（周期性增量）整库离线同步至MaxCompute（一次性全量）整库离线同步至MaxCompute（一次性增量）整库离线同步至MaxCompute（一次性全量周期增量） https://help.aliyun.com/document_detail/171765.html 此回答整理自钉群“DataWorks交流群(答疑@机器人)””
三掌柜666AM 2023-11-27 21:01:39 3 楼主你好，根据你的描述有两个方案：一是业务数据和行为日志通过Kafka，再通过Flume 上传到Datahub，以及Max Compute，最终在QuickBI进行展示。二是业务数据和行为日志通过Kafka以及DataWorks，MaxCompute，最终在QuickBI当中展示。
1、进入节点管理列表。
登录DataWorks控制台，选择需要同步的项目，在项目中进入节点管理列表。
2、选择同步方向。
在节点管理列表中，首先选择同步方向为“新增/修改MaxCompute元数据“。选择后，页面中会出现“同步依赖关系”选项和“修改表结构“选项。
3、配置同步依赖关系。
如果数据同步中需要进行依赖关系的同步，则需要在“同步依赖关系“选项中进行配置。例如，如果有一个表A和B都存在依赖关系，需要进行同步，则需要在配置中明确指定。
4、配置表结构修改。
如果需要修改MaxCompute表的结构，则需要在“修改表结构“选项中进行配置。在该选项中，用户可以定义新增，修改或者删除表字段的操作。
5、运行同步任务。
完成以上配置后，可以点击“运行“按钮，启动同步任务。在任务运行后，即可全局同步MaxCompute所有数据。
“在同步解决方案页面的右上角单击新建任务。在新建任务页面选择数据同步的来源与去向后，选择可用的同步方案。支持的来源数据源与去向数据源，可参见支持的数据源，当前支持的同步方案如下所示。 根据数据同步的目的数据源类型进行分类，当前DataWorks数据同步支持以下几种数据同步方案：同步数据至DataHub：当前支持的数据同步解决方案为一键实时同步至DataHub。同步数据至Elasticsearch：当前支持的数据同步解决方案为一键实时同步至Elasticsearch。同步数据至Hologres：当前支持的数据同步解决方案为一键实时同步至Hologres。同步数据至AnalyticDB MySQL3.0：当前支持的数据同步解决方案为一键实时同步至AnalyticDB MySQL3.0。同步数据至MaxCompute：当前支持的数据同步解决方案为一键实时同步至MaxCompute整库离线同步至MaxCompute（周期性全量）整库离线同步至MaxCompute（周期性增量）整库离线同步至MaxCompute（一次性全量）整库离线同步至MaxCompute（一次性增量）整库离线同步至MaxCompute（一次性全量周期增量） https://help.aliyun.com/document_detail/171765.html 此回答整理自钉群“DataWorks交流群(答疑@机器人)””
楼主你好，根据你的描述有两个方案：一是业务数据和行为日志通过Kafka，再通过Flume 上传到Datahub，以及Max Compute，最终在QuickBI进行展示。二是业务数据和行为日志通过Kafka以及DataWorks，MaxCompute，最终在QuickBI当中展示。