tongchenkeji 发表于:2023-11-20 7:51:000次点击 已关注取消关注 关注 私信 DataWorks创建独享数据集成资源、独享调度资源组的功能有哪些?[阿里云DataWorks] 暂停朗读为您朗读 DataWorks创建独享数据集成资源、独享调度资源组的功能有哪些? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 DataWorks# DataWorks3343# 大数据开发治理平台 DataWorks3946# 数据集成 Data Integration293# 调度383
vohelonAM 2023-11-27 21:31:54 1 独享数据集成资源组https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-data-integration?spm=a2c4g.11186623.0.i144 功能介绍独享数据集成资源组的功能亮点如下:支持复杂网络环境下的数据同步。例如,跨云环境(金融云、政务云等)、跨阿里云账号、本地IDC数据同步。具有丰富的产品能力:支持离线数据同步。例如,增量与全量数据同步,单表及分库分表数据同步。详情请参见离线同步能力说明。支持实时数据同步。例如,单表实时数据同步、整库实时数据同步。详情请参见实时同步能力说明。提供一系列同步解决方案。例如,整库离线数据同步,单表或整库全增量实时数据同步。详情请参见同步解决方案能力说明。 独享调度资源组https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-scheduling?spm=a2c4g.11186623.0.i149 在任务高并发执行且无法错峰运行的情况下,需要专有的计算资源来保障任务定时被调度运行时,建议您选择使用DataWorks的独享调度资源组。本文为您概要介绍独享调度资源组。 适用场景对任务时效性要求高,避免公共资源组资源争抢导致任务延时。 需要灵活调整资源组大小。 需要访问公网地址、VPC、IDC。 需要通过IP白名单进行访问控制。 DataWorks某些任务类型仅支持独享资源组,包括EMR、CDH、ADB等。
小周sirAM 2023-11-27 21:31:54 2 创建独享数据集成资源和独享调度资源组是DataWorks提供的高级功能,旨在提高任务的性能和可靠性的稳定性。 独享数据集成资源组:这是一种专有的数据集成计算及存储资源组合,可以让多个用户共同分享一套专属的集群资源,并使数据集成任务在同一时间内得到更高的性能和更可靠的稳定性。 独享调度资源组:这是专门为特定的任务或项目单独占用的一组专用计算资源,可以确保任务的高可用性和高性能。 以下是创建独享数据集成资源组和独享调度资源组的具体步骤: 创建独享数据集成资源组: 登录DataWorks控制台,进入“运维中心” > “资源管理”页面。 单击“新建资源”按钮,选择“独享数据集成资源组”,然后填写相关信息。 点击“立即购买”,支付相应的费用。 完成购买后,即可使用新的独享数据集成资源组了。 创建独享调度资源组: 登录DataWorks控制台,进入“运维中心” > “资源管理”页面。 单击“新建资源”按钮,选择“独享调度资源组”,然后填写相关信息。 点击“立即购买”,支付相应的费用。 完成购买后,即可使用新的独享调度资源组了。
sun20AM 2023-11-27 21:31:54 3 DataWorks的独享数据集成资源组和独享调度资源组各自具有其独特的功能。独享数据集成资源组的主要作用是保障数据同步实例能够快速且稳定地传输数据,特别是在复杂的网络环境下。而独享调度资源组则主要用于保障可以同时运行的数据同步实例的数量。 当需要购买这些资源时,首先需要登录DataWorks控制台,并在左侧导航栏中单击工作空间列表。接着,选择相应的工作空间,并单击”快速进入 > 数据开发”。在数据开发页面中,双击打开相应节点的编辑页面,最后在右侧的调度配置中进行购买操作。购买之后,除了上述操作流程外,还需要进行如网络绑定、白名单等配置操作。
独享数据集成资源组https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-data-integration?spm=a2c4g.11186623.0.i144
功能介绍
独享数据集成资源组的功能亮点如下:
支持复杂网络环境下的数据同步。例如,跨云环境(金融云、政务云等)、跨阿里云账号、本地IDC数据同步。
具有丰富的产品能力:
支持离线数据同步。例如,增量与全量数据同步,单表及分库分表数据同步。详情请参见离线同步能力说明。
支持实时数据同步。例如,单表实时数据同步、整库实时数据同步。详情请参见实时同步能力说明。
提供一系列同步解决方案。例如,整库离线数据同步,单表或整库全增量实时数据同步。详情请参见同步解决方案能力说明。
独享调度资源组https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-scheduling?spm=a2c4g.11186623.0.i149
在任务高并发执行且无法错峰运行的情况下,需要专有的计算资源来保障任务定时被调度运行时,建议您选择使用DataWorks的独享调度资源组。本文为您概要介绍独享调度资源组。
适用场景
对任务时效性要求高,避免公共资源组资源争抢导致任务延时。
需要灵活调整资源组大小。
需要访问公网地址、VPC、IDC。
需要通过IP白名单进行访问控制。
DataWorks某些任务类型仅支持独享资源组,包括EMR、CDH、ADB等。
创建独享数据集成资源和独享调度资源组是DataWorks提供的高级功能,旨在提高任务的性能和可靠性的稳定性。
以下是创建独享数据集成资源组和独享调度资源组的具体步骤:
DataWorks的独享数据集成资源组和独享调度资源组各自具有其独特的功能。独享数据集成资源组的主要作用是保障数据同步实例能够快速且稳定地传输数据,特别是在复杂的网络环境下。而独享调度资源组则主要用于保障可以同时运行的数据同步实例的数量。
当需要购买这些资源时,首先需要登录DataWorks控制台,并在左侧导航栏中单击工作空间列表。接着,选择相应的工作空间,并单击”快速进入 > 数据开发”。在数据开发页面中,双击打开相应节点的编辑页面,最后在右侧的调度配置中进行购买操作。购买之后,除了上述操作流程外,还需要进行如网络绑定、白名单等配置操作。