tongchenkeji 发表于：2023-8-8 16:08:190次点击 已关注取消关注 关注 私信 DataWorks购买及使用独享调度资源组？[阿里云DataWorks] 暂停朗读为您朗读 DataWorks购买及使用独享调度资源组？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 DataWorks# DataWorks3343# 大数据开发治理平台 DataWorks3946# 调度383
算精通AM 2023-11-27 21:05:02 1 DataWorks中的独享调度资源组主要有以下特点: 完全独享:所有资源(如MR、Spark等任务节点)完全独享给该资源组下的工作空间使用,不与其他工作空间共享。 资源配额:可以为独享资源组设置CPU、内存及并发任务数的配额限制,防止个别大作业使用全部资源。 预留资源:可以设置资源预留,保证关键任务优先获得执行资源。 隔离性强:有效隔离同一DataWorks实例下不同工作空间的任务,防止资源争抢。 一键扩容:可以随时增加或减少独享资源组内的节点,实现一键扩容。 有助于计费:独享资源组的计费更准确,按实际资源消耗单独计费。 易于监控:可以更方便地监控独享资源组内资源使用情况。 高可用:独享资源组内的节点高可用部署,提高任务的失败容忍性。 所以,如果您的工作空间对资源有较高的隔离性要求,或者需要更方便的扩容监控等能力,推荐使用独享资源组: 同时也需要根据实际任务对CPU、内存和并发任务数量的需求,选择最合适的规格独享资源组。 在DataWorks控制台,可以在”计算资源->资源组”访问独享资源组。
xin在这AM 2023-11-27 21:05:02 2 如果您暂无连通数据库实例的需求，只是为了缓解因公共调度资源组的资源紧张，导致任务延迟的问题，请忽略本文涉及网络的问题。您可以购买任意可用区的独享调度资源组，且无需绑定专有网络。注意独享调度资源组访问VPC环境数据源时，独享调度资源组需要绑定数据源所在VPC，绑定该VPC下任意一个交换机后，会自动添加路由至整个VPC网段，实现独享调度资源组在该VPC下网络可达。如果目的端数据库有白名单访问限制，走公网，您需要添加调度资源组的EIP地址，走内网，您需要添加独享调度资源组绑定的交换机网段至数据库的白名单和安全组。详情请参见添加独享调度资源组白名单。独享调度资源组对应规格支持的最大并发运行实例数，请参见独享调度资源组的性能指标和计费标准。https://help.aliyun.com/document_detail/164918.html，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks中的独享调度资源组主要有以下特点:
完全独享:
所有资源(如MR、Spark等任务节点)完全独享给该资源组下的工作空间使用,不与其他工作空间共享。
资源配额:
可以为独享资源组设置CPU、内存及并发任务数的配额限制,防止个别大作业使用全部资源。
预留资源:
可以设置资源预留,保证关键任务优先获得执行资源。
隔离性强:
有效隔离同一DataWorks实例下不同工作空间的任务,防止资源争抢。
一键扩容:
可以随时增加或减少独享资源组内的节点,实现一键扩容。
有助于计费:
独享资源组的计费更准确,按实际资源消耗单独计费。
易于监控:
可以更方便地监控独享资源组内资源使用情况。
高可用:
独享资源组内的节点高可用部署,提高任务的失败容忍性。
所以,如果您的工作空间对资源有较高的隔离性要求,
或者需要更方便的扩容监控等能力,推荐使用独享资源组:
同时也需要根据实际任务对CPU、内存和并发任务数量的需求,
选择最合适的规格独享资源组。
在DataWorks控制台,可以在”计算资源->资源组”访问独享资源组。
如果您暂无连通数据库实例的需求，只是为了缓解因公共调度资源组的资源紧张，导致任务延迟的问题，请忽略本文涉及网络的问题。您可以购买任意可用区的独享调度资源组，且无需绑定专有网络。注意独享调度资源组访问VPC环境数据源时，独享调度资源组需要绑定数据源所在VPC，绑定该VPC下任意一个交换机后，会自动添加路由至整个VPC网段，实现独享调度资源组在该VPC下网络可达。如果目的端数据库有白名单访问限制，走公网，您需要添加调度资源组的EIP地址，走内网，您需要添加独享调度资源组绑定的交换机网段至数据库的白名单和安全组。详情请参见添加独享调度资源组白名单。独享调度资源组对应规格支持的最大并发运行实例数，请参见独享调度资源组的性能指标和计费标准。
https://help.aliyun.com/document_detail/164918.html，此回答整理自钉群“DataWorks交流群(答疑@机器人)”