dataworks哪些节点可以使用公共资源组?[阿里云DataWorks]

dataworks哪些节点可以使用公共资源组?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 资源组是数据集成用来运行数据同步任务的计算资源,可以通俗的理解为“带有CPU、内存和网络的计算机或计算机集群”。同步任务就是运行在上面的“程序”。

    数据集成有三种资源组:公共资源组(又称默认资源组)、独享资源组、自定义资源组。它们适用的场景不同,您在做数据同步时可以根据自己实际的需求来选择。

    调度有三种资源组:默认、独享、自定义;DataWorks中的数据集成也有同样的三种资源组:默认、独享、自定义。

    在使用DataWorks的时候,如果需要使用数据集成任务,那么需要区分开调度和数据集成2种资源组的概念;

    默认资源组是DataWorks在租户开始使用时候就给每个租户颁发的资源组了,租户内所有项目共享,不需要任何配置、操作就可以运行任务;但是该默认资源组需要说明节点:

    使用场景: 默认资源组是在租户购买了DataWorks时候就会默认创建的,可以支持用户在页面进行数据开发、运行测试等能力,目前是免费支持的;

    任务量相对较少,或者相对来说对任务时效性要求不高的场景。

    提供的能力, 支持所有的任务类型,但不支持:

    需要公网访问外部服务,且需要白名单的不支持;

    需要访问VPC的任务不支持,

    需要访问公网的也不建议使用,建议切换其他资源组使用;

    任务安全沙箱的能力。

    注意事项:

    默认资源组最大调度资源是有固定分配的默认大小的;所有租户下项目共享,会存在项目之间的资源抢占,不能100%保障任务按时获得资源运行; 默认资源组是在平台的公共集群下的,所有租户都共享该集群资源,所以在高峰期会存在租户之间的资源抢占,不能100%保障任务按时获得资源运行;

  2. 公共资源组、独享资源组和自定义资源组的使用说明如下:组合节点暂不支持选择资源组类型,您可以在运维中心页面修改内部节点的资源组。数据同步节点、Shell节点、ODPS SQL节点和ODPS MR节点支持使用公共资源组、独享资源组和自定义资源组。PAI节点仅支持使用公共资源组。除PAI节点外的其它节点默认支持使用公共资源组和独享资源组。 https://help.aliyun.com/document_detail/162565.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”