tongchenkeji 发表于:2023-4-5 5:53:200次点击 已关注取消关注 关注 私信 请问出现这个提示:“您好,平台监测到,昨日调度系统调度的实例数量超出了您当前购买的最大容量,超量后D[阿里云DataWorks] 暂停朗读为您朗读 请问出现这个提示:“您好,平台监测到,昨日调度系统调度的实例数量超出了您当前购买的最大容量,超量后DataWorks将无法保障响应速度及稳定性” 会代表发布的调度任务无法正常运行么? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 DataWorks# DataWorks3343# 大数据开发治理平台 DataWorks3946# 调度383
wljslmzAM 2023-11-28 6:19:16 1 不一定会导致调度任务无法正常运行,但可能会导致响应速度慢、稳定性降低、甚至出现调度失败等问题。建议您考虑购买更高容量的服务或者优化现有的调度任务,以确保DataWorks的稳定性和可靠性。
意中人jswyAM 2023-11-28 6:19:16 2 方便全屏截图看下这个提示吗 另外目前资源组规格和每天调用的实例数大概有多少呀资源组不同规格支持同时运行的任务数不同 规格小 任务数多 就会按队列获取资源。此回答整理自钉群“DataWorks交流群(答疑@机器人)”
飞云觅宙AM 2023-11-28 6:19:16 3 DataWorks提供了三种资源组的能力:独享资源组、自定义资源组和默认资源组。 调度有三种资源组:默认、独享、自定义;DataWorks中的数据集成也有同样的三种资源组:默认、独享、自定义;数据集成的同步资源管理复用调度系统资源管理系统,在使用DataWorks的时候,如果需要使用数据集成任务,那么需要区分开调度和数据集成2种资源组的概念; 默认资源组是DataWorks在租户开始使用时候就给每个租户颁发的资源组了,租户内所有项目共享,不需要任何配置、操作就可以运行任务; 支持所有的任务类型,但不支持: 需要公网访问外部服务,且需要白名单的不支持; 需要访问VPC的任务不支持 需要访问公网的也不建议使用,建议切换其他资源组使用; 默认资源组最大调度资源是有固定分配的默认大小的;所有租户下项目共享,会存在项目之间的资源抢占,不能100%保障任务按时获得资源运行; 默认资源组是在平台的公共集群下的,所有租户都共享该集群资源,所以在高峰期会存在租户之间的资源抢占,不能100%保障任务按时获得资源运行; 目前DataWorks的独享资源组提供了2种:独享调度资源组和独享数据集成资源组。 可以将独享数据集成资源组理解为MaxCompute的计算资源概念,因为数据集成隶属于DataWorks产品内,所以在同步资源是跟调度资源在一起购买的; 独享目前不能支持跨租户节点、机器学习任务;其余支持 购买独享资源组的时候,务必要注意购买与自己VPC在同一个可用区 切换任务资源组的时候: 注意每种任务类型都需要测试验证:网络是否已经打通。 相对默认资源组,如果实例超过500个,独享资源会相对便宜很多;不收取实例费用,仅资源费用; 购买独享资源组 说明:一般按照实际的任务并发数来购买对应的资源数量,可以参考:https://help.aliyun.com/document_detail/125776.html?spm=a2c4g.11186623.6.573.20a87b75cx5tkl 里面的场景三 购买指引:https://help.aliyun.com/document_detail/121526.html?spm=a2c4g.11174283.6.641.4b1c2b65Y7CSE8 登录管控台:目前需要有主账户权限或者已经授权过的子账户 打开页面,点击“新增独享资源组”新增页面,选择“独享调度资源组”:点击购买链接,去购买:此处特别建议:至少购买2台(做容灾保障,Failover的能力)。 虚节点、工作流、机器学习等任务类型不要选择上,因为这些不支持资源组修改; 自定义调度资源组:企业版及以上,需要提工单白名单开放 自定义数据集成资源组:专业版及以上。 只能支持数据集成任务和shell任务。 自定义数据集成资源组,参考此处:https://help.aliyun.com/document_detail/136934.html?spm=a2c4g.11186623.6.719.8b745b35mv5nrp 以上仅供参考。
不一定会导致调度任务无法正常运行,但可能会导致响应速度慢、稳定性降低、甚至出现调度失败等问题。建议您考虑购买更高容量的服务或者优化现有的调度任务,以确保DataWorks的稳定性和可靠性。
方便全屏截图看下这个提示吗 另外目前资源组规格和每天调用的实例数大概有多少呀
资源组不同规格支持同时运行的任务数不同 规格小 任务数多 就会按队列获取资源。此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks提供了三种资源组的能力:独享资源组、自定义资源组和默认资源组。
调度有三种资源组:默认、独享、自定义;DataWorks中的数据集成也有同样的三种资源组:默认、独享、自定义;数据集成的同步资源管理复用调度系统资源管理系统,在使用DataWorks的时候,如果需要使用数据集成任务,那么需要区分开调度和数据集成2种资源组的概念;
默认资源组是DataWorks在租户开始使用时候就给每个租户颁发的资源组了,租户内所有项目共享,不需要任何配置、操作就可以运行任务;
支持所有的任务类型,但不支持:
需要公网访问外部服务,且需要白名单的不支持; 需要访问VPC的任务不支持 需要访问公网的也不建议使用,建议切换其他资源组使用;
默认资源组最大调度资源是有固定分配的默认大小的;所有租户下项目共享,会存在项目之间的资源抢占,不能100%保障任务按时获得资源运行; 默认资源组是在平台的公共集群下的,所有租户都共享该集群资源,所以在高峰期会存在租户之间的资源抢占,不能100%保障任务按时获得资源运行;
目前DataWorks的独享资源组提供了2种:独享调度资源组和独享数据集成资源组。
可以将独享数据集成资源组理解为MaxCompute的计算资源概念,因为数据集成隶属于DataWorks产品内,所以在同步资源是跟调度资源在一起购买的;
独享目前不能支持跨租户节点、机器学习任务;其余支持 购买独享资源组的时候,务必要注意购买与自己VPC在同一个可用区 切换任务资源组的时候:
注意每种任务类型都需要测试验证:网络是否已经打通。
相对默认资源组,如果实例超过500个,独享资源会相对便宜很多;不收取实例费用,仅资源费用;
购买独享资源组
说明:一般按照实际的任务并发数来购买对应的资源数量,可以参考:https://help.aliyun.com/document_detail/125776.html?spm=a2c4g.11186623.6.573.20a87b75cx5tkl 里面的场景三 购买指引:https://help.aliyun.com/document_detail/121526.html?spm=a2c4g.11174283.6.641.4b1c2b65Y7CSE8
登录管控台:目前需要有主账户权限或者已经授权过的子账户 打开页面,点击“新增独享资源组”新增页面,选择“独享调度资源组”:点击购买链接,去购买:此处特别建议:至少购买2台(做容灾保障,Failover的能力)。
虚节点、工作流、机器学习等任务类型不要选择上,因为这些不支持资源组修改;
自定义调度资源组:企业版及以上,需要提工单白名单开放 自定义数据集成资源组:专业版及以上。
只能支持数据集成任务和shell任务。
自定义数据集成资源组,参考此处:https://help.aliyun.com/document_detail/136934.html?spm=a2c4g.11186623.6.719.8b745b35mv5nrp
以上仅供参考。