tongchenkeji 发表于:2023-2-21 18:17:370次点击 已关注取消关注 关注 私信 可以增加提交的sql个数呢?[阿里云MaxCompute] 暂停朗读为您朗读 执行的task大多在这里(Waiting for concurrent task slot)耗时比较久,能不能增加提交的sql个数呢? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# SQL1285# 云原生大数据计算服务 MaxCompute3255
认真学习的heartAM 2023-11-27 18:28:34 1 可以尝试增加并发任务槽的数量,提高任务的并发度,加快任务的执行速度。 如果您需要同时执行多个 SQL 语句,可以使用批量执行的方式,将多个 SQL 语句打包提交,这样子就减少任务提交的次数,提高执行效率。我记得在 DataWorks 中,可以使用脚本节点(Shell、PySpark、Spark SQL 等)来实现批量执行 SQL 语句。
一个臻吖AM 2023-11-27 18:28:34 3 需要看下logview。这个阶段一般是project级别的流控。可以参考这个文档 https://help.aliyun.com/document_detail/121346.html。当前这个限制没办法突破。只能拆分项目了。此回答整理自钉钉群”MaxCompute开发者社区2群“
可以尝试增加并发任务槽的数量,提高任务的并发度,加快任务的执行速度。
如果您需要同时执行多个 SQL 语句,可以使用批量执行的方式,将多个 SQL 语句打包提交,这样子就减少任务提交的次数,提高执行效率。我记得在 DataWorks 中,可以使用脚本节点(Shell、PySpark、Spark SQL 等)来实现批量执行 SQL 语句。
您好,无法通过增加提交的sql个数来缩短Waiting for concurrent task slot耗时。
需要看下logview。这个阶段一般是project级别的流控。可以参考这个文档 https://help.aliyun.com/document_detail/121346.html。当前这个限制没办法突破。只能拆分项目了。此回答整理自钉钉群”MaxCompute开发者社区2群“