大数据计算MaxCompute我用的就是我们独有调度资源,看日志也是它在加速查询,也就是说他在做优化还是什么, 我不纠结这个了,我现在就想知道你们加速查询的底层原理是怎样的,这个能告知下吗?
大数据计算MaxCompute我用的就是我们独有调度资源,看日志也是它在加速查询,这个能告知下吗?[阿里云MaxCompute]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
大数据计算MaxCompute我用的就是我们独有调度资源,看日志也是它在加速查询,也就是说他在做优化还是什么, 我不纠结这个了,我现在就想知道你们加速查询的底层原理是怎样的,这个能告知下吗?
这篇文章可以看下
https://help.aliyun.com/zh/maxcompute/user-guide/maxcompute-query-acceleration?spm=a2c4g.11186623.0.i42,此回答整理自钉群“MaxCompute开发者社区2群”
MaxCompute加速查询的底层原理主要基于高性能分布式执行引擎HQE和SQE(Simple Query Engine)。SQE实现对MaxCompute的Native访问,然后再结合Hologres高性能分布式执行引擎HQE的处理,达到极致性能。
具体来说,MaxCompute通过流式数据高性能写入和秒级别查询能力(即查询加速),提供EB级云原生数仓近实时分析能力,高效的实现对变化中的数据进行快速分析及决策辅助。这一切的背后,都离不开Hologres背后的执行器SQE(Simple Query Engine),通过SQE实现对MaxCompute的Native访问,然后再结合Hologres高性能分布式执行引擎HQE的处理,达到极致性能。
此外,MaxCompute的查询加速功能MCQA(MaxCompute Query Acceleration)也起到了重要作用,它帮助用户了解该系统架构、关键特性、应用场景和使用限制。同时,MaxCompute还与阿里云的其他产品如DataWorks、机器学习PAI、实时数仓Hologres以及Quick BI等进行了深度融合,共同提供了一站式的数据同步、业务流程设计、数据开发、管理和运维功能。
MaxCompute 是阿里云推出的一种大规模分布式数据处理系统,它的加速查询能力主要来自于以下几个方面:
在MaxCompute中,加速查询的底层原理主要有以下几个方面:
查询加速(MCQA)https://help.aliyun.com/zh/maxcompute/user-guide/maxcompute-query-acceleration?spm=a2c4g.11186623.0.i45
本文为您介绍MaxCompute查询加速MCQA(MaxCompute Query Acceleration)功能,并帮助您了解该功能的系统架构、关键特性、应用场景和使用限制。
功能介绍
MaxCompute MCQA功能提供如下能力。
支持对中、小数据量查询作业进行加速优化,将执行时间为分钟级的查询作业缩减至秒级,同时完全兼容原MaxCompute的查询功能。
支持主流BI工具,开展即席查询(Ad Hoc)或商业智能(BI)分析。
支持使用独立的资源池,不占用离线计算资源,可以自动识别查询作业,缓解排队压力,优化使用体验。
支持将MCQA(MaxCompute Query Acceleration)查询作业的运行结果写入临时缓存中。当用户后续执行相同的查询作业时,MaxCompute会优先返回缓存中的结果,加快执行速度。