tongchenkeji 发表于:2023-11-30 11:57:200次点击 已关注取消关注 关注 私信 咨询下大数据计算MaxCompute上图这个file size,一个block不是64M吗?[阿里云] 暂停朗读为您朗读 咨询下大数据计算MaxCompute上图这个file size,physical size它是基于什么来算的,一个block不是64M吗?我没搞懂 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 阿里云# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据1264
xin在这AM 2023-12-3 11:42:15 1 file size是单副本存储大小。physical size可以理解为物理存储。合并小文件是看每个小文件的file size是不是小于64M,小的就可以合并。,此回答整理自钉群“MaxCompute开发者社区2群”
小周sirAM 2023-12-3 11:42:15 2 MaxCompute是阿里云推出的一种大数据计算平台,它以表格存储和计算为基础,并使用分布式文件系统来存储数据。在MaxCompute中,”file size”和”physical size”都是与底层分布式文件系统的存储方式相关的概念。 在MaxCompute中,一个文件(File)通常对应着一个或多个Block,而每个Block的默认大小是64MB。这意味着MaxCompute会将较大的文件拆分成多个Block进行存储。每个Block都被分配给不同的服务器节点进行存储和处理。 “file size”指的是逻辑文件的大小,即您在MaxCompute中创建的表或分区所占用的空间大小。这个大小是根据数据文件的大小进行计算的,它可能包含一个或多个Block。 “physical size”则指的是文件在分布式文件系统中的实际物理大小。它是根据文件所占用的所有Block的总大小计算得出的。 需要注意的是,由于MaxCompute采用了列式存储和压缩等技术,实际存储空间可能会更高效利用。因此,”physical size”可能会比”file size”小得多,具体取决于数据的压缩率和存储方式。
file size是单副本存储大小。physical size可以理解为物理存储。
合并小文件是看每个小文件的file size是不是小于64M,小的就可以合并。,此回答整理自钉群“MaxCompute开发者社区2群”
MaxCompute是阿里云推出的一种大数据计算平台,它以表格存储和计算为基础,并使用分布式文件系统来存储数据。在MaxCompute中,”file size”和”physical size”都是与底层分布式文件系统的存储方式相关的概念。
在MaxCompute中,一个文件(File)通常对应着一个或多个Block,而每个Block的默认大小是64MB。这意味着MaxCompute会将较大的文件拆分成多个Block进行存储。每个Block都被分配给不同的服务器节点进行存储和处理。
“file size”指的是逻辑文件的大小,即您在MaxCompute中创建的表或分区所占用的空间大小。这个大小是根据数据文件的大小进行计算的,它可能包含一个或多个Block。
“physical size”则指的是文件在分布式文件系统中的实际物理大小。它是根据文件所占用的所有Block的总大小计算得出的。
需要注意的是,由于MaxCompute采用了列式存储和压缩等技术,实际存储空间可能会更高效利用。因此,”physical size”可能会比”file size”小得多,具体取决于数据的压缩率和存储方式。