咨询下大数据计算MaxCompute上图这个file size,一个block不是64M吗?[阿里云]

咨询下大数据计算MaxCompute上图这个file size,physical size它是基于什么来算的,一个block不是64M吗?我没搞懂

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. file size是单副本存储大小。physical size可以理解为物理存储。
    合并小文件是看每个小文件的file size是不是小于64M,小的就可以合并。,此回答整理自钉群“MaxCompute开发者社区2群”

  2. MaxCompute是阿里云推出的一种大数据计算平台,它以表格存储和计算为基础,并使用分布式文件系统来存储数据。在MaxCompute中,”file size”和”physical size”都是与底层分布式文件系统的存储方式相关的概念。

    在MaxCompute中,一个文件(File)通常对应着一个或多个Block,而每个Block的默认大小是64MB。这意味着MaxCompute会将较大的文件拆分成多个Block进行存储。每个Block都被分配给不同的服务器节点进行存储和处理。

    “file size”指的是逻辑文件的大小,即您在MaxCompute中创建的表或分区所占用的空间大小。这个大小是根据数据文件的大小进行计算的,它可能包含一个或多个Block。

    “physical size”则指的是文件在分布式文件系统中的实际物理大小。它是根据文件所占用的所有Block的总大小计算得出的。

    需要注意的是,由于MaxCompute采用了列式存储和压缩等技术,实际存储空间可能会更高效利用。因此,”physical size”可能会比”file size”小得多,具体取决于数据的压缩率和存储方式。