tongchenkeji 发表于:2023-11-29 15:38:250次点击 已关注取消关注 关注 私信 在大数据计算MaxCompute中,它是基于什么来算的,一个block不是64M吗?[阿里云] 暂停朗读为您朗读 咨询下上图这个file size,physical size它是基于什么来算的,一个block不是64M吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 阿里云# MaxCompute2748# 分布式计算2827# 大数据1264
春花秋月哒哒、AM 2023-11-30 3:20:07 1 file size是单副本存储大小。physical size可以理解为物理存储。合并小文件是看每个小文件的file size是不是小于64M,小的就可以合并。。此回答整理自钉钉群:MaxCompute开发者社区1群
小周sirAM 2023-11-30 3:20:07 2 在MaxCompute中,一个分片被分为多个块(block)。默认情况下,每个分片的大小为64MB。块是MaxCompute中的最小可寻址单元。当您读取或写入数据时,它们以块的形式传输。块大小决定了数据在分片之间的分布方式,以及每个分片的最大容量。较大的块可以减少数据传输次数,从而提高性能,但也会增加查询处理时间和成本。MaxCompute还支持自定义块大小,以适应各种场景的需求。您可以使用block-size参数来更改块大小。例如,您可以使用以下命令设置块大小为256MB: CREATE TABLE my_table ( ... ) BLOCKSIZE 256MB; 需要注意的是,块大小不能超过2GB。此外,较大的块大小可能导致查询处理时间变长,并占用更多的存储空间。
file size是单副本存储大小。physical size可以理解为物理存储。
合并小文件是看每个小文件的file size是不是小于64M,小的就可以合并。。此回答整理自钉钉群:MaxCompute开发者社区1群
在MaxCompute中,一个分片被分为多个块(block)。默认情况下,每个分片的大小为64MB。
块是MaxCompute中的最小可寻址单元。当您读取或写入数据时,它们以块的形式传输。块大小决定了数据在分片之间的分布方式,以及每个分片的最大容量。较大的块可以减少数据传输次数,从而提高性能,但也会增加查询处理时间和成本。
MaxCompute还支持自定义块大小,以适应各种场景的需求。您可以使用
block-size
参数来更改块大小。例如,您可以使用以下命令设置块大小为256MB:需要注意的是,块大小不能超过2GB。此外,较大的块大小可能导致查询处理时间变长,并占用更多的存储空间。