大数据计算MaxCompute有没有可能pk的desc extend的数据是包括各个版本的数据,所以filenum数量比较多?但其实最新版本snaphot的file_num已经很小了
大数据计算MaxCompute有没有可能pk的desc extend的数据是包括各个版本的数据,?[阿里云MaxCompute]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
大数据计算MaxCompute有没有可能pk的desc extend的数据是包括各个版本的数据,所以filenum数量比较多?但其实最新版本snaphot的file_num已经很小了
在大数据计算MaxCompute中,
DESC EXTENDED
命令返回的结果可能包含了各个版本(Snapshot)的数据,导致file_num
数量比较多。每个版本的数据文件都有一个独立的file_num
。当使用
DESC EXTENDED
命令查看表的扩展信息时,会显示表的详细结构,包括每个分区的元数据和对应的数据文件。如果表存在多个版本(例如通过Snapshot或者其他操作引起的版本变更),那么会显示每个版本的file_num
。需要注意的是,最新版本(通常是当前版本)的
file_num
可能会更小,因为它只统计了该版本下的数据文件数目。而旧版本的数据文件数量可能会较多,导致总体的file_num
数量较大。如果您只关心最新版本的数据文件数量,可以考虑从
DESC EXTENDED
的结果中筛选出最新版本的信息,并统计该版本的file_num
。这样就可以获得最新版本下的数据文件数量。我昨天也在跟pd确认是不是对于transaction 2.0表的小文件,不应该从filenum来看,还没有结果。,此回答整理自钉群“MaxCompute开发者社区2群”