tongchenkeji 发表于：2023-3-21 11:30:170次点击 已关注取消关注 关注 私信 你好，MaxComputer压缩是怎么压缩的呢？[阿里云MaxCompute] 暂停朗读为您朗读 你好，MaxComputer压缩是怎么压缩的呢？有的表压缩比达到10几倍，有的表才3倍 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 MaxCompute# 云原生大数据计算服务 MaxCompute3255
xin在这AM 2023-11-27 18:35:33 1 主要看字段里值的内容，相似的内容在一起压缩率高，当前MaxCompute的底层目录结构以及压缩部分没有对外透出。 ，此回答整理自钉群“MaxCompute开发者社区1群”
牧羊吖AM 2023-11-27 18:35:33 2 MaxCompute支持多种列式存储压缩格式，包括LZO、Snappy、GZip、BZIP2和ZLIB。 MaxCompute的压缩分为两种：块压缩和字典压缩。主要区别在于对数据的处理方式、压缩效果和压缩解压缩的速度。 块压缩：将数据分成多个块，每个块单独压缩。块之间相互独立，可以随机访问，适用于实时查询。块压缩能够有效压缩重复的数据，可以减少存储空间。常用的块压缩格式有LZO、Snappy、GZip等。 字典压缩：通过建立字典表，将相似的字符和字符串映射到相同的ID，再进行压缩。适用于批量数据处理，需先加载字典表，再进行压缩解压缩。字典压缩能够更好地压缩相似的数据，相对块压缩而言，能够更高效地提供更小的存储空间。常用的字典压缩格式有BZIP2和ZLIB等。 压缩解压缩的速度不仅取决于压缩格式，也与具体的硬件配置、压缩解压缩的算法、压缩文件大小等因素相关。因此，在选择压缩格式时，需要综合考虑数据读写的频率、数据存储量、计算性能等因素。
主要看字段里值的内容，相似的内容在一起压缩率高，当前MaxCompute的底层目录结构以及压缩部分没有对外透出。 ，此回答整理自钉群“MaxCompute开发者社区1群”
MaxCompute支持多种列式存储压缩格式，包括LZO、Snappy、GZip、BZIP2和ZLIB。
MaxCompute的压缩分为两种：块压缩和字典压缩。主要区别在于对数据的处理方式、压缩效果和压缩解压缩的速度。
压缩解压缩的速度不仅取决于压缩格式，也与具体的硬件配置、压缩解压缩的算法、压缩文件大小等因素相关。因此，在选择压缩格式时，需要综合考虑数据读写的频率、数据存储量、计算性能等因素。