tongchenkeji 发表于：2023-12-8 11:14:370次点击 已关注取消关注 关注 私信 大数据计算MaxComputerds外部表是不是不能创建分区的？[阿里云] 暂停朗读为您朗读 大数据计算MaxComputerds外部表是不是不能创建分区的？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 阿里云# 云原生大数据计算服务 MaxCompute3255# 云数据库 RDS MySQL 版1517# 大数据1264
vohelonAM 2023-12-21 8:13:29 1 大数据计算MaxComputerds外部表是不是不能创建分区？ 可以的。补全OSS外部表分区数据语法https://help.aliyun.com/zh/maxcompute/user-guide/create-an-oss-external-table/?spm=a2c4g.11186623.0.0.1de956bcdb5dCw当您创建的OSS外部表为分区表时，需要额外执行引入分区数据的操作。MaxCompute会根据您创建OSS外部表时指定的目录，自动补全OSS外部表的分区数据。语法格式如下。（推荐）格式一：执行如下命令后，MaxCompute会自动解析OSS目录结构，识别分区，为OSS外部表添加分区信息。msck repair table add partitions [ with properties (key:value, key: value …)];格式二：手动执行如下命令为OSS外部表添加分区信息。alter table add partition (=) [add partition (=) …][location URL];col_name和col_value的值需要与分区数据文件所在目录名称对齐。假设，分区数据文件所在的OSS目录结构如下图，col_name对应direction，col_value对应N、NE、S、SW、W。一个add partition对应一个子目录，多个OSS子目录需要使用多个add partition。
小LeeAM 2023-12-21 8:13:29 2 MaxCompute的外部表功能允许您在项目中创建OSS外部表，与存储服务OSS上的目录建立映射关系。通过这种方式可以访问OSS目录下的数据文件中的非结构化数据。对于分区问题，MaxCompute支持分区表的概念，它可以帮助组织和管理大型表格数据集。没有明确的信息指出是否可以直接在MaxCompute的OSS外部表上创建分区。通常情况下分区是针对内部表进行操作的，并且需要使用特定的SQL语句来添加、删除或查询分区。如果您想在OSS外部表上实现类似分区的效果，可能需要在OSS端对数据进行适当的组织，例如将不同分区的数据存放在不同的子目录下，然后在MaxCompute的外部表定义中指定相应的目录路径作为数据源。这样，在查询时可以通过选择不同的目录来达到类似于查询分区的效果。
小周sirAM 2023-12-21 8:13:29 3 MaxCompute确实支持创建OSS外部表为分区表，并且可以访问OSS上以分区方式存储的数据。通过这种方式，可以降低读取数据量并提升数据处理效率。当您在MaxCompute中创建OSS外部表时，系统会根据您指定的目录自动补全OSS外部表的分区数据。此外，MaxCompute还提供了SQL命令来对分区表的分区进行合并，即将同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。但需要注意的是，外部表与内部表在某些操作上存在差异，例如外部表会加载所有分区数据。
听风de歌AM 2023-12-21 8:13:29 4 在阿里云 MaxCompute 中，外部表（External Table）是用来访问存储在MaxCompute之外的数据源的一种方式。这些数据源可以是OSS（对象存储服务）、RDS（关系型数据库服务）等。对于MaxCompute的外部表，虽然不能直接在创建外部表时指定分区，但可以通过以下方式实现类似的效果： 使用OSS作为数据源： 如果你的数据已经按照某种分区格式存储在OSS中，那么你可以将这个OSS路径作为外部表的来源。 通过这种方式，你可以利用OSS上的文件夹结构来模拟分区，例如，每个子文件夹代表一个分区。 自定义分区路径格式： MaxCompute支持自定义OSS标准分区路径格式和自定义分区路径，因此你可以在OSS上预先设置好数据的分区结构，然后在MaxCompute中创建相应的外部表。 间接分区查询： 虽然外部表本身没有内置的分区功能，但在查询时，你可以使用SQL中的WHERE子句来过滤出需要的数据，这在一定程度上可以实现分区的效果。 周期性地更新外部表定义： 如果数据源的内容会定期变化，你可以通过脚本或者定时任务来更新外部表的定义，以指向新的数据集。 使用其他工具或服务进行预处理： 在读取外部表数据之前，可以使用DataWorks、DataHub等工具对数据进行预处理，包括划分分区、清洗数据等。 转换为内部表： 如果你需要更高级的分区功能，可以考虑将外部表的数据导入到MaxCompute的内部表中，这样就可以充分利用MaxCompute的分区功能。
大数据计算MaxComputerds外部表是不是不能创建分区？
可以的。
补全OSS外部表分区数据语法https://help.aliyun.com/zh/maxcompute/user-guide/create-an-oss-external-table/?spm=a2c4g.11186623.0.0.1de956bcdb5dCw
当您创建的OSS外部表为分区表时，需要额外执行引入分区数据的操作。MaxCompute会根据您创建OSS外部表时指定的目录，自动补全OSS外部表的分区数据。语法格式如下。
（推荐）格式一：执行如下命令后，MaxCompute会自动解析OSS目录结构，识别分区，为OSS外部表添加分区信息。
msck repair table add partitions [ with properties (key:value, key: value …)];
格式二：手动执行如下命令为OSS外部表添加分区信息。
alter table
add partition (=) [add partition (=) …]
[location URL];
col_name和col_value的值需要与分区数据文件所在目录名称对齐。假设，分区数据文件所在的OSS目录结构如下图，col_name对应direction，col_value对应N、NE、S、SW、W。一个add partition对应一个子目录，多个OSS子目录需要使用多个add partition。
MaxCompute的外部表功能允许您在项目中创建OSS外部表，与存储服务OSS上的目录建立映射关系。通过这种方式可以访问OSS目录下的数据文件中的非结构化数据。对于分区问题，MaxCompute支持分区表的概念，它可以帮助组织和管理大型表格数据集。没有明确的信息指出是否可以直接在MaxCompute的OSS外部表上创建分区。通常情况下分区是针对内部表进行操作的，并且需要使用特定的SQL语句来添加、删除或查询分区。如果您想在OSS外部表上实现类似分区的效果，可能需要在OSS端对数据进行适当的组织，例如将不同分区的数据存放在不同的子目录下，然后在MaxCompute的外部表定义中指定相应的目录路径作为数据源。这样，在查询时可以通过选择不同的目录来达到类似于查询分区的效果。
MaxCompute确实支持创建OSS外部表为分区表，并且可以访问OSS上以分区方式存储的数据。通过这种方式，可以降低读取数据量并提升数据处理效率。当您在MaxCompute中创建OSS外部表时，系统会根据您指定的目录自动补全OSS外部表的分区数据。此外，MaxCompute还提供了SQL命令来对分区表的分区进行合并，即将同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。但需要注意的是，外部表与内部表在某些操作上存在差异，例如外部表会加载所有分区数据。
在阿里云 MaxCompute 中，外部表（External Table）是用来访问存储在MaxCompute之外的数据源的一种方式。这些数据源可以是OSS（对象存储服务）、RDS（关系型数据库服务）等。对于MaxCompute的外部表，虽然不能直接在创建外部表时指定分区，但可以通过以下方式实现类似的效果：
使用OSS作为数据源：
自定义分区路径格式：
间接分区查询：
周期性地更新外部表定义：
使用其他工具或服务进行预处理：
转换为内部表：
是的。可以把外部表数据insert到MaxCompute 内部分区表。此回答整理自钉钉群：MaxCompute开发者社区1群