tongchenkeji 发表于:2023-11-5 10:10:310次点击 已关注取消关注 关注 私信 大数据计算MaxCompute配置参数在开发环境进行调度,参数解析不出来,这是需要额外做什么配置吗?[阿里云MaxCompute] 暂停朗读为您朗读 大数据计算MaxCompute配置参数在开发环境进行调度,参数解析不出来,这是需要额外做什么配置吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 云解析DNS505# 分布式计算2827# 大数据1264# 调度383
xin在这AM 2023-11-27 18:04:28 1 https://wx.dingtalk.com/invite-page/weixin.html?bizSource=____source____&corpId=dingd0cf799086f27cb135c2f4657eb6378f&inviterUid=A26F27643C000F2D94460A2FDF52346D&encodeDeptId=6B32040BBEAFAF1DE93FD50C752B256A,此回答整理自钉群“MaxCompute开发者社区2群”
sun20AM 2023-11-27 18:04:28 2 如果在开发环境中配置MaxCompute参数进行调度,但参数解析不出来,可能需要检查并确保您已正确配置相关参数。首先,在数据流程中找到MaxCompute节点,然后打开并编写您的SQL语句。接下来点击”调度配置”来设置您的调度参数。所有配置完成后,保存并关闭该节点以启动运行。此外,您可以点击”高级运行”来测试是否可以通过这种方式解析参数。 请注意,MaxCompute Studio是阿里巴巴提供的大数据开发工具,它基于MaxCompute的强大计算和存储能力,支持百万级别任务的稳定调度系统的在线开发。如果您在使用过程中遇到任何问题,也可以尝试使用此工具。同时,对于Spark环境,做好开发环境搭建前的准备,如安装JDK等软件是必要的。
小周sirAM 2023-11-27 18:04:28 3 MaxCompute的配置参数解析需要依赖于MaxCompute的SDK。在开发环境中,可能需要先创建一个MaxCompute实例,并使用MaxCompute的SDK来连接和操作这个实例
Star时光AM 2023-11-27 18:04:28 4 如果在开发环境中遇到参数解析不出来的情况,你可以参考以下几种解决方案: 检查您的参数设置是否有误,例如,您是否将参数写错了地方或者使用了错误的参数名。 在创建表的时候启用JSON类型,这样就可以在MaxCompute中使用JSON类型的列或数据。 检查您的参数类型是否正确。确保JSON_EXTRACT函数的参数是JSON类型的数据。 手动添加流程参数,并确保它们的格式和值都正确无误。 检查您是否将所有的必要参数都设置好了,如果您遗漏了一些参数,那么MaxCompute可能无法正确解析它们。
vohelonAM 2023-11-27 18:04:28 5 错误码:ODPS-0123031:ODPS partition exception https://help.aliyun.com/zh/maxcompute/user-guide/odps-0123031?spm=a2c4g.11186623.0.i19 错误1:maximum 60000 partitions allowed错误信息示例ODPS-0123031:ODPS partition exception – maximum 60000 partitions allowed 错误描述每张MaxCompute的分区表最多允许存在 60000 个分区,此限制无法调整。 解决方案当某张表超出 60000 个分区时,你可以通过以下方式解决: 1)通过设置表生命周期,系统自动删除过期的分区数据与分区,详情请参考生命周期操作。 2)您可以合并历史分区数据,例如把历史一个的数据合并成一个分区,详情可以参考合并分区。 3)您可以通过拆表,把历史分区数据备份到备份表,把历史分区从当前表删除,请参考删除分区。
https://wx.dingtalk.com/invite-page/weixin.html?bizSource=____source____&corpId=dingd0cf799086f27cb135c2f4657eb6378f&inviterUid=A26F27643C000F2D94460A2FDF52346D&encodeDeptId=6B32040BBEAFAF1DE93FD50C752B256A,此回答整理自钉群“MaxCompute开发者社区2群”
如果在开发环境中配置MaxCompute参数进行调度,但参数解析不出来,可能需要检查并确保您已正确配置相关参数。首先,在数据流程中找到MaxCompute节点,然后打开并编写您的SQL语句。接下来点击”调度配置”来设置您的调度参数。所有配置完成后,保存并关闭该节点以启动运行。此外,您可以点击”高级运行”来测试是否可以通过这种方式解析参数。
请注意,MaxCompute Studio是阿里巴巴提供的大数据开发工具,它基于MaxCompute的强大计算和存储能力,支持百万级别任务的稳定调度系统的在线开发。如果您在使用过程中遇到任何问题,也可以尝试使用此工具。同时,对于Spark环境,做好开发环境搭建前的准备,如安装JDK等软件是必要的。
MaxCompute的配置参数解析需要依赖于MaxCompute的SDK。在开发环境中,可能需要先创建一个MaxCompute实例,并使用MaxCompute的SDK来连接和操作这个实例
如果在开发环境中遇到参数解析不出来的情况,你可以参考以下几种解决方案:
错误码:ODPS-0123031:ODPS partition exception
https://help.aliyun.com/zh/maxcompute/user-guide/odps-0123031?spm=a2c4g.11186623.0.i19
错误1:maximum 60000 partitions allowed
错误信息示例
ODPS-0123031:ODPS partition exception – maximum 60000 partitions allowed
错误描述
每张MaxCompute的分区表最多允许存在 60000 个分区,此限制无法调整。
解决方案
当某张表超出 60000 个分区时,你可以通过以下方式解决:
1)通过设置表生命周期,系统自动删除过期的分区数据与分区,详情请参考生命周期操作。
2)您可以合并历史分区数据,例如把历史一个的数据合并成一个分区,详情可以参考合并分区。
3)您可以通过拆表,把历史分区数据备份到备份表,把历史分区从当前表删除,请参考删除分区。