大数据计算MaxCompute配置参数在开发环境进行调度,参数解析不出来,这是需要额外做什么配置吗?[阿里云MaxCompute]

大数据计算MaxCompute配置参数在开发环境进行调度,参数解析不出来,这是需要额外做什么配置吗?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
4 条回复 A 作者 M 管理员
  1. 如果在开发环境中配置MaxCompute参数进行调度,但参数解析不出来,可能需要检查并确保您已正确配置相关参数。首先,在数据流程中找到MaxCompute节点,然后打开并编写您的SQL语句。接下来点击”调度配置”来设置您的调度参数。所有配置完成后,保存并关闭该节点以启动运行。此外,您可以点击”高级运行”来测试是否可以通过这种方式解析参数。

    请注意,MaxCompute Studio是阿里巴巴提供的大数据开发工具,它基于MaxCompute的强大计算和存储能力,支持百万级别任务的稳定调度系统的在线开发。如果您在使用过程中遇到任何问题,也可以尝试使用此工具。同时,对于Spark环境,做好开发环境搭建前的准备,如安装JDK等软件是必要的。

  2. MaxCompute的配置参数解析需要依赖于MaxCompute的SDK。在开发环境中,可能需要先创建一个MaxCompute实例,并使用MaxCompute的SDK来连接和操作这个实例

  3. 如果在开发环境中遇到参数解析不出来的情况,你可以参考以下几种解决方案:

    1. 检查您的参数设置是否有误,例如,您是否将参数写错了地方或者使用了错误的参数名。
    2. 在创建表的时候启用JSON类型,这样就可以在MaxCompute中使用JSON类型的列或数据。
    3. 检查您的参数类型是否正确。确保JSON_EXTRACT函数的参数是JSON类型的数据。
    4. 手动添加流程参数,并确保它们的格式和值都正确无误。
    5. 检查您是否将所有的必要参数都设置好了,如果您遗漏了一些参数,那么MaxCompute可能无法正确解析它们。
  4. 错误码:ODPS-0123031:ODPS partition exception

    https://help.aliyun.com/zh/maxcompute/user-guide/odps-0123031?spm=a2c4g.11186623.0.i19

    错误1:maximum 60000 partitions allowed
    错误信息示例
    ODPS-0123031:ODPS partition exception – maximum 60000 partitions allowed

    错误描述
    每张MaxCompute的分区表最多允许存在 60000 个分区,此限制无法调整。

    解决方案
    当某张表超出 60000 个分区时,你可以通过以下方式解决:

    1)通过设置表生命周期,系统自动删除过期的分区数据与分区,详情请参考生命周期操作。

    2)您可以合并历史分区数据,例如把历史一个的数据合并成一个分区,详情可以参考合并分区。

    3)您可以通过拆表,把历史分区数据备份到备份表,把历史分区从当前表删除,请参考删除分区。