大数据计算MaxCompute我记得之前你好像有提到过,代码运行优先用A方式运行,十分钟没运[阿里云MaxCompute]

问题1:大数据计算MaxCompute我记得之前你好像有提到过,代码运行优先用A方式运行,十分钟没运行完,就会转向用B方式运行,

我现在有个节点,十分钟运行不完,每次都是到十分钟时,重跑那种,

咋可以设置一下?直接用B方式运行,就避免耽误前面的10分钟(反正都是10分钟跑不完又重跑)
问题2:直接加这个 有啥影响不

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. MaxCompute(原名ODPS)是一种分布式计算服务,它具有自动调度和资源管理的功能,可以根据您提交的作业自动分配计算资源来运行作业。
    在MaxCompute中,您可以通过设置作业的属性来控制作业的运行方式和优先级。例如,您可以通过设置作业的优先级属性来控制作业在队列中的优先级,优先级高的作业会先得到资源并运行。此外,MaxCompute还支持作业控制命令(job control commands),您可以使用这些命令来暂停、恢复或取消作业的运行。

  2. 问题1:在大数据计算MaxCompute中,默认情况下任务运行时间超过10分钟会触发自动重跑机制。如果您希望避免耽误前面的10分钟并直接使用另一种方式运行,可以通过设置超时时间来实现。

    您可以在提交作业或任务时,通过设置set odps.sql.job.timeout=6000;将超时时间设置为较小的值(例如6000秒),这样任务将在达到超时时间后自动终止,并触发重跑机制。

    请注意,这可能会导致任务被频繁终止和重启,因此请根据具体情况谨慎使用,并确保您的任务能够在合理的时间内完成。

    问题2:关于直接加入设置超时时间的影响,主要取决于您的任务本身的复杂性和计算量。较短的超时时间可能会增加任务被终止和重启的次数,从而增加调度和资源开销。同时,较短的超时时间也可能不足以完成较复杂的任务,导致任务无法成功执行。

    因此,建议您在设置超时时间时,需要根据任务的特点、数据量和计算需求进行合理的评估和选择。灵活地调整超时时间,以获得更好的任务执行效果。

  3. 回答1:你说的应该是service mode模式。
    SQL前加set odps.service.mode=off;
    回答2:不会,这是session级别flag。会让SQL直接走到离线模式。 ,此回答整理自钉群“MaxCompute开发者社区2群”