tongchenkeji
发表于：0次点击

大数据计算MaxCompute这个截图的任务调度，这部分是什么操作？[阿里云MaxCompute]

大数据计算MaxCompute这个截图的任务调度，这部分是什么操作？我这个任务执行时间从昨天开始变的很长，之前都是四五分钟就跑完了；昨天我看延长到了20多分钟

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
MaxCompute# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据1264# 调度383
=====这是一个广告位，招租中，联系qq 78315851====
MaxCompute
大数据计算MaxCompute调度的运行情况 怎么导出？[阿里云MaxCompute]
MaxCompute
大数据计算MaxCompute该任务里面的sql逻辑我也没有改过；你们服务最近有改什么吗？[阿里云MaxCompute]
2 条回复 A 作者 M 管理员
    1. 看两次的log view对比出，慢的作业出现过online job失败后回退的情况；
    2. 两次数据量是否有差异；3. 我看使用的是后付费按量付费的quota，凌晨调度可能会出现等待计算资源的情况。
      Fuxi Job的两种作业类型：Online Job（service mode）和Offline Job。
      对于Offline的作业而言，当每次提交作业时在Fuxi上都会有一个环境准备的时间，针对大数据量并且不需要返回查询结果的作业比较合适，而对小数据量并且实时作业要求比较高的作业是不合适的。所以Fuxi提供为什么ServiceMode这种准实时的作业形式，也是online，首先会有一个服务去预先申请计算一些资源并加载出来，比如会预先分配一 万个nstance，当有作业提交时会根据作业规模分配一些Instance进行执行，这样就省去环境准备的时间，所以就会比较快。online不等资源且不保证成功。
      如果service mode失败，比如instance个数超过1000，或者运行超过10分钟，就会退回以Offline模式重跑。

    可以set odps.service.mode=off;这样就直接跑完了，不会再跑online，此回答整理自钉群“MaxCompute开发者社区2群”

    已喜欢 已反对

  2. 根据您提供的信息，任务调度可能是导致任务执行时间变长的原因之一。任务调度是指将任务分配到不同的计算资源上进行执行的过程。在MaxCompute中，您可以使用任务调度功能来控制任务的执行时间和资源分配。

    如果您的任务执行时间从昨天开始变得很长，可能是因为调度策略发生了变化或者资源分配不足。以下是一些建议来解决这个问题：

    1. 检查任务调度策略：确保您的任务调度策略是合理的，并且与您的计算需求相匹配。您可以查看MaxCompute的文档或联系技术支持以获取更多关于任务调度的信息。

    2. 调整资源分配：根据您的任务需求和计算能力，合理分配计算资源。例如，增加计算节点的数量或提高每个计算节点的资源配置。

    3. 优化SQL查询：检查您的SQL查询是否存在性能问题，如低效的JOIN操作、大量的数据筛选等。优化查询可以提高任务的执行效率，从而减少任务的执行时间。

    4. 监控任务执行情况：使用MaxCompute提供的监控工具来实时查看任务的执行情况。这可以帮助您及时发现并解决问题，例如资源不足或调度策略不当等问题。

    已喜欢 已反对

  3. 在您的截图中显示了MaxCompute任务调度部分的详细信息，其中包含了以下几方面：

    1. 实例ID：此任务的唯一标识。
    2. 开始时间和结束时间：此任务开始和结束的时间点。
    3. 状态：目前任务的执行状态，包括等待、运行中、已完成等。
    4. 成功次数：成功执行的次数。
    5. 总运行时间：任务总耗时，包括数据准备、预处理、数据读取、数据处理、结果输出等多个阶段的时间。
    6. CPU时间：CPU消耗的时间。
    7. 内存占用：任务执行过程中消耗的内存大小。
    8. I/O读取：读取的数据量。
    9. I/O写入：写入的数据量。

    基于以上信息，我们可以分析出以下原因：

    1. 任务可能被延迟或停滞，所以总运行时间变长。
    2. 资源占用较高，如CPU、内存等。
    3. 数据量较大，I/O读取和写入时间较长。
    已喜欢 已反对