=====这是一个广告位，招租中，联系qq 78315851====
阿里云
云效目前测试用例评审有流程支持吗？有用例评审流程吗？[阿里云]
阿里云
文字识别OCR中这个身份证ocr识别怎么是这样的返回结果?[阿里云]
3 条回复 A 作者 M 管理员

  1. MaxCompute作业性能优化的规范包括：

    1. 数据分区优化。2. 使用数据压缩。3. SQL查询优化（避免全表扫描，减少JOIN操作，利用广播JOIN，简化UDF）。4. 资源调优（调整并发度和worker数量）。5. 处理数据倾斜问题。6. 利用缓存功能。7. 优化任务调度。8. 保持代码质量（简洁SQL语句，错误处理）。9. 使用监控和调优工具分析作业执行情况。10. 持续进行性能优化。
    已喜欢 已反对

  2. 是的，MaxCompute作业性能优化有一套规范。首先，通过MaxCompute租户级别Information Schema的“TASKS_HISTORY”视图，你可以统计查看MaxCompute计算作业的元数据信息，这可以帮助你进行作业审计以及各类统计，指导作业性能和成本优化。其次，在处理大规模分布式作业时，需要避免全表扫描以减少资源浪费，分区应尽量按层级顺序裁剪，分区值尽量常量化以避免不可确定值，如UDF，同时分区值应尽量避免引用列的表达式计算或者子查询。最后，基于查询加速的数仓架构也可用于优化性能，例如使用开源的实时数仓技术基于Flink来实现。以上这些规则和技巧有助于提升MaxCompute作业的执行效率并降低资源消耗。

    已喜欢 已反对

  3. 首先，可以调整每个Join Instance处理的数据量，如果每个Instance处理的数据量较大，耗时较长，可以考虑增大使用这个参数。

    其次，根据具体任务的需求，可以适当调整CPU数目。对于大多数SQL任务来说，一般不需要调整CPU。

    此外，如果Join阶段的Instance有Writer Dumps，可以适当增加内存大小，减少Dumps所花的时间。

    最后，还可以考虑优化Map/Reduce阶段每次都会用到的一些java对象，避免在map/reduce函数里构造，可以放到setup阶段，避免多次构造产生的开销。

    已喜欢 已反对

  4. MaxCompute（原名ODPS）是阿里云的一种大数据处理服务，以下是一些针对MaxCompute作业性能优化的规范和建议：

    1. 数据分区：
      • 对于大型表，使用分区可以提高查询效率。根据访问频率和业务需求，合理设计分区策略，如按日期、地区等维度进行分区。
    2. 数据压缩：
      • 使用MaxCompute支持的压缩格式（如Snappy、Gzip等）可以减少存储空间和提高数据加载速度。
    3. SQL优化：
      • 避免全表扫描：尽量使用WHERE子句限制数据范围。
      • 减少JOIN操作：尽量在数据加载阶段预处理，避免在查询时进行大量JOIN操作。
      • 利用广播JOIN：对于小表JOIN大表的情况，可以考虑使用广播JOIN提高效率。
      • 避免使用复杂的UDF（用户自定义函数）：复杂的UDF可能会导致计算性能下降，尽可能使用内置函数或者简化UDF逻辑。
    4. 资源调优：
      • 根据作业的计算复杂性和数据规模调整任务的并发度和worker数量。
      • 对于长时间运行的任务，考虑使用更大的worker实例类型以提高计算能力。
    5. 数据倾斜处理：
      • 如果发现作业存在数据倾斜问题，可以通过重新设计数据分布、使用DISTRIBUTE BY和COMPUTE STATS等语句来均衡数据分布。
    6. 缓存利用：
      • 对于频繁使用的中间结果或者小表，可以考虑使用MaxCompute的Cache功能进行存储，减少重复计算。
    7. 任务调度优化：
      • 合理安排作业的执行时间，避免高峰期，减少排队等待时间。
      • 对于依赖关系明确的多个任务，可以使用工作流（Workflow）进行编排，提高执行效率。
    8. 监控和调优工具：
      • 利用MaxCompute提供的监控和诊断工具，如DataWorks、ODPS Console等，分析作业的执行情况，找出瓶颈并进行针对性优化。
    9. 代码质量：
      • 保持SQL语句简洁明了，避免冗余或复杂的表达式。
      • 对于错误或异常情况，做好错误处理和日志记录。
    10. 持续优化：
      • 性能优化是一个持续的过程，需要根据实际运行情况和业务变化不断调整和优化。
    已喜欢 已反对