问题1:大数据计算MaxCompute这个是logview,麻烦你帮忙看一下?
问题2:set odps.sql.reshuffle.dynamicpt=false;
set odps.instance.priority=0;
SET odps.stage.reducer.num = 2000;
SET odps.stage.joiner.num = 2000;现在是这些
大数据计算MaxCompute这个是logview,麻烦你帮忙看一下?[阿里云MaxCompute]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
问题1:关于MaxCompute的logview,请提供更具体的信息或问题,以便我能够更好地帮助你。你可以描述一下你遇到的问题、错误信息或需要查看的日志内容,我将尽力提供相应的解答。
问题2:这些是一些MaxCompute的配置参数设置。具体含义如下:
set odps.sql.reshuffle.dynamicpt=false;
:禁用动态分区(Dynamic Partition)重洗操作,在某些复杂查询中会减少洗牌开销,但可能会导致性能下降。set odps.instance.priority=0;
:设置作业实例的优先级,较低的优先级可能会受到高优先级作业的影响。SET odps.stage.reducer.num = 2000;
:设置每个作业阶段的Reducer数量,决定了并行计算的程度。SET odps.stage.joiner.num = 2000;
:设置每个作业阶段的Joiner数量,用于处理Join操作时的并行计算。这些配置参数可以根据具体需求进行调整。请注意,调整这些参数需要谨慎,并且在实际使用中需要根据数据量、作业复杂度和集群资源等因素进行权衡和测试。
回答1:设置reduce和join的worker数量可以再加一些。数据量确实也有点大。
回答2:这两个可以再加一些。
因为执行时间比较长的阶段就是在join阶段和reduce阶段。,此回答整理自钉群“MaxCompute开发者社区2群”