tongchenkeji 发表于：2023-12-4 22:05:000次点击 已关注取消关注 关注 私信 长尾是什么意思？[阿里云] 暂停朗读为您朗读 长尾是什么意思？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 阿里云# 长尾是什么意思？1
vohelonAM 2023-12-21 8:34:09 1 长尾MaxCompute计算长尾问题优化https://help.aliyun.com/zh/maxcompute/videos/maxcompute-long-tail-computing-optimization?spm=a2c4g.11186623.0.i54
穿过生命散发芬芳AM 2023-12-21 8:34:09 2 长尾问题是分布式计算里最常见的问题之一，也是典型的疑难杂症。究其原因，是因为数据分布不均，导致各个节点的工作量不同，整个任务就需要等最慢的节点完成才能完成。处理这类问题的思路就是把工作分给多个Worker去执行，而不是一个Worker单独抗下最重的那份工作。 导致长尾的原因：某些 instance（可能是map, 也可能是reduce） 处理的数据量远远超过其他 instance 处理的数据量，这些instance的运行时长远远超过其他instance的平均运行时长，导致整个任务运行时间超长，造成任务延迟。 ——参考链接。
小周sirAM 2023-12-21 8:34:09 3 长尾问题在分布式计算中非常常见，也是一个典型的疑难杂症。该问题的根本原因是数据分布不均，导致各个节点的工作量不同，整个任务就需要等待最慢的节点完成才能结束。处理长尾问题的一种有效方式是将工作分派给多个Worker进行执行，而不是让一个Worker单独承担最重的工作量。此外，如果遇到Join操作时出现某个Key里的数据特别多的情况，也可能出现长尾问题。在这种情况下，可以考虑使用Mapjoin对小表进行缓存以优化性能。
长尾MaxCompute计算长尾问题优化https://help.aliyun.com/zh/maxcompute/videos/maxcompute-long-tail-computing-optimization?spm=a2c4g.11186623.0.i54
长尾问题是分布式计算里最常见的问题之一，也是典型的疑难杂症。究其原因，是因为数据分布不均，导致各个节点的工作量不同，整个任务就需要等最慢的节点完成才能完成。处理这类问题的思路就是把工作分给多个Worker去执行，而不是一个Worker单独抗下最重的那份工作。
导致长尾的原因：某些 instance（可能是map, 也可能是reduce） 处理的数据量远远超过其他 instance 处理的数据量，这些instance的运行时长远远超过其他instance的平均运行时长，导致整个任务运行时间超长，造成任务延迟。
——参考链接。
长尾问题在分布式计算中非常常见，也是一个典型的疑难杂症。该问题的根本原因是数据分布不均，导致各个节点的工作量不同，整个任务就需要等待最慢的节点完成才能结束。处理长尾问题的一种有效方式是将工作分派给多个Worker进行执行，而不是让一个Worker单独承担最重的工作量。此外，如果遇到Join操作时出现某个Key里的数据特别多的情况，也可能出现长尾问题。在这种情况下，可以考虑使用Mapjoin对小表进行缓存以优化性能。