机器学习PAI现在带有all reduce 的算子是trace不出来的?结果会错?有办法绕过去吗?[阿里云]

机器学习PAI现在带有all reduce 的算子是trace不出来的?结果会错?有办法绕过去吗? 如果只想融合下算子 ,除了aot autograd,还有其他方式吗?

以下为热心网友提供的参考意见

如果是只是想测下 fusion,直接用就可以了,dynamo 在 trace 的时候会 break 掉 collective ops。 但社区已经在解决这个问题了,比如这个 RFC:https://github.com/pytorch/pytorch/issues/93173 ,以及这个 unit test:https://github.com/pytorch/pytorch/blob/main/test/distributed/test_inductor_collectives.py 。 ,此回答整理自钉群“BladeDISC用户支持群”

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====