机器学习PAI现在带有all reduce 的算子是trace不出来的?结果会错?有办法绕过去吗? 如果只想融合下算子 ,除了aot autograd,还有其他方式吗?
以下为热心网友提供的参考意见
如果是只是想测下 fusion,直接用就可以了,dynamo 在 trace 的时候会 break 掉 collective ops。 但社区已经在解决这个问题了,比如这个 RFC:https://github.com/pytorch/pytorch/issues/93173 ,以及这个 unit test:https://github.com/pytorch/pytorch/blob/main/test/distributed/test_inductor_collectives.py 。 ,此回答整理自钉群“BladeDISC用户支持群”