机器学习PAI基于sd 训练的脚本 改成训练大模型的网络比如小点的1.3B的 一般可以跑起来吗?[阿里云]

机器学习PAI基于sd 训练的脚本 改成训练大模型的网络比如小点的1.3B的 一般可以跑起来吗?你们有跑通的例子参考吗?

以下为热心网友提供的参考意见

一段时间以前用dynamo + disc backend 跑过 llama7b finetune,但效果不是很好,主要受限于 dynamo 没有办法 trace collective ops ,此回答整理自钉群“BladeDISC用户支持群”

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====