请问zero显存优化只能和trainer配合使用吗?sdp、oss、fsdp显存优化呢?[阿里云机器学习PAI]

请问zero显存优化只能和trainer配合使用吗?sdp、oss、fsdp显存优化呢?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 是的,zero显存优化只能和trainer配合使用,而sdp、oss、fsdp显存优化可以用在无Trainer的代码中使用。

  2. Zero显存优化可以单独使用,也可以和Trainer配合使用。SDP、OSS和FSDPS显存优化也可以单独使用,也可以和Trainer配合使用。