tongchenkeji 发表于：2023-1-27 9:08:020次点击 已关注取消关注 关注 私信 请问zero显存优化只能和trainer配合使用吗？sdp、oss、fsdp显存优化呢？[阿里云机器学习PAI] 暂停朗读为您朗读 请问zero显存优化只能和trainer配合使用吗？sdp、oss、fsdp显存优化呢？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 机器学习PAI# 对象存储1210
认真学习的heartAM 2023-11-28 2:50:22 2 Zero显存优化可以单独使用，也可以和Trainer配合使用。SDP、OSS和FSDPS显存优化也可以单独使用，也可以和Trainer配合使用。
是的，zero显存优化只能和trainer配合使用，而sdp、oss、fsdp显存优化可以用在无Trainer的代码中使用。
Zero显存优化可以单独使用，也可以和Trainer配合使用。SDP、OSS和FSDPS显存优化也可以单独使用，也可以和Trainer配合使用。