tongchenkeji 发表于:2023-11-19 15:08:040次点击 已关注取消关注 关注 私信 机器学习PA如何指定使用最优的训练的ckpt?[阿里云机器学习PAI] 暂停朗读为您朗读 机器学习PAI在ODPS上使用PAI命令调用easyrec进行evaluate的时候,如何指定使用最优的训练的ckpt? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 人工智能平台 PAI1410# 分布式计算2827# 机器学习深度学习1219
xin在这AM 2023-11-28 2:46:06 1 在ODPS上使用PAI命令调用easyrec进行evaluate的时候,可以通过在命令中指定-Dcheckpoint_path参数来使用最优的训练的ckpt。例如,可以使用以下命令指定使用oss://easyrec/ckpt/MultiTower/model.ckpt-1000作为checkpoint_path:pai -name easyrec -project algo_platform -Dcheckpoint_path=oss://easyrec/ckpt/MultiTower/model.ckpt-1000 -D…(其他参数) evaluate,此回答整理自钉群“【EasyRec】推荐算法交流群”
小周sirAM 2023-11-28 2:46:06 2 在PAI-EasyRec中,在 ODPS 上调用 evaluate 命令时指定最优的训练 checkpoint 文件,可以通过以下方式实现: 在训练结束后,在提交 EasyRec 训练任务时指定模型保存路径,并将训练输出的 checkpoint 文件保存到该路径下。这可以通过在 train_config 中指定 save_model_path 参数来实现。 train_config: save_model_path: > 在评估时,将 evaluate 的 save_model_path 参数设置为保存最优 checkpoint 文件的路径。例如: pai-easyrec evaluate --task_type=train_and_evaluate --job_id= --save_model_path= ... 这样,EasyRec 就会在评估时自动加载最优的 checkpoint 文件进行评估。
在ODPS上使用PAI命令调用easyrec进行evaluate的时候,可以通过在命令中指定-Dcheckpoint_path参数来使用最优的训练的ckpt。例如,可以使用以下命令指定使用oss://easyrec/ckpt/MultiTower/model.ckpt-1000作为checkpoint_path:
pai -name easyrec -project algo_platform -Dcheckpoint_path=oss://easyrec/ckpt/MultiTower/model.ckpt-1000 -D…(其他参数) evaluate,此回答整理自钉群“【EasyRec】推荐算法交流群”
在PAI-EasyRec中,在 ODPS 上调用 evaluate 命令时指定最优的训练 checkpoint 文件,可以通过以下方式实现:
这样,EasyRec 就会在评估时自动加载最优的 checkpoint 文件进行评估。