机器学习PA如何指定使用最优的训练的ckpt?[阿里云机器学习PAI]

机器学习PAI在ODPS上使用PAI命令调用easyrec进行evaluate的时候,如何指定使用最优的训练的ckpt?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 在ODPS上使用PAI命令调用easyrec进行evaluate的时候,可以通过在命令中指定-Dcheckpoint_path参数来使用最优的训练的ckpt。例如,可以使用以下命令指定使用oss://easyrec/ckpt/MultiTower/model.ckpt-1000作为checkpoint_path:
    pai -name easyrec -project algo_platform -Dcheckpoint_path=oss://easyrec/ckpt/MultiTower/model.ckpt-1000 -D…(其他参数) evaluate,此回答整理自钉群“【EasyRec】推荐算法交流群”

  2. 在PAI-EasyRec中,在 ODPS 上调用 evaluate 命令时指定最优的训练 checkpoint 文件,可以通过以下方式实现:

    1. 在训练结束后,在提交 EasyRec 训练任务时指定模型保存路径,并将训练输出的 checkpoint 文件保存到该路径下。这可以通过在 train_config 中指定 save_model_path 参数来实现。
    train_config:  save_model_path: >
    1. 在评估时,将 evaluate 的 save_model_path 参数设置为保存最优 checkpoint 文件的路径。例如:
    pai-easyrec evaluate --task_type=train_and_evaluate --job_id= --save_model_path= ...

    这样,EasyRec 就会在评估时自动加载最优的 checkpoint 文件进行评估。