tongchenkeji 发表于:2023-12-18 8:06:030次点击 已关注取消关注 关注 私信 想问下机器学习PAI,如何本地用triton部署 pai-tf训练的模型?[阿里云] 暂停朗读为您朗读 想问下机器学习PAI,如何本地用triton部署 pai-tf训练的模型? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 阿里云# 人工智能平台 PAI1410# 机器学习深度学习1219
小周sirAM 2023-12-21 7:18:58 1 首先,您可以使用PAI-TF训练模型,并导出为SaveModel通用模型格式。然后,为了在本地使用Triton部署这个模型,您需要首先安装Triton Inference Server。接下来,通过Triton的API接口,将刚才导出的模型上传到Triton服务器中。最后,使用Triton客户端工具进行模型推理,这一步可以验证您的模型是否成功部署并能正确工作。
首先,您可以使用PAI-TF训练模型,并导出为SaveModel通用模型格式。然后,为了在本地使用Triton部署这个模型,您需要首先安装Triton Inference Server。接下来,通过Triton的API接口,将刚才导出的模型上传到Triton服务器中。最后,使用Triton客户端工具进行模型推理,这一步可以验证您的模型是否成功部署并能正确工作。
本地部署用trition提供的镜像把savedmodel拉起来就可以的 ,此回答整理自钉群“机器学习PAI交流群(答疑@值班)”