想问下机器学习PAI,如何本地用triton部署 pai-tf训练的模型?[阿里云]

想问下机器学习PAI,如何本地用triton部署 pai-tf训练的模型?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 首先,您可以使用PAI-TF训练模型,并导出为SaveModel通用模型格式。然后,为了在本地使用Triton部署这个模型,您需要首先安装Triton Inference Server。接下来,通过Triton的API接口,将刚才导出的模型上传到Triton服务器中。最后,使用Triton客户端工具进行模型推理,这一步可以验证您的模型是否成功部署并能正确工作。

  2. 本地部署用trition提供的镜像把savedmodel拉起来就可以的 ,此回答整理自钉群“机器学习PAI交流群(答疑@值班)”