tongchenkeji 发表于:2023-1-29 13:08:120次点击 已关注取消关注 关注 私信 请问结合Blade和TensorRT Plugin优化模型主要流程是怎样的?[阿里云机器学习PAI] 暂停朗读为您朗读 请问结合Blade和TensorRT Plugin优化模型主要流程是怎样的? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# 人工智能平台 PAI1410
晨光永不消逝AM 2023-11-28 2:50:09 1 您好,流程如下: 1.步骤一:创建带有TensorRT Plugin的PyTorch模型 使用TensorRT Plugin实现RetinaNet的后处理部分。 2.步骤二:调用Blade优化模型 调用blade.optimize接口优化模型,并保存优化后的模型。 3.步骤三:加载运行优化后的模型 经过对优化前后的模型进行性能测试,如果对结果满意,可以加载优化后的模型进行推理。
认真学习的heartAM 2023-11-28 2:50:09 2 1.使用Blade进行模型转换,将模型转换成TensorRT的支持的格式。 2.使用TensorRT Plugin对转换后的模型进行优化,可以使用TensorRT的高效算法和组件来提升模型性能。 3.将优化后的模型部署到生产环境中,在阿里云上运行。
您好,流程如下:
1.步骤一:创建带有TensorRT Plugin的PyTorch模型
使用TensorRT Plugin实现RetinaNet的后处理部分。
2.步骤二:调用Blade优化模型
调用blade.optimize接口优化模型,并保存优化后的模型。
3.步骤三:加载运行优化后的模型
经过对优化前后的模型进行性能测试,如果对结果满意,可以加载优化后的模型进行推理。
1.使用Blade进行模型转换,将模型转换成TensorRT的支持的格式。
2.使用TensorRT Plugin对转换后的模型进行优化,可以使用TensorRT的高效算法和组件来提升模型性能。
3.将优化后的模型部署到生产环境中,在阿里云上运行。