请问结合Blade和TensorRT Plugin优化模型主要流程是怎样的?[阿里云机器学习PAI]

请问结合Blade和TensorRT Plugin优化模型主要流程是怎样的?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 您好,流程如下:

    1.步骤一:创建带有TensorRT Plugin的PyTorch模型

    使用TensorRT Plugin实现RetinaNet的后处理部分。

    2.步骤二:调用Blade优化模型

    调用blade.optimize接口优化模型,并保存优化后的模型。

    3.步骤三:加载运行优化后的模型

    经过对优化前后的模型进行性能测试,如果对结果满意,可以加载优化后的模型进行推理。

  2. 1.使用Blade进行模型转换,将模型转换成TensorRT的支持的格式。

    2.使用TensorRT Plugin对转换后的模型进行优化,可以使用TensorRT的高效算法和组件来提升模型性能。

    3.将优化后的模型部署到生产环境中,在阿里云上运行。