请教一下，机器学习PAI现在有个模型用blade跟trt比，gpu利用率会高20%左右，这个一般怎么分析一下？nsys可以看到有些matmul的kernel选择跟trt是不同的
机器学习PAI现在有个模型用blade跟trt比，gpu利用率会高20%左右，这个一般怎么分析一下？[阿里云机器学习PAI]
「点点赞赏，手留余香」
还没有人赞赏，快来当第一个赞赏的人吧！
=====这是一个广告位，招租中，联系qq 78315851====
同尘云，您身边的云智能顾问
请教一下，机器学习PAI现在有个模型用blade跟trt比，gpu利用率会高20%左右，这个一般怎么分析一下？nsys可以看到有些matmul的kernel选择跟trt是不同的
可以考虑以下几点：
计算密集型操作的优化：通过对matmul等计算密集型操作进行优化，可以提高GPU计算利用率，从而加速模型推理。
算法选择的优化：通过使用更优秀的算法，可以减少GPU计算资源的浪费，从而提高GPU利用率。
并行计算的优化：通过使用并行计算的方式，可以充分利用GPU的多个计算核心，从而提高计算效率和GPU利用率。
这个把batch size从1024改成512之后，gpu利用率降下来了，此回答整理自钉群“BladeDISC用户支持群”