机器学习PAI使用blade遇到超过pb限制的问题,请问有参数可以绕过去吗?[阿里云机器学习PAI]

机器学习PAI使用blade遇到超过pb限制的问题,请问有参数可以绕过去吗?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 看是在那个阶段出现的pb限制问题,新版本的bladedisc应该只有在tf圈图后导出子图编译时会使用pb,bladedisc编译完成后结果不会用pb来存储。这种情况下原始的pb应该就超过的2GB?(如果子图就超过了的话),一种可能的workaround方式时不freeze graph,这样const就不会被编译。另外老版本的bladedisc会使用pb来存储一部分编译后的结果,这个也会有可能超过2GB的限制,如果是这个问题,升级bladedisc应该可以解决,此回答整理自钉群“BladeDISC用户支持群”

  2. 在 Blade 模型转换工具中存在由于 protobuf 存储文件大小限制而出现的问题,这个限制是 2 GB 大小。

    如果您的模型超过了这个限制,请尝试分割模型为较小的部分,然后使用 Blade 进行转换。此外,您还可以考虑使用其他格式来存储和加载模型,例如 ONNX 或 TensorFlow 等。这些格式与 Blade 兼容,并且不会受到 protobuf 文件大小限制的影响。

    需要注意的是,由于 Blade 是一个开源的工具,您可以自己进行修改和定制。如果您有能力进行编程和算法优化,可以通过更改 Blade 的源代码来解决这个问题。但是,这需要消耗大量的时间和精力,并且需要一定的编程技能。