tongchenkeji 发表于:2023-4-25 17:21:180次点击 已关注取消关注 关注 私信 机器学习PAI使用blade遇到超过pb限制的问题,请问有参数可以绕过去吗?[阿里云机器学习PAI] 暂停朗读为您朗读 机器学习PAI使用blade遇到超过pb限制的问题,请问有参数可以绕过去吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# 人工智能平台 PAI1410# 机器学习深度学习1219
微笑向日葵AM 2023-11-28 3:09:01 1 看是在那个阶段出现的pb限制问题,新版本的bladedisc应该只有在tf圈图后导出子图编译时会使用pb,bladedisc编译完成后结果不会用pb来存储。这种情况下原始的pb应该就超过的2GB?(如果子图就超过了的话),一种可能的workaround方式时不freeze graph,这样const就不会被编译。另外老版本的bladedisc会使用pb来存储一部分编译后的结果,这个也会有可能超过2GB的限制,如果是这个问题,升级bladedisc应该可以解决,此回答整理自钉群“BladeDISC用户支持群”
魏红斌AM 2023-11-28 3:09:01 2 在 Blade 模型转换工具中存在由于 protobuf 存储文件大小限制而出现的问题,这个限制是 2 GB 大小。 如果您的模型超过了这个限制,请尝试分割模型为较小的部分,然后使用 Blade 进行转换。此外,您还可以考虑使用其他格式来存储和加载模型,例如 ONNX 或 TensorFlow 等。这些格式与 Blade 兼容,并且不会受到 protobuf 文件大小限制的影响。 需要注意的是,由于 Blade 是一个开源的工具,您可以自己进行修改和定制。如果您有能力进行编程和算法优化,可以通过更改 Blade 的源代码来解决这个问题。但是,这需要消耗大量的时间和精力,并且需要一定的编程技能。
看是在那个阶段出现的pb限制问题,新版本的bladedisc应该只有在tf圈图后导出子图编译时会使用pb,bladedisc编译完成后结果不会用pb来存储。这种情况下原始的pb应该就超过的2GB?(如果子图就超过了的话),一种可能的workaround方式时不freeze graph,这样const就不会被编译。另外老版本的bladedisc会使用pb来存储一部分编译后的结果,这个也会有可能超过2GB的限制,如果是这个问题,升级bladedisc应该可以解决,此回答整理自钉群“BladeDISC用户支持群”
在 Blade 模型转换工具中存在由于 protobuf 存储文件大小限制而出现的问题,这个限制是 2 GB 大小。
如果您的模型超过了这个限制,请尝试分割模型为较小的部分,然后使用 Blade 进行转换。此外,您还可以考虑使用其他格式来存储和加载模型,例如 ONNX 或 TensorFlow 等。这些格式与 Blade 兼容,并且不会受到 protobuf 文件大小限制的影响。
需要注意的是,由于 Blade 是一个开源的工具,您可以自己进行修改和定制。如果您有能力进行编程和算法优化,可以通过更改 Blade 的源代码来解决这个问题。但是,这需要消耗大量的时间和精力,并且需要一定的编程技能。