tongchenkeji 发表于:2023-10-29 20:11:330次点击 已关注取消关注 关注 私信 机器学习PAI如果本地predict,可以直接读oss上的模型文件吗?[阿里云机器学习PAI] 暂停朗读为您朗读 机器学习PAI如果本地predict,可以直接读oss上的模型文件吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# 对象存储1210# 机器学习深度学习1219
sun20AM 2023-11-28 3:06:39 1 机器学习PAI确实支持直接读取OSS上的模型文件进行本地预测。您可以使用通用模型导出组件,将在MaxCompute中训练得到的模型导出到指定的OSS路径。同时,PAI-EasyVision也支持读取OSS文件列表进行预测,并将结果写回OSS文件中。 需要注意的是,您需要先设置好OSS的endpoint、accessId和accessKey等信息,以便连通OSS与PAI。此外,虽然Python在PAI上不支持直接读取OSS的数据,但通过特定的方法还是可以实现的。
小周sirAM 2023-11-28 3:06:39 3 在本地环境上,可以使用 PAI-DSW 直接从 OSS 读取模型文件。但在使用前,需要安装和配置 PAI-DSW 环境,并且需要在 PAI-DSW 中配置正确的访问凭证。首先,在本地安装并配置 PAI-DSW 环境。您可以通过 pip install pai-dsw 命令来安装 PAI-DSW。安装完成后,您可以创建一个新的虚拟环境并在其中激活 DSW。其次,在 DSW 中配置您的 OSS 存储凭据。您可以通过以下命令来配置: dsw configure --backend oss --bucket <your-bucket-name> --access-key-id <your-access-key-id> --access-key-secret <your-access-key-secret> --region <your-region> --host <your-endpoint> 在成功配置凭据后,您可以在本地环境中直接从 OSS 读取模型文件。例如,以下代码可以从 OSS 中读取模型文件: import pai.dsw as dsds.init()model = ds.load("/path/to/model.onnx") 该代码会从 OSS 上指定的路径读取 ONNX 模型文件。您可以使用该模型文件进行预测。请注意,需要确保 OSS 存储凭据已正确配置,否则会出现认证错误。
机器学习PAI确实支持直接读取OSS上的模型文件进行本地预测。您可以使用通用模型导出组件,将在MaxCompute中训练得到的模型导出到指定的OSS路径。同时,PAI-EasyVision也支持读取OSS文件列表进行预测,并将结果写回OSS文件中。
需要注意的是,您需要先设置好OSS的endpoint、accessId和accessKey等信息,以便连通OSS与PAI。此外,虽然Python在PAI上不支持直接读取OSS的数据,但通过特定的方法还是可以实现的。
不能,此回答整理自钉群“【EasyRec】推荐算法交流群”
在本地环境上,可以使用 PAI-DSW 直接从 OSS 读取模型文件。但在使用前,需要安装和配置 PAI-DSW 环境,并且需要在 PAI-DSW 中配置正确的访问凭证。
首先,在本地安装并配置 PAI-DSW 环境。您可以通过
pip install pai-dsw
命令来安装 PAI-DSW。安装完成后,您可以创建一个新的虚拟环境并在其中激活 DSW。其次,在 DSW 中配置您的 OSS 存储凭据。您可以通过以下命令来配置:
在成功配置凭据后,您可以在本地环境中直接从 OSS 读取模型文件。例如,以下代码可以从 OSS 中读取模型文件:
该代码会从 OSS 上指定的路径读取 ONNX 模型文件。您可以使用该模型文件进行预测。请注意,需要确保 OSS 存储凭据已正确配置,否则会出现认证错误。