tongchenkeji 发表于:2023-5-29 21:01:160次点击 已关注取消关注 关注 私信 机器学习PAI数据在maxcompute上,如何用阿里云上租的机器训练?[阿里云机器学习PAI] 暂停朗读为您朗读 问题一:机器学习PAI数据在maxcompute上,如何用阿里云上租的机器训练?这有什么不用下载数据的办法吗? 问题二:没有开通PAI,就只能下载了? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 人工智能平台 PAI1410# 分布式计算2827# 机器学习深度学习1219
ReaganYoungAM 2023-11-28 2:54:41 1 问题1: 在阿里云上训练机器学习模型,可以使用MaxCompute进行数据存储和计算,以下是使用MaxCompute训练模型的步骤: 将数据上传到MaxCompute中存储。 在阿里云上创建一台云服务器(可以是ECS或GPU实例),并安装相应的机器学习框架和工具,例如TensorFlow、PyTorch等。 连接到MaxCompute数据源,并使用机器学习框架中的API从MaxCompute中加载数据。 训练模型并保存模型参数。 可以使用为您的模型创建的推理服务,将已经保存好的模型参数部署到云上进行预测。 另外,如果您不想下载数据,可以直接使用DataWorks来处理MaxCompute上的数据。您可以在DataWorks中创建机器学习任务进行训练模型,然后将模型参数导出并部署到云上进行预测。 问题2: 如果您没有开通PAI服务,则无法使用PAI提供的云上计算资源进行训练。但是,您可以使用阿里云提供的其他服务来训练机器学习模型,例如MaxCompute、ECS或GPU实例等。
vohelonAM 2023-11-28 2:54:41 2 如果你的机器学习 PAI 数据在阿里云的 MaxCompute 上存储,可以使用 MaxCompute 的 SDK 从 MaxCompute 中读取数据,然后导入到你租用的阿里云机器上进行训练。MaxCompute 的 SDK 提供了多种编程语言的接口,例如 Java、Python、Go 等,你可以根据自己的编程语言和技能进行选择和操作。更具体的操作步骤和示例可以参考阿里云官方文档。 如果你的机器学习 PAI 数据过大,不能全部读取到阿里云的机器中,可以使用分布式计算框架,例如 MapReduce 或 Spark 等,将数据并行地从 MaxCompute 中读取到多台机器中进行训练。 如果你还没有开通机器学习 PAI 服务,就只能从 MaxCompute 中把数据下载到本地进行训练。你可以使用 MaxCompute 的 Tunnel 工具,将 MaxCompute 中的数据下载到本地,然后通过你本地的计算机进行训练。Tunnel 工具也提供了多种编程语言的使用接口,例如 Java、Python、Go 等,也可以根据自己的编程语言和技能进行选择和操作。更具体的操作步骤和示例也可以参考阿里云官方文档。
微笑向日葵AM 2023-11-28 2:54:41 3 针对问题一的回答:要么 1.在MC上用paicmd训练 https://easyrec.readthedocs.io/en/latest/quick_start/mc_tutorial.html 要么就是下载mc tunnel download。。。 https://help.aliyun.com/document_detail/27833.html https://easyrec.readthedocs.io/en/latest/quick_start/local_tutorial.html 针对问题二的回答:没有开通,可以下载到服务器上和单机训练一样。开通PAI,资源使用都是和MC或者云服务器一致的,分布式训练的链路体验会比较,此回答整理自钉群“【EasyRec】推荐算法交流群”
问题1:
在阿里云上训练机器学习模型,可以使用MaxCompute进行数据存储和计算,以下是使用MaxCompute训练模型的步骤:
将数据上传到MaxCompute中存储。
在阿里云上创建一台云服务器(可以是ECS或GPU实例),并安装相应的机器学习框架和工具,例如TensorFlow、PyTorch等。
连接到MaxCompute数据源,并使用机器学习框架中的API从MaxCompute中加载数据。
训练模型并保存模型参数。
可以使用为您的模型创建的推理服务,将已经保存好的模型参数部署到云上进行预测。
另外,如果您不想下载数据,可以直接使用DataWorks来处理MaxCompute上的数据。您可以在DataWorks中创建机器学习任务进行训练模型,然后将模型参数导出并部署到云上进行预测。
问题2:
如果您没有开通PAI服务,则无法使用PAI提供的云上计算资源进行训练。但是,您可以使用阿里云提供的其他服务来训练机器学习模型,例如MaxCompute、ECS或GPU实例等。
如果你的机器学习 PAI 数据过大,不能全部读取到阿里云的机器中,可以使用分布式计算框架,例如 MapReduce 或 Spark 等,将数据并行地从 MaxCompute 中读取到多台机器中进行训练。
针对问题一的回答:要么 1.在MC上用paicmd训练 https://easyrec.readthedocs.io/en/latest/quick_start/mc_tutorial.html