机器学习PAI数据在maxcompute上,如何用阿里云上租的机器训练?[阿里云机器学习PAI]

问题一:机器学习PAI数据在maxcompute上,如何用阿里云上租的机器训练?这有什么不用下载数据的办法吗? 问题二:没有开通PAI,就只能下载了?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 问题1:

    在阿里云上训练机器学习模型,可以使用MaxCompute进行数据存储和计算,以下是使用MaxCompute训练模型的步骤:

    将数据上传到MaxCompute中存储。

    在阿里云上创建一台云服务器(可以是ECS或GPU实例),并安装相应的机器学习框架和工具,例如TensorFlow、PyTorch等。

    连接到MaxCompute数据源,并使用机器学习框架中的API从MaxCompute中加载数据。

    训练模型并保存模型参数。

    可以使用为您的模型创建的推理服务,将已经保存好的模型参数部署到云上进行预测。

    另外,如果您不想下载数据,可以直接使用DataWorks来处理MaxCompute上的数据。您可以在DataWorks中创建机器学习任务进行训练模型,然后将模型参数导出并部署到云上进行预测。

    问题2:

    如果您没有开通PAI服务,则无法使用PAI提供的云上计算资源进行训练。但是,您可以使用阿里云提供的其他服务来训练机器学习模型,例如MaxCompute、ECS或GPU实例等。

    1. 如果你的机器学习 PAI 数据在阿里云的 MaxCompute 上存储,可以使用 MaxCompute 的 SDK 从 MaxCompute 中读取数据,然后导入到你租用的阿里云机器上进行训练。MaxCompute 的 SDK 提供了多种编程语言的接口,例如 Java、Python、Go 等,你可以根据自己的编程语言和技能进行选择和操作。更具体的操作步骤和示例可以参考阿里云官方文档。

    如果你的机器学习 PAI 数据过大,不能全部读取到阿里云的机器中,可以使用分布式计算框架,例如 MapReduce 或 Spark 等,将数据并行地从 MaxCompute 中读取到多台机器中进行训练。

    1. 如果你还没有开通机器学习 PAI 服务,就只能从 MaxCompute 中把数据下载到本地进行训练。你可以使用 MaxCompute 的 Tunnel 工具,将 MaxCompute 中的数据下载到本地,然后通过你本地的计算机进行训练。Tunnel 工具也提供了多种编程语言的使用接口,例如 Java、Python、Go 等,也可以根据自己的编程语言和技能进行选择和操作。更具体的操作步骤和示例也可以参考阿里云官方文档。
  2. 针对问题一的回答:要么 1.在MC上用paicmd训练 https://easyrec.readthedocs.io/en/latest/quick_start/mc_tutorial.html

    1. 要么就是下载mc tunnel download。。。 https://help.aliyun.com/document_detail/27833.html https://easyrec.readthedocs.io/en/latest/quick_start/local_tutorial.html 针对问题二的回答:没有开通,可以下载到服务器上和单机训练一样。开通PAI,资源使用都是和MC或者云服务器一致的,分布式训练的链路体验会比较,此回答整理自钉群“【EasyRec】推荐算法交流群”