tongchenkeji 发表于:2023-4-17 19:05:000次点击 已关注取消关注 关注 私信 请教一个机器学习PAI的问题将data pipeline分离到其它机器的方案呢?就是datacc吗?[阿里云机器学习PAI] 暂停朗读为您朗读 有没有将data pipeline分离到其它机器的方案呢?就是datacc吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# 人工智能平台 PAI1410
wljslmzAM 2023-11-27 9:52:45 1 在阿里云机器学习PAI中,如果您需要将data pipeline分离到其他机器上,则可以考虑使用数据集成服务DataWorks(原名DataWorks)。DataWorks是阿里云提供的一种数据集成、数据开发、数据管理和数据应用的服务,支持广泛的数据源和数据类型,包括结构化和半结构化数据,以及大数据和机器学习等应用场景。 您可以将数据集成和处理流程定义为一个数据工程,并在DataWorks中执行该数据工程。DataWorks支持分布式计算和分布式存储,可以轻松扩展处理能力和存储容量,而且支持自定义插件和算子,方便灵活的数据集成和开发。另外,DataWorks还提供了可视化的运维监控和数据管理功能,方便您进行数据质量管理和数据安全管理。 另外,如果您需要使用DataCC来管理Paas的发布和部署,也是可以的。DataCC是一款阿里云的Paas管理平台,提供了完整的自动化发布和部署流程,包括代码构建、自动化测试、发布和回滚等功能。您可以将PAI模型使用的模型代码和模型数据保存在DataWorks中,然后使用DataCC将模型和代码一并打包发布和部署到云服务器或者其他环境中。
游客4j2ktpz6mpxjeAM 2023-11-27 9:52:45 2 和你描述的类似,加速样本的读取。dataacc是pai上的服务化产品,如果感兴趣欢迎去pai上试用此回答整理自钉群DeepRec用户群
在阿里云机器学习PAI中,如果您需要将data pipeline分离到其他机器上,则可以考虑使用数据集成服务DataWorks(原名DataWorks)。DataWorks是阿里云提供的一种数据集成、数据开发、数据管理和数据应用的服务,支持广泛的数据源和数据类型,包括结构化和半结构化数据,以及大数据和机器学习等应用场景。
您可以将数据集成和处理流程定义为一个数据工程,并在DataWorks中执行该数据工程。DataWorks支持分布式计算和分布式存储,可以轻松扩展处理能力和存储容量,而且支持自定义插件和算子,方便灵活的数据集成和开发。另外,DataWorks还提供了可视化的运维监控和数据管理功能,方便您进行数据质量管理和数据安全管理。
另外,如果您需要使用DataCC来管理Paas的发布和部署,也是可以的。DataCC是一款阿里云的Paas管理平台,提供了完整的自动化发布和部署流程,包括代码构建、自动化测试、发布和回滚等功能。您可以将PAI模型使用的模型代码和模型数据保存在DataWorks中,然后使用DataCC将模型和代码一并打包发布和部署到云服务器或者其他环境中。
和你描述的类似,加速样本的读取。dataacc是pai上的服务化产品,如果感兴趣欢迎去pai上试用此回答整理自钉群DeepRec用户群