请教一个机器学习PAI的问题将data pipeline分离到其它机器的方案呢?就是datacc吗?[阿里云机器学习PAI]

有没有将data pipeline分离到其它机器的方案呢?就是datacc吗?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 在阿里云机器学习PAI中,如果您需要将data pipeline分离到其他机器上,则可以考虑使用数据集成服务DataWorks(原名DataWorks)。DataWorks是阿里云提供的一种数据集成、数据开发、数据管理和数据应用的服务,支持广泛的数据源和数据类型,包括结构化和半结构化数据,以及大数据和机器学习等应用场景。

    您可以将数据集成和处理流程定义为一个数据工程,并在DataWorks中执行该数据工程。DataWorks支持分布式计算和分布式存储,可以轻松扩展处理能力和存储容量,而且支持自定义插件和算子,方便灵活的数据集成和开发。另外,DataWorks还提供了可视化的运维监控和数据管理功能,方便您进行数据质量管理和数据安全管理。

    另外,如果您需要使用DataCC来管理Paas的发布和部署,也是可以的。DataCC是一款阿里云的Paas管理平台,提供了完整的自动化发布和部署流程,包括代码构建、自动化测试、发布和回滚等功能。您可以将PAI模型使用的模型代码和模型数据保存在DataWorks中,然后使用DataCC将模型和代码一并打包发布和部署到云服务器或者其他环境中。

  2. 和你描述的类似,加速样本的读取。dataacc是pai上的服务化产品,如果感兴趣欢迎去pai上试用此回答整理自钉群DeepRec用户群