tongchenkeji 发表于:2023-4-25 16:59:590次点击 已关注取消关注 关注 私信 机器学习PAIdeeprec 可以读hdfs上的数据吗? 还是需要在容器中再加上hdfs的相关jar[阿里云机器学习PAI] 暂停朗读为您朗读 机器学习PAIdeeprec 可以读hdfs上的数据吗? 还是需要在容器中再加上hdfs的相关jar包 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# Java948# 容器895# 机器学习深度学习1219
wljslmzAM 2023-11-28 3:05:28 1 阿里云机器学习PAI DeepRec平台是可以读取HDFS上的数据的,无需再在容器中添加HDFS相关的jar包。您可以在PAI控制台或者PAI CLI中使用HDFS路径来指定数据路径,例如: hdfs://your-hdfs-path/data.csv 在使用HDFS时,请确保您的PAI集群和HDFS集群之间的网络连接正常,并且您的PAI集群和HDFS集群之间已经建立了相应的访问权限。如果您遇到了无法从HDFS上读取数据的问题,可以检查一下网络连接和访问权限是否正常,或者尝试使用其他的数据源来进行测试。
阿里云机器学习PAI DeepRec平台是可以读取HDFS上的数据的,无需再在容器中添加HDFS相关的jar包。您可以在PAI控制台或者PAI CLI中使用HDFS路径来指定数据路径,例如:
在使用HDFS时,请确保您的PAI集群和HDFS集群之间的网络连接正常,并且您的PAI集群和HDFS集群之间已经建立了相应的访问权限。如果您遇到了无法从HDFS上读取数据的问题,可以检查一下网络连接和访问权限是否正常,或者尝试使用其他的数据源来进行测试。
DeepRec没有在编译的时候支持,你可以使用PAIIO读取,此回答整理自钉群“DeepRec用户群”