tongchenkeji 发表于:2023-4-25 17:03:360次点击 已关注取消关注 关注 私信 机器学习PAI理论上应是支持从hdfs上说数据呀, 好像并没有显式,怎么回事?[阿里云机器学习PAI] 暂停朗读为您朗读 机器学习PAI理论上应是支持从hdfs上说数据呀, 好像并没有显式用–config=nohdfs,怎么回事? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# 人工智能平台 PAI1410# 机器学习深度学习1219
wljslmzAM 2023-11-28 3:05:43 1 阿里云机器学习PAI理论上是支持从HDFS上读取数据的。您可以在PAI Studio或者PAI CLI中使用HDFS的路径来指定数据路径。具体来说,您可以使用hdfs://开头的路径来指定HDFS上的数据,例如: hdfs://your-hdfs-path/data.csv 如果您遇到了无法从HDFS上读取数据的问题,可能是由于您没有正确配置HDFS的访问权限或者网络连接不稳定等原因导致的。您可以检查一下您的HDFS配置和网络连接是否正常,或者尝试使用其他的数据源来进行测试。
微笑向日葵AM 2023-11-28 3:05:43 2 编译开了的话,你在容器里另外配置好libhdfs.so的LD_LIBRARY_PATH的话应该就可以直接用dataset读,此回答整理自钉群“DeepRec用户群”
阿里云机器学习PAI理论上是支持从HDFS上读取数据的。您可以在PAI Studio或者PAI CLI中使用HDFS的路径来指定数据路径。具体来说,您可以使用hdfs://开头的路径来指定HDFS上的数据,例如:
如果您遇到了无法从HDFS上读取数据的问题,可能是由于您没有正确配置HDFS的访问权限或者网络连接不稳定等原因导致的。您可以检查一下您的HDFS配置和网络连接是否正常,或者尝试使用其他的数据源来进行测试。
编译开了的话,你在容器里另外配置好libhdfs.so的LD_LIBRARY_PATH的话应该就可以直接用dataset读,此回答整理自钉群“DeepRec用户群”