机器学习PAI理论上应是支持从hdfs上说数据呀, 好像并没有显式用–config=nohdfs，怎么回事？
机器学习PAI理论上应是支持从hdfs上说数据呀, 好像并没有显式，怎么回事？[阿里云机器学习PAI]
「点点赞赏，手留余香」
还没有人赞赏，快来当第一个赞赏的人吧！
tongchenkeji @ 同尘科技 2023/4/25
机器学习PAI理论上应是支持从hdfs上说数据呀, 好像并没有显式，怎么回事？[阿里云机器学习PAI]
机器学习PAI理论上应是支持从hdfs上说数据呀, 好像并没有显式用–config=nohdfs，怎么回事？
0 收藏
扫描二维码继续阅读
false
给undefined打赏
2元
5元
10元
20元
50元
¥0
您的当前余额：¥0
阿里云机器学习PAI理论上是支持从HDFS上读取数据的。您可以在PAI Studio或者PAI CLI中使用HDFS的路径来指定数据路径。具体来说，您可以使用hdfs://开头的路径来指定HDFS上的数据，例如：
如果您遇到了无法从HDFS上读取数据的问题，可能是由于您没有正确配置HDFS的访问权限或者网络连接不稳定等原因导致的。您可以检查一下您的HDFS配置和网络连接是否正常，或者尝试使用其他的数据源来进行测试。
编译开了的话，你在容器里另外配置好libhdfs.so的LD_LIBRARY_PATH的话应该就可以直接用dataset读，此回答整理自钉群“DeepRec用户群”