tongchenkeji 发表于：2023-1-16 19:13:510次点击 已关注取消关注 关注 私信 请问怎么上传数据到OSS呢？[阿里云机器学习PAI] 暂停朗读为您朗读 请问怎么上传数据到OSS呢？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 机器学习PAI# 对象存储1210
晨光永不消逝AM 2023-11-28 2:58:30 1 您好，您可以参照这个如何上传数据的视频。 深度学习算法的数据存储在OSS的Bucket中，因此需要先创建OSS Bucket。建议您将OSS Bucket创建在与深度学习GPU集群相同的地域，从而使用阿里云经典网络进行数据传输，进而使算法运行免收流量费。创建OSS Bucket后，可以在OSS管理控制台创建文件夹、组织数据目录或上传数据。
穿过生命散发芬芳AM 2023-11-28 2:58:30 2 通过OSS文件上传工具或者OSS SDK上传超过5 GB的文件时，存在上传失败或者上传慢的情况，您可以按照本文介绍上传大文件到OSS。 上传方式 – OSS支持单个文件的大小为0到48.8T。当您需要上传大文件或一次性上传较多文件时，若遇到以下两种情况，可以采用多种方式上传大文件到OSS。 – 单个文件超过5GB，且无法通过OSS控制台上传、简单上传、表单上传、追加上传的方式上传单个文件。 文件虽然小于5GB，但网络环境较差，经常因网络原因导致连接超时或连接断开等情况，上传容易失败。 方式一：分片上传或断点续传 适用场景如下： – 单个文件大小超过5 GB。 – 流式上传：当对文件大小还不确定的情况下，就开始上传。比如视频监控等行业的云录像应用。 – 恶劣的网络环境：需要断点续传大文件。如手机端，当出现上传失败的时候，可以对失败的分片进行独立的重试，而不需要重新上传其他的分片。 – 加速上传：要上传到OSS的本地文件很大的时候，可以并行上传多个分片以加快上传速度。 方式二：使用ossbrowser工具上传 ossbrowser工具的使用说明如下： – ossbrowser支持临时授权码登录。 – 当前登录ossbrowser的AK拥有RAM的配置操作权限时，可以使用简化Policy授权。 – 上传、下载文件较多时，可通过修改上传下载的任务数，提高上传、下载速度。 – ossbrowser默认使用分片上传和断点续传上传文件，上传文件最大不能超过48.8 TB。 方式三：使用ossutil工具上传 ossutil工具的使用说明如下： – 可以使用ossutil命令行工具的cp命令上传大文件。 – 可通过–bigfile-threshold 参数控制分片并发上传的文件大小阈值。 – ossutil上传单个或多个大文件时，可以通过-jobs项和-parallel项，控制并发，优化上传性能。 – 如果需要上传大批量的文件（包括大文件）到OSS，也可以使用ossimport工具。当文件数目不是特别多，建议优先使用ossutil。
您好，您可以参照这个如何上传数据的视频。
深度学习算法的数据存储在OSS的Bucket中，因此需要先创建OSS Bucket。建议您将OSS Bucket创建在与深度学习GPU集群相同的地域，从而使用阿里云经典网络进行数据传输，进而使算法运行免收流量费。创建OSS Bucket后，可以在OSS管理控制台创建文件夹、组织数据目录或上传数据。
通过OSS文件上传工具或者OSS SDK上传超过5 GB的文件时，存在上传失败或者上传慢的情况，您可以按照本文介绍上传大文件到OSS。 上传方式 – OSS支持单个文件的大小为0到48.8T。当您需要上传大文件或一次性上传较多文件时，若遇到以下两种情况，可以采用多种方式上传大文件到OSS。 – 单个文件超过5GB，且无法通过OSS控制台上传、简单上传、表单上传、追加上传的方式上传单个文件。 文件虽然小于5GB，但网络环境较差，经常因网络原因导致连接超时或连接断开等情况，上传容易失败。
方式一：分片上传或断点续传 适用场景如下： – 单个文件大小超过5 GB。 – 流式上传：当对文件大小还不确定的情况下，就开始上传。比如视频监控等行业的云录像应用。 – 恶劣的网络环境：需要断点续传大文件。如手机端，当出现上传失败的时候，可以对失败的分片进行独立的重试，而不需要重新上传其他的分片。 – 加速上传：要上传到OSS的本地文件很大的时候，可以并行上传多个分片以加快上传速度。
方式二：使用ossbrowser工具上传 ossbrowser工具的使用说明如下： – ossbrowser支持临时授权码登录。 – 当前登录ossbrowser的AK拥有RAM的配置操作权限时，可以使用简化Policy授权。 – 上传、下载文件较多时，可通过修改上传下载的任务数，提高上传、下载速度。 – ossbrowser默认使用分片上传和断点续传上传文件，上传文件最大不能超过48.8 TB。
方式三：使用ossutil工具上传 ossutil工具的使用说明如下： – 可以使用ossutil命令行工具的cp命令上传大文件。 – 可通过–bigfile-threshold 参数控制分片并发上传的文件大小阈值。 – ossutil上传单个或多个大文件时，可以通过-jobs项和-parallel项，控制并发，优化上传性能。 – 如果需要上传大批量的文件（包括大文件）到OSS，也可以使用ossimport工具。当文件数目不是特别多，建议优先使用ossutil。