tongchenkeji 发表于：2023-4-3 22:45:110次点击 已关注取消关注 关注 私信 pyodps引用第三方包，上传时超过100兆，如何解决?[阿里云DataWorks] 暂停朗读为您朗读 pyodps引用第三方包，上传时超过100兆，如何解决? 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 DataWorks# 大数据开发治理平台 DataWorks3946
wljslmzAM 2023-11-27 21:02:35 1 可以使用阿里云的对象存储服务(OSS)来存储第三方包，然后在DataWorks中引用。将第三方包上传到OSS后，用户可以通过“数据集成”功能中的OSS Reader组件进行读取和使用。
vohelonAM 2023-11-27 21:02:35 3 在使用pyodps上传第三方包时，如果超过100兆的限制，可以采取以下解决方案： 将第三方包拆分成多个小文件，分别上传到ODPS中，并在代码中引用这些小文件。 将第三方包上传到OSS中，并在代码中引用OSS中的文件。 将第三方包打包成zip或tar.gz格式，然后上传到ODPS中，并在代码中解压缩使用。 使用ODPS的资源管理功能，将第三方包上传到资源库中，并在代码中引用资源库中的文件。 通过以上解决方案，可以避免上传超过100兆的第三方包时出现的问题。
可以使用阿里云的对象存储服务(OSS)来存储第三方包，然后在DataWorks中引用。将第三方包上传到OSS后，用户可以通过“数据集成”功能中的OSS Reader组件进行读取和使用。
楼主你好，一般对于大于100MB的文件,建议采用分片上传的方法,每次进行分片上传都建议重新new一个新的OSS实例。
在使用pyodps上传第三方包时，如果超过100兆的限制，可以采取以下解决方案：
将第三方包拆分成多个小文件，分别上传到ODPS中，并在代码中引用这些小文件。
将第三方包上传到OSS中，并在代码中引用OSS中的文件。
将第三方包打包成zip或tar.gz格式，然后上传到ODPS中，并在代码中解压缩使用。
使用ODPS的资源管理功能，将第三方包上传到资源库中，并在代码中引用资源库中的文件。
通过以上解决方案，可以避免上传超过100兆的第三方包时出现的问题。