tongchenkeji 发表于：2023-11-20 7:51:020次点击 已关注取消关注 关注 私信 DataWorks在PyODPS节点中调用第三方包依赖开源的三方包？[阿里云DataWorks] 暂停朗读为您朗读 DataWorks在PyODPS节点中调用第三方包依赖开源的三方包？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 DataWorks# DataWorks3343# 大数据开发治理平台 DataWorks3946
vohelonAM 2023-11-27 21:06:32 1 在PyODPS节点中调用第三方包https://help.aliyun.com/zh/dataworks/use-cases/use-a-pyodps-node-to-reference-a-third-party-package?spm=a2c4g.11186623.0.i133 本文为您介绍在依赖普通的Python脚本和开源三方包的场景下，如何使用DataWorks PyODPS节点调用第三方包。 使用限制在PyODPS节点中调用第三方包仅支持使用独享调度资源组。创建及使用独享调度资源组，详情请参见独享调度资源组。DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。请避免在PyODPS节点中写入过多的数据处理代码。详情请参见高效使用PyODPS最佳实践。如果您发现有Got killed报错，即表明内存使用超限，进程被中止。因此，请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务（除to_pandas外）不受此限制。非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。由于兼容性原因，在DataWorks中，options.tunnel.use_instance_tunnel默认设置为False。如果需要全局开启instance tunnel，需要手动将该值设置为True。
小周sirAM 2023-11-27 21:06:32 2 是的，DataWorks PyODPS节点支持调用第三方开源包，但需要遵循一些规则： 支持的三方包：只有部分开源的Python第三方包是受支持的，您可以查看官方文档或论坛来获取更多信息。 版本要求：建议您使用官方推荐的版本或最新版本，以免出现兼容性问题。 包管理器：DataWorks PyODPS节点默认使用pip作为包管理器，因此您需要熟悉它的使用方法。 安全性：在使用第三方开源包时，请注意不要引入恶意软件或其他安全隐患。 为了更好地支持第三方包，您可以考虑以下几种方式： 自己构建虚拟环境：您可以创建一个虚拟环境，并在里面安装所需的三方包，以避免污染全局环境。 使用容器：使用Docker等容器技术，将所需的第三方包打包到容器中，以确保安全性。
sun20AM 2023-11-27 21:06:32 3 是的，DataWorks在PyODPS节点中调用第三方包时，需要依赖开源的三方包。这些三方包通常包括数据处理、分析、可视化等工具，如NumPy、Pandas、Matplotlib等。在使用这些三方包之前，需要先安装它们，并在代码中导入相应的模块。
在PyODPS节点中调用第三方包https://help.aliyun.com/zh/dataworks/use-cases/use-a-pyodps-node-to-reference-a-third-party-package?spm=a2c4g.11186623.0.i133
本文为您介绍在依赖普通的Python脚本和开源三方包的场景下，如何使用DataWorks PyODPS节点调用第三方包。
使用限制
在PyODPS节点中调用第三方包仅支持使用独享调度资源组。创建及使用独享调度资源组，详情请参见独享调度资源组。
DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。请避免在PyODPS节点中写入过多的数据处理代码。详情请参见高效使用PyODPS最佳实践。
如果您发现有Got killed报错，即表明内存使用超限，进程被中止。因此，请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务（除to_pandas外）不受此限制。
非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。
由于兼容性原因，在DataWorks中，options.tunnel.use_instance_tunnel默认设置为False。如果需要全局开启instance tunnel，需要手动将该值设置为True。
是的，DataWorks PyODPS节点支持调用第三方开源包，但需要遵循一些规则：
为了更好地支持第三方包，您可以考虑以下几种方式：
是的，DataWorks在PyODPS节点中调用第三方包时，需要依赖开源的三方包。这些三方包通常包括数据处理、分析、可视化等工具，如NumPy、Pandas、Matplotlib等。在使用这些三方包之前，需要先安装它们，并在代码中导入相应的模块。