tongchenkeji 发表于:2023-4-10 16:16:100次点击 已关注取消关注 关注 私信 请问大家dataworks可以通过odpsshell监控oss文件到达吗?[阿里云MaxCompute] 暂停朗读为您朗读 请问大家dataworks可以通过odpsshell监控oss文件到达吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# DataWorks3343# 云原生大数据计算服务 MaxCompute3255# 大数据开发治理平台 DataWorks3946# 对象存储1210# 监控737
DYMMMAM 2023-11-27 18:34:00 1 可以看下DataWorks的shell节点 ,能访问oss。但具体做监控,我理解需要跟其他节点配合,比如赋值节点。此回答整理自钉群“MaxCompute开发者社区2群”
HaydenGuoAM 2023-11-27 18:34:00 2 可以的。 可以通过ODPS SQL语句中的ODPSSHELL函数来执行一些Linux命令。在ODPS SQL语句中使用ODPSSHELL函数,可以实现对oss文件的监控,当文件到达时执行相应的操作,比如加载数据到MaxCompute或者进行一些统计分析。 需要注意的是,在使用ODPSSHELL函数之前,需要先创建好相应的资源以及配置相应的安全组等信息。
可以看下DataWorks的shell节点 ,能访问oss。但具体做监控,我理解需要跟其他节点配合,比如赋值节点。此回答整理自钉群“MaxCompute开发者社区2群”