tongchenkeji 发表于:2023-11-12 7:51:490次点击 已关注取消关注 关注 私信 请问spark引擎是可以直接访问大数据计算MaxCompute表的么?[阿里云MaxCompute] 暂停朗读为您朗读 请问spark引擎是可以直接访问大数据计算MaxCompute表的么?我尝试了spark2.3也不行 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# MaxCompute2748# Spark97# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据1264
xin在这AM 2023-11-27 18:34:43 1 可以访问,本地local模式:https://help.aliyun.com/zh/maxcompute/user-guide/running-modes?spm=a2c4g.11186623.0.0.6396f54eubRv1b#section-1tq-j9h-c6m 或者打成jar包放到DataWorks的spark节点上:https://help.aliyun.com/zh/maxcompute/user-guide/running-modes?spm=a2c4g.11186623.0.0.6396f54eubRv1b#section-uqe-uwt-q0b,此回答整理自钉群“MaxCompute开发者社区2群”
sun20AM 2023-11-27 18:34:43 2 确实,Spark引擎可以访问大数据计算MaxCompute表。为了实现这一操作,需要借助于Spark Connector这个工具,通过调用Storage API来访问MaxCompute。具体来说,您可以使用OdpsOps对象的readTable方法将MaxCompute中的表数据加载到Spark中。 此外,MaxCompute Spark也是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景。 但需要注意的是,目前Spark Connector只能使用独享Tunnel并发资源组,不能使用共享资源组,并且不支持读写JSON数据类型的数据。同时,在使用Spark引擎访问MaxCompute表时,需要先确保已开通MaxCompute服务并创建了MaxCompute项目。
可以访问,
本地local模式:https://help.aliyun.com/zh/maxcompute/user-guide/running-modes?spm=a2c4g.11186623.0.0.6396f54eubRv1b#section-1tq-j9h-c6m
或者打成jar包放到DataWorks的spark节点上:https://help.aliyun.com/zh/maxcompute/user-guide/running-modes?spm=a2c4g.11186623.0.0.6396f54eubRv1b#section-uqe-uwt-q0b,此回答整理自钉群“MaxCompute开发者社区2群”
确实,Spark引擎可以访问大数据计算MaxCompute表。为了实现这一操作,需要借助于Spark Connector这个工具,通过调用Storage API来访问MaxCompute。具体来说,您可以使用OdpsOps对象的readTable方法将MaxCompute中的表数据加载到Spark中。
此外,MaxCompute Spark也是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景。
但需要注意的是,目前Spark Connector只能使用独享Tunnel并发资源组,不能使用共享资源组,并且不支持读写JSON数据类型的数据。同时,在使用Spark引擎访问MaxCompute表时,需要先确保已开通MaxCompute服务并创建了MaxCompute项目。