请问spark引擎是可以直接访问大数据计算MaxCompute表的么?[阿里云MaxCompute]

请问spark引擎是可以直接访问大数据计算MaxCompute表的么?我尝试了spark2.3也不行

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 可以访问,
    本地local模式:https://help.aliyun.com/zh/maxcompute/user-guide/running-modes?spm=a2c4g.11186623.0.0.6396f54eubRv1b#section-1tq-j9h-c6m

    或者打成jar包放到DataWorks的spark节点上:https://help.aliyun.com/zh/maxcompute/user-guide/running-modes?spm=a2c4g.11186623.0.0.6396f54eubRv1b#section-uqe-uwt-q0b,此回答整理自钉群“MaxCompute开发者社区2群”

  2. 确实,Spark引擎可以访问大数据计算MaxCompute表。为了实现这一操作,需要借助于Spark Connector这个工具,通过调用Storage API来访问MaxCompute。具体来说,您可以使用OdpsOps对象的readTable方法将MaxCompute中的表数据加载到Spark中。

    此外,MaxCompute Spark也是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景。

    但需要注意的是,目前Spark Connector只能使用独享Tunnel并发资源组,不能使用共享资源组,并且不支持读写JSON数据类型的数据。同时,在使用Spark引擎访问MaxCompute表时,需要先确保已开通MaxCompute服务并创建了MaxCompute项目。