spark sumbit 这个截图里的参数是必填么?[阿里云云原生数据仓库]

spark sumbit 这个截图里的参数是必填么?spark.adb.roleArn 这个参数里,arn、1234567、adbsparkprocessrole 分别表示什么意思?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 在使用Spark submit向AnalyticDB提交任务时,有一些参数是必须填写的,否则任务无法正常提交。这些必选参数包括:

    –master:指定Spark集群的地址,通常为yarn或者spark://host:port。

    –deploy-mode:指定Spark application的部署模式,有client和cluster两种模式可选。

    –class:指定Spark application的入口类名。

    –name:指定Spark application的名称。

    –jars:如果应用程序需要依赖第三方jar包,则需要指定该参数,并将所需jar包的路径以逗号分隔。

    –driver-memory:指定Driver的内存大小,单位为M/G。

    –executor-memory:指定Executor的内存大小,单位为M/G。

    –num-executors:指定Executor的数量。