tongchenkeji 发表于:2023-11-12 9:17:520次点击 已关注取消关注 关注 私信 容器服务ASK我这边准备把spark 跑在k8s,但是没看到好的文档。有这方面的资料吗?[阿里云容器服务Kubernetes版] 暂停朗读为您朗读 容器服务ASK我这边准备把spark 跑在k8s,但是没看到好的文档。大佬有这方面的资料吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 容器服务Kubernetes版# Kubernetes381# Spark97# 分布式计算2827# 容器895# 容器服务Kubernetes版597# 容器计算服务113
xin在这AM 2023-11-27 9:19:49 1 可以跑容器https://blog.csdn.net/justlpf/article/details/128577422,此回答整理自钉群“Kubernetes社区大群”
vohelonAM 2023-11-27 9:19:49 2 阿里云容器服务Kubernetes版(简称ACK)提供了Spark任务的运行环境Zeppelin支持Spark的4种主流语言,包括Scala、PySpark、R和SQL。Zeppelin中所有语言在同一个Spark Application里,即共享一个SparkContext和SparkSession。例如,您在Scala里注册的table和UDF是可以被其他语言使用的。https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/spark-1?spm=a2c4g.11186623.0.i123#section-u91-f49-8y0 配置Spark在阿里云EMR的数据开发里,Spark解释器配置的是Isolated Per Note模式,也就是说每个Note都有一个独立的Spark Application(每个Note对应一个Yarn App,Zeppelin里使用的是Yarn-Cluster模式)。对于每一个Spark Application,您可以在%spark.conf里配置所有Spark相关的配置选项,具体配置选项,请参见Spark Configuration。 代码示例如下:
可以跑容器https://blog.csdn.net/justlpf/article/details/128577422,此回答整理自钉群“Kubernetes社区大群”
阿里云容器服务Kubernetes版(简称ACK)提供了Spark任务的运行环境
Zeppelin支持Spark的4种主流语言,包括Scala、PySpark、R和SQL。Zeppelin中所有语言在同一个Spark Application里,即共享一个SparkContext和SparkSession。例如,您在Scala里注册的table和UDF是可以被其他语言使用的。https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/spark-1?spm=a2c4g.11186623.0.i123#section-u91-f49-8y0
配置Spark
在阿里云EMR的数据开发里,Spark解释器配置的是Isolated Per Note模式,也就是说每个Note都有一个独立的Spark Application(每个Note对应一个Yarn App,Zeppelin里使用的是Yarn-Cluster模式)。对于每一个Spark Application,您可以在%spark.conf里配置所有Spark相关的配置选项,具体配置选项,请参见Spark Configuration。
代码示例如下: