tongchenkeji 发表于:2023-11-22 19:53:320次点击 已关注取消关注 关注 私信 Flink这个资源管理在哪里呀?[阿里云] 暂停朗读为您朗读 Flink这个资源管理在哪里呀? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 阿里云# 实时计算 Flink版3179# 流计算2236# 资源管理5
sun20AM 2023-12-3 11:43:30 1 Flink的资源管理主要涉及两级资源:集群资源和Flink自身资源。集群资源是指硬件资源,包括CPU、内存、GPU等,由资源管理框架(例如Yarn、K8s、Mesos)来进行管理,Flink通过这些框架来申请和释放资源。另一方面,Flink自身资源涉及到每个子任务的资源使用,这部分资源由Flink自身进行管理。 在自顶向下的资源管理中,我们配置的是整个Job的资源,而Flink通过Slot Sharing机制控制Slot的数量和负载均衡,通过调整Task Manager / Slot的资源,以适应一个Slot Sharing Group的需求。 需要注意的是,ResourceManager作为统一的集群资源管理器,用于管理整个集群的计算资源,包括 CPU资源、内存资源等。ResourceManager负责向集群资源管理器申请容器资源启动TaskManager实例。
Flink的资源管理主要涉及两级资源:集群资源和Flink自身资源。集群资源是指硬件资源,包括CPU、内存、GPU等,由资源管理框架(例如Yarn、K8s、Mesos)来进行管理,Flink通过这些框架来申请和释放资源。另一方面,Flink自身资源涉及到每个子任务的资源使用,这部分资源由Flink自身进行管理。
在自顶向下的资源管理中,我们配置的是整个Job的资源,而Flink通过Slot Sharing机制控制Slot的数量和负载均衡,通过调整Task Manager / Slot的资源,以适应一个Slot Sharing Group的需求。
需要注意的是,ResourceManager作为统一的集群资源管理器,用于管理整个集群的计算资源,包括 CPU资源、内存资源等。ResourceManager负责向集群资源管理器申请容器资源启动TaskManager实例。
你这个是权限问题。此回答整理自钉群“实时计算Flink产品交流群”