大佬,Flink中你那个资源申请不到怎么解决的?那个配置,任务还是yarn,你那边给的多少呢[阿里云实时计算 Flink版]

大佬,Flink中你那个资源申请不到怎么解决的?那个配置,任务还是yarn,你那边给的多少呢

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 在 Flink 中,如果您的任务在 YARN 上运行,您可以通过以下方式来调整任务的资源分配:
    在 flink-conf.yaml 文件中设置默认的 JobManager 和 TaskManager 内存和 CPU:
    stylus
    Copy

    JobManager 内存和 CPU

    jobmanager.memory.process.size: 1024m
    jobmanager.cpu.cores: 1

    TaskManager 内存和 CPU

    taskmanager.memory.process.size: 2048m
    taskmanager.cpu.cores: 2
    以上配置将默认为 JobManager 分配 1GB 的内存和 1 个 CPU 核心,为 TaskManager 分配 2GB 的内存和 2 个 CPU 核心。如果您的任务需要更多的资源,可以相应地增加这些值。
    在提交任务时,通过 –jobmanager.memory.process.size、–jobmanager.cpu.cores、–taskmanager.memory.process.size 和 –taskmanager.cpu.cores 参数来调整 JobManager 和 TaskManager 的资源分配:
    stylus
    Copy
    ./bin/flink run –jobmanager.memory.process.size 2048m
    –jobmanager.cpu.cores 2
    –taskmanager.memory.process.size 4096m
    –taskmanager.cpu.cores 4
    /path/to/your/job.jar
    以上命令将为 JobManager 分配 2GB 的内存和 2 个 CPU 核心,为 TaskManager 分配 4GB 的内存和 4 个 CPU 核心。如果您的任务需要更多的资源,可以相应地增加这些值。

  2. 增加资源,yarn,我的给的多 总内存100G,够用就行你看你任务数量大概是多少 然后你每次提交的任务给了多少g算一下大概就知道要配多少了,此回答整理自钉群“【③群】Apache Flink China社区”