tongchenkeji 发表于:2023-7-25 20:27:320次点击 已关注取消关注 关注 私信 大佬,Flink中你那个资源申请不到怎么解决的?那个配置,任务还是yarn,你那边给的多少呢[阿里云实时计算 Flink版] 暂停朗读为您朗读 大佬,Flink中你那个资源申请不到怎么解决的?那个配置,任务还是yarn,你那边给的多少呢 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236# 资源调度143
算精通AM 2023-11-27 18:20:39 1 在 Flink 中,如果您的任务在 YARN 上运行,您可以通过以下方式来调整任务的资源分配:在 flink-conf.yaml 文件中设置默认的 JobManager 和 TaskManager 内存和 CPU:stylusCopy JobManager 内存和 CPU jobmanager.memory.process.size: 1024mjobmanager.cpu.cores: 1 TaskManager 内存和 CPU taskmanager.memory.process.size: 2048mtaskmanager.cpu.cores: 2以上配置将默认为 JobManager 分配 1GB 的内存和 1 个 CPU 核心,为 TaskManager 分配 2GB 的内存和 2 个 CPU 核心。如果您的任务需要更多的资源,可以相应地增加这些值。在提交任务时,通过 –jobmanager.memory.process.size、–jobmanager.cpu.cores、–taskmanager.memory.process.size 和 –taskmanager.cpu.cores 参数来调整 JobManager 和 TaskManager 的资源分配:stylusCopy./bin/flink run –jobmanager.memory.process.size 2048m –jobmanager.cpu.cores 2 –taskmanager.memory.process.size 4096m –taskmanager.cpu.cores 4 /path/to/your/job.jar以上命令将为 JobManager 分配 2GB 的内存和 2 个 CPU 核心,为 TaskManager 分配 4GB 的内存和 4 个 CPU 核心。如果您的任务需要更多的资源,可以相应地增加这些值。
xin在这AM 2023-11-27 18:20:39 2 增加资源,yarn,我的给的多 总内存100G,够用就行你看你任务数量大概是多少 然后你每次提交的任务给了多少g算一下大概就知道要配多少了,此回答整理自钉群“【③群】Apache Flink China社区”
在 Flink 中,如果您的任务在 YARN 上运行,您可以通过以下方式来调整任务的资源分配:
在 flink-conf.yaml 文件中设置默认的 JobManager 和 TaskManager 内存和 CPU:
stylus
Copy
JobManager 内存和 CPU
jobmanager.memory.process.size: 1024m
jobmanager.cpu.cores: 1
TaskManager 内存和 CPU
taskmanager.memory.process.size: 2048m
taskmanager.cpu.cores: 2
以上配置将默认为 JobManager 分配 1GB 的内存和 1 个 CPU 核心,为 TaskManager 分配 2GB 的内存和 2 个 CPU 核心。如果您的任务需要更多的资源,可以相应地增加这些值。
在提交任务时,通过 –jobmanager.memory.process.size、–jobmanager.cpu.cores、–taskmanager.memory.process.size 和 –taskmanager.cpu.cores 参数来调整 JobManager 和 TaskManager 的资源分配:
stylus
Copy
./bin/flink run –jobmanager.memory.process.size 2048m
–jobmanager.cpu.cores 2
–taskmanager.memory.process.size 4096m
–taskmanager.cpu.cores 4
/path/to/your/job.jar
以上命令将为 JobManager 分配 2GB 的内存和 2 个 CPU 核心,为 TaskManager 分配 4GB 的内存和 4 个 CPU 核心。如果您的任务需要更多的资源,可以相应地增加这些值。
增加资源,yarn,我的给的多 总内存100G,够用就行你看你任务数量大概是多少 然后你每次提交的任务给了多少g算一下大概就知道要配多少了,此回答整理自钉群“【③群】Apache Flink China社区”