哪位好汉在用flink 1.16.2提交任务的时候用yarn-application模式提交任务?
不存在欸换成-t yarn-per-job分分钟提交成功
哪位好汉在用flink 1.16.2提交任务的时候用yarn-application模式提交任务?![阿里云实时计算 Flink版]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
哪位好汉在用flink 1.16.2提交任务的时候用yarn-application模式提交任务?
不存在欸换成-t yarn-per-job分分钟提交成功
在 Flink 1.16.2 中,可以使用 Yarn Application 模式来提交 Flink 任务。下面是使用 Yarn Application 模式提交 Flink 任务的步骤:
编写 Flink 任务代码,并将其打包成 jar 包。
将 Flink 的 bin 目录添加到系统的 PATH 环境变量中。
使用 flink run-application 命令提交 Flink 任务,例如:
haml
Copy
flink run-application
–target yarn-application
–detached
–name my-flink-job
–classpath file:///path/to/my-job.jar
–yarnconfiguration yarn-site.xml
–yarnqueue my-queue
–yarnslots 4
–yarnjobmanagermemory 1024m
–yarntaskmanagermemory 2048m
–yarnapplicationType ApacheFlink
–args “–input input.txt –output output.txt”
在这个命令中,–target 参数指定为 yarn-application,–classpath 参数指定为打包后的 jar 包路径,–yarnconfiguration 参数指定为 Yarn 的配置文件(例如 yarn-site.xml),–yarnqueue 参数指定为提交任务的队列名称,–yarnslots 参数指定为任务的并行度,–yarnjobmanagermemory 参数指定为 JobManager 的内存大小,–yarntaskmanagermemory 参数指定为 TaskManager 的内存大小,–yarnapplicationType 参数指定为 ApacheFlink,–args 参数指定为任务的命令行参数。
使用 –detached 参数可以将任务提交到 Yarn 集群后立即返回,并在后台运行。如果不使用 –detached 参数,则任务将会在前台运行,直到任务完成或者被中断。
使用 yarn application -list 命令查看已提交的 Yarn Application,例如:
Copy
yarn application -list
在输出中可以看到已提交的 Yarn Application 信息,包括 Application ID、名称、状态等。
根据您的描述,您似乎遇到了在使用 Flink 1.16.2 提交任务时,使用
yarn-application
模式提交任务的问题。实际上,在 Flink 中并没有名为yarn-application
的模式可以直接提交任务。对于 Flink on YARN,有两种常见的提交模式:
1. YARN Session 模式:这是默认的模式,也是最常用的模式。在该模式下,您可以使用以下命令将 Flink 作业提交到 YARN:
2. YARN Per-Job 模式:在该模式下,每次提交任务都会启动一个新的 YARN 应用程序。您可以使用以下命令将 Flink 作业以 Per-Job 模式提交到 YARN:
请注意,以上命令中的
和
参数需要根据您的环境和资源配置进行调整。如果您想在 Flink 1.16.2 上使用 YARN 模式提交任务,请尝试使用上述提到的两种模式之一。
yarn-per-job
是一种常见的模式,可以根据您的需求选择合适的提交模式。