哪位好汉在用flink 1.16.2提交任务的时候用yarn-application模式提交任务?![阿里云实时计算 Flink版]

哪位好汉在用flink 1.16.2提交任务的时候用yarn-application模式提交任务?
不存在欸换成-t yarn-per-job分分钟提交成功

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 在 Flink 1.16.2 中,可以使用 Yarn Application 模式来提交 Flink 任务。下面是使用 Yarn Application 模式提交 Flink 任务的步骤:

    编写 Flink 任务代码,并将其打包成 jar 包。

    将 Flink 的 bin 目录添加到系统的 PATH 环境变量中。

    使用 flink run-application 命令提交 Flink 任务,例如:

    haml
    Copy
    flink run-application
    –target yarn-application
    –detached
    –name my-flink-job
    –classpath file:///path/to/my-job.jar
    –yarnconfiguration yarn-site.xml
    –yarnqueue my-queue
    –yarnslots 4
    –yarnjobmanagermemory 1024m
    –yarntaskmanagermemory 2048m
    –yarnapplicationType ApacheFlink
    –args “–input input.txt –output output.txt”
    在这个命令中,–target 参数指定为 yarn-application,–classpath 参数指定为打包后的 jar 包路径,–yarnconfiguration 参数指定为 Yarn 的配置文件(例如 yarn-site.xml),–yarnqueue 参数指定为提交任务的队列名称,–yarnslots 参数指定为任务的并行度,–yarnjobmanagermemory 参数指定为 JobManager 的内存大小,–yarntaskmanagermemory 参数指定为 TaskManager 的内存大小,–yarnapplicationType 参数指定为 ApacheFlink,–args 参数指定为任务的命令行参数。

    使用 –detached 参数可以将任务提交到 Yarn 集群后立即返回,并在后台运行。如果不使用 –detached 参数,则任务将会在前台运行,直到任务完成或者被中断。

    使用 yarn application -list 命令查看已提交的 Yarn Application,例如:

    Copy
    yarn application -list
    在输出中可以看到已提交的 Yarn Application 信息,包括 Application ID、名称、状态等。

  2. 根据您的描述,您似乎遇到了在使用 Flink 1.16.2 提交任务时,使用 yarn-application 模式提交任务的问题。实际上,在 Flink 中并没有名为 yarn-application 的模式可以直接提交任务。

    对于 Flink on YARN,有两种常见的提交模式:

    1. YARN Session 模式:这是默认的模式,也是最常用的模式。在该模式下,您可以使用以下命令将 Flink 作业提交到 YARN:

    ./bin/yarn-session.sh -n  -tm 

    2. YARN Per-Job 模式:在该模式下,每次提交任务都会启动一个新的 YARN 应用程序。您可以使用以下命令将 Flink 作业以 Per-Job 模式提交到 YARN:

    ./bin/flink run -m yarn-cluster -yn  -ytm  

    请注意,以上命令中的  和  参数需要根据您的环境和资源配置进行调整。

    如果您想在 Flink 1.16.2 上使用 YARN 模式提交任务,请尝试使用上述提到的两种模式之一。yarn-per-job 是一种常见的模式,可以根据您的需求选择合适的提交模式。