请问提交flink任务到yarn运行报这个错是什么原因导致的?[阿里云实时计算 Flink版]

请问提交flink任务到yarn运行报这个错是什么原因导致的?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 根据您提供的信息,使用 Flink 提交任务到 Yarn 中运行时报错,这种情况可能是由多种原因导致的。以下是可能的原因和对应的解决方法:

    1. 资源不足

    如果 Yarn 中可用的资源不足,就会导致启动 Flink 任务失败。您可以检查 Yarn 中可用的资源是否足够,并适当调整 Flink 任务的资源请求。可以使用以下命令检查 Yarn 中的可用资源:

    yarn top

    1. Yarn 队列配额不足

    如果 Yarn 中的队列配额不足,也可能导致 Flink 任务无法启动。您需要联系管理员进行调整。可以使用以下命令检查 Yarn 中的可用队列配额:

    yarn queue -status *

    1. Flink 任务配置错误

    如果在 Flink 任务配置中没有正确地指定资源信息,也会导致任务启动失败。在提交 Flink 任务时,需要指定所需的 container 资源以及其他参数。例如:

    flink run -yn 4 -ys 4 -c your.main.class your.jar arg1 arg2 arg3

    其中,-yn 和 -ys 参数分别指定 Yarn 的 container 数量和 slot 数量,这些参数需要根据 Yarn 中可用资源进行设置。如果参数设置不正确,也会导致 Flink 任务启动失败。您可以重新检查和修改 Flink 任务配置,并重新提交任务。

    1. Yarn Configuration 配置错误

    如果在 Yarn Configuration 中没有正确地指定节点资源信息,也会导致 Flink 任务启动失败。。

    1. 其他原因

    Flink 任务启动失败还可能是由于其他原因引起的,例如网络问题、文件权限、版本不兼容等问题。在排查时,可以查看 Flink 和 Yarn 的相关日志,以便更好地定位问题。

    推荐的排查步骤如下:

    1. 查看 Flink 和 Yarn 的相关日志;
    2. 检查 Yarn 中可用的资源数量和配额;
    3. 检查 Flink 任务配置信息,如 container 资源、参数设置等;
    4. 确认 Yarn Configuration 是否正确、文件权限是否正确。
  2. 看提示不是说 你没有足够的副本不能保存 1. hdfs设置问题 你写入的文件没有满足 2. 丢失副本了,此回答整理自钉群“【③群】Apache Flink China社区”

  3. 错误原因:最后一个block没有足够的副本数,文件关闭失败