tongchenkeji 发表于:2023-4-19 17:13:200次点击 已关注取消关注 关注 私信 请问提交flink任务到yarn运行报这个错是什么原因导致的?[阿里云实时计算 Flink版] 暂停朗读为您朗读 请问提交flink任务到yarn运行报这个错是什么原因导致的? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236# 资源调度143
wljslmzAM 2023-11-27 18:24:39 1 根据您提供的信息,使用 Flink 提交任务到 Yarn 中运行时报错,这种情况可能是由多种原因导致的。以下是可能的原因和对应的解决方法: 资源不足 如果 Yarn 中可用的资源不足,就会导致启动 Flink 任务失败。您可以检查 Yarn 中可用的资源是否足够,并适当调整 Flink 任务的资源请求。可以使用以下命令检查 Yarn 中的可用资源: yarn top Yarn 队列配额不足 如果 Yarn 中的队列配额不足,也可能导致 Flink 任务无法启动。您需要联系管理员进行调整。可以使用以下命令检查 Yarn 中的可用队列配额: yarn queue -status * Flink 任务配置错误 如果在 Flink 任务配置中没有正确地指定资源信息,也会导致任务启动失败。在提交 Flink 任务时,需要指定所需的 container 资源以及其他参数。例如: flink run -yn 4 -ys 4 -c your.main.class your.jar arg1 arg2 arg3 其中,-yn 和 -ys 参数分别指定 Yarn 的 container 数量和 slot 数量,这些参数需要根据 Yarn 中可用资源进行设置。如果参数设置不正确,也会导致 Flink 任务启动失败。您可以重新检查和修改 Flink 任务配置,并重新提交任务。 Yarn Configuration 配置错误 如果在 Yarn Configuration 中没有正确地指定节点资源信息,也会导致 Flink 任务启动失败。。 其他原因 Flink 任务启动失败还可能是由于其他原因引起的,例如网络问题、文件权限、版本不兼容等问题。在排查时,可以查看 Flink 和 Yarn 的相关日志,以便更好地定位问题。 推荐的排查步骤如下: 查看 Flink 和 Yarn 的相关日志; 检查 Yarn 中可用的资源数量和配额; 检查 Flink 任务配置信息,如 container 资源、参数设置等; 确认 Yarn Configuration 是否正确、文件权限是否正确。
微笑向日葵AM 2023-11-27 18:24:39 2 看提示不是说 你没有足够的副本不能保存 1. hdfs设置问题 你写入的文件没有满足 2. 丢失副本了,此回答整理自钉群“【③群】Apache Flink China社区”
根据您提供的信息,使用 Flink 提交任务到 Yarn 中运行时报错,这种情况可能是由多种原因导致的。以下是可能的原因和对应的解决方法:
如果 Yarn 中可用的资源不足,就会导致启动 Flink 任务失败。您可以检查 Yarn 中可用的资源是否足够,并适当调整 Flink 任务的资源请求。可以使用以下命令检查 Yarn 中的可用资源:
如果 Yarn 中的队列配额不足,也可能导致 Flink 任务无法启动。您需要联系管理员进行调整。可以使用以下命令检查 Yarn 中的可用队列配额:
如果在 Flink 任务配置中没有正确地指定资源信息,也会导致任务启动失败。在提交 Flink 任务时,需要指定所需的 container 资源以及其他参数。例如:
其中,-yn 和 -ys 参数分别指定 Yarn 的 container 数量和 slot 数量,这些参数需要根据 Yarn 中可用资源进行设置。如果参数设置不正确,也会导致 Flink 任务启动失败。您可以重新检查和修改 Flink 任务配置,并重新提交任务。
如果在 Yarn Configuration 中没有正确地指定节点资源信息,也会导致 Flink 任务启动失败。。
Flink 任务启动失败还可能是由于其他原因引起的,例如网络问题、文件权限、版本不兼容等问题。在排查时,可以查看 Flink 和 Yarn 的相关日志,以便更好地定位问题。
推荐的排查步骤如下:
看提示不是说 你没有足够的副本不能保存 1. hdfs设置问题 你写入的文件没有满足 2. 丢失副本了,此回答整理自钉群“【③群】Apache Flink China社区”
错误原因:最后一个block没有足够的副本数,文件关闭失败