flink 1.13.0版本,我们的原先都是正常的,有人遇到这种情况吗?[阿里云实时计算 Flink版]

有人遇到这种情况吗?flink 1.13.0版本,我们的原先都是正常的,现在升级kafka版本从1.0 升级到3.6版本然后使用生产者 反序列化 空输出 三个简单算子,现在输出算子都打印数据了,证明消费 是没问题的但是界面指标 12分钟了,还是在转圈

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 请检查 Kafka 配置文件,确保您的集群、消费者和服务端口均正确配置。如果您使用的是较高版本的 Kafka,可能需要更新 Flink 的配置。
    此外,请检查您的 Flink 应用是否消耗过多的资源,如 CPU 和内存。如果您的应用程序消耗大量资源,请调整集群资源配置或降低并行度。
    另外,请注意同步 Kafka 中的分区数和并行度,以确保最佳性能。

  2. 这个问题可能是由于Kafka 3.6版本的一些变化导致的。在Kafka 3.6版本中,Kafka Consumer API进行了一些修改,可能会导致Flink Kafka connector的工作方式发生变化。

    以下是一些可能的解决方案:

    1. 检查Kafka Consumer API的版本:确保你的Flink Kafka connector使用的Kafka Consumer API版本与你的Kafka集群兼容。

    2. 检查Kafka Connector配置:确保你的Kafka connector配置正确,特别是关于反序列化的配置。

    3. 更新Flink Kafka connector:如果你的Flink Kafka connector版本过旧,可能需要更新它以适应Kafka的新版本。

    4. 调整并行度:如果你的任务并行度设置得过高,可能会导致任务初始化时间过长。你可以尝试降低并行度,看看是否能解决问题。

    5. 增加超时时间:在某些情况下,增加Flink的任务超时时间(task.timeout)可能会有帮助。

    6. 使用新的Kafka connector:Flink 1.13.0已经支持了新的Kafka connector,你可以尝试使用新的connector看看是否能解决问题。

  3. 我觉得你可以f12看看,那些显示接口的状态先
    ,然后再看怎么排查。,此回答整理自钉群“【③群】Apache Flink China社区”