版本1.14中遇到一个问题就是简单的source和sink,source并行度是1一直失败是什么原因[阿里云实时计算 Flink版]

版本1.14中遇到一个问题就是简单的source和sink,source并行度是1,sink并行度是40,checkpoint一直失败是什么原因?中间没有状态

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 在阿里云实时计算Flink版(版本1.14)中,如果简单的source并行度为1,sink并行度为40,并且中间没有状态,可能会出现checkpoint一直失败的情况。这种情况通常是由于以下原因导致的:

    1. 连接池过小:如果您在连接数据库、接口等外部资源时使用了连接池,可能会出现连接池过小的情况,导致无法获取连接,从而导致checkpoint失败。建议适当增加连接池的大小或优化连接池的配置。

    2. 网络问题:如果您的sink操作主要是将数据写入外部存储或数据传输到其他计算实例等,可能会出现网络问题,导致数据丢失或传输失败。建议检查网络连接是否正常,并进行必要的优化和调整。

    3. 外部资源故障:如果您的sink操作外部资源出现了故障,如存储访问失败、接口请求超时等,可能会导致checkpoint失败。建议检查对应的外部资源是否正常工作,并进行必要的修复和优化。

    4. 配置问题:如果您的checkpoint配置不合理,可能会导致checkpoint失败。建议检查配置项,保证各个参数设置合理,并进行必要的调整和优化。

  2. 你加一个keyby试下,并行度不一致,下游空转了,有可能导致ck失败,此回答整理自钉群“【③群】Apache Flink China社区”

  3. 如果遇到了简单的 source 和 sink 操作,并且 source 的并行度为 1,而 sink 的并行度为 40,并且 checkpoint 一直失败,可能有以下几种原因:

    1、数据源问题:如果数据源存在问题,例如数据不可用或数据格式不正确,那么 source 操作可能会失败并且 checkpoint 操作也会失败。可以尝试检查您的数据源是否正确并且可用。

    2、数据源和 Flink 集群之间的网络连接问题:如果数据源和 Flink 集群之间的网络连接不稳定或不可用,那么 source 操作可能会失败并且 checkpoint 操作也会失败。可以尝试检查您的网络连接是否正常。

    3、Flink 集群的资源问题:如果 Flink 集群的资源(例如内存、CPU 和 I/O 等)不足,那么 source 操作可能会失败并且 checkpoint 操作也会失败。可以尝试增加 Flink

    4、集群的资源,或者尝试使用更高级别的并行度。

    5、Flink 版本问题:如果使用的是旧版本的 Flink,可能会存在与版本相关的问题。可以尝试升级 Flink 版本,或者尝试使用更新的 Flink 版本。

    总之,要解决 source 和 sink 操作的并行度问题,需要检查您的数据源、网络连接、Flink 集群的资源和版本等因素。如果问题仍然存在,可以尝试使用更高级别的并行度或者升级 Flink 版本。