tongchenkeji 发表于:2023-2-7 14:35:010次点击 已关注取消关注 关注 私信 想监控 flink的job中的所有状态内容以及有效期情况,有啥办法呢么?[阿里云实时计算 Flink版] 暂停朗读为您朗读 想监控 flink的job中的所有状态内容以及有效期情况,有啥办法呢么? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236# 监控737
认真学习的heartAM 2023-11-27 18:20:42 1 可以在Flink Web UI中查看Job的状态,查看Job的运行时间,查看Job的checkpoint状态,以及查看Job的有效期情况。 还可以使用Flink的命令行工具,如flink list checkpoints,来查看当前存在的checkpoint,以及查看checkpoint的有效期情况。
穿过生命散发芬芳AM 2023-11-27 18:20:42 2 Flink Metric内置的监控涵盖面丰富,支持: 1. 系统级别的监控:CPU状态信息、内存状态信息等(默认关闭,需要更改配置文件打开,且lib目录下需要添加相关依赖jar包) 2. JVM级别的监控:CPU占用率、堆内存使用情况、线程数量、GC已经类加载数量。 3. Flink job/Task/Operator级别的监控:checkPoint相关(耗时、大小、数量)、算子吞吐量、水位线。内置Connector监控,若使用FlinkKafkaConsumer,可以监控job消费kafka速度、offset的LAG值。这一级别的监控也支持自定义。
可以在Flink Web UI中查看Job的状态,查看Job的运行时间,查看Job的checkpoint状态,以及查看Job的有效期情况。 还可以使用Flink的命令行工具,如flink list checkpoints,来查看当前存在的checkpoint,以及查看checkpoint的有效期情况。
Flink Metric内置的监控涵盖面丰富,支持: 1. 系统级别的监控:CPU状态信息、内存状态信息等(默认关闭,需要更改配置文件打开,且lib目录下需要添加相关依赖jar包) 2. JVM级别的监控:CPU占用率、堆内存使用情况、线程数量、GC已经类加载数量。 3. Flink job/Task/Operator级别的监控:checkPoint相关(耗时、大小、数量)、算子吞吐量、水位线。内置Connector监控,若使用FlinkKafkaConsumer,可以监控job消费kafka速度、offset的LAG值。这一级别的监控也支持自定义。