tongchenkeji 发表于:2023-3-27 13:44:560次点击 已关注取消关注 关注 私信 请问下, 有没有什么方法能够限制 flink 消费 kafka 的速度?[阿里云实时计算 Flink版] 暂停朗读为您朗读 请问下, 有没有什么方法能够 限制 flink 消费 kafka 的速度? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# Kafka333# 云消息队列 Kafka 版375# 实时计算 Flink版3179# 流计算2236# 消息中间件1371
爱回答的三好学生AM 2023-11-27 18:47:32 1 flink不是自带限流 FlinkConnectorRateLimitter 自己用guava 实现限流 配置kafka的消费参数 让他每次获取的少一些,获取时间长一些 随便在kafka后面加个算子 sleep 1毫秒 用被压 来限制 此回答整理自钉群“【③群】Apache Flink China社区”
晨光永不消逝AM 2023-11-27 18:47:32 2 您好,可以参考这篇文章限制速度:https://blog.csdn.net/m0_57320261/article/details/127277118。
引号AM 2023-11-27 18:47:32 3 可以调整 fetch.max.bytes 参数来控制单次获取数据的最大消息数。还可以调整 max.poll.records 参数来控制单次 poll 调用返回的最大消息数。如果处理逻辑很轻量,可以适当提高该值。
您好,可以参考这篇文章限制速度:https://blog.csdn.net/m0_57320261/article/details/127277118。
可以调整 fetch.max.bytes 参数来控制单次获取数据的最大消息数。还可以调整 max.poll.records 参数来控制单次 poll 调用返回的最大消息数。如果处理逻辑很轻量,可以适当提高该值。