请问下, 有没有什么方法能够限制 flink 消费 kafka 的速度?[阿里云实时计算 Flink版]

请问下, 有没有什么方法能够 限制 flink 消费 kafka 的速度?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
tongchenkeji @ 同尘科技 2023/3/27

请问下, 有没有什么方法能够限制 flink 消费 kafka 的速度?[阿里云实时计算 Flink版]

请问下, 有没有什么方法能够 限制 flink 消费 kafka 的速度? 0 收藏
扫描二维码继续阅读
false
给undefined打赏
2
5
10
20
50
¥0
您的当前余额:¥0
=====这是一个广告位,招租中,联系qq 78315851====
false
付费内容
付款金额
¥0
您的当前余额:¥0
2 条回复 A 作者 M 管理员
    1. flink不是自带限流 FlinkConnectorRateLimitter
    2. 自己用guava 实现限流
    3. 配置kafka的消费参数 让他每次获取的少一些,获取时间长一些
    4. 随便在kafka后面加个算子 sleep 1毫秒 用被压 来限制 此回答整理自钉群“【③群】Apache Flink China社区”
  1. 您好,可以参考这篇文章限制速度:https://blog.csdn.net/m0_57320261/article/details/127277118。

  2. 可以调整 fetch.max.bytes 参数来控制单次获取数据的最大消息数。还可以调整 max.poll.records 参数来控制单次 poll 调用返回的最大消息数。如果处理逻辑很轻量,可以适当提高该值。

问题反馈
您没有权限发布私信
发起一个您感兴趣的内容
您没有权限发布内容,请购买会员或者提升权限。

忘记密码?找回
已有帐号?登录