请问flink写入kafka 报错。怎么处理? Failed to send data to Kafka: Failed to allocate memory within the configured max blocking time 60000 ms.
参数如下
request.timeout.ms=700000
batch.size=10
linger.ms=50
connections.max.idle.ms=700000
linger.ms=100
max.request.size=1048576
retries=5
timeout.ms=600000
topic查看详情是正常的,在控制台可以生产和消费
这个错误是由于在配置的max blocking time(最大阻塞时间)内无法分配内存导致的。你可以尝试以下方法来解决这个问题:
增加
request.timeout.ms
的值。这个参数表示请求超时时间,你可以将其增加到一个更大的值,例如300000毫秒(5分钟)。减少
batch.size
的值。这个参数表示每个批次的大小,你可以将其减小到一个更小的值,例如5或10。增加
connections.max.idle.ms
的值。这个参数表示连接的最大空闲时间,你可以将其增加到一个更大的值,例如1800000毫秒(30分钟)。调整其他相关参数,如
linger.ms
、max.request.size
和retries
等,以找到最佳的参数组合。修改后的参数如下:
尝试应用这些更改后,重新运行Flink程序,看看是否解决了问题。
如果你在将 Flink 数据写入 Kafka 的过程中出现 “Failed to send data to Kafka: Failed to allocate memory within the configured max blocking time 60000 ms”的错误,可能是由于以下几个原因:
这可能是由于以下几个原因引起的: