tongchenkeji 发表于:2023-12-18 8:06:190次点击 已关注取消关注 关注 私信 使用flink实时写入数据库,并发只能是1,如果并行度加大,就会导致行锁,最后就一直等待?[阿里云] 暂停朗读为您朗读 使用flink实时写入数据库,并发只能是1,因为同一条记录会出现多次变化,如果并行度加大,就会导致行锁,最后就一直等待? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 阿里云# 实时计算 Flink版3179# 数据库1310# 流计算2236
小周sirAM 2023-12-21 7:18:18 1 Flink实时写入数据库并发只能是1,这是因为同一条记录可能会出现多次变化。如果并行度加大,就会导致行锁,最后就一直等待。这主要源于Flink在设计JDBC Sink时,出于性能因素考虑,对写入buffer做了默认值设置。 解决这个问题的一种方法是使用事务来控制并发。例如,可以使用Flink的CDC(Change Data Capture)功能结合Doris的Flink Connector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。这样,在高并发场景下,Doris的事务处理能力可以保障ACID特性,支撑Flink秒级的数据写入。
xin在这AM 2023-12-21 7:18:18 2 这个问题好像任何多并行的写入都会出现,可以试试replace + 时间戳比较 ,此回答整理自钉群“【③群】Apache Flink China社区”
Flink实时写入数据库并发只能是1,这是因为同一条记录可能会出现多次变化。如果并行度加大,就会导致行锁,最后就一直等待。这主要源于Flink在设计JDBC Sink时,出于性能因素考虑,对写入buffer做了默认值设置。
解决这个问题的一种方法是使用事务来控制并发。例如,可以使用Flink的CDC(Change Data Capture)功能结合Doris的Flink Connector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。这样,在高并发场景下,Doris的事务处理能力可以保障ACID特性,支撑Flink秒级的数据写入。
这个问题好像任何多并行的写入都会出现,可以试试replace + 时间戳比较 ,此回答整理自钉群“【③群】Apache Flink China社区”