4.2.1 JDBC Sink Connector 如何保证一致性?我们在官网上发现对于 JDBC Sink Connector 的幂等性中有如下解释: 如果定义了主键,JDBC 写入时是能够保证 Upsert 语义的, 如果 DB 不支持 Upsert 语法,则 会退化成 DELETE + INSERT 语义。Upsert query 是原子执行的,可以保证幂等性。 这个在官方文档中也详细描述了更新失败或者存在故障时候如何做出的处理,下面的表格是不同的 DB 对应不同的 Upsert 语法: 因此我们可以通过写入时保证 Upsert 语义,从而保证下游 Sink 端的幂等性,再 Review 一次到 端到端一致性实现条件 4,下游去重也可以通过实现幂等从而实现下游的 Exactly Once 语义。 4.下游去重,应对下游处理完消息后发生 failure,重复接收消息的场景,这种可通过给消息设置 SequcenceId 实现去重,或者下游实现幂等。 官方的文档有提到这个,但是没有说明具体说要怎么解决。
4.2.1 JDBC Sink Connector 如何保证一致性?我们在官网上发现对于 JDBC[阿里云实时计算 Flink版]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!