tongchenkeji 发表于:2023-1-3 14:22:430次点击 已关注取消关注 关注 私信 如果kafka topic收到与kafka connector sql字段不符的记录,导致flink[阿里云Kafka] 暂停朗读为您朗读 如果kafka topic收到与kafka connector sql字段不符的记录,导致flink sql作业反序列化报错,该怎么办呢? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 消息队列Kafka版# Kafka333# SQL1285# 云消息队列 Kafka 版375# 实时计算 Flink版3179# 流计算2236# 消息中间件1371
认真学习的heartAM 2023-11-27 9:40:11 2 我建议你可以试试下面我总结的几点: 1. 尝试使用Flink的Schema Evolution功能,它可以自动处理字段类型变化,以及增加或删除字段。 2. 尝试使用Flink的TypeInformation功能,它可以检测Kafka topic中的记录,并自动调整Flink SQL作业的反序列化类型。 3. 尝试使用Kafka Connector的Schema Registry功能,它可以检测Kafka topic中的记录,并自动调整Flink SQL作业的反序列化类型。 4. 尝试使用Kafka Connector的Data Validation功能,它可以检测Kafka topic中的记录,并自动拒绝不符合要求的记录。
https://blog.51cto.com/u_15080019/2653841 自定义反序列化类
我建议你可以试试下面我总结的几点: 1. 尝试使用Flink的Schema Evolution功能,它可以自动处理字段类型变化,以及增加或删除字段。 2. 尝试使用Flink的TypeInformation功能,它可以检测Kafka topic中的记录,并自动调整Flink SQL作业的反序列化类型。 3. 尝试使用Kafka Connector的Schema Registry功能,它可以检测Kafka topic中的记录,并自动调整Flink SQL作业的反序列化类型。 4. 尝试使用Kafka Connector的Data Validation功能,它可以检测Kafka topic中的记录,并自动拒绝不符合要求的记录。