tongchenkeji 发表于:2023-10-18 20:18:080次点击 已关注取消关注 关注 私信 Flink 现在支持ob了么?[阿里云实时计算 Flink版] 暂停朗读为您朗读 Flink 现在支持ob了么? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236
sun20AM 2023-11-27 18:28:36 1 Flink目前并不直接支持Oracle Binary Log(OB)。但是,你可以通过使用第三方的CDC工具(如Debezium、Canal等)将OB转换为Flink可以接受的格式(如Avro、JSON等),然后再使用Flink进行处理。 以下是一种可能的方法: 使用Debezium或Canal等工具从Oracle数据库的Binary Log捕获变化。 使用Kafka将捕获的变化数据发布出去。 使用Flink的Kafka Connector从Kafka中读取数据。 对读取到的数据进行处理。 这种方式的优点是可以利用Flink的强大功能(如窗口计算、状态管理等)对数据进行处理,而且可以通过Kafka的分区策略和Flink的并行度来优化性能。
Star时光AM 2023-11-27 18:28:36 2 是的,Flink现在支持Apache ORC(Optimized Row Columnar)格式。Apache ORC是一种列式存储格式,它支持高效的数据压缩和列级别的数据处理,适合存储和处理大规模的数据。
Flink目前并不直接支持Oracle Binary Log(OB)。但是,你可以通过使用第三方的CDC工具(如Debezium、Canal等)将OB转换为Flink可以接受的格式(如Avro、JSON等),然后再使用Flink进行处理。
以下是一种可能的方法:
使用Debezium或Canal等工具从Oracle数据库的Binary Log捕获变化。
使用Kafka将捕获的变化数据发布出去。
使用Flink的Kafka Connector从Kafka中读取数据。
对读取到的数据进行处理。
这种方式的优点是可以利用Flink的强大功能(如窗口计算、状态管理等)对数据进行处理,而且可以通过Kafka的分区策略和Flink的并行度来优化性能。
是的,Flink现在支持Apache ORC(Optimized Row Columnar)格式。Apache ORC是一种列式存储格式,它支持高效的数据压缩和列级别的数据处理,适合存储和处理大规模的数据。
支持了哈。此回答整理自钉群“实时计算Flink产品交流群”