tongchenkeji 发表于:2023-12-10 17:49:210次点击 已关注取消关注 关注 私信 Hologres分区表支持实时同步Binlog吗?[阿里云] 暂停朗读为您朗读 Hologres分区表支持实时同步Binlog吗?对 flink 读取Hologres 分区表,现在现象是全量数据可以读取到,增量数据获取不到 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 阿里云# 实时数仓 Hologres548# 实时计算 Flink版3179# 流计算2236
xin在这AM 2023-12-21 8:08:09 1 不支持开启分区表父表的Binlog,请使用非分区表。详见:https://help.aliyun.com/zh/flink/developer-reference/realtime-compute-real-time-consumption-of-hologres-in-flink?spm=a2c4g.11186623.0.i83 ,此回答整理自钉群“实时数仓Hologres交流群”
小周sirAM 2023-12-21 8:08:09 2 Hologres分区表支持实时同步Binlog,但是需要注意的是,在FHologres分区表支持实时同步Binlog,但是需要注意的是,在Flink中读取Hologres分区表时,增量数据获取不到的原因可能是由于Flink消费Binlog的方式与Hologres的实现方式不兼容导致的。 具体来说,当使用Flink消费Binlog时,需要指定正确的Binlog格式和位置点,以便正确地解析和处理增量数据。如果指定的Binlog格式或位置点不正确,可能会导致Flink无法正确解析和处理增量数据,从而导致增量数据获取不到的问题。此外,还需要确保Flink的消费速度能够跟上Hologres的写入速度,以避免出现数据丢失的情况。
不支持开启分区表父表的Binlog,请使用非分区表。
详见:
https://help.aliyun.com/zh/flink/developer-reference/realtime-compute-real-time-consumption-of-hologres-in-flink?spm=a2c4g.11186623.0.i83 ,此回答整理自钉群“实时数仓Hologres交流群”
Hologres分区表支持实时同步Binlog,但是需要注意的是,在FHologres分区表支持实时同步Binlog,但是需要注意的是,在Flink中读取Hologres分区表时,增量数据获取不到的原因可能是由于Flink消费Binlog的方式与Hologres的实现方式不兼容导致的。
具体来说,当使用Flink消费Binlog时,需要指定正确的Binlog格式和位置点,以便正确地解析和处理增量数据。如果指定的Binlog格式或位置点不正确,可能会导致Flink无法正确解析和处理增量数据,从而导致增量数据获取不到的问题。此外,还需要确保Flink的消费速度能够跟上Hologres的写入速度,以避免出现数据丢失的情况。