tongchenkeji 发表于：2023-10-10 15:05:420次点击 已关注取消关注 关注 私信 flink 流式增量读取iceberg upsert 表 ，iceberg支持吗？[阿里云实时计算 Flink版] 暂停朗读为您朗读 flink 流式增量读取iceberg upsert 表 ，iceberg支持吗？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236
街头艺术家AM 2023-11-27 18:45:32 1 Flink TidbCDC使用了Tidb作为数据源，Flink TidbCDC读取Tidb中的数据并将其转换为Flink可以处理的数据格式。Flink TidbCDC的任务是实时处理Tidb中的数据，因此需要消耗较大的内存资源，包括堆内存和JVM Metaspace。JVM Metaspace主要用于存储JVM运行时的数据
SkyundAM 2023-11-27 18:45:32 2 是的，Iceberg支持Flink流式增量读取。Iceberg是一个支持增量读取的分布式数据湖存储系统，它可以支持实时流式数据读取和写入，同时提供ACID事务支持。您可以使用Flink的流式SQL API来读取Iceberg表，并将数据写入其他系统，例如Hive或Kafka。同时，Iceberg也支持UPSERT操作，可以将新的数据插入到表中，同时更新现有数据。
小周sirAM 2023-11-27 18:45:32 3 是的，Flink流式增量读取Iceberg upsert表是完全支持的。在Flink中，您可以使用INSERT INTO语句来将流式数据插入到Iceberg表中，从而实现流式增量读取。在INSERT INTO语句中，您可以使用upsert关键字来指定插入数据的模式。如果插入的数据的模式与表中的模式不匹配，那么Flink将使用upsert操作来更新表中的数据。
sun20AM 2023-11-27 18:45:32 5 是的，Flink支持ICEBERG表的UPSERT操作。当您使用Flink将数据写入ICEBERG表时，如果主键已经存在，则UPSERT操作将更新该行的值。如果主键不存在，则UPSERT操作将插入新行。
Flink TidbCDC使用了Tidb作为数据源，Flink TidbCDC读取Tidb中的数据并将其转换为Flink可以处理的数据格式。Flink TidbCDC的任务是实时处理Tidb中的数据，因此需要消耗较大的内存资源，包括堆内存和JVM Metaspace。JVM Metaspace主要用于存储JVM运行时的数据
是的，Iceberg支持Flink流式增量读取。Iceberg是一个支持增量读取的分布式数据湖存储系统，它可以支持实时流式数据读取和写入，同时提供ACID事务支持。您可以使用Flink的流式SQL API来读取Iceberg表，并将数据写入其他系统，例如Hive或Kafka。同时，Iceberg也支持UPSERT操作，可以将新的数据插入到表中，同时更新现有数据。
是的，Flink流式增量读取Iceberg upsert表是完全支持的。在Flink中，您可以使用INSERT INTO语句来将流式数据插入到Iceberg表中，从而实现流式增量读取。在INSERT INTO语句中，您可以使用upsert关键字来指定插入数据的模式。如果插入的数据的模式与表中的模式不匹配，那么Flink将使用upsert操作来更新表中的数据。
iceberg 暂时不支持吧。此回答整理自钉群“【②群】Apache Flink China社区”
是的，Flink支持ICEBERG表的UPSERT操作。当您使用Flink将数据写入ICEBERG表时，如果主键已经存在，则UPSERT操作将更新该行的值。如果主键不存在，则UPSERT操作将插入新行。