tongchenkeji 发表于:2023-10-22 21:19:380次点击 已关注取消关注 关注 私信 DataWorks整合后的paimon表,MaxCompute可以读取吗?[阿里云MaxCompute] 暂停朗读为您朗读 DataWorks现在flink可以和paimon整合了。整合后的paimon表,MaxCompute可以读取吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# DataWorks3343# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据开发治理平台 DataWorks3946# 实时计算 Flink版3179# 流计算2236
sun20AM 2023-11-27 18:19:18 1 是的,阿里云DataWorks的Flink已经可以与Paimon进行整合,通过Paimon可以监控Flink的任务运行状态和性能指标。 至于MaxCompute是否可以读取Paimon表,这取决于你的具体需求。Paimon表本身并不存储实际的数据,它只是存储了Flink任务的运行状态和性能指标。如果你需要在MaxCompute中分析Flink的运行状态和性能指标,你可以通过读取Paimon表来实现。 如果你需要在MaxCompute中处理Flink生成的数据,那么你应该直接在MaxCompute中读取Flink的数据输出,而不是通过Paimon表。因为Paimon表并不包含Flink的实际数据输出,它只包含了Flink的任务状态和性能指标。
小周sirAM 2023-11-27 18:19:18 2 根据我所掌握的信息,Flink Table Store 独立孵化启动后,改名为 Apache Paimon (incubating)。而根据2023年9月19日的消息,Paimon外部表已经创建了MaxCompute项目。因此,整合后的Paimon表,MaxCompute应该是可以读取的。但是,建议您在使用之前,先进行一些测试,以确保MaxCompute可以成功读取Paimon表中的数据。
是的,阿里云DataWorks的Flink已经可以与Paimon进行整合,通过Paimon可以监控Flink的任务运行状态和性能指标。
至于MaxCompute是否可以读取Paimon表,这取决于你的具体需求。Paimon表本身并不存储实际的数据,它只是存储了Flink任务的运行状态和性能指标。如果你需要在MaxCompute中分析Flink的运行状态和性能指标,你可以通过读取Paimon表来实现。
如果你需要在MaxCompute中处理Flink生成的数据,那么你应该直接在MaxCompute中读取Flink的数据输出,而不是通过Paimon表。因为Paimon表并不包含Flink的实际数据输出,它只包含了Flink的任务状态和性能指标。
根据我所掌握的信息,Flink Table Store 独立孵化启动后,改名为 Apache Paimon (incubating)。而根据2023年9月19日的消息,Paimon外部表已经创建了MaxCompute项目。因此,整合后的Paimon表,MaxCompute应该是可以读取的。
但是,建议您在使用之前,先进行一些测试,以确保MaxCompute可以成功读取Paimon表中的数据。