DataWorks整合后的paimon表,MaxCompute可以读取吗?[阿里云MaxCompute]

DataWorks现在flink可以和paimon整合了。整合后的paimon表,MaxCompute可以读取吗?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 是的,阿里云DataWorks的Flink已经可以与Paimon进行整合,通过Paimon可以监控Flink的任务运行状态和性能指标。

    至于MaxCompute是否可以读取Paimon表,这取决于你的具体需求。Paimon表本身并不存储实际的数据,它只是存储了Flink任务的运行状态和性能指标。如果你需要在MaxCompute中分析Flink的运行状态和性能指标,你可以通过读取Paimon表来实现。

    如果你需要在MaxCompute中处理Flink生成的数据,那么你应该直接在MaxCompute中读取Flink的数据输出,而不是通过Paimon表。因为Paimon表并不包含Flink的实际数据输出,它只包含了Flink的任务状态和性能指标。

  2. 根据我所掌握的信息,Flink Table Store 独立孵化启动后,改名为 Apache Paimon (incubating)。而根据2023年9月19日的消息,Paimon外部表已经创建了MaxCompute项目。因此,整合后的Paimon表,MaxCompute应该是可以读取的。
    但是,建议您在使用之前,先进行一些测试,以确保MaxCompute可以成功读取Paimon表中的数据。