在实时计算 Flink版重启过后 对应这张表不存在了 你们是怎么做持久化的呢?[阿里云实时计算 Flink版]

“你们在sql-client 里面创建的table 在实时计算 Flink版重启过后 对应这张表不存在了 你们是怎么做持久化的呢?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 对于问题1,Flink的SQL Client并不会持久化已经创建的表。当你在SQL Client中创建了一张表,并且执行了一些查询,然后关闭了SQL Client,那么这些表和查询信息将会丢失。这是因为SQL Client的设计目标是提供一个轻量级的交互式查询工具,而不是一个持久化的数据管理工具。

    对于问题2,如果你的任务在重启后需要重新创建,那么可能是因为你的任务没有进行持久化。在Flink中,你可以使用Checkpoint来实现任务的持久化。Checkpoint可以将任务的状态持久化到存储系统中,这样即使在任务重启后,也可以从上次的状态开始执行,而不需要从头开始计算。

    总的来说,如果你需要在Flink中进行持久化操作,你应该使用Checkpoint。同时,你也可以考虑使用Flink的State Backend机制,它可以帮助你更好地管理和持久化任务的状态。

  2. “你可以创建一个TEMPORARY table 不持久化
    重启后都是没了,一般也不会用持久化来操作,使用TEMPORARY table可以更好的防止在集群中表被删除,然后任务重启导致任务失败,此回答整理自钉群“【③群】Apache Flink China社区””

  3. 对于问题1,阿里云Flink版在重启后,会保留已创建的表结构,但不会保留表中的数据。因此,如果您需要持久化数据,可以考虑使用其他存储系统,如阿里云OSS、RDS等。

    对于问题2,如果您的服务重启了,之前的任务不会被重新创建。但是,您需要重新提交任务并指定相应的输入输出路径和参数等信息。同时,建议您在任务提交前先检查您的数据源和目标是否存在,以及是否具有读写权限。