tongchenkeji 发表于:2023-10-18 17:19:390次点击 已关注取消关注 关注 私信 在实时计算 Flink版重启过后 对应这张表不存在了 你们是怎么做持久化的呢?[阿里云实时计算 Flink版] 暂停朗读为您朗读 “你们在sql-client 里面创建的table 在实时计算 Flink版重启过后 对应这张表不存在了 你们是怎么做持久化的呢?“ 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# 实时计算 Flink版3179# 流计算2236
sun20AM 2023-11-27 18:39:30 1 对于问题1,Flink的SQL Client并不会持久化已经创建的表。当你在SQL Client中创建了一张表,并且执行了一些查询,然后关闭了SQL Client,那么这些表和查询信息将会丢失。这是因为SQL Client的设计目标是提供一个轻量级的交互式查询工具,而不是一个持久化的数据管理工具。 对于问题2,如果你的任务在重启后需要重新创建,那么可能是因为你的任务没有进行持久化。在Flink中,你可以使用Checkpoint来实现任务的持久化。Checkpoint可以将任务的状态持久化到存储系统中,这样即使在任务重启后,也可以从上次的状态开始执行,而不需要从头开始计算。 总的来说,如果你需要在Flink中进行持久化操作,你应该使用Checkpoint。同时,你也可以考虑使用Flink的State Backend机制,它可以帮助你更好地管理和持久化任务的状态。
xin在这AM 2023-11-27 18:39:30 2 “你可以创建一个TEMPORARY table 不持久化重启后都是没了,一般也不会用持久化来操作,使用TEMPORARY table可以更好的防止在集群中表被删除,然后任务重启导致任务失败,此回答整理自钉群“【③群】Apache Flink China社区””
wljslmzAM 2023-11-27 18:39:30 3 对于问题1,阿里云Flink版在重启后,会保留已创建的表结构,但不会保留表中的数据。因此,如果您需要持久化数据,可以考虑使用其他存储系统,如阿里云OSS、RDS等。 对于问题2,如果您的服务重启了,之前的任务不会被重新创建。但是,您需要重新提交任务并指定相应的输入输出路径和参数等信息。同时,建议您在任务提交前先检查您的数据源和目标是否存在,以及是否具有读写权限。
对于问题1,Flink的SQL Client并不会持久化已经创建的表。当你在SQL Client中创建了一张表,并且执行了一些查询,然后关闭了SQL Client,那么这些表和查询信息将会丢失。这是因为SQL Client的设计目标是提供一个轻量级的交互式查询工具,而不是一个持久化的数据管理工具。
对于问题2,如果你的任务在重启后需要重新创建,那么可能是因为你的任务没有进行持久化。在Flink中,你可以使用Checkpoint来实现任务的持久化。Checkpoint可以将任务的状态持久化到存储系统中,这样即使在任务重启后,也可以从上次的状态开始执行,而不需要从头开始计算。
总的来说,如果你需要在Flink中进行持久化操作,你应该使用Checkpoint。同时,你也可以考虑使用Flink的State Backend机制,它可以帮助你更好地管理和持久化任务的状态。
“你可以创建一个TEMPORARY table 不持久化
重启后都是没了,一般也不会用持久化来操作,使用TEMPORARY table可以更好的防止在集群中表被删除,然后任务重启导致任务失败,此回答整理自钉群“【③群】Apache Flink China社区””
对于问题1,阿里云Flink版在重启后,会保留已创建的表结构,但不会保留表中的数据。因此,如果您需要持久化数据,可以考虑使用其他存储系统,如阿里云OSS、RDS等。
对于问题2,如果您的服务重启了,之前的任务不会被重新创建。但是,您需要重新提交任务并指定相应的输入输出路径和参数等信息。同时,建议您在任务提交前先检查您的数据源和目标是否存在,以及是否具有读写权限。