tongchenkeji 发表于:2023-4-12 13:39:260次点击 已关注取消关注 关注 私信 flink的historyserver可以使用本地文件系统吗?我们没有搭hadoop集群[阿里云实时计算 Flink版] 暂停朗读为您朗读 flink的historyserver可以使用本地文件系统吗?我们没有搭hadoop集群 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# Hadoop19# 分布式计算2827# 实时计算 Flink版3179# 流计算2236
ReaganYoungAM 2023-11-27 18:16:02 1 是的,Flink的HistoryServer可以使用本地文件系统。默认情况下,Flink的HistoryServer会将历史作业的日志和状态信息存储在本地文件系统中。 如果您没有搭建Hadoop集群,可以在Flink配置文件中设置historyserver.archive.fs参数,将其指定为本地文件系统路径。例如,可以在flink-conf.yaml文件中添加以下配置: historyserver.archive.fs: file:///path/to/local/directory 其中,/path/to/local/directory是本地文件系统中的目录路径。 需要注意的是,使用本地文件系统存储历史作业的日志和状态信息可能会存在一些限制,例如存储空间有限、数据备份不方便等。如果您需要更好的可靠性和可扩展性,建议您搭建Hadoop集群,并将历史作
是的,Flink的HistoryServer可以使用本地文件系统。默认情况下,Flink的HistoryServer会将历史作业的日志和状态信息存储在本地文件系统中。
如果您没有搭建Hadoop集群,可以在Flink配置文件中设置historyserver.archive.fs参数,将其指定为本地文件系统路径。例如,可以在flink-conf.yaml文件中添加以下配置:
historyserver.archive.fs: file:///path/to/local/directory
其中,/path/to/local/directory是本地文件系统中的目录路径。
需要注意的是,使用本地文件系统存储历史作业的日志和状态信息可能会存在一些限制,例如存储空间有限、数据备份不方便等。如果您需要更好的可靠性和可扩展性,建议您搭建Hadoop集群,并将历史作
写file就行,job要写东西到dfs。 此答案整理自钉群“【③群】Apache Flink China社区”