tongchenkeji
发表于：0次点击

flink on yarn的部署模式可以配置和开启flink自己的history server吗？[阿里云实时计算 Flink版]

flink on yarn的部署模式可以配置和开启flink自己的history server吗？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
实时计算Flink版# 实时计算 Flink版3179# 流计算2236# 资源调度143
=====这是一个广告位，招租中，联系qq 78315851====
实时计算Flink版
Flink这上一条json和下一条json放在一起怎么做比较的？[阿里云实时计算 Flink版]
实时计算Flink版
请问从flink中把数据sink到eslasticsearch中,es中访问不到数据,这个是什么问题[阿里云实时计算 Flink版]
1 条回复 A 作者 M 管理员

  1. 需要在 flink-conf.yaml 配置文件中添加以下配置：“`js

    开启Flink的历史服务器

    flink.yarn.history-server.enabled: true

    配置Flink历史服务器的地址

    flink.yarn.history-server.address: :

    配置Flink历史服务器的Web UI地址

    flink.yarn.history-server.web.address: :

    

    

    
                
    
                    
    
                                                        已喜欢
                                
                                                            已反对
                                
                                                                        
    
                    
                
    
                
    
            
    
        
    
        
    
    
    2.     
  2. 
    
    
        
    
                                
    
        
    
            
            
    
                
    是的，Apache Flink on YARN 可以配置和启用 Flink 的历史服务器（history server）。
    

    历史服务器是一个 Web UI 应用程序，用于显示 Flink 作业的运行历史和统计信息。它可以帮助您分析 Flink 作业的性能和故障，并进行故障排除。
    

    1、要在 Flink on YARN 中配置和启用历史服务器，您需要执行以下步骤：
    

    

    # 设置历史服务器启用的端口historyserver.web.port: 8082# 设置历史服务器存储历史数据的目录historyserver.archive.fs.dir: hdfs:///flink/history
    

    

    2、将 Flink 的历史服务器（flink-historyserver）添加到 YARN 的启动脚本中。
    

    

    #启动历史服务器./bin/yarn-session.sh -n 2 -jm 1024m -tm 1024m -s 2 -d   -D yarn.application.name=Flink   -D yarn.provided.lib.dirs=$HADOOP_HOME/share/hadoop/common/lib,$HADOOP_HOME/share/hadoop/common,$HADOOP_HOME/share/hadoop/hdfs,$HADOOP_HOME/share/hadoop/mapreduce,$HADOOP_HOME/share/hadoop/yarn   -D yarn.application.classpath=$($HADOOP_HOME/bin/hadoop classpath --glob)   -D yarn.application.master=yarn   -D yarn.app.container.log.dir=   -D flink.yarn.history-server.address=:   -D yarn.appMasterEnv.FLINK_CONF_DIR=   -D yarn.appMasterEnv.FLINK_LOG_DIR=   -D yarn.appMasterEnv.JAVA_HOME=$JAVA_HOME   -D yarn.appMasterEnv.HADOOP_HOME=$HADOOP_HOME   -D yarn.appMasterEnv.HADOOP_HDFS_HOME=$HADOOP_HOME   -D yarn.appMasterEnv.HADOOP_COMMON_HOME=$HADOOP_HOME   -D yarn.appMasterEnv.HADOOP_MAPRED_HOME=$HADOOP_HOME   -D yarn.appMasterEnv.HADOOP_YARN_HOME=$HADOOP_HOME   -D yarn.appMasterEnv.HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop   -D yarn.appMasterEnv.YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop   -D yarn.appMasterEnv.HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec   -D yarn.appMasterEnv.HADOOP_PREFIX=$HADOOP_HOME   -D yarn.appMasterEnv.PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin   -D yarn.appMasterEnv.CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob)   start-history-server
    

    

    注意，在上面的命令中，您需要将  替换为历史服务器的主机名或 IP 地址，将  替换为历史服务器启用的端口号，将  替换为 Flink 配置文件的目录，将 
    

    
                
    
                    
    
                                                        已喜欢
                                
                                                            已反对
                                
                                                                        
    
                    
                
    
                
    
            
    
        
    
        
    
    
    3.