tongchenkeji
发表于：0次点击

flink1.17 日志文件大小哪里控制得？[阿里云实时计算 Flink版]

flink1.17 日志文件大小哪里控制得？谁有log4j配置 发一份出来
几分钟就10几个g

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
实时计算Flink版# Java948# 实时计算 Flink版3179# 日志服务1139
=====这是一个广告位，招租中，联系qq 78315851====
实时计算Flink版
flink 116 和flink117 哪个版本稳定些？[阿里云实时计算 Flink版]
实时计算Flink版
flink启动任务，taskmanager.out 文件增涨非常快，这个文件大小怎么限定？[阿里云实时计算 Flink版]
3 条回复 A 作者 M 管理员

  1. Flink 使用 Logback 作为日志框架，因此您可以通过修改 Logback 配置文件来控制日志文件的大小。以下是一个基本的 Logback 配置文件示例，用于限制日志文件的大小：

    1. 首先，打开 flink-conf.yaml 文件，并增加 logback.xml 文件的位置。
    logging.file.path: /path/to/logback.xml
    1. 然后，创建一个新的 logback.xml 文件，如下所示：
    <configuration>  <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">    <encoder>      <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%npattern>    encoder>  appender>  <appender name="FILE" class="ch.qos.logback.core.FileAppender">    <file>/path/to/taskmanager.logfile>    <append>trueappend>    <encoder>      <pattern>%date %level %logger{10} - %message%npattern>    encoder>    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">      <fileNamePattern>/path/to/taskmanager.%d{yyyy-MM-dd}.%i.log.gzfileNamePattern>      <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">        <maxFileSize>50MBmaxFileSize>       timeBasedFileNamingAndTriggeringPolicy>      <totalSizeCap>1GBtotalSizeCap>     rollingPolicy>  appender>  <root level="info">    <appender-ref ref="STDOUT"/>    <appender-ref ref="FILE"/>  root>configuration>
    已喜欢 已反对

  2. 在Flink中，日志文件的大小可以通过log4j的配置来控制。log4j是Apache的一个开源项目，它是一个用Java编写的强大的日志记录框架。Flink使用log4j来记录日志，因此可以通过修改log4j的配置文件来控制日志文件的大小。

    下面是一个示例的log4j配置文件，可以限制日志文件的大小：

    <Configuration status="WARN">    <Appenders>        <RollingFile name="file" fileName="logs/flink.log" filePattern="logs/flink-%d{yyyy-MM-dd}-%i.log.gz">            <PatternLayout>                <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%npattern>            PatternLayout>            <Policies>                <SizeBasedTriggeringPolicy size="10 MB" />            Policies>            <DefaultRolloverStrategy max="10" />        RollingFile>    Appenders>    <Loggers>        <Root level="info">            <AppenderRef ref="file" />        Root>    Loggers>Configuration>

    在这个配置中，SizeBasedTriggeringPolicy用于指定日志文件的大小，size属性设置为"10 MB"，表示当日志文件大小达到10 MB时，将会创建一个新的日志文件。DefaultRolloverStrategy用于指定日志文件的最大数量，max属性设置为"10"，表示最多保留10个日志文件。

    你可以将这个配置文件保存为log4j.properties或log4j.xml，然后将其放置在Flink的类路径下，例如$FLINK_HOME/conf/目录下。在Flink启动时，将会自动加载这个配置文件，并按照指定的方式记录日志。

    已喜欢 已反对