当前位置： 首页 > news >正文

Flink 1.13.2 日志配置优化：保留最近 7 天日志文件

news 来源：原创 2025/6/25 22:21:10

Flink 1.13.2 日志配置优化：保留最近 7 天日志文件

在使用 Apache Flink 1.13.2 进行流处理任务时，合理的日志配置对于作业的监控、调试和故障排查至关重要。本文将介绍如何通过修改log4j.properties文件，将 Flink 的默认日志配置升级为保留最近 7 天的日志文件配置，并解决在运维过程中因日志过早被清理而导致无法查询 job 失败日志的问题。

背景

Flink 默认的日志配置可能无法满足生产环境的需求，特别是在需要长时间保留日志以便进行故障排查和历史数据分析时。通过合理的配置，我们可以确保日志文件按天滚动，并仅保留最近 7 天的日志，从而在存储成本和日志可用性之间取得平衡。

默认日志配置的局限性

在 Flink 1.13.2 中，日志配置文件（通常位于$FLINK_HOME/conf/log4j.properties）使用的是 Log4j 作为日志框架。默认配置下，日志文件可能不会按天滚动，也没有设置合理的日志保留策略。这可能导致日志文件迅速增长并占用大量磁盘空间。此外，如果没有适当的日志保留策略，当 job 失败时，运维人员可能无法查找到旧的日志文件来分析失败原因。

默认的log4j.properties

相关文章：

Flink 1.13.2 日志配置优化：保留最近 7 天日志文件

Flink 1.13.2 日志配置优化：保留最近 7 天日志文件 在使用 Apache Flink 1.13.2 进行流处理任务时，合理的日志配置对于作业的监控、调试和故障排查至关重要。本文将介绍如何通过修改log4j.properties文件，将 Flink 的默认日志配置升级为保留最近 7 天的日志文件配置，并解决…...

编程日记 2025/6/25 22:21:10

【优化算法】协方差矩阵自适应进化策略（Covariance Matrix Adaptation Evolution Strategy，CMA-ES）

CMA-ES（Covariance Matrix Adaptation Evolution Strategy）算法是一种无导数、基于多元正态分布的迭代优化方法，通过自适应地调整搜索分布的均值、协方差矩阵和步长，能够高效地解决非线性、非凸的连续优化问题。 算法以最大似然和…...

编程日记 2025/6/20 15:46:07

基于Leaflet和天地图的免费运动场所WebGIS可视化-以长沙市为例

目录 前言 一、免费运动场所数据整理 1、本地宝数据简介 2、Java后台数据解析 二、Leaflet前端地图展示 1、基础数据准备 2、具体位置及属性标记 三、成果展示 1、空间位置分布 2、东风路立交桥运动公园 3、芙蓉区花侯路浏阳河大桥下方 4、梅岭国际小区 5、湖南大学…...

编程日记 2025/6/22 18:03:50

399. 除法求值

https://leetcode.cn/problems/evaluate-division/description/?envTypestudy-plan-v2&envIdtop-interview-150思路：读完题后我们可以发现这题的考察已经很明确了就是考我们矩阵，我们将矩阵构建出来后，这题就变成可达性分析题了。 所以解…...

编程日记 2025/6/23 22:38:21

QMK固件OLED显示屏配置教程：从零开始实现个性化键盘显示（实操部分）

QMK固件OLED显示屏配置教程：从零开始实现个性化键盘显示 📢 前言： 作为一名键盘爱好者，近期研究了QMK固件的OLED显示屏配置，发现网上的教程要么太过复杂，要么过于简单无法实际操作。因此决定写下这篇教程，从零基础出发，带大家一步步实现键盘OLED屏幕的配置与个性化显示…...

编程日记 2025/6/20 21:43:11

深度解析 Meta 开源 MR 项目《North Star》：从交互到渲染的沉浸式体验设计

🌌 一、项目概览：什么是 North Star？ North Star 是由 Meta 官方推出并开源 的一款面向 Meta Quest 平台 的混合现实（MR）视觉演示项目。它不仅上线了 Horizon Store，更以完整的技术栈与高质量内容向开发者展示了如何在 VR/MR 设备上实现“视觉上限”和“交互潜力”的结…...

编程日记 2025/6/25 16:16:25

使用VS Code通过SSH编译Linux上的C++程序

引言 在软件开发领域，跨平台开发是一项常见需求。特别是对于C开发者来说，有时需要在Windows环境下编写代码，但却需要在Linux环境中编译和运行。这种情况在系统编程、嵌入式开发或高性能计算领域尤为常见。 Visual Studio Code (VS Code) 提…...

编程日记 2025/6/23 7:04:44

Datawhale 5月llm-universe 第2次笔记

第二章 使用 LLM API 开发应用 名词解释 Temperature 参数/场景低 Temperature（0 ~ 0.3）高 Temperature（0.7 ~ 1.0）输出特点保守、稳定、可预测创造性强、多样化、不可预测语言模型行为更少的随机性，倾向于选择高概…...

编程日记 2025/6/19 19:52:48

【Vue】CSS3实现关键帧动画

关键帧动画 两个重点keyframesanimation子属性 实现案例效果展示： 两个重点 keyframes 和 animation 作用：通过定义关键帧（keyframes）和动画(animation)规则，实现复杂的关键帧动画。 keyframes 定义动画的关键帧序列…...

编程日记 2025/6/24 17:36:38

Spring 模拟转账开发实战

一、转账业务场景分析 转账是金融类应用的核心场景之一，涉及付款方扣减金额和收款方增加金额两个关键操作。在开发中需解决以下问题： 业务层与数据层解耦：通过分层架构（Service 层调用 Dao 层）实现逻辑分离。数据库事…...

编程日记 2025/6/20 21:00:58

Baklib内容中台赋能资源管理升级

内容中台驱动管理升级 在数字化转型进程中，企业级内容管理工具的效能直接影响资源协同效率。以全渠道资源整合为核心的内容中台，通过集中化处理文档、FAQ及社区论坛等非结构化数据，有效解决信息孤岛问题。例如，某金融集团通过部署…...

编程日记 2025/6/22 17:48:28

数据结构（九）——排序

一、排序的基本概念 1.排序：重新排列表中的元素，使表中的元素满足按关键字有序 2.稳定性：Ri和Rj相对位置保持不变 3.内部排序：指在排序期间元素全部存在内存中的排序（比较和移动），如插入排序…...

编程日记 2025/6/25 5:49:10

MinerU安装(pdf转markdown、json)

在Windows上安装MinerU，参考以下几个文章，可以成功安装，并使用GPU解析。 整体安装教程： MinerU本地化部署教程——一款AI知识库建站的必备工具 其中安装conda的教程： 一步步教你在 Windows 上轻松安装 Anaconda以及使…...

编程日记 2025/6/22 17:00:23

Spring框架核心技术深度解析：JDBC模板、模拟转账与事务管理

一、JDBC模板技术：简化数据库操作 在传统JDBC开发中，繁琐的资源管理和重复代码一直是开发者的痛点。Spring框架提供的 JDBC模板（JdbcTemplate) 彻底改变了这一现状，它通过封装底层JDBC操作，让开发者仅需关注SQL逻辑&a…...

编程日记 2025/6/20 5:28:48

LCD电视LED背光全解析：直下式 vs 侧光式、全局调光 vs 局部调光与HDR体验

Abstract: This article explores the various types of LED backlighting used in televisions and monitors. It categorizes backlight systems based on structural design—direct-lit and edge-lit—as well as by dimming technology—global dimming and local dimmin…...

编程日记 2025/6/20 15:46:40

ET EntityRef EntityWeakRef 类分析

EntityRef EntityWeakRef 相同点 也是这两个的作用：这两个都是用来表示一个实体引用。一般来说使用一个对象，直接持有对象就可以，但是如果对象来自于对象池，这个时候直接持有对象不合适，对象可能已经被对象池回收&…...

编程日记 2025/6/20 17:18:23

Python----神经网络（基于DNN的风电功率预测）

一、基于DNN的风电功率预测 1.1、背景 在全球能源转型的浪潮中，风力发电因其清洁和可再生的特性而日益重要。然而，风力发电功率的波动性给电网的稳定运行和能源调度带来了挑战。准确预测风力发电机的功率输出，对于优化能源管理、提高电网可靠…...

编程日记 2025/6/24 15:53:30

Web前端入门：JavaScript 的应用领域

截至目前，您应该对前端的 HTML CSS 应该有了很清楚的认知，至少实现一个静态网页已经完全不在话下了。 当然，CSS 功能绝不止这些，一些不太常用的 CSS 相关知识，后续将通过案例进行分享。 那么咱们接下来看看 JavaScrip…...

编程日记 2025/6/20 8:18:39

实用工具：微软软件PowerToys（完全免费），实现多台电脑共享鼠标和键盘（支持window系统）

实用工具：微软软件 PowerToys 让多台电脑共享鼠标和键盘 在如今的数字化办公与生活场景中，我们常常会面临同时使用多台电脑的情况。例如，办公时可能一台电脑用于处理工作文档，另一台用于运行专业软件或查看资料；家庭环…...

编程日记 2025/6/22 23:02:04

精益数据分析（61/126）：移情阶段评分体系构建与实战案例解析

精益数据分析（61/126）：移情阶段评分体系构建与实战案例解析 在创业的移情阶段，如何科学评估用户需求的真实性与紧迫性，是决定后续产品方向的关键。今天，我们结合《精益数据分析》中的评分框架，…...

编程日记 2025/6/25 0:01:25

面试题：介绍一下JAVA中的反射机制

什么是反射机制？ Java反射机制是指在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意方法和属性。这种动态获取的信息以及动态调用对象的方法的功能称为Java语言的…...

编程日记 2025/6/25 5:18:10

yarn任务筛选spark任务，判断内存/CPU使用超过限制任务

yarn任务筛选spark任务，判断内存/CPU使用超过限制任务 curl -s “http://it-cdh-node01:8088/ws/v1/cluster/apps?statesRUNNING” | jq ‘select(.apps.app[].applicationType “SPARK”) | .apps.app[].id’ | xargs -I {} curl -s “http://it-cdh-node01:808…...

编程日记 2025/5/31 8:46:30

ArcGIS Pro地块图斑顺序编号（手绘线顺序快速编号）-004

ArcGIS全系列实战视频教程——9个单一课程组合系列直播回放_arcgis初学者使用视频-CSDN博客 4大遥感软件！遥感影像解译！ArcGISENVIErdaseCognition_遥感解译软件-CSDN博客 今天介绍一下在ArcGIS Pro地块图斑顺序编号（手绘线顺序快速编号&am…...

编程日记 2025/5/16 7:59:57

红黑树解析

目录 一、引言 二、红黑树的概念与性质 2.1 红黑树的概念 2.2 红黑树的性质 三、红黑树的节点定义与结构 3.1 节点定义 四、红黑树的插入操作 4.1 插入步骤 4.2 插入代码实现 五、红黑树的验证 5.1 验证步骤 5.2 验证代码实现 六、红黑树迭代器的实现 6.1 迭代器的…...

编程日记 2025/6/20 12:25:05

在线文档管理系统 spring boot➕vue｜源码+数据库+部署教程

📌 一、项目简介 本系统采用Spring Boot Vue ElementUI技术栈，支持管理员和员工两类角色，涵盖文档上传、分类管理、公告发布、员工资料维护、部门岗位管理等核心功能。 系统目标是打造一个简洁高效的内部文档管理平台，便于员工…...

编程日记 2025/6/21 1:32:26

Python3 简易DNS服务器实现

使用Python3开发一个简单的DNS服务器，支持配置资源记录(RR)，并能通过dig命令进行查询。 让自己理解DNS原理 实现方案 我们将使用socketserver和dnslib库来构建这个DNS服务器。dnslib库能帮助我们处理DNS协议的复杂细节。 1. 安装依赖 首先确保安装了d…...

编程日记 2025/6/25 20:39:49

雾锁王国开服联机教程-专用服务器

一。阿里云服务器搭建 服务器地址：1分钟畅玩！一键部署联机服务器 《雾锁王国（Enshrouded）》融合了生存、制作以及动作 RPG 战斗，游戏背景设定在了一个基于体素构筑的辽阔大陆。无论是攀登山脉还是跨越沙漠&#xff0…...

编程日记 2025/6/25 14:45:16

鸿蒙OSUniApp 开发的一键分享功能#三方框架 #Uniapp

使用 UniApp 开发的一键分享功能 在移动应用开发中，分享功能几乎是必不可少的一环。一个好的分享体验不仅能带来更多用户，还能提升产品的曝光度。本文将详细讲解如何在 UniApp 框架下实现一个简单高效的一键分享功能，适配多个平台。 各平台分…...

编程日记 2025/6/20 13:44:31

Hive PredicatePushDown 谓词下推规则的计算逻辑

1. PredicatePushDown 谓词下推 谓词下推的处理顺序是先处理子节点的操作&#xff0c;子节点都处理完&#xff0c;然后处理父节点。 select web_site_sk from (select web_site_sk,web_name from web_site where web_cityPleasant Hill ) t where web_name <> site_…...

编程日记 2025/6/20 20:25:23

2024东北四省ccpc

F题 解题思路 数论 有限小数的条件 p q \frac{p}{q} qp​ 在 k k k 进制下是有限小数&#xff0c;当且仅当 q q q 的所有质因数都是 p p p 或 k k k 的质因数。 即&#xff0c;若 q q q 的质因数分解为 q ∏ i p i a i q \prod_{i} p_i^{a_i} q∏i​piai​​&#x…...

编程日记 2025/6/22 16:46:00

【C语言】初阶数据结构相关习题（二）

&#x1f386;个人主页&#xff1a;夜晚中的人海 今日语录&#xff1a;知识是从刻苦劳动中得来的&#xff0c;任何成就都是刻苦劳动的结果。——宋庆龄 文章目录 &#x1f384;一、链表内指定区间翻转&#x1f389;二、从链表中删去总和值为零的节点&#x1f680;三、链表求和&…...

编程日记 2025/6/20 21:42:43

DeepSeek执行流程加速指南：跨框架转换与编译优化的核心策略全解析

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...

编程日记 2025/6/24 23:14:23

解决 Conda 安装 PyTorch 1.1.0 报错：excluded by strict repo priority（附三种解决方案）

# &#x1f4a5;解决 Conda 安装 PyTorch 1.1.0 报错问题&#xff1a;excluded by strict repo priority在使用旧版本 PyTorch&#xff08;例如 1.1.0&#xff09;时&#xff0c;有些开发者会遇到以下 conda 安装报错&#xff1a;LibMambaUnsatisfiableError: package pytorch-…...

编程日记 2025/5/28 16:26:51

面试从微前端拓展到iframe是如何通信的

一、跨域通信 1、父页面发消息给 iframe const iframe document.getElementById(myIframe); iframe.contentWindow.postMessage(form parent, https://iframe-domain.com)// iframe 接收 window.addEventListener(message, (event) > {if (event.origin ! https://paren…...

编程日记 2025/6/25 22:14:56

PyTorch循环神经网络（Pytotch）

文章目录 循环神经网络&#xff08;RNN&#xff09;简单的循环神经网络长短期记忆网络&#xff08;LSTM&#xff09;门控循环单元&#xff08;GRU&#xff09; 循环神经网络&#xff08;RNN&#xff09; 循环神经网络&#xff08;RecurrentNeuralNetwork&#xff0c;RNN&#…...

编程日记 2025/6/20 22:13:07

django中用 InforSuite RDS 替代memcache

在 Django 项目中&#xff0c;InforSuite RDS&#xff08;关系型数据库服务&#xff09;无法直接替代 Memcached&#xff0c;因为两者的设计目标和功能定位完全不同&#xff1a; 特性MemcachedInforSuite RDS核心用途高性能内存缓存&#xff0c;临时存储键值对数据持久化关系型…...

编程日记 2025/6/24 9:08:23

Git 常用命令详解

Git 常用命令详解&#xff08;含详细示例&#xff09; 本文整理了 Git 日常使用中最常用的命令&#xff0c;适合初学者和日常查阅&#xff0c;如有错误&#xff0c;敬请指正&#xff0c;谢谢&#xff01; ☁️ Git 使用流程入门&#xff08;从 pull 和 push 开始&#xff09; …...

编程日记 2025/6/24 20:08:33

AI、机器学习、深度学习：一文厘清三者核心区别与联系

AI、机器学习、深度学习&#xff1a;一文厘清三者核心区别与联系 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;可以分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/ccc 前言 在人工智能技术席卷全球的今天&…...

编程日记 2025/6/20 20:09:14

《数字藏品社交化破局：React Native与Flutter的创新实践指南》

NFT&#xff0c;这种非同质化代币&#xff0c;赋予了数字资产独一无二的身份标识&#xff0c;从数字艺术作品到限量版虚拟物品&#xff0c;每一件NFT数字藏品都承载着独特的价值与意义。当React Native和Flutter这两大跨平台开发框架遇上NFT数字藏品&#xff0c;一场技术与创意…...

编程日记 2025/5/16 7:55:40

工业操作系统核心技术揭秘

摘要 随着工业 4.0 与智能制造的深入推进&#xff0c;工业操作系统作为工业数字化转型的核心支撑&#xff0c;其技术发展备受关注。本文深入剖析工业操作系统的核心技术&#xff0c;包括实时性保障机制、硬件抽象层设计、多任务管理策略等&#xff0c;结合技术原理与实际应用场…...

编程日记 2025/6/24 14:31:43

Python logging模块使用指南

Python 的 logging 模块是一个灵活且强大的日志记录工具&#xff0c;广泛应用于应用程序的调试、运行监控和问题排查。它提供了丰富的功能&#xff0c;包括多级日志记录、多种输出方式、灵活的格式配置等。以下是详细介绍&#xff1a; 一、为什么使用 logging 模块&#xff1f;…...

编程日记 2025/6/24 21:25:02

沃伦森智能无功补偿系统解决电力电容器频繁投切的隐患

在现代电力系统中&#xff0c;无功补偿设备的稳定运行直接影响电网质量。然而&#xff0c;电力电容器的频繁投切问题长期存在&#xff0c;如同电网的“慢性病”&#xff0c;不仅加速设备老化&#xff0c;还可能引发系统性风险。作为电力电子领域的领军企业&#xff0c;沃伦森电…...

编程日记 2025/6/22 15:42:59

【HarmonyOS 5】鸿蒙mPaaS详解

【HarmonyOS 5】鸿蒙mPaaS详解 一、mPaaS是什么&#xff1f; mPaaS 是 Mobile Platform as a Service 的缩写&#xff0c;即移动开发平台。 蚂蚁移动开发平台mPaaS &#xff0c;融合了支付宝科技能力&#xff0c;可以为移动应用开发、测试、运营及运维提供云到端的一站式解决…...

编程日记 2025/6/24 22:12:57

PyTorch中.item()函数：提取单元素张量值

PyTorch中，.item()函数是什么 在PyTorch代码中，.item() 主要用于从一个只包含单个元素的张量（Tensor）中提取出对应的Python标量值 ，具体作用和使用场景如下： 作用 获取数值：当通过计算得到一个张量，且该张量仅包含一个元素时，使用 .item() 方法可以方便地将这个元素…...

编程日记 2025/6/23 20:52:21

PyTorch LSTM练习案例：股票成交量趋势预测

文章目录 案例介绍源码地址代码实现导入相关库数据获取和处理搭建LSTM模型训练模型测试模型绘制折线图主函数 绘制结果 案例介绍 本例使用长短期记忆网络模型对上海证券交易所工商银行的股票成交量做一个趋势预测&#xff0c;这样可以更好地掌握股票买卖点&#xff0c;从而提高…...

编程日记 2025/6/22 22:13:01

ARM A64 LDR指令

ARM A64 LDR指令 1 LDR (immediate)1.1 Post-index1.2 Pre-index1.3 Unsigned offset 2 LDR (literal)3 LDR (register)4 其他LDR指令变体4.1 LDRB (immediate)4.1.1 Post-index4.1.2 Pre-index4.1.3 Unsigned offset 4.2 LDRB (register)4.3 LDRH (immediate)4.3.1 Post-index…...

编程日记 2025/6/22 16:13:43

一些问题杂记

1. 在 SSH 会话/bash中仅使用cat命令查看文件后使用umount命令提示挂载点繁忙&#xff0c;lsof命令查看是bash有占用&#xff0c;但是并没有打开文件之类的情况 原因&#xff1a;当前工作目录仍在挂载点内&#xff0c;使用cat查看文件时&#xff0c;可能当前工作目录&#xff…...

编程日记 2025/6/20 23:46:46

【OpenGL学习】（一）创建窗口

文章目录 【OpenGL】&#xff08;一&#xff09;创建窗口 【OpenGL】&#xff08;一&#xff09;创建窗口 GLFW OpenGL 本身只是一套图形渲染 API&#xff0c;不提供窗口创建、上下文管理或输入处理的功能。 GLFW 是一个支持创建窗口、处理键盘鼠标输入和管理 OpenGL 上下文的…...

编程日记 2025/6/24 8:20:38

RTSP 播放器技术探究：架构、挑战与落地实践

RTSP 播放器为什么至今无法被淘汰&#xff1f; 在实时视频传输领域&#xff0c;RTSP&#xff08;Real-Time Streaming Protocol&#xff09;作为最基础、最常见的协议之一&#xff0c;至今依然被广泛用于监控设备、IP Camera、视频服务器等设备中。然而&#xff0c;要构建一个稳…...

编程日记 2025/6/25 18:49:08

【问题记录】08 MAC电脑，安装HP打印机驱动，提示：此更新需要macOS版本15.0或更低版本

问题描述&#xff1a; MAC电脑&#xff0c;升级了新系统之后&#xff08;v15.4.1&#xff09;。 这时&#xff0c;安装惠普&#xff08;HP&#xff09;打印机驱动&#xff0c;提示&#xff1a;This update requires macOS version 15.0 or earlier&#xff08;此更新需要macOS…...

编程日记 2025/6/24 22:41:04