当前位置：首页 > news >正文

阿里云Clickhouse 冷热数据分层存储实战记录

news 来源：原创 2025/8/13 11:41:14

一、背景

某业务Clickhouse库月数据增长超过2.5T，云上Clickhouse容量并不是无限的，单节点有32T上限，而业务已使用一半以上，依此速度，半年内就将达到上限。

与业务讨论，大致有以下几种解决思路：

按时间清理数据，但因为业务特点，能清理的数据不多
改造为分片模式，但涉及业务改动量较大
利用阿里云Clickhouse自带的冷热数据分层存储功能，从文档来看，操作简单、业务改动量也最小，于是业务进行调研与测试

二、冷热数据分层存储

1. 背景知识

热数据：访问频次较高的数据，存储在热数据盘（即创建集群时所选的ESSD云盘或高效云盘）中，满足高性能访问的需求
冷数据：访问频次较低的数据，存储在较低价的冷数据盘（OSS）中，满足高性价比的需求

2. 两种存储策略

默认存储策略（按空间）：新写入的数据存储在热数据盘中，当热数据存储量达到业务指定阈值时，自动将当前热数据盘中占用空间最大的part数据文件移动到冷数据盘存储，从而释放热数据盘存储空间。
TTL存储策略（按时间）：在默认存储策略基础上，添加TTL语句，实现将间隔时间之前的所有数据自动转移到冷数据盘中。

三、注意事项

容易踩到和已经踩到的一些坑

1. 版本问题

默认阿里云界面现在已经建不了20.8版本以下的Clickhouse，对于新实例问题不大。

云数据库ClickHouse集群为社区兼容版且版本为20.8及以上版本
云数据库ClickHouse企业版基于缓存及共享存储，自动进行冷热分层，不依赖冷热数据存储规则

2. 关闭备份

这个有点坑，使用冷热分层后就不支持备份恢复了。但好在ClickHouse一般是数仓和报表业务用，本身有源数据，即使误删还能从上游拉回来，业务评估风险可以接受。

3. 重启生效

开通该功能后集群会立即进行重启，需要提前预约变更窗口

4. 只开不关

冷热数据分层存储功能开通后，暂不支持关闭

5. meta节点inode使用率暴增

这个是文档中完全没有提及的部分，可以看到，在不到两个小时，inode使用率从接近0快速涨到100%，且meta节点无法在界面扩容，后联系阿里云紧急在后台为meta节点扩容才恢复。

阿里云的解释是迁移到oss中的数据，每个part会映射到Clickhouse的meta节点上，占用一个inode。当表part数过多，而又没有设置合并，就可能触发这个问题。

对此的建议：

表分批迁移，优先迁移表大而part相对较少的，收益较大
设置prefer_not_to_merge参数为false，对冷数据中的part也进行合并（对性能有明显影响）
提前估算迁移part数与inode使用率，必要时联系阿里云提前扩meta节点
社区新版本对此功能有计划优化，但何时上线还不明确，且还需业务进行升级

四、启用及设置

1. 功能启用

非常简单，点击开通即可

2. 默认存储策略设置

两个核心参数

参数

说明

move_factor

当热数据盘中的可用存储空间所占比例小于该参数时，自动将当前热数据盘中占用空间最大的part数据文件移动到冷数据盘存储。

取值范围为[0,1]。取值为0时，代表关闭基于磁盘存储容量的冷热数据分层存储。默认值为0.1，代表可用存储空间所占比例小于10%时，将自动进行数据移动。

一般来说生产表业务逻辑不太会允许根据空间大小挪数据，建议设为0

prefer_not_to_merge

冷数据盘中的数据是否进行合并。

true：不合并，默认值。对性能影响小，但part数可能非常多，出现前面的inode问题
false：合并。part可以合并，占用inode较少，但合并时性能影响较大，遇到过打满CPU的情况。

3. TTL设置

创建时设置

-- 以date列为依据，将90天之前的所有数据移动到冷数据盘。
CREATE TABLE ttl_test_tbl
(`f1` String,`f2` String,`f3` Int64,`f4` Float64,`date` Date
)
ENGINE = MergeTree()
PARTITION BY date
ORDER BY f1
TTL date + INTERVAL 90 DAY TO DISK 'cold_disk'
SETTINGS storage_policy = 'hot_to_cold';

创建后修改

ALTER TABLE <table_name> ON CLUSTER default MODIFY TTL <time_column> + INTERVAL <number> TO DISK 'cold_disk';

存量数据：默认情况下，存量数据将按照新策略进行存储，但需要时间异步处理，如需立即生效，您需更改TTL分层存储策略之后，还要执行ALTER TABLE materialize TTL;语句。如果您不期望更改存量数据的TTL分层存储策略，需要在更改TTL分层存储策略之前，执行SET materialize_ttl_after_modify=0;语句。

增量数据：默认情况下，增量数据也将按照新策略进行存储。

更改TTL分层存储策略后，已经进入冷数据盘中的数据不会自动移动到热数据盘。

4. 移动冷热数据盘的数据

热 -> 冷

ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'cold_disk';

冷 -> 热

ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'default';

5. 查看数据

查看热数据盘上的数据

SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='default' AND active = 1;

查看冷数据盘上的数据

SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='cold_disk' AND active = 1;

查看磁盘空间

SELECT * FROM system.disks;

移动上下限值

SELECT move_ttl_info.min,move_ttl_info.max FROM system.parts WHERE database = '<db_name>'AND table = '<tb_name>'AND disk_name = 'default'

五、大致效果

移动后可以看到冷数据空间逐渐增大

热数据存储使用率从93%左右降低至81%，大幅缓解空间压力

参考：

ClickHouse冷热数据分离存储_云数据库 ClickHouse(ClickHouse)-阿里云帮助中心

阿里云Clickhouse 冷热数据分层存储实战记录

一、背景某业务Clickhouse库月数据增长超过2.5T，云上Clickhouse容量并不是无限的，单节点有32T上限，而业务已使用一半以上，依此速度，半年内就将达到上限。与业务讨论，大致有以下几种解决思路：…...

编程日记 2025/8/13 11:41:14

ARINC818-实现

1.编码和解码；分隔符插入和删除；空闲idle字符插入 2.视频TX和RX接口：可以设计为流传输和帧同步传输 3.传输媒介：光纤或者铜缆 4.链路支持fc 1x,2x,3x,5x,6x,8x 上图中N有限制，N不能允许ADVB帧负载和填充长度不超过2112…...

编程日记 2025/8/12 1:48:32

OpenStack Yoga版安装笔记（23）Swift安装

一、官方文档 Object Storage Install Guide — Swift 2.29.3.dev5 documentation 二、环境准备之前的实验，已经有controller, compute1, block1节点，并已经完成Keystone、Glance、Nova、Neutron、Cinder等主要OpenStack Service的安装。此处新增…...

编程日记 2025/8/13 11:38:38

MySql 三大日志（redolog、undolog、binlog）详解

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/aa730ab3f84049638f6c9a785e6e51e9.png 1. redo log：“你他妈别丢数据啊！” 干啥的？ 这货是InnoDB的“紧急备忘录”。比如你改了一条数据，MySQL怕自己突然断电嗝屁了&am…...

编程日记 2025/8/13 11:39:49

算法题(128）：费解的开关

审题： 本题需要我们将多组测试用例中拉灯数小于等于6的最小拉灯数输出，若拉灯数最小值仍大于6，则输出-1 思路： 方法一：二进制枚举首先我们先分析一下基本特性： 1.所有的灯不可能重复拉：若拉的数…...

编程日记 2025/8/12 1:48:32

2025.04.19-阿里淘天春招算法岗笔试-第三题

📌 点击直达笔试专栏 👉《大厂笔试突围》 💻 春秋招笔试突围在线OJ 👉 笔试突围OJ 03. 数值平衡之道问题描述 LYA 是一位精通树形数据结构的数学家，她有一棵包含 n n n...

编程日记 2025/8/13 11:40:25

单片机毕业设计选题物联网计算机电气电子类

题目一：基于单片机的PM2.5空气质量检测仪器选 1.用到ADC0832模数转换芯片，数据更加精准。 2.使用夏普传感器的GP2Y1010AUOF粉尘传感器实时检测空气中的PM2.5值并通过1602显示出来，检测准确。 3.LCD1602液晶第一行前面显示测到的PM2.5…...

编程日记 2025/8/6 18:44:47

TDOA解算——牛顿迭代法|以4个基站的三维空间下TDOA定位为背景，使用牛顿迭代法解算。附完整代码，订阅专栏后可复制粘贴

本问所介绍的代码通过TDOA（到达时间差）方法，结合牛顿迭代算法，实现了三维空间内目标位置的定位。系统包含1个主锚点和3个副锚点，通过测量信号到达各基站的时间差计算距离差，最终迭代求解目标坐标。订阅专栏后可以获得完整的MATLAB代码，粘贴到空脚本中即可运行文章目录 …...

编程日记 2025/8/13 11:38:38

海量聊天数据处理：基于Spring Boot与SharingJDBC的分库分表策略及ClickHouse冷热数据分离

引言随着互联网应用的快速发展，每天产生的聊天记录数量级已经达到了惊人的程度。以2000万条/天为例，一年下来就是大约7.3亿条记录。如此庞大的数据量给数据库的设计和管理带来了前所未有的挑战。本文将探讨如何使用SharingJDBC整合Spring Boot技术来实…...

编程日记 2025/8/13 11:33:19

网络开发基础（游戏）之 Socket API

Socket简介 Socket (套接字)是网络编程的基础，在 C# 中通过 System.Net.Sockets 命名空间提供了一套完整的 API 来实现网络通信。网络上的两个程序通过一个双向的通信连接实现数据交换， 这个连接的一端称为一个Socket。一个Socket包含了进行网络通信必…...

编程日记 2025/8/13 8:49:35

在 Amazon Graviton 上运行大语言模型：CPU 推理性能实测与调优指南

引言在生成式 AI 浪潮中，GPU 常被视为大模型推理的唯一选择。然而，随着 ARM 架构的崛起和量化技术的成熟，CPU 推理的性价比逐渐凸显。本文基于 Amazon Graviton 系列实例与 llama.cpp 工具链，实测了 Llama 3、DeepSeek 等模型的…...

编程日记 2025/8/13 11:36:38

基于尚硅谷FreeRTOS视频笔记——15—系统配制文件说明与数据规范

目录配置函数 INCLUDE函数 config函数数据类型命名规范函数与宏配置函数官网上可以查找最核心的就是 config和INCLUDE INCLUDE函数这些就是裁剪的函数它们使用一个ifndef。如果定义了，就如果定义了这个宏定义，那么代码就生效。通过ifn…...

编程日记 2025/8/13 11:32:50

Nacos 使用了什么日志框架？如何配置和查看日志？

Nacos 使用的日志框架 Nacos 主要使用 SLF4j (Simple Logging Facade for Java) 作为日志门面（API），并选择 Logback 作为其底层的日志实现。 SLF4j: 这是一个日志抽象层，允许开发者在代码中使用统一的接口进行日志记录&#xff…...

编程日记 2025/8/13 8:44:10

【基于Fluent+Python耦合的热管理数字孪生系统开发：新能源产品开发的硬核技术实践】

引言：热管理数字孪生的技术革命在新能源领域（如动力电池、储能系统、光伏逆变器等），热管理是决定产品性能与安全的核心问题。传统热设计依赖实验与仿真割裂的流程，而数字孪生技术通过实时数据驱动与动态建模&#xf…...

编程日记 2025/8/13 11:40:24

【工具变量】A股上市公司信息披露质量KV指数测算数据集（含do代码 1991-2024年）

KV指数（Key Value Index）作为评估信息披露质量的关键指标，在证券市场，尤其是A股市场上市公司信息披露监管与评估中占据重要地位。该指数通过系统化、定量化的方法，对企业发布的信息进行全面剖析与打分，精准…...

编程日记 2025/8/13 7:11:03

【ELF2学习板】利用OpenMP采用多核并行技术提升FFTW的性能

目录引言 OpenMP简介编译OpenMP支持的FFTW库部署与测试测试程序程序部署测试结果结语引言在前面已经介绍了在ELF2开发板上运行FFTW计算FFT。今天尝试利用RK3588的多核运算能力来加速FFT运算。FFTW利用多核能力可以考虑使用多线程或者OpenMP。今天介绍一下Ope…...

编程日记 2025/8/13 11:38:05

打靶日记 zico2: 1

一、探测靶机IP（进行信息收集） 主机发现 arp-scan -lnmap -sS -sV -T5 -p- 192.168.10.20 -A二、进行目录枚举发现dbadmin目录下有个test_db.php 进入后发现是一个登录界面，尝试弱口令，结果是admin，一试就出得到加…...

编程日记 2025/8/1 18:48:27

【技术派后端篇】 Redis 实现用户活跃度排行榜

在各类互联网应用中，排行榜是一个常见的功能需求，它能够直观地展示用户的表现或贡献情况，提升用户的参与感和竞争意识。在技术派项目中，也引入了用户活跃度排行榜，该排行榜主要基于 Redis 的 ZSET 数据结构来实现。接下…...

编程日记 2025/8/7 10:54:37

MySql Innodb详细解读

参考文档：https://www.cnblogs.com/acatsmiling/p/18424729 一、数据存储：从磁盘到内存的"黑帮走私" 1. 物理结构：表空间与页的江湖规矩表空间（Tablespace）： 所有InnoDB数据存在表空间里&…...

编程日记 2025/8/9 5:51:38

每日两道leetcode

399. 除法求值 - 力扣（LeetCode） 题目给你一个变量对数组 equations 和一个实数值数组 values 作为已知条件，其中 equations[i] [Ai, Bi] 和 values[i] 共同表示等式 Ai / Bi values[i] 。每个 Ai 或 Bi 是一个表示单个变量的字符串。 …...

编程日记 2025/8/10 11:23:55

在RK3588上使用哪个流媒体服务器合适

在RK3588平台上选择合适的流媒体服务器时，需考虑其ARM Cortex-A76/A55架构、硬件编解码能力（如支持H.264/H.265/AV1解码）以及Linux/Android系统支持。以下是推荐的方案： 1. 轻量级方案：GStreamer RTSP 适用场景&…...

编程日记 2025/8/11 5:26:44

分享一个DeepSeek+自建知识库实现人工智能，智能回答高级用法。

这个是我自己搞的DeepSeek大模型自建知识库相结合到一起实现了更强大的回答问题能力还有智能资源推荐等功能。如果感兴趣的小伙伴可以联系进行聊聊，这个成品已经有了实现了，所以可以融入到你的项目，或者毕设什么的还可以去参加比赛等等。 1.项…...

编程日记 2025/8/13 2:37:12

PyTorch 深度学习实战（38）：注意力机制全面解析（从Seq2Seq到Transformer）

在上一篇文章中，我们探讨了分布式训练实战。本文将深入解析注意力机制的完整发展历程，从最初的Seq2Seq模型到革命性的Transformer架构。我们将使用PyTorch实现2个关键阶段的注意力机制变体，并在机器翻译任务上进行对比实验。一、注意力机制演…...

编程日记 2025/8/11 14:12:32

Android Studio 获取配置资源与第三方包信息详解

文章目录 Android Studio 获取配置资源与第三方包信息详解一、获取资源文件中的配置1. 获取颜色值Java 中获取：Kotlin 中获取： 2. 获取字符串Java 中获取：Kotlin 中获取： 3. 获取尺寸值Java 中获取：Kotlin 中获取&…...

编程日记 2025/8/11 22:40:57

【网络初识】从零开始彻底了解网络编程(一)

本篇博客给大家带来的是网络的知识点. 🐎文章专栏: JavaEE初阶 🚀若有问题评论区见 ❤ 欢迎大家点赞评论收藏分享如果你不知道分享给谁,那就分享给薯条. 你们的支持是我不断创作的动力 . 王子,公主请阅🚀 要开心要快乐顺便进步一. 网络…...

编程日记 2025/8/13 11:18:10

Vivado比特流生成、下载及板级验证操作步骤

1. 前期准备安装Vivado软件：确保Vivado开发环境已正确安装并配置。创建工程： 打开Vivado，点击“Create Project”新建工程。设置工程名称（例如“led_flow”）和路径。选择目标FPGA型号（例如XC7A35TFFG484&…...

编程日记 2025/8/7 5:14:26

【Flutter DevTools】性能优化的瑞士军刀

一、性能分析：帧率与资源监控 1.1 帧率监控（Performance面板） 通过Performance面板可实时捕获应用的渲染流水线数据。开发者点击"Record"按钮后，DevTools会以时间轴形式展示每一帧的构建、布局、绘制耗时。当帧率低于…...

编程日记 2025/8/13 7:10:52

使用Redis实现实时排行榜

为了实现一个实时排行榜系统，我们可以使用Redis的有序集合（ZSet），其底层通常是使用跳跃表实现的。有序集合允许我们按照分数（score）对成员（member）进行排序，因此非常适合…...

编程日记 2025/8/11 20:50:47

HTML5 应用程序缓存：原理、实践与演进

在 Web 技术的发展历程中，HTML5 引入的应用程序缓存（Application Cache）曾是提升 Web 应用离线体验的重要技术。它允许 Web 应用进行缓存，使用户在没有因特网连接时也能访问应用，为 Web 应用带来了显著的优势。然而&am…...

编程日记 2025/8/8 5:23:48

Compose笔记(十七)--AsyncImage

这一节了解一下Compose中的AsyncImage的使用，AsyncImage是由 Coil库提供的一个用于异步加载图片的组件。它支持加载网络图片、本地图片资源，并提供了占位符、错误处理、过渡动画等功能，简单介绍如下: API 1. model 含义：指定要加…...

编程日记 2025/8/6 7:29:42

Python语法系列博客 · 第7期[特殊字符] 列表推导式与字典推导式：更优雅地处理数据结构

上一期小练习解答（第6期回顾） ✅ 练习1：统计文件行数 with open("data.txt", "r", encoding"utf-8") as f:lines f.readlines()print(f"总行数：{len(lines)}")✅ 练习2：反…...

编程日记 2025/8/10 15:35:15

Redis--主从复制

目录一、配置 1.1 建立复制 1.2 断开复制 1.3 安全性 1.4 只读 1.5 传输延迟二、拓扑 2.1 一主一从结构 2.2 一主多从结构 2.3 树形主从结构在分布式系统中为了解决单点问题，通常会把数据复制多个副本部署到其他服务器，满足故障恢复和负载均衡等需求…...

编程日记 2025/8/3 1:56:06

FPGA练习———DDS波形发生器

简介：使用DDS波形发生器可以在fpga上生成方波、正弦波等波形，其具体方法是计算相位的变化，然后根据数据表的数值进行数模转化改变波形。 DDS的第一步是生成一个相位加法器相位加法器在生成一个波，例如正弦波时，我们…...

编程日记 2025/8/8 5:47:39

力扣面试150题-- 存在重复元素 II和最长连续序列

Day 26 题目描述思路定义一个map用来存放每个元素以及它对应的序号从前向后遍历数组如果该元素存在于map（说明满足了重复元素的条件），用当前元素的序号值减去map中存放的序号值（因为是从前遍历的所以当前元素序号一定大于存放…...

编程日记 2025/8/3 12:43:10

卸载Anaconda并保留虚拟环境，重装Anaconda并还原之前的虚拟环境

参考 https://blog.csdn.net/qq_63611690/article/details/134560333 该博文是虚拟环境和Anaconda安装路径在一起我的是虚拟环境早就搞到了别的盘问题描述我之前把Anaconda安装到了C盘，随之时间推移，C盘占用空间越来越大。我想把Anaconda卸载重装…...

编程日记 2025/8/6 12:38:06

ArcGIS及其组件抛出 -- “Sorry, this application cannot run under a Virtual Machine.“

产生背景： 使用的是“破解版本”或“被套壳过”的非官方 ArcGIS 版本破解版本作者为了防止： 被研究破解方式被自动化抓包/提权/逆向被企业环境中部署多机使用通常会加入**“虚拟化环境检测阻断运行”机制** 原因解释： 说明你当前运…...

编程日记 2025/8/5 16:17:32

Ubuntu 25.04 “Plucky Puffin” 正式发布

Ubuntu 25.04 “Plucky Puffin” 于 2025 年 4 月 17 日正式发布。这是一个短期支持版本，只支持到 2026 年 1 月1。以下是该版本的一些主要新变化： 内核与系统：采用 Linux 6.14 内核；systemd v257.4 带来重要上游更新，…...

编程日记 2025/8/9 12:45:36

2. ubuntu20.04 和VS Code实现 ros的输出 (C++,Python）

本节对应赵虚左ROS书籍的1.4.2 1)创建工作空间 mkdir -p catkin_ws/src cd catkin_ws catkin_make 2) 终端进入VS Code code . 3) vscoe 的基本配置 3.1）修改.vscode/tasks.json ,修改内容如下： { // 有关 tasks.json 格式的文档，请参见…...

编程日记 2025/8/9 19:30:31

0801ajax_mock-网络ajax请求1-react-仿低代码平台项目

0 vite配置proxy代理 vite.config.ts代码如下图所示： import { defineConfig } from "vite"; import react from "vitejs/plugin-react";// https://vite.dev/config/ export default defineConfig({plugins: [react()],server: {proxy: {&qu…...

编程日记 2025/8/6 21:06:39

前端vue+后端ssm项目

下载地址： 前端：https://download.csdn.net/download/2401_83418369/90649449 后端： https://download.csdn.net/download/2401_83418369/90649441 一、项目基础环境搭建 1、新建Maven项目 2、创建目录，结构如下： …...

编程日记 2025/8/10 10:55:59

Python实例题：Python获取阴阳师壁纸

目录 Python实例题题目实现思路代码实现代码解释 get_wallpaper_links 函数： download_wallpapers 函数： 主程序： 运行思路注意事项 Python实例题题目 Python获取阴阳师壁纸实现思路发送请求获取网页内容：使…...

编程日记 2025/8/12 22:43:03

考研408操作系统文件管理——4.2目录系统详解

考研408操作系统文件管理——目录系统详解一、目录管理基本概念 1.1 目录的核心功能目录是文件系统的核心管理组件，主要实现：按名存取：通过文件名快速定位物理地址路径解析：将逻辑路径转换为物理块地址共享控制：支持多用户共享同一文件命名空间管理：维护全局唯一的…...

编程日记 2025/8/10 6:10:35

国产SMT贴片机自主技术突破解析

内容概要随着电子信息产业对精密制造需求的持续升级，国产SMT贴片机的技术突破已成为装备自主化进程的关键节点。本文聚焦设备研发的三大核心领域：高动态运动控制系统通过线性电机与数字信号处理技术的融合，将重复定位精度提升至5μm级别&am…...

编程日记 2025/8/9 23:54:40

Ai Agent 在生活领域的深度应用与使用指南

在科技不断革新的时代，Ai Agent 正以前所未有的态势融入生活的各个角落，成为提升生活品质与效率的得力助手。它凭借强大的智能处理能力，解决了传统生活模式中的诸多痛点，在家庭、出行、健康管理等多个场景中展现出巨大的应用价值…...

编程日记 2025/7/31 11:27:48

CPU与GPU之间的交互

命令队列和命令列表每个GPU都维护着一个命令队列，本质上是一个环形缓冲区，等待着cpu提交到gpu的命令，同时执行命令在Direct3D中命令队列被抽象为ID3D12CommandQueue接口来表示。通过下面的方式创建命令队列。 ComPtr<ID3D12CommandQue…...

编程日记 2025/8/12 9:43:54

MySQL运维三部曲初级篇：从零开始打造稳定高效的数据库环境

文章目录一、服务器选型——给数据库一个舒适的家二、系统调优——打造高性能跑道三、MySQL配置——让数据库火力全开四、监控体系——数据库的体检中心五、备份恢复——数据安全的最后防线六、主从复制——数据同步的艺术七、安全加固——守护数据长城引言：从小白…...

编程日记 2025/8/10 6:36:06

Python制作简易PDF查看工具PDFViewerV1.0查找功能优化

原文说明为不破坏原文结构，因此功能优化不在原文中维护了。关于这款工具原文请通过下面链接访问。Python制作简易PDF查看工具PDFViewerV1.0 这款小工具基本功能已经可以作为一款文档浏览器使用，但还有一些美中不足的地方，本文将介绍对文本查…...

编程日记 2025/8/10 13:20:46

MOPSO实现无人机多目标路径规划（Matlab完整源码和数据）

一、MOPSO算法核心原理 MOPSO（多目标粒子群优化算法）通过模拟鸟群觅食行为，在搜索空间中寻找满足多个冲突目标的Pareto最优解集。其核心流程包括： 粒子初始化：随机生成粒子群，每个粒子代表一条候选路径&a…...

编程日记 2025/8/11 9:34:01

Python：使用web框架Flask搭建网站

Date: 2025.04.19 20:30:43 author: lijianzhan Flask 是一个轻量级的 Python Web 开发框架，以简洁灵活著称，适合快速构建中小型 Web 应用或 API 服务。以下是 Flask 的核心概念、使用方法和实践指南 Flask 的核心特点： 轻量级核心代码仅约…...

编程日记 2025/7/31 12:36:56

芝法酱躺平攻略（21）——kafka安装和使用

本节内容比较初级，故接着躺平攻略写一、官网的下载 1.1 下载解压首先，去官网下载jar包，放进linux中，解压到对应位置。我的位置放在/WORK/MIDDLEWARE/kafka/4.0 1.2 常见配置 # 每个topic默认的分片数 num.properties4 # 数…...

编程日记 2025/7/31 12:36:54

一、 背景

二、 冷热数据分层存储