当前位置： 首页 > news >正文

Kafka消息路由分区机制深度解析：架构设计与实现原理

news 来源：原创 2025/6/27 0:51:27

一、消息路由系统的核心架构哲学

1.1 分布式系统的三元悖论

在分布式消息系统的设计过程中，架构师需要平衡三个核心诉求：数据一致性、系统可用性和分区容忍性。Kafka的分区路由机制本质上是对CAP定理的实践解：

  • 一致性维度：通过ISR（In-Sync Replicas）机制实现最终一致性
  • 可用性保障：Leader副本快速故障转移机制
  • 分区扩展性：基于哈希环的分区分配算法

这种设计使得Kafka在保证消息顺序性的同时，实现了水平扩展能力。每个分区作为独立的并行处理单元，形成天然的并发边界。

1.2 分区的物理实现结构

每个分区在物理存储层面表现为一组有序的日志段文件（LogSegment），其核心特征包括：

  • 分段存储机制：每个日志段由.log数据文件和.index索引文件组成
  • 零拷贝优化：通过sendfile系统调用实现内核态数据传输
  • 时间戳索引：支持基于时间的消息回溯定位

日志段文件的滚动策略由log.segment.bytes（默认1GB）和log.roll.hours（默认7天）共同控制，这种设计有效平衡了文件IO效率与数据检索性能。

二、生产者路由决策的完整流程

2.1 元数据预取机制

生产者在发送消息前，会通过异步方式获取集群元数据，该过程涉及的关键步骤：

  1. 元数据缓存：本地维护Topic-Partition-Leader的映射关系
  2. 动态更新机制：通过metadata.max.age.ms（默认5分钟）控制刷新频率
  3. 异常处理：针对NOT_LEADER_FOR_PARTITION等错误码的自动重试

元数据管理采用双缓冲机制，确保在更新过程中不影响正在进行的消息发送。

2.2 消息路由的三层决策模型

2.2.1 Key-Based路由层

当消息携带业务Key时，采用MurmurHash2算法生成32位哈希值。该算法具有以下特性：

  • 雪崩效应：输入微小变化导致输出巨大差异
  • 均匀分布：在2^32空间内呈现伪随机分布
  • 低碰撞率：适用于海量数据场景

哈希值通过取模运算映射到目标分区，计算公式为：

partition = hash(key) % numPartitions

该策略确保相同Key的消息始终路由到同一分区，这是实现消息顺序性和状态关联性的基础。

2.2.2 粘性分区策略

对于无Key消息，Kafka 2.4+版本引入粘性分区策略（Sticky Partitioning），其工作原理：

  1. 批次优化：将同一时间段内的无Key消息暂存到同一分区
  2. 动态切换：当批次达到batch.size（默认16KB）或linger.ms（默认0ms）时切换分区
  3. 负载均衡：通过轮询方式确保各分区的消息量均衡

这种策略在保证数据分布均匀性的同时，显著提升了批处理效率。

2.2.3 自定义策略扩展

通过实现Partitioner接口，开发者可以创建业务特定的路由逻辑。典型应用场景包括：

  • 时间窗口路由：将同一时间段的消息集中到特定分区
  • 地理位置路由：根据客户端IP选择就近分区
  • 业务分片路由：基于实体ID进行分片映射

自定义策略需要特别注意分区数变更时的兼容性问题。

三、服务端的分区管理机制

3.1 副本同步协议

Kafka采用主从复制模型，其副本同步过程包含多个精妙设计：

  1. 水印机制：Leader维护High Watermark（HW）标识已提交消息边界
  2. ISR动态维护：Follower副本需在replica.lag.time.max.ms（默认30秒）内完成同步
  3. 截断保护：通过Log End Offset（LEO）防止数据丢失

当Leader故障时，控制器（Controller）会从ISR中选择新Leader，优先选择存活性最高的副本。

3.2 写入请求处理流水线

Broker处理生产者写入请求的完整流程：

  1. 请求排队：通过网络线程池接收请求并存入请求队列
  2. 日志追加：IO线程将消息写入页缓存（Page Cache）
  3. 副本同步：Follower通过拉取机制从Leader同步数据
  4. 响应回调：当消息满足ACK配置时返回确认

其中ACK配置的三个级别：

  • 0：无需确认（可能丢失数据）
  • 1：Leader确认（平衡速度与安全）
  • all：ISR全确认（最高可靠性）

3.3 分区重平衡策略

当集群拓扑发生变化时，Kafka通过再平衡（Rebalance）机制重新分配分区。关键演进阶段：

  1. Eager Rebalance：所有消费者暂停消费直至完成分配
  2. Incremental Rebalance：仅影响变更部分的消费者（Kafka 2.4+）
  3. Cooperative Rebalance：多阶段协同分配（Kafka 3.0+）

新一代再平衡算法将平均故障恢复时间降低60%以上。

四、消费者端的路由适配

4.1 消费者组分区分配策略

消费者通过partition.assignment.strategy配置分配算法，常见策略：

  • RangeAssignor：按分区范围均匀分配（可能产生负载不均）
  • RoundRobinAssignor：轮询分配实现绝对均衡
  • StickyAssignor：在均衡前提下最大限度保留原有分配（减少再平衡开销）

4.2 消费进度追踪机制

消费者通过__consumer_offsets主题维护消费位移，其设计特点：

  • 压缩存储：仅保留每个分区的最后提交位移
  • 异步提交：通过自动提交或手动提交两种模式
  • 位移重置：支持earliest/latest/none三种重置策略

4.3 流量控制机制

消费者通过以下参数实现精细化流量控制：

  • fetch.min.bytes：最小抓取数据量（默认1字节）
  • fetch.max.bytes：单次请求最大数据量（默认50MB）
  • max.poll.records：单次拉取最大消息数（默认500条）

这些参数共同决定了消费者与Broker之间的交互频率和数据吞吐量。

五、生产环境深度调优指南

5.1 分区数黄金法则

确定最优分区数的多维决策模型：

  1. 吞吐量维度：单个分区写入上限约1MB/s~10MB/s
  2. 消费者并行度：分区数≥消费者线程数×消费者实例数
  3. 存储限制：单个Broker建议承载≤4000个分区
  4. ZooKeeper限制：旧版本单个ZK集群建议管理≤20万分区

5.2 热点问题系统化解决方案

5.2.1 诊断工具链
  • 监控指标：MessagesInPerSec、BytesInPerSec
  • 诊断命令：kafka-topics --describe
  • 日志分析：重点关注Leader切换日志
5.2.2 治理策略
  • Key空间优化：引入复合Key（时间戳+随机数）
  • 动态扩容：结合kafka-reassign-partitions工具
  • 流量整形：使用Quota机制限制生产速率

5.3 跨机房路由优化

在多地部署场景下，通过以下机制优化网络开销：

  1. 机架感知：配置broker.rack实现同机房优先路由
  2. 副本放置策略：设置min.insync.replicas保证跨机房冗余
  3. 延时优化：调整socket.buffer.size提升网络吞吐

六、架构演进与技术前瞻

6.1 弹性伸缩新范式

KIP-455引入的弹性分区机制支持：

  • 在线调整分区数而不中断服务
  • 自动检测负载进行动态扩容
  • 基于预测模型的预分配策略

6.2 智能路由算法

结合机器学习技术的新型路由策略：

  • 时序预测路由：基于历史流量模式分配分区
  • QoS感知路由：根据SLA要求动态选择分区
  • 成本优化路由：考虑跨云厂商的流量成本

6.3 服务网格集成

Kafka作为Service Mesh数据平面的实现方案：

  • 通过Sidecar代理实现协议转换
  • 集成Istio等控制平面进行流量治理
  • 支持跨集群的透明消息路由

七、结语：分布式消息系统的本质思考

Kafka的分区路由机制揭示了分布式系统设计的核心哲学——在约束条件下寻求最优解。通过深入理解分区Leader选举、ISR同步、消费者再平衡等底层机制，开发者可以：

  1. 精准诊断生产环境中的性能瓶颈
  2. 设计出弹性可扩展的消息处理架构
  3. 前瞻性地应对未来业务规模的增长

随着Kafka 3.0版本对KRaft模式的全面支持，分区路由机制正在向去ZooKeeper化、强一致性保证的方向演进。掌握这些底层原理，将帮助技术团队在云原生时代构建出更健壮的实时数据管道。

相关文章：

Kafka消息路由分区机制深度解析：架构设计与实现原理

一、消息路由系统的核心架构哲学 1.1 分布式系统的三元悖论 在分布式消息系统的设计过程中，架构师需要平衡三个核心诉求：数据一致性、系统可用性和分区容忍性。Kafka的分区路由机制本质上是对CAP定理的实践解： 一致性维度：通过…...

编程日记 2025/6/27 0:51:27

用C语言实现了——一个基于顺序表的插入排序演示系统

一、知识要点、 插入排序是一种简单直观的排序算法，它的工作方式类似于我们整理扑克牌。 基本原理： 插入排序通过构建有序序列来工作。它每次从无序序列中取出一个元素，然后将其插入到已排序序列的适当位置。这个过程重复进行，…...

编程日记 2025/6/27 0:48:09

linux libdbus使用案例

以下是一个基于 Linux libdbus 的详细指南，包含服务端和客户端的完整代码示例，涵盖 方法调用、信号发送 和 异步消息处理。libdbus 是 D-Bus 的底层 C 库，直接操作 D-Bus 协议，适合需要精细控制的场景。 1. libdbus 的核心机制 连接管理：通过 dbus_bus_get 连接系统总线或…...

编程日记 2025/6/27 0:43:31

Apple Vision Pro空间视频创作革命：从180度叙事到沉浸式语法的重构——《Adventure》系列幕后技术深度解析

🌌 引言：沉浸式媒体的“语法实验室” Apple Vision Pro的推出标志着空间计算时代的到来，而《Adventure》系列作为其原生内容标杆，正在成为沉浸式叙事的“语法实验室”。导演Charlotte Mikkelborg与播客主持人Kent Bye的对话揭示了这一领域的技术突破、创作挑战与行业生态…...

编程日记 2025/6/27 0:21:48

[特殊字符] 苍穹外卖项目中的 WebSocket 实战：实现来单与催单提醒功能

🚀 苍穹外卖项目中的 WebSocket 实战：实现来单与催单提醒功能 在现代 Web 应用中，实时通信成为提升用户体验的关键技术之一。WebSocket 作为一种在单个 TCP 连接上进行全双工通信的协议，被广泛应用于需要实时数据交换的场景&#…...

编程日记 2025/6/24 23:56:40

【C/C++】深度解析C++ Allocator：优化内存管理的关键

文章目录 深度解析C Allocator：优化内存管理的关键1 默认 std::allocator2 自定义 Allocator3 自定义 Allocator 的实现3.1 基本结构3.2 使用自定义 Allocator 4 关键特性详解4.1 rebind 机制4.2 状态化 Allocator 5 应用示例：内存池 Allocator5.1 简单内…...

编程日记 2025/6/27 0:22:50

gitlab+portainer 实现Ruoyi Vue前端CI/CD

1. 场景 最近整了一个Ruoyi Vue 项目，需要实现CICD，经过一番坎坷，最终达成，现将技术要点和踩坑呈现。 具体操作流程和后端大同小异，后端操作参考连接如下： https://blog.csdn.net/leinminna/article/detai…...

编程日记 2025/6/27 0:21:47

CAPL编程系列_04

1_ 测试模块TestModule：基本使用 1）在Simulation Setup 中创建并配置 Test Module节点 2）编写测试脚本 【1】测试用例函数（testcase）:实现具体测试逻辑 【2】主测试函数（Main Test）&…...

编程日记 2025/6/27 0:19:59

Weblogic SSRF漏洞复现（CVE-2014-4210）【vulhub靶场】

漏洞概述： Weblogic中存在一个SSRF漏洞，利用该漏洞可以发送任意HTTP请求，进而攻击内网中redis、fastcgi等脆弱组件。 漏洞形成原因： WebLogic Server 的 UDDI 组件（uddiexplorer.war）中的 SearchPublicR…...

编程日记 2025/6/27 0:29:21

科技的成就（六十八）

623、杰文斯悖论 杰文斯悖论是1865年经济学家威廉斯坦利杰文斯提出的一悖论：当技术进步提高了效率，资源消耗不仅没有减少，反而激增。例如，瓦特改良的蒸汽机让煤炭燃烧更加高效，但结果却是煤炭需求飙升。 624、代码混…...

编程日记 2025/6/23 17:13:53

知从科技闪耀2025上海车展：以创新驱动未来出行新篇章

上海，2025年4月23日——全球汽车科技领域的年度盛会——2025上海国际汽车工业展览会（简称“上海车展”）于5月2日圆满落幕。作为智能汽车软件与系统解决方案的领军企业，知从科技受邀参展，并在活动期间全方位展示了其在智…...

编程日记 2025/6/26 1:06:49

【iOS安全】Dopamine越狱 iPhone X iOS 16.6 (20G75) | 解决Jailbreak failed with error

Dopamine越狱 iPhone X iOS 16.6 (20G75) Dopamine兼容设备 参考：https://www.bilibili.com/opus/977469285985157129 A9 - A11（iPhone6s－X）：iOS15.0-16.6.1 A12-A14（iPhoneXR－12PM&#xf…...

编程日记 2025/6/26 20:18:48

医疗数据迁移质量与效率的深度研究：三维六阶框架与实践创新

引言 随着医疗信息化建设的深入推进，医疗数据作为医疗机构的核心资产，其价值与日俱增。在医院信息系统升级、迁移或整合过程中，数据迁移的质量与效率直接关系到医疗服务的连续性、患者信息的安全性以及医院运营的稳定性。传统数据迁移方法往往面临时间长、风险高、成本大等…...

编程日记 2025/6/24 16:50:41

[6-8] 编码器接口测速 江协科技学习笔记（7个知识点）

1 2 在STM32微控制器的定时器模块中，CNT通常指的是定时器的计数器值。以下是CNT是什么以及它的用途： 是什么： • CNT：代表定时器的当前计数值。在STM32中，定时器从0开始计数，直到达到预设的自动重装载值&am…...

编程日记 2025/6/25 17:20:07

java类加载阶段与双亲委派机制

java执行过程:.java->.class->然后被jvm加载解释执行。 一、类加载机制的三个阶段 ​​加载（Loading）​​ ​​任务​​：通过类的全限定名获取二进制字节流（如从文件系统、网络等），将字节流转换为方…...

编程日记 2025/6/27 0:26:23

医院网络安全托管服务(MSS)深度解读与实践路径

医疗行业网络安全挑战与MSS的应运而生 医疗行业在数智化转型的过程中面临着前所未有的网络安全挑战。根据2025年的最新数据，医疗行业将面临大量网络攻击，其中高达91%与勒索软件有关，且45%的数据泄露事件源于第三方供应商。医疗机构的平均数据…...

编程日记 2025/6/23 18:49:51

计算图存储采用矩阵吗，和张量关系

计算图存储采用矩阵吗，和张量关系 计算图的存储方式与张量的关系 一、计算图的存储方式 计算图（Computational Graph）是一种用于描述数学运算的有向无环图（DAG），其节点代表运算（如加减乘除、矩阵乘法、激活函数等），边代表运算的输入和输出（通常是张量）。计算图的…...

编程日记 2025/6/24 21:26:22

RPA 自动化实现自动发布

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、…...

编程日记 2025/6/27 0:30:24

博途软件直接寻址AMS348i读取位置值详解

一、AMS348i简介 AMS348i是一种高性能绝对值编码器，常用于工业自动化领域的位置检测。它具有以下特点： 高精度位置测量 多种通信接口（如SSI、PROFIBUS、PROFINET等） 坚固的工业设计 支持多种安装方式 二、元器件及配件 设备…...

编程日记 2025/6/27 0:40:42

MySQL 学习（十）执行一条查询语句的内部执行过程、MySQL分层

目录 一、MySQL 执行流程图二、MySQL的分层2.1 连接阶段2.2 查询缓存阶段（Query Cache，MySQL 8.0已移除）2.3 解析与预处理阶段（词法分析、语法分析、预处理器）2.4 查询优化阶段2.5 执行引擎阶段 三、常见面试题3.1 MyS…...

编程日记 2025/6/25 17:32:45

C语言中的指定初始化器

什么是指定初始化器？ C99标准引入了一种更灵活、直观的初始化语法——指定初始化器（designated initializer）， 可以在初始化列表中直接引用结构体或联合体成员名称的语法。通过这种方式，我们可以跳过某些不需要初始化的成员，并且可以以任意顺序对特定成员进行初始化。这…...

编程日记 2025/6/24 19:23:02

什么是 NB-IoT ？窄带IoT 应用

物联网使各种应用能够与大量无线通信设备进行连接和通信。它有望为智能城市、公用事业、制造设施、农业应用、远程工业机械等提供动力。这些应用均可使用窄带物联网（NB-IoT ）网络协议。 例如，智能城市可使用 NB-IoT 监控整个城市的街道照明、…...

编程日记 2025/6/23 1:45:03

CSRF 和 XSS 攻击分析与防范

CSRF 和 XSS 攻击分析与防范 CSRF (跨站请求伪造) 什么是 CSRF？ CSRF (Cross-Site Request Forgery) 是一种攻击方式，攻击者诱使用户在已登录目标网站的情况下，执行非预期的操作。 攻击流程： 用户登录可信网站 A在不登出 A 的…...

编程日记 2025/6/26 18:00:17

Window下Jmeter多机压测方法

1.概述 Jmeter多机压测的原理，是通过单个jmeter客户端，控制多个远程的jmeter服务器，使他们同步的对服务器进行压力测试。 以此方式收集测试数据的好处在于： 保存测试采样数据到本地机器通过单台机器管理多个jmeter执行引擎测试…...

编程日记 2025/6/23 1:48:31

Apache RocketMQ ACL 2.0 全新升级

📖知识延伸：本文相关知识库已收录至「RocketMQ 中文社区」，同步更新更多进阶内容 引言 RocketMQ 作为一款流行的分布式消息中间件，被广泛应用于各种大型分布式系统和微服务中，承担着异步通信、系统解耦、削峰填谷和消…...

编程日记 2025/6/26 7:23:24

第九讲 | 模板进阶

模板进阶 一、非类型模板参数1、模板参数的分类2、应用场景3、array4、注意 二、模板的特化1、概念2、函数模板特化3、类模板特化（1）、全特化：全部模板参数都特化成具体的类型（2）、偏/半特化：部分模板参数特…...

编程日记 2025/6/23 23:57:54

联合建模组织学和分子标记用于癌症分类|文献速递-深度学习医疗AI最新文献

Title 题目 Joint modeling histology and molecular markers for cancer classification 联合建模组织学和分子标记用于癌症分类 01 文献速递介绍 癌症是对人类致命的恶性肿瘤，早期准确诊断对癌症治疗至关重要。目前，病理诊断仍是癌症诊断的金标准…...

编程日记 2025/6/24 18:21:30

会计要素+借贷分录+会计科目+账户,几个银行会计的重要概念

1.借贷分录还是借贷分路 正确表述是“借贷分录”。 “分录”即会计分录，它是指预先确定每笔经济业务所涉及的账户名称，以及计入账户的方向和金额的一种记录，简称分录。 在借贷记账法下，会计分录通过“借”和“贷”来表示记账方向…...

编程日记 2025/6/26 4:10:40

【C++】set和multiset的常用接口详解

前⾯我们已经接触过STL中的部分容器如：string、vector、list、deque、array、forward_list等，本篇文章将介绍一下map和multiset的使用。 1. 序列式容器和关联式容器 在介绍set之前我们先简单介绍一下什么是序列式容器和关联式容器。 前⾯我们已经接触过S…...

编程日记 2025/6/26 12:27:23

PostgreSQL 联合索引生效条件

最近面试的时候，总会遇到一个问题 在 PostgreSQL 中，联合索引在什么条件下会生效？ 特此记录~ 前置信息 数据库版本 PostgreSQL 14.13, compiled by Visual C build 1941, 64-bit 建表语句 CREATE TABLE people (id SERIAL PRIMARY KEY,c…...

编程日记 2025/6/24 15:11:35

聊聊redisson的lockWatchdogTimeout

序 本文主要研究一下redisson的lockWatchdogTimeout lockWatchdogTimeout redisson/src/main/java/org/redisson/config/Config.java private long lockWatchdogTimeout 30 * 1000;/*** This parameter is only used if lock has been acquired without leaseTimeout param…...

编程日记 2025/6/25 10:18:24

数据结构第七章（三）-树形查找：红黑树

树形查找（二） 红黑树一、红黑树1.定义2.黑高3.性质 二、插入1.插入步骤2.举例 总结 红黑树 红黑树来喽~ 我们在上一篇说了二叉排序树（BST）和平衡二叉树（AVL），那么既然都有这两个了，…...

编程日记 2025/6/21 10:36:52

C++篇——多态

目录 引言 1，什么是多态 2. 多态的定义及实现 2_1，多态的构成条件 2_2，虚函数 2_3，虚函数的重写 2_4，虚函数重写的两个例外 2_4_1，协变(基类与派生类虚函数返回值类型不同) 2_4_2. 析构函数的重写(基类…...

编程日记 2025/6/26 6:45:42

AI实时对话的通信基础，WebRTC技术综合指南

在通过您的网络浏览器进行音频和视频通话、屏幕共享或实时数据传输时，您可能并不常思考其背后的技术。推动这些功能的核心力量之一就是WebRTC。2011年由谷歌发布的这个开源项目，如今已发展成为一个高度全面且不断扩展的生态系统。尤其是在AI技术大幅突破…...

编程日记 2025/6/26 23:55:19

【寻找Linux的奥秘】第五章：认识进程

请君浏览 前言1. 冯诺依曼体系结构数据流动 2. 操作系统（Operating System）2.1 概念2.2 设计OS的目的2.3 如何理解“管理”2.4 系统调用和库函数概念 3. 进程3.1 基本概念3.1.1 查看进程3.1.2 创建进程 3.2 进程状态3.2.1 简单介绍3.2.2 运行&&阻…...

编程日记 2025/6/24 16:34:13

uniapp微信小程序-长按按钮百度语音识别回显文字

流程图&#xff1a; 话不多说&#xff0c;上代码&#xff1a; <template><view class"content"><view class"speech-chat" longpress"startSpeech" touchend"endSpeech"><view class"animate-block" …...

编程日记 2025/6/25 5:49:11

支付宝创建商家订单收款码（统一收单线下交易预创建）.net开发的软件附带大型XML文件可以删除吗？AlipaySDKNet.OpenAPI.xml

支付宝创建商家订单收款码&#xff08;统一收单线下交易预创建&#xff09;一个程序55MB&#xff0c;XML就带了35MB AlipaySDKNet.OpenAPI.xml&#xff0c;BouncyCastle.Crypto.xml 支付宝店铺收款码创建的程序&#xff0c;这些文件可以不用吗 在支付宝店铺收款码创建的程序中…...

编程日记 2025/6/25 19:20:16

Profinet转Ethernet/IP网关模块通信协议适配配置

案例背景 在某自动化生产车间中&#xff0c;现有控制系统采用了西门子 S7 - 1500 PLC 作为主要控制器&#xff0c;负责生产流程的核心控制。同时&#xff0c;由于部分设备的历史原因&#xff0c;存在使用 AB 的 PLC 进行特定环节控制的情况。为了实现整个生产系统的信息交互与…...

编程日记 2025/6/26 19:31:48

4.6/Q1，GBD数据库最新文章解读

文章题目&#xff1a;Global burden, subtype, risk factors and etiological analysis of enteric infections from 1990-2021: population based study DOI&#xff1a;10.3389/fcimb.2025.1527765 中文标题&#xff1a;1990-2021 年肠道感染的全球负担、亚型、危险因素和病因…...

编程日记 2025/6/27 0:26:22

数字孪生技术：开启未来的“镜像”技术

想象一下&#xff0c;你拥有一个与现实世界一模一样的 “数字分身”&#xff0c;它不仅长得像你&#xff0c;行为举止、思维方式也和你毫无二致&#xff0c;甚至能提前预知你的下一步行动。这听起来像是科幻电影里的情节&#xff0c;但数字孪生技术却让它在现实中成为了可能。数…...

编程日记 2025/6/26 22:22:40

Java 序列化（Serialization）

一、理论说明 1. 序列化的定义 Java 序列化是指将对象转换为字节流的过程&#xff0c;以便将其存储到文件、数据库或通过网络传输。反序列化则是将字节流重新转换为对象的过程。通过实现java.io.Serializable接口&#xff0c;类可以被标记为可序列化的&#xff0c;该接口是一…...

编程日记 2025/6/26 3:39:46

Python解析Excel入库如何做到行的拆分

我们读取解析Excel入库经常会遇到这种场景&#xff0c;那就是行的拆分&#xff0c;如图&#xff1a; 比如我们入库&#xff0c;要以name为主键&#xff0c;可是表格name的值全是以逗号分割的多个&#xff0c;这怎么办呢&#xff1f;这就必须拆成多行了啊。 代码如下&#xff…...

编程日记 2025/6/24 8:35:45

信创国产化监控 | 达梦数据库监控全解析

达梦数据库&#xff08;DM Database&#xff09;是国产数据库的代表产品之一&#xff0c;在政府、金融、电信、能源等多个关键行业应用广泛&#xff0c;它具有高兼容性、高安全性、高可用性、高性能、自主可控等特点。随着国产化替代进程加速&#xff0c;达梦数据库在关键信息基…...

编程日记 2025/6/21 5:23:07

Parsec解决PnP连接失败的问题

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、准备环境二、DMZ三、端口映射1.Parsec设置固定端口2.路由器设置端口转发3.重启被控端Parsec四、多少一句1.有光猫管理员账号2.没有光猫管理员账号总结 前言…...

编程日记 2025/6/25 8:44:48

LLM笔记（二）LLM数据基础

核心目标: 构建 LLM 的数据基础&#xff0c;将原始文本转化为模型可处理的、包含丰富语义和结构信息的数值形式。 一、 环境与库准备 (Environment & Libraries): 必要库确认: 在开始之前&#xff0c;确保 torch (PyTorch深度学习框架) 和 tiktoken (OpenAI的高效BPE分词…...

编程日记 2025/6/25 15:49:01

让三个线程（t1、t2、t3）按顺序依次打印 A、B、C

public class ThreadWait {private static final Object lock = new Object();private static boolean t1Output=true;private static boolean t2Output=false;private static boolean t3Output=false;public static void main(String[] args) {//线程1new Thread(new Runnable…...

编程日记 2025/6/24 10:25:34

2、ubantu系统配置OpenSSH | 使用vscode或pycharm远程连接

1、OpenSSH介绍 OpenSSH&#xff08;Open Secure Shell&#xff09;是一套基于SSH协议的开源工具&#xff0c;用于在计算机网络中提供安全的加密通信。它被广泛用于远程系统管理、文件传输和网络服务的安全隧道搭建&#xff0c;是保护网络通信免受窃听和攻击的重要工具。 1.1…...

编程日记 2025/6/22 9:10:28

idea启动报错：java: 警告: 源发行版 11 需要目标发行版 11（亲测解决）

引起原因 idea的jdk没有替换干净 1.配置project file–Project Structrue–Project 2.配置Modules-Sources file–Project Structrue–Modules-Sources 改为jdk11 3.配置Modules-Dependencies file–Project Structrue–Modules-Dependencies...

编程日记 2025/6/24 4:28:14

Pycharm IDEA加载大文件时报错:The file size exceeds configured limit

解决方案&#xff1a;配置一下idea.properties文件 文件里面写入代码&#xff1a; idea.max.intellisense.filesize50000重启IDEA即可&#xff1b;...

编程日记 2025/6/24 14:18:41

视频分辨率增强与自动补帧

一、视频分辨率增强 1.传统分辨率增强方法 传统的视频分辨率增强方法主要基于插值技术。这些方法通过对低分辨率视频帧中已知像素点的分布规律和相邻像素之间的相关性进行分析&#xff0c;在两者之间插入新的像素点以达到增加视频分辨率的目的。例如&#xff0c;最近邻插值算…...

编程日记 2025/6/23 19:33:35