当前位置： 首页 > news >正文

参数规模：衡量大语言模型体量的标尺

news 来源：原创 2025/6/15 4:52:41

大语言模型的体量差异通过参数数量呈现。业界标杆如GPT-3拥有1750亿参数，Grok-1更达到3140亿级别，而Llama系列则提供70亿至700亿参数的轻量化选择。这里的"70B"并非指训练数据量，而是模型内部结构的复杂度指标——每个参数如同微型神经元，数量越多意味着模型对数据特征的理解力越强，处理复杂任务的表现潜力越大。

参数构成：模型智能的底层架构

大模型的参数系统由五类核心组件构成：

1、权重矩阵​​
神经网络中的信息调节器，通过调整信号强度决定特征间关联度。例如全连接层中的权重矩阵，标注着输入与输出特征的映射关系。

2、偏置向量​​
神经元的激活阈值调节器，控制神经元的基础响应水平，确保信号传递的动态平衡。

3、注意力参数组​​
Transformer架构中的信息导航系统，包含查询矩阵(Q)、键矩阵(K)、值矩阵(V)等组件，实现关键信息的定位与提取。

4、词嵌入矩阵​​
文本处理的语义词典，将词汇映射到高维向量空间，构建语言理解的数学基础。

5、隐状态初始化参数​​
模型推理的起始锚点，定义神经网络初始的计算状态。

参数存储：精度与空间的平衡术

参数存储采用四类主流格式：

FP32：32位浮点（4字节）

BF16：16位浮点（2字节）

Int8：8位整型（1字节）

Int4：4位整型（0.5字节）

参数规模直接影响模型性能，例如13B-int8模型在多数场景下优于7B-BF16模型，展现了精度与参数量的博弈关系。

内存需求：硬件资源的计算挑战

1、训练阶段内存消耗

需同时存储三类数据：

模型参数副本（x字节）

梯度副本（y字节）

优化器状态（12字节/参数）

总内存需求公式：
Memory=(x+y+12)×ModelSize

2、推理阶段内存优化

内存消耗降至训练阶段的25%以下，主要得益于：

短序列处理减少激活值存储

无反向传播降低中间值保留
典型需求示例：

FP32精度需28GB → BF16需14GB → Int8仅需7GB

3、Transformer架构内存估算

关键变量：

层数(l) | 注意力头数(a) | 批次(b) | 序列长度(s) | 隐层维度(h) | 精度(p)

近似公式：
Memory≈l×b×s×h×p×C
（常数C>16，实际值取决于注意力机制实现）

GPU资源配置：算力需求的工程解算

使用简化公式估算GPU数量：


GPU数量≈GPU显存(GB)Params(B)×18×1.25​

以RTX4090（24GB）训练Llama3-7B为例：
247×18×1.25​≈7台

分布式训练：大规模参数的工程实践

核心挑战包含：

1、通信效率优化（梯度压缩/累积技术）

2、动态批次调节（平衡内存与吞吐）

3、容错机制设计（检查点恢复策略）

4、资源调度优化（CPU-GPU协同）

应用层参数调控：生成效果的三元调节

  1. Temperature​​
    概率分布锐化器：

高值（>1）增强多样性，低值（<1）提升确定性

  1. Top-K​​
    候选集硬性筛选：保留概率最高的K个token

  1. Top-P​​
    动态概率截断：按累积概率阈值自适应选择token集

典型配置示例（Temperature=0.8, Top-K=36, Top-P=0.7）：

增强预测置信度 → 筛选前36候选 → 保留70%概率密度

工程实践启示

参数体系直接影响：

模型能力边界

硬件资源配置

训练成本控制

应用效果调优

通过量化分析参数规模、存储格式与计算需求，工程师可更精准地进行模型选型与资源规划，在性能与成本间取得最优平衡。

相关文章：

参数规模：衡量大语言模型体量的标尺

大语言模型的体量差异通过参数数量呈现。业界标杆如GPT-3拥有1750亿参数&#xff0c;Grok-1更达到3140亿级别&#xff0c;而Llama系列则提供70亿至700亿参数的轻量化选择。这里的"70B"并非指训练数据量&#xff0c;而是模型内部结构的复杂度指标——每个参数如同微型…...

编程日记 2025/5/29 10:00:36

JS 中call、apply 和 bind使用方法和场景

call 方法 核心特性 立即执行函数&#xff0c;并显式指定 this 值和逐个传递参数。语法&#xff1a;func.call(thisArg, arg1, arg2, …) 使用场景 借用其他对象的方法 const person { name: "Alice" }; function greet(greeting) {console.log(${greeting}, ${t…...

编程日记 2025/5/29 18:59:47

ZeroGrasp：零样本形状重建助力机器人抓取

25年4月来自CMU、TRI 和 丰田子公司 Woven 的论文“ZeroGrasp: Zero-Shot Shape Reconstruction Enabled Robotic Grasping”。 机器人抓取是具身系统的核心能力。许多方法直接基于部分信息输出抓取结果&#xff0c;而没有对场景的几何形状进行建模&#xff0c;导致运动效果不…...

编程日记 2025/5/31 15:34:08

第2讲、Tensor高级操作与自动求导详解

1. 前言 在深度学习模型中&#xff0c;Tensor是最基本的运算单元。本文将深入探讨PyTorch中两个核心概念&#xff1a; Tensor的广播机制&#xff08;Broadcasting&#xff09;**自动求导&#xff08;Autograd&#xff09;**机制 这些知识点不仅让你更加灵活地操作数据&#…...

编程日记 2025/5/31 1:42:55

(MySQL)表的操作

目录 表的创建 语法 创建表的案例 查看表的结构 修改表的操作 修改表名 ​编辑 添加一个字段(列) 修改一个字段的类型 修改字段名 删除字段名(删除列) 删除指定的表 表的插入数据 数据库的备份和恢复 我们来学习表的操作 表的创建 语法 CREATE TABLE [if not ex…...

编程日记 2025/5/29 21:14:44

函数的使用

函数绑定 fn.call(obj, param1, param2) fn.apply(obj, [param1, param2]) fn.bind(obj, param1, param2)()相同点&#xff1a; 都是借用别人&#xff08;fn&#xff09;的方法&#xff0c;替换其中的this&#xff08;第一个参数&#xff09;call和apply的不同点&#xff1a;a…...

编程日记 2025/5/25 10:43:01

LLM应用于自动驾驶方向相关论文整理（大模型在自动驾驶方向的相关研究）

1、《HILM-D: Towards High-Resolution Understanding in Multimodal Large Language Models for Autonomous Driving》 2023年9月发表的大模型做自动驾驶的论文&#xff0c;来自香港科技大学和人华为诺亚实验室&#xff08;代码开源&#xff09;。 论文简介&#xff1a; 本文…...

编程日记 2025/6/4 11:26:27

Spring MVC深度解析：从原理到实战

文章目录 一、Spring MVC概述1.1 MVC设计模式1.2 Spring MVC特点 二、Spring MVC核心组件2.1 架构流程图解2.2 核心组件说明 三、环境搭建与配置3.1 Maven依赖3.2 传统XML配置 vs JavaConfig 四、控制器开发实践4.1 基础控制器示例4.2 请求映射注解 五、数据处理与绑定5.1 表单…...

编程日记 2025/5/27 23:53:19

Spark学习全总结

基础概念&#xff1a; Spark 是一个快速、通用的大数据处理引擎&#xff0c;支持多种计算模式&#xff0c;如批处理、流处理、交互式查询和机器学习等。 特点: 速度快&#xff1a;基于内存计算&#xff0c;能将数据缓存在内存中&#xff0c;避免频繁读写磁盘&#xff0c;大幅…...

编程日记 2025/5/28 7:48:41

pytorch写张量pt文件，libtorch读张量pt文件

直接在pytorch中&#xff0c;用torch.save保存的张量&#xff0c;可能因格式差异无法在C中加载。 以下是一个最简单的例子&#xff0c;展示如何在 Pytorch中保存张量到 TorchScript 模块&#xff0c;并在 C 中使用 LibTorch 加载。 Python 代码 (save_tensor.py) import torc…...

编程日记 2025/5/26 9:44:40

关于Android Studio的Gradle各项配置2

好的&#xff01;你提到的这些文件是 Gradle 构建系统 和 Android 项目 中非常重要的一部分&#xff0c;它们各自有不同的作用&#xff0c;涉及项目的构建配置、Gradle 环境、系统配置等方面。接下来我会为你详细解释每个文件的作用&#xff0c;并提供具体的例子和注释。 1. gr…...

编程日记 2025/5/26 10:41:38

Android Studio中创建第一个Flutter项目

一、Flutter环境验证 创建Flutter项目之前需要验证是否有Flutter环境&#xff0c;如没有Flutter 环境&#xff0c;请参考配置Flutter开发环境 1.1、flutter doctor 验证通过会有以下提示 [√] Flutter (Channel stable, 3.29.3, on Microsoft Windows [版本 10.0.19045.573…...

编程日记 2025/5/29 9:51:50

Linux的例行性工作（crontab）

crontab服务 at 命令是在指定的时间只能执行一次任务, crontab 命令可以循环重复的执行定时任务,与 Windows 中的计划任务有些类似 crond 是 Linux 下用来周期地执行某种任务或等待处理某些事件的一个守护进程&#xff0c;在安装完成操 作系统后&#xff0c;默认会安装 crond …...

编程日记 2025/5/25 16:24:35

03 基于 STM32 的温度控制系统

前言 Protues、KeilC 设计内容&#xff1a;使用STM32设计一个空调温度的显示控制系统 设计要求&#xff1a; 1.温度显示范围为16-30摄氏度 2.按键K1实现显示温度加1&#xff0c;按键K2实现显示温度减1&#xff0c;低于16或高于30&#xff0c;显示数值不变 3.正常按键蜂鸣器响一…...

编程日记 2025/5/29 16:50:37

23种设计模式-行为型模式之备忘录模式（Java版本）

Java 备忘录模式&#xff08;Memento Pattern&#xff09;详解 &#x1f9e0; 什么是备忘录模式&#xff1f; 备忘录模式是一种行为型设计模式&#xff0c;它允许在不暴露对象实现细节的情况下&#xff0c;保存和恢复对象的状态。备忘录模式常常用于需要记录对象状态以便随时…...

编程日记 2025/5/28 8:38:23

[三分钟]web自动化测试（二）：selenium自动化测试常用函数(上)

文章目录 1.元素定位1.1 cssSelector(选择器)1.2 xpath1.3小示例 2.操作测试对象2.1点击/提交对象-click()2.2 模拟按键输入-sendKeys("")2.3 清除文本内容-clear()2.4 获取文本信息-getText()2.5 获取当前页面标题-getTitle()2.6获取当前页面URL-getCurrentUrl() 3.…...

编程日记 2025/6/1 16:02:01

基于ruoyi-plus实现AI聊天和绘画

项目介绍 基于ruoyi-plus实现AI聊天和绘画功能&#xff0c;打造自己的AI平台。前后端分离&#xff0c;有管理后台&#xff0c;用户端&#xff0c;小程序端。支持对接openai&#xff0c;讯飞星火&#xff0c;通义灵码&#xff0c;deepseek等大语言模型。项目架构 管理后台-前端&…...

编程日记 2025/5/27 7:14:16

假设检验学习总结

目录 一、假设检验1. 两种错误2. z检验和t检验3. t检验3.1 单样本t检验3.2 配对样本t检验3.3 独立样本t检验4 方差齐性检验备注卡方检验样本容量的计算AB测试主要的两种应用场景绝对量的计算公式率的计算公式说明一、假设检验 1. 两种错误 第一类错误 原假设为真，却拒绝了原假…...

编程日记 2025/5/29 10:16:31

C++ 基于多设计模式下的同步异步⽇志系统-2项目实现

⽇志系统框架设计 1.⽇志等级模块:对输出⽇志的等级进⾏划分&#xff0c;以便于控制⽇志的输出&#xff0c;并提供等级枚举转字符串功能。 ◦ OFF&#xff1a;关闭 ◦ DEBUG&#xff1a;调试&#xff0c;调试时的关键信息输出。 ◦ INFO&#xff1a;提⽰&#xff0c;普通的提⽰…...

编程日记 2025/6/4 17:22:01

Tauri窗口与界面管理：打造专业桌面应用体验 (入门系列五)

窗口管理是桌面应用的核心特性之一&#xff0c;良好的窗口管理可以显著提升用户体验。在Web开发中&#xff0c;我们通常被限制在浏览器窗口内&#xff0c;但Tauri允许前端开发者控制应用窗口的方方面面&#xff0c;从而创造出更加原生的体验。 窗口配置基础 初始窗口配置 在…...

编程日记 2025/6/1 16:18:02

golang goroutine（协程）和 channel(管道) 案例解析

文章目录 goroutine和channel概念开启线程与channel简单通信流程多个工作协程并发执行流程 goroutine和channel概念 goroutine(协程)&#xff0c;一般我们常见的是进程&#xff0c;线程&#xff0c;进程可以理解为一个软件在运行执行的过程&#xff0c;线程跟协程比较类似&…...

编程日记 2025/5/26 9:41:10

底层源码和具体测试解析HotSpot JVM的notify唤醒有序性（5000字详解）

在大家的认知里&#xff0c;或者大家也可能搜过&#xff0c;notify唤醒机制到底是随机的呢&#xff1f;还是顺序的呢&#xff1f;在网上其实也有很多人说notify的唤醒机制就是随机的&#xff0c;但实际上并不是这样的&#xff0c;notify的唤醒机制是先进先出的&#xff01; 目…...

编程日记 2025/5/28 7:07:04

Jenkins（CI/CD工具）

1. 什么是 Jenkins&#xff1f; Jenkins 是一个开源的持续集成&#xff08;CI&#xff09;和持续交付/部署&#xff08;CD&#xff09;工具&#xff0c;用于自动化软件构建、测试和部署过程。 2. Jenkins 优势 &#xff08;1&#xff09;开源免费&#xff1a;社区活跃&#…...

编程日记 2025/6/1 8:11:37

Apache Sqoop数据采集问题

Sqoop数据采集格式问题 一、Sqoop工作原理二、Sqoop命令格式三、Oracle数据采集格式问题四、Sqoop增量采集方案 Apache Sqoop是一款开源的工具&#xff0c;主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递&#xff0c;可以将一个关系型数据库&…...

编程日记 2025/5/27 15:27:36

再学GPIO（二）

GPIO寄存器 每个GPI/O端口有两个32位配置寄存器(GPIOx_CRL&#xff0c;GPIOx_CRH)&#xff0c;两个32位数据寄存器(GPIOx_IDR和GPIOx_ODR)&#xff0c;一个32位置位/复位寄存器(GPIOx_BSRR)&#xff0c;一个16位复位寄存器(GPIOx_BRR)和一个32位锁定寄存器(GPIOx_LCKR)。 GPIO…...

编程日记 2025/5/26 1:03:59

err: Error: Request failed with status code 400

好的&#xff0c;今天学习ai的时候从前端发送请求&#xff0c;实在是想不通为啥会啥是一个坏请求&#xff0c;后来从前端方法一个一个找参数&#xff0c;传递的值都有&#xff0c;然后想到我这边需要传递的是一个对象&#xff0c;那么后端使用的RequestParam就接收不到json对象…...

编程日记 2025/5/26 9:54:21

解决qnn htp 后端不支持boolean 数据类型的方法。

一、背景 1.1 问题原因 Qnn 模型在使用fp16的模型转换不支持类型是boolean的cast 算子&#xff0c;因为 htp 后端支持量化数据类型或者fp16&#xff0c;不支持boolean 类型。 ${QNN_SDK_ROOT_27}/bin/x86_64-linux-clang/qnn-model-lib-generator -c ./bge_small_fp16.cpp -b …...

编程日记 2025/5/22 8:17:51

k8s学习记录（五）：Pod亲和性详解

一、前言 上一篇文章初步探讨了 Kubernetes 的节点亲和性&#xff0c;了解到它在 Pod 调度上比传统方式更灵活高效。今天我们继续讨论亲和性同时Kubernetes 的调度机制。 二、Pod亲和性 上一篇文章中我们介绍了节点亲和性&#xff0c;今天我们讲解一下Pod亲和性。首先我们先看…...

编程日记 2025/5/27 7:50:09

MongoDB与PHP7的集成与优化

MongoDB与PHP7的集成与优化 引言 随着互联网技术的飞速发展，数据库技术在现代软件开发中扮演着越来越重要的角色。MongoDB作为一种流行的NoSQL数据库，以其灵活的数据模型和强大的扩展性受到众多开发者的青睐。PHP7作为当前最流行的服务器端脚本语言之一，其性能和稳定性也得…...

编程日记 2025/5/28 7:39:36

maven相关概念深入介绍

1. pom.xml文件 就像Make的MakeFile、Ant的build.xml一样&#xff0c;Maven项目的核心是pom.xml。POM&#xff08;Project Object Model&#xff0c;项目对象模型&#xff09;定义了项目的基本信息&#xff0c;用于描述项目如何构建&#xff0c;声明项目依赖&#xff0c;等等。…...

编程日记 2025/5/27 5:41:08

以科技之力，启智慧出行 —— 阅读《NVIDIA 自动驾驶安全报告》及观看实验室视频有感

作为中南民族大学通信工程专业的学生&#xff0c;近期研读《NVIDIA 自动驾驶安全报告》并观看其实验室系列视频后&#xff0c;我深刻感受到自动驾驶技术不仅是一场交通革命&#xff0c;更是一次社会生产力的解放与民族精神的升华。这场变革的浪潮中&#xff0c;我看到了科技如何…...

编程日记 2025/5/27 6:05:19

2P4M-ASEMI机器人功率器件专用2P4M

编辑&#xff1a;LL 2P4M-ASEMI机器人功率器件专用2P4M 型号&#xff1a;2P4M 品牌&#xff1a;ASEMI 封装&#xff1a;TO-126 批号&#xff1a;最新 引脚数量&#xff1a;3 封装尺寸&#xff1a;如图 特性&#xff1a;双向可控硅 工作结温&#xff1a;-40℃~150℃ 在…...

编程日记 2025/5/29 19:32:24

基础的贝叶斯神经网络（BNN）回归

下面是一个最基础的贝叶斯神经网络&#xff08;BNN&#xff09;回归示例&#xff0c;采用PyTorch实现&#xff0c;适合入门理解。 这个例子用BNN拟合 y x 噪声 的一维回归问题&#xff0c;输出均值和不确定性&#xff08;方差&#xff09;。 import torch import torch.nn a…...

编程日记 2025/5/29 12:48:15

小黑享受思考心流: 73. 矩阵置零

小黑代码 class Solution:def setZeroes(self, matrix: List[List[int]]) -> None:"""Do not return anything, modify matrix in-place instead."""items []m len(matrix)n len(matrix[0])for i in range(m):for j in range(n):if not m…...

编程日记 2025/6/3 14:38:34

整合 | 大模型时代：微调技术在医疗智能问答矩阵的实战应用20250427

&#x1f50e; 整合 | 大模型时代&#xff1a;微调技术在医疗智能问答矩阵的实战应用 一、引言 在大模型技术高速变革的背景下&#xff0c;数据与微调技术不再是附属品&#xff0c;而是成为了AI能力深度重构的核心资产。 尤其在医疗行业中&#xff0c;微调技术改写了智能分诊和…...

编程日记 2025/5/29 16:56:54

Web安全：威胁解析与综合防护体系构建

Web安全&#xff1a;威胁解析与综合防护体系构建 Web安全是保护网站、应用程序及用户数据免受恶意攻击的核心领域。随着数字化转型加速&#xff0c;攻击手段日益复杂&#xff0c;防护需兼顾技术深度与系统性。以下从威胁分类、防护技术、最佳实践及未来趋势四个维度&#xff0…...

编程日记 2025/5/23 16:43:35

spring项目rabbitmq es项目启动命令

应该很多开发者遇到过需要启动中间件的情况&#xff0c;什么测试服务器挂了&#xff0c;服务连不上nacos了巴拉巴拉的&#xff0c;虽然是测试环境&#xff0c;但也会手忙脚乱&#xff0c;疯狂百度。 这里介绍一些实用方法 有各种不同的场景&#xff0c;一是重启&#xff0c;服…...

编程日记 2025/5/28 7:30:41

人工智能期末复习1

该笔记为2024.7出版的人工智能技术应用导论&#xff08;第二版&#xff09;课本部分的理论总结。 一、人工智能的产生与发展 概念&#xff1a;人工智能是通过计算机系统和模型模拟、延申和拓展人类智能的理论、方法、技术及应用系统的一门新的技术科学。 发展&#xff1a;19…...

编程日记 2025/5/25 5:45:58

深入理解指针（5）

字符指针变量 对下述代码进行调试 继续go,并且观察p2 弹出错误&#xff1a; 为什么报错呢&#xff1f; 因为常量字符串是不能被修改的&#xff0c;否则&#xff0c;编译器报错。 最后&#xff0c;打印一下&#xff1a; 《剑指offer》中收录了⼀道和字符串相关的笔试题&#…...

编程日记 2025/5/28 15:17:51

新魔百和CM311-5_CH／YST／ZG代工_GK6323V100C_2+8G蓝牙版_强刷卡刷固件包（可救砖）

新魔百和CM311-5_CH&#xff0f;YST&#xff0f;ZG代工_GK6323V100C_28G蓝牙版_强刷卡刷固件包&#xff08;可救砖&#xff09; 1、准备一个优盘卡刷强刷刷机&#xff0c;用一个usb2.0的8G以下U盘&#xff0c;fat32&#xff0c;2048块单分区格式化&#xff08;强刷对&#xff…...

编程日记 2025/6/1 8:55:17

磁盘清理git gc

#!/bin/bash find / -type d -name “.git” 2>/dev/null | while read -r git_dir; do repo_dir ( d i r n a m e " (dirname " (dirname"git_dir") echo “Optimizing r e p o d i r " c d " repo_dir" cd " repod​ir"cd&…...

编程日记 2025/5/26 6:16:47

django admin AttributeError: ‘UserResorce‘ object has no attribute ‘ID‘

在 Django 中遇到 AttributeError: ‘UserResource’ object has no attribute ‘ID’ 这类错误通常是因为你在代码中尝试访问一个不存在的属性。在你的例子中&#xff0c;错误提示表明 UserResource 类中没有名为 ID 的属性。这可能是由以下几个原因造成的&#xff1a; 拼写错…...

编程日记 2025/6/1 8:19:08

现代Python打包工具链

现代Python打包工具如Poetry、Flit和Hatch提供了更简单、更强大的方式来管理项目依赖和打包流程。下面我将通过具体示例详细介绍这三种工具。 1. Poetry - 全功能依赖管理工具 Poetry是最流行的现代Python项目管理工具之一&#xff0c;它集依赖管理、虚拟环境管理和打包发布于一…...

编程日记 2025/5/26 8:04:44

(done) 吴恩达版提示词工程 8. 聊天机器人 (聊天格式设计，上下文内容，点餐机器人)

视频&#xff1a;https://www.bilibili.com/video/BV1Z14y1Z7LJ/?spm_id_from333.337.search-card.all.click&vd_source7a1a0bc74158c6993c7355c5490fc600 别人的笔记&#xff1a;https://zhuanlan.zhihu.com/p/626966526 8. 聊天机器人&#xff08;Chatbot&#xff09; …...

编程日记 2025/5/26 10:55:13

Maven概述

1.maven是什么&#xff1f; Maven 是一个基于项目对象模型&#xff08;Project Object Model&#xff0c;POM&#xff09;概念的项目构建工具&#xff0c;主要用于 Java 项目的构建、依赖管理和项目信息管理。&#xff08;跨平台的项目管理工具&#xff0c;用于构建和管理任何…...

编程日记 2025/5/29 10:49:02

SKLearn - Biclustering

文章目录 Biclustering &#xff08;双聚类&#xff09;谱二分聚类算法演示生成样本数据拟合 SpectralBiclustering绘制结果 Spectral Co-Clustering 算法演示使用光谱协同聚类算法进行文档的二分聚类 Biclustering &#xff08;双聚类&#xff09; 关于双聚类技术的示例。 谱…...

编程日记 2025/5/29 8:58:44

使用c++实现一个简易的量子计算，并向外提供服务

实现一个简易的量子计算模拟器并提供服务是一个相对复杂的过程&#xff0c;涉及到量子计算的基本概念、C编程以及网络服务的搭建。以下是一个简化的步骤指南&#xff0c;帮助你开始这个项目&#xff1a; 步骤 1: 理解量子计算基础 在开始编码之前&#xff0c;你需要对量子计算…...

编程日记 2025/5/24 1:18:13

京东攻防岗位春招面试题

围绕电商场景&#xff0c;以下是5道具有代表性的技术面试题及其解析&#xff0c;覆盖供应链、电商大促、红蓝对抗等场景。 《网安面试指南》https://mp.weixin.qq.com/s/RIVYDmxI9g_TgGrpbdDKtA?token1860256701&langzh_CN 5000篇网安资料库https://mp.weixin.qq.com/s?…...

编程日记 2025/5/27 8:08:41

Kafka批量消费部分处理成功时的手动提交方案

Kafka批量消费部分处理成功时的手动提交方案 当使用Kafka批量消费时&#xff0c;如果500条消息中只有部分处理成功&#xff0c;需要谨慎处理偏移量提交以避免消息丢失或重复消费。以下是几种处理方案示例&#xff1a; 方案1&#xff1a;记录成功消息并提交最后成功偏移量 Co…...

编程日记 2025/5/29 10:40:55

消息中间件

零、文章目录 消息中间件 1、中间件 &#xff08;1&#xff09;概述 中间件&#xff08;Middleware&#xff09;是位于操作系统、网络与数据库之上&#xff0c;应用软件之下的一层独立软件或服务程序&#xff0c;其核心作用是连接不同系统、屏蔽底层差异&#xff0c;并为应…...

编程日记 2025/5/28 8:05:47