当前位置： 首页 > news >正文

PARSCALE：大语言模型的第三种扩展范式

news 来源：原创 2025/6/29 7:29:44

----->更多内容，请移步“鲁班秘笈”！！<-----

随着人工智能技术的飞速发展，大语言模型（LLM）已成为推动机器智能向通用人工智能（AGI）迈进的核心驱动力。然而，传统的模型扩展方法正面临着前所未有的挑战：参数扩展需要巨大的存储空间，推理时扩展则带来显著的时间成本。在这一背景下，最近有研究团队提出了一种全新的扩展范式——PARSCALE（并行扩展），为大语言模型的发展开辟了第三条道路。

在深入了解PARSCALE之前，当前主流扩展方法所面临的挑战。传统的参数扩展方法主要有两种：

  • Dense Scaling（密集扩展）**是最直接的扩展方式，通过同比例增加模型各层的参数来扩大模型规模。具体来说，就是增加隐藏层维度、注意力头数量、层数等，让模型的每一部分都变得更大更复杂。这种方法的特点是所有参数在推理时都会被激活和使用，因此称为"密集"扩展。例如，从GPT-3的1750亿参数扩展到PaLM的5400亿参数，就是典型的密集扩展。

  • 混合专家模型MoE 则采用了"稀疏激活"的思路，虽然模型总参数很大，但每次推理只激活其中一部分专家模块，从而在保持高性能的同时控制计算成本。

无论是密集扩展还是MoE，都需要大幅增加模型参数数量来提升性能。例如，DeepSeek-V3模型拥有高达672B参数，这种规模的模型对边缘设备部署提出了几乎无法满足的内存需求。密集扩展的问题尤为突出：模型越大，所需的存储空间和计算资源就越多，部署成本也呈指数级增长。

另一种方法是推理时扩展，通过生成更多推理token来增强模型的推理能力。虽然这种方法在某些场景下有效，但它需要专门的训练数据，且通常会带来显著的时间成本。

PARSCALE

PARSCALE的核心思想来源于扩散模型中广泛使用的无分类器引导（Classifier-Free Guidance，CFG）技术。要理解PARSCALE的创新之处，我们首先需要深入了解CFG的工作原理。

CFG最初在图像生成的扩散模型（如DALL-E、Stable Diffusion）中获得巨大成功，其基本思想是通过对比"好"和"坏"的预测来提升模型性能。

传统单次推理方法：

  • 输入：一个条件提示（比如"画一只在草地上的橙色猫"）

  • 处理：模型进行一次前向传播

  • 输出：直接生成结果

CFG的双重推理方法：

  • 第一次推理（有条件）：使用完整的提示"画一只在草地上的橙色猫"进行前向传播，得到输出A

  • 第二次推理（无条件或降级条件）：移除或削弱条件信息，比如只用"画一只猫"或完全无条件生成，得到输出B

  • 智能聚合：最终输出 = 输出A + w × (输出A - 输出B)

这里w是一个权重参数。数学上表示为：最终输出 = 有条件输出 + w × (有条件输出 - 无条件输出)

CFG的有效性在于它创造了一种"对比学习"机制：有条件输出代表模型对具体要求的理解。无条件输出代表模型的"基础倾向"。两者的差值突出了条件信息的关键影响放大这个差值。

研究团队从CFG的成功中得到了关键启发：CFG之所以有效，核心不在于条件与无条件的对比，而在于使用了双重计算。也就是说，模型进行了两次独立的思考过程，然后聚合结果。

基于这一观察，他们提出了革命性的假设：如果双重计算能带来性能提升，那么更多的并行计算是否能带来更大的提升？

PARSCALE将CFG的思想进行了重大扩展。CFG是两个固定的变换（有条件 vs 无条件） + 固定的聚合规则。PARSCALE则是P个可学习的变换 + 可学习的动态聚合。

这就像是从"两个人讨论得出更好答案"扩展到"多个专家团队协作得出最优方案"。每个并行流都可以从不同角度思考同一个问题，最终通过智能聚合产生比单一思路更优秀的结果。

PARSCALE将这一思想扩展到更一般的形式：给输入添加P个不同的可学习前缀，将它们并行输入到模型中，然后使用动态加权和将P个输出聚合成单一输出。这种方法通过重复使用现有参数来高效地扩展并行计算，适用于各种训练算法、数据和任务。

在具体实现上，PARSCALE采用了经过精心设计的技术方案。对于输入变换，研究团队使用前缀调优（prefix tuning）作为输入变换方法，这等价于使用不同的KV缓存来区分不同的流。对于输出聚合，他们采用动态加权平均方法，利用多层感知机将多个流的输出转换为聚合权重。

这种设计的巧妙之处在于，每个流只增加约0.2%的额外参数，相比完整的参数扩展，这是一个微不足道的增加。同时，该方法充分利用了GPU友好的并行计算，将LLM解码中的内存瓶颈转移为计算瓶颈，因此不会显著增加延迟。

新的扩展定律

PARSCALE不仅在实践中表现出色，研究团队还为其提供了坚实的理论基础。他们基于著名的Chinchilla扩展定律，推导出了新的并行扩展定律。

传统的Chinchilla扩展定律表明，语言模型的交叉熵损失与参数数量N存在幂律关系：L = A/N^α + E，其中A、E、α是正常数，E是自然文本的熵。

在PARSCALE框架下，研究团队推导出新的扩展定律：

L = A/(N · P^(1/α) · DIVERSITY^α) + E，

其中DIVERSITY定义为多个流之间预测相关性的函数。这一理论结果表明，扩展P倍的并行计算等价于将模型参数扩展O(log P)倍。

通过大规模预训练实验验证，研究团队在Stack-V2和Pile数据集上训练了参数规模从0.5B到4.4B、并行流数从1到8的多个模型。实验结果高度符合理论预测，拟合优度R²高达0.998，验证了并行扩展定律的有效性。

实验结果充分证明了PARSCALE的优越性。在代码生成任务上，使用Stack-V2-Python数据集训练的模型表现尤为突出。1.6B参数的模型在P=8时，其代码能力与4.4B参数的传统模型相当，而在通用任务上则相当于2.8B参数的模型。

这一发现揭示了一个重要规律：模型参数主要影响记忆能力，而计算主要影响推理能力。由于Stack-V2强调编码和推理能力，而Pile强调记忆能力，PARSCALE在推理密集型任务上显示出更大的优势。

在推理成本分析中，PARSCALE展现出显著的效率优势。对于16亿参数的模型，当扩展到P=8时，相比达到相同性能的参数扩展方法，PARSCALE的内存增加减少了22倍，延迟增加减少了6倍。这种优势在批处理大小较小的场景下尤为明显，使得PARSCALE特别适合智能手机、智能汽车和机器人等资源受限的边缘设备。

生产级别验证

为了验证PARSCALE在生产级别训练中的有效性，研究团队训练了一个18亿参数的模型，使用1万亿token的训练数据。他们采用了两阶段训练策略：第一阶段使用传统训练方法处理大部分训练数据，第二阶段仅在少量token上应用PARSCALE。

虽然PARSCALE在推理阶段非常高效，但它仍然会引入约P倍的浮点运算，在计算密集的训练过程中会显著增加开销。为了解决这一限制，研究团队提出了两阶段策略：

第一阶段：使用传统预训练方法处理1万亿token

第二阶段：进行PARSCALE训练，仅使用200亿token

由于第二阶段仅占第一阶段的2%，这种策略可以大大降低训练成本。这种两阶段策略类似于长上下文微调，同样将更消耗资源的阶段放在最后。

研究团队遵循Allal等人的建议，使用了Warmup Stable Decay (WSD)学习率调度策略：

  • 第一阶段：采用2K步预热，然后使用3e-4的固定学习率

  • 第二阶段：学习率从3e-4退火到1e-5

在第一阶段，他们构建了包含3700亿通用数据、800亿数学数据和500亿代码数据的训练集。

具体组成包括：

  • 通用文本：3450亿来自FineWeb-Edu，280亿来自Cosmopedia 2

  • 数学数据：800亿来自FineMath

  • 代码数据：470亿来自Stack-V2-Python，40亿来自Stack-Python-Edu

在第二阶段，他们增加了数学和代码数据的比例，最终包含：

  • 70亿通用文本数据

  • 70亿数学数据

  • 70亿Stack-Python-Edu数据

训练损失曲线直观地展示了两阶段训练的效果。在第二阶段开始时，由于引入了随机初始化的参数，P > 1的损失最初会超过P = 1的情况。然而，在处理少量数据（0.0002万亿token）后，模型迅速适应了这些新引入的参数并保持稳定。这证明了PARSCALE只需要很少的数据就能快速生效。

在后期阶段，PARSCALE产生了类似的对数增益，这与之前的扩展定律发现一致，表明早期从头预训练的结论——P个流的并行等价于O(N log(P))倍参数增加——同样适用于持续预训练。此外，较大的P值（如P = 8）可以逐渐扩大与较小P值（如P = 4）的差距，这表明并行扩展也能从数据扩展中受益。

下游任务

如上图所示，在完成两阶段训练后，研究团队在21个下游基准测试中评估了模型表现，包括7个通用任务、3个数学任务和8个编程任务。结果显示，随着P的增加，大多数基准测试的性能呈上升趋势，验证了在大数据集上训练的PARSCALE的有效性。

研究团队进一步调查了在两种设置下将PARSCALE应用于现成模型的效果：持续预训练和参数高效微调（PEFT）。具体而言，他们使用Pile和Stack-V2 (Python)对Qwen-2.5 (3B)模型进行持续预训练。

  • 在Stack-V2 (Python)和Pile上的持续预训练结果显示了训练损失的变化。值得注意的是，Qwen2.5已经在18万亿数据上进行了预训练，这些数据可能与Pile和Stack-V2有显著重叠。这表明即使使用经过充分训练的基础模型和常用的训练数据集，仍然可以实现改进。

  • 研究团队进一步利用PEFT来微调引入的参数，同时冻结主干权重。结果表明，这种策略仍然可以显著改进下游代码生成性能。

  • 更重要的是，这展示了动态并行扩展的广阔前景：可以部署相同的主干，并在各种场景中灵活地在不同数量的并行流之间切换（例如，高吞吐量和低吞吐量），这使得能够在不同级别的模型能力之间快速转换。

例如，在计算资源充足时，可以使用较大的P值获得更好的性能；在资源受限时，可以降低P值以减少计算开销。这种动态调整能力使得同一个模型可以适应从高性能服务器到边缘设备的各种部署环境。

模型的能力是由参数决定的，还是由计算决定的？传统的机器学习模型通常同时扩展参数和计算，难以确定它们各自的贡献比例。PARSCALE和相应的并行扩展定律为这一问题提供了新的定量视角。

研究结果表明，大计算能够促进大智能的涌现。这一发现为人工智能的发展指明了新的方向：除了追求更大的模型参数之外，我们还可以通过更高效的计算方式来提升模型能力。

鲁班号导读火热上线!!

------>敬请移步“鲁班秘笈”！<------

    相关文章：

    PARSCALE：大语言模型的第三种扩展范式

    ----->更多内容&#xff0c;请移步“鲁班秘笈”&#xff01;&#xff01;<----- 随着人工智能技术的飞速发展&#xff0c;大语言模型&#xff08;LLM&#xff09;已成为推动机器智能向通用人工智能&#xff08;AGI&#xff09;迈进的核心驱动力。然而&#xff0c;传统的…...

    编程日记 2025/6/29 7:29:44

    【 开源：跨平台网络数据传输的万能工具libcurl】

    在当今这个互联互通的世界中&#xff0c;数据在各种设备和平台之间自由流动&#xff0c;而 libcurl&#xff0c;就像一把跨平台的万能工具&#xff0c;为开发者提供了处理各种网络数据传输任务所需的强大功能。它不仅是一个库&#xff0c;更是一种通用的解决方案&#xff0c;可…...

    编程日记 2025/6/27 23:34:08

    2025版 JavaScript性能优化实战指南从入门到精通

    JavaScript作为现代Web应用的核心技术&#xff0c;其性能直接影响用户体验。本文将深入探讨JavaScript性能优化的各个方面&#xff0c;提供可落地的实战策略。 一、代码层面的优化 1. 减少DOM操作 DOM操作是JavaScript中最昂贵的操作之一&#xff1a; // 不好的做法&#x…...

    编程日记 2025/6/27 22:50:19

    RAGFlow知识检索原理解析：混合检索架构与工程实践

    一、核心架构设计 RAGFlow构建了四阶段处理流水线，其检索系统采用双路召回+重排序的混合架构： S c o r e f i n a l = α ⋅ B M...

    编程日记 2025/6/27 23:11:03

    leetcode 148. Sort List

    148. Sort List 题目描述 代码&#xff1a; /*** Definition for singly-linked list.* struct ListNode {* int val;* ListNode *next;* ListNode() : val(0), next(nullptr) {}* ListNode(int x) : val(x), next(nullptr) {}* ListNode(int x, ListNod…...

    编程日记 2025/6/27 22:48:31

    C#学习11——集合

    一、集合 是一组对象的容器&#xff0c;提供了高效的存储、检索和操作数据的方式。 C# 集合分为泛型集合&#xff08;推荐使用&#xff09;和非泛型集合&#xff0c;主要位于System.Collections和System.Collections.Generic命名空间中。 二、集合有哪些&#xff1f; 1&…...

    编程日记 2025/6/27 23:15:00

    paddlehub搭建ocr服务

    搭建环境&#xff1a; Ubuntu20.041080Ti显卡 由于GPU硬件比较老&#xff0c;是Pascal架构&#xff0c;只能支持到paddle2.4.2版本&#xff0c;更高版本无法支持&#xff1b;同时&#xff0c;因为paddle老版本的依赖发生了变化&#xff0c;有些地方存在冲突&#xff0c;花费了…...

    编程日记 2025/6/27 23:22:46

    CSS3过渡

    一、什么是CSS3过渡 CSS3 过渡&#xff08;transitions&#xff09;是一种效果&#xff0c;它允许你平滑地改变CSS属性的值&#xff0c;从一个状态过渡到另一个状态。是一种动画转换的过程&#xff0c;如渐现、渐弱、动画快慢等。过渡效果可以在用户与页面进行交互时触发&#…...

    编程日记 2025/6/27 3:59:47

    比斯特自动化|移动电源全自动点焊机：高效点焊助力移动电源制造

    在移动电源市场蓬勃发展的当下&#xff0c;电池组合的点焊工艺要求愈发严格。移动电源全自动点焊机应运而生&#xff0c;成为提升生产效率与产品质量的关键设备。 工作原理与结构组成 移动电源全自动点焊机通过瞬间放电产生高温&#xff0c;使电池极耳与镍带等材料在极短时间…...

    编程日记 2025/6/27 23:04:15

    游戏引擎学习第305天:在平台层中使用内存 Arena 的方法与思路

    回顾前一天内容&#xff0c;并为今天的开发工作设定方向 我们正在直播制作完整游戏&#xff0c;当前正在实现一个精灵图&#xff08;sprite graph&#xff09;的排序系统。排序的代码已经写完&#xff0c;过程并不复杂&#xff0c;虽然还没做太多优化&#xff0c;但总体思路比…...

    编程日记 2025/6/27 23:33:52

    [Java][Leetcode middle] 6. Z 字形变换

    法一&#xff0c;自己想的 使用一个复合结构的 List<ArrayList<String>> 来存储每一行的字母&#xff0c;最后按序输出。 使用flag来判断到底放到哪一行上去。flag按照&#xff1a;0–1–2–1–0–1–2这样变化&#xff0c;实现躺着的Z字形。 public String conve…...

    编程日记 2025/6/27 22:48:40

    零基础设计模式——第二部分：创建型模式 - 原型模式

    第二部分&#xff1a;创建型模式 - 5. 原型模式 (Prototype Pattern) 我们已经探讨了单例、工厂方法、抽象工厂和生成器模式。现在&#xff0c;我们来看创建型模式的最后一个主要成员——原型模式。这种模式关注的是通过复制现有对象来创建新对象&#xff0c;而不是通过传统的…...

    编程日记 2025/6/27 23:01:50

    完整改进RIME算法，基于修正多项式微分学习算子Rime-ice增长优化器，完整MATLAB代码获取

    1 简介 为了有效地利用雾状冰生长的物理现象&#xff0c;最近开发了一种优化算法——雾状优化算法&#xff08;RIME&#xff09;。它模拟硬雾状和软雾状过程&#xff0c;构建硬雾状穿刺和软雾状搜索机制。在本研究中&#xff0c;引入了一种增强版本&#xff0c;称为修改的RIME…...

    编程日记 2025/6/27 22:48:30

    【1——Android端添加隐私协议(unity)1/3】

    前言&#xff1a;这篇仅对于unity 发布Android端上架国内应用商店添加隐私协议&#xff0c;隐私协议是很重要的东西&#xff0c;没有这个东西&#xff0c;是不上了应用商店的。 对于仅仅添加隐私协议&#xff0c;我知道有三种方式,第一种和第二种基本一样 1.直接在unity里面新…...

    编程日记 2025/6/27 23:32:22

    笔记本6GB本地可跑的图生视频项目（FramePack）

    文章目录 &#xff08;一&#xff09;简介&#xff08;二&#xff09;本地执行&#xff08;2.1&#xff09;下载&#xff08;2.2&#xff09;更新&#xff08;2.3&#xff09;运行&#xff08;2.4&#xff09;生成 &#xff08;三&#xff09;注意&#xff08;3.1&#xff09;效…...

    编程日记 2025/6/27 23:04:27

    Android View的事件分发机制

    ViewGroup的事件分发逻辑 从Activity传递给Window&#xff0c;再传递给ViewGroup&#xff0c;ViewGroup的dispatchTouchEvent()会被调用&#xff0c;如果onInterceptTouchEvent()返回true 转交自身onTouchEvent()处理,如果返回false继续向子View传递,子View的dispatchTouchEve…...

    编程日记 2025/6/27 23:09:04

    Python字符串格式化(二）： f-string的进化

    文章目录 一、Python 3.6&#xff1a;重新发明字符串格式化&#xff08;2016&#xff09;1. 语法糖的诞生&#xff1a;表达式直嵌技术2. 性能与可读性的双重提升3. 奠定现代格式化的基础架构 二、Python 3.7&#xff1a;解锁异步编程新场景&#xff08;2018&#xff09;1. 异步…...

    编程日记 2025/6/27 23:37:10

    力扣HOT100之二叉树：124. 二叉树中的最大路径和

    这道题是困难题&#xff0c;靠自己想还是挺难想的&#xff0c;还是去看的灵神的题解&#xff0c;感觉还是要多复习一下这道题。这道题的思路和之前做的543. 二叉树的直径很像&#xff0c;可以参考之前的这篇博客。这里我们还是用递归来做&#xff0c;定义一个lambda函数来实现递…...

    编程日记 2025/6/27 22:48:38

    【C++】位图+布隆过滤器

    1.位图 概念 所谓位图&#xff0c;就是用每一位来存放某种状态&#xff0c;适用于海量数据&#xff0c;数据无重复的场景。通常是用来判断某个数据存不存在的或是否被标记。 1.二进制位表示 &#xff1a; 位图中的每一位&#xff08;bit&#xff09;代表一个元素的状态。通常&…...

    编程日记 2025/6/27 23:24:33

    Google Agent Development Kit与MCP初试

    Google Agent Development Kit与MCP初试 一、背景知识二、搭建智能大脑 - Ollama服务器2.1 为什么要先搭建Ollama&#xff1f;2.2 搭建ollama服务器2.2.1 安装2.2.2 试着用curl命令"问"AI一个问题&#xff1a; 三、构建智能体工坊 - ADK环境3.1 创建容器3.2 安装核心…...

    编程日记 2025/6/27 22:48:37

    云原生+大数据

    虚拟化&#xff1a; 虚拟化&#xff0c;是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机&#xff0c;每个逻辑计算机可运行不同的操作系统&#xff0c;并且应用程序都可以在相互独立的空间内运行而互不影响&#xff0c;从而显著提…...

    编程日记 2025/6/27 22:49:55

    基于cornerstone3D的dicom影像浏览器 第二十一章 显示DICOM TAGS

    系列文章目录 第一章 下载源码 运行cornerstone3D example 第二章 修改示例crosshairs的图像源 第三章 vitevue3cornerstonejs项目创建 第四章 加载本地文件夹中的dicom文件并归档 第五章 dicom文件生成png&#xff0c;显示检查栏&#xff0c;序列栏 第六章 stack viewport 显…...

    编程日记 2025/6/27 23:15:14

    【记录】PPT｜PPT打开开发工具并支持Quicker VBA运行

    文章目录 打开开发者工具支持Quicker VBA运行 打开开发者工具 参考文章&#xff0c;微软文档&#xff1a;显示“开发工具”选项卡&#xff0c;以下直接复制&#xff0c;如侵私删。 适用对象&#xff1a;Microsoft 365 专属 Excel Microsoft 365 专属 Outlook Microsoft 365 专属…...

    编程日记 2025/6/27 22:48:41

    西门子 S1500 博途软件舞台威亚 3D 控制方案

    西门子 S1500 PLC 是工业自动化领域的主流控制器&#xff0c;适合高精度、高可靠性的舞台威亚控制。下面为你提供基于博途 (TIA Portal) 软件的 3D 控制方案设计。 系统架构设计 舞台威亚 3D 控制系统通常包含以下组件&#xff1a; 硬件层&#xff1a; S1500 PLC 主机伺服驱动…...

    编程日记 2025/6/27 23:19:04

    第三十二天打卡

    import pandas as pd from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier # 加载鸢尾花数据集 iris load_iris() df pd.DataFrame(iris.data, columnsiris.feature_names) …...

    编程日记 2025/6/27 23:34:46

    同步/异步电路；同步/异步复位

    同步/异步电路&#xff1b;同步/异步复位 在 FPGA 设计中&#xff0c;同步电路、异步电路、同步复位和异步复位是基础且关键的概念&#xff0c;它们的特性直接影响电路的可靠性、时序性能和设计复杂度。 一、同步电路&#xff08;Synchronous Circuit&#xff09; 定义 同步电…...

    编程日记 2025/6/27 22:48:36

    spring boot 实现resp视频推流

    1、搭建resp服务&#xff08;docker方式&#xff09; docker pull aler9/rtsp-simple-serverdocker run -d --restartalways \--name rtsp-server \-p 8554:8554 \aler9/rtsp-simple-server2、maven依赖 <dependency><groupId>org.bytedeco</groupId><a…...

    编程日记 2025/6/27 22:48:33

    python、R、shell兼容1

    一&#xff0c;兼容方式 1&#xff0c;shell中用R、python&#xff1a; &#xff08;1&#xff09;python3、R/r&#xff08;radian&#xff09;进入 &#xff08;2&#xff09;脚本封装&#xff1a;命令行或者封装到sh脚本中 python xxx.py 自定义参数 Rscript xxx.r 自…...

    编程日记 2025/6/27 23:23:29

    Oracle 11G RAC重启系统异常

    vmware安装centos7环境部署Oracle RAC (11.2.0.4) 部署时所有资源情况都是正常的&#xff0c;关机重启虚拟机后集群资源状态异常&#xff0c;请教CSDN大佬 – 部署规划 域名地址备注rac16192.168.31.16rac17192.168.31.17rac16vip192.168.31.26viprac17vip192.168.31.27vip…...

    编程日记 2025/6/27 22:48:32

    便捷的电脑自动关机辅助工具

    软件介绍 本文介绍的软件是一款电脑上实用的倒计时和关机助手。 软件特性 这款关机助手十分贴心&#xff0c;它是一款无需安装的小软件&#xff0c;体积仅60KB&#xff0c;不用担心占用电脑空间&#xff0c;打开即可直接使用。 操作方法 你只需设置好对应的关机时间&#x…...

    编程日记 2025/6/27 22:48:35

    巧用 FFmpeg 命令行合并多个视频为一个视频文件教程

    你是否曾经遇到过需要将多个视频片段合并成一个连续视频的情况&#xff1f;比如&#xff0c;你拍摄了一段旅行的精彩瞬间&#xff0c;想把它们合成一部短片&#xff1b;或者你在制作教学视频时&#xff0c;希望将不同的部分整合在一起。这时候&#xff0c;FFmpeg 就是你的得力助…...

    编程日记 2025/6/27 23:33:11

    平时使用电脑,如何去维护

    在这个数字化的时代&#xff0c;电脑已经成为我们生活和工作中不可或缺的一部分。然而&#xff0c;你是否知道如何正确地维护它&#xff0c;让它始终保持良好的运行状态呢&#xff1f;今天&#xff0c;就让我来为大家揭晓这个谜底。定期清理电脑内部和外部的灰尘是至关重要的。…...

    编程日记 2025/6/27 22:48:52

    （视觉）分类、检测与分割在不同网络中的设计体现

    分类、检测与分割在不同网络中的设计体现 概述 在计算机视觉领域&#xff0c;不同的网络结构在功能和结构上差异显著&#xff0c;同时也共享一些基础设计元素。 卷积神经网络是基石&#xff1a; 卷积层通过特定的卷积核与图像进行卷积运算提取图像中的局部特征&#xff0c;比…...

    编程日记 2025/6/27 22:49:52

    技术分享 | MySQL大事务导致数据库卡顿

    本文为墨天轮数据库管理服务团队第66期技术分享&#xff0c;内容原创&#xff0c;作者为技术顾问孙文龙&#xff0c;如需转载请联系小墨&#xff08;VX&#xff1a;modb666&#xff09;并注明来源。 一、现 象 业务侧反馈连接数据库异常&#xff0c;报错 connection is not av…...

    编程日记 2025/6/27 23:14:23

    C#在 .NET 9.0 中启用二进制序列化：配置、风险与替代方案

    在 .NET 9.0 中启用二进制序列化&#xff1a;配置、风险与替代方案 引言一、启用二进制序列化的步骤二、实现序列化与反序列化三、安全风险与缓解措施四、推荐替代方案五、总结 引言 在 .NET 生态中&#xff0c;二进制序列化&#xff08;Binary Serialization&#xff09;曾是…...

    编程日记 2025/6/27 22:48:46

    每日Prompt：像素风格插画

    提示词 像素风格插画&#xff0c;日式漫画脸&#xff0c;画面主体为一位站在路边的男孩&#xff0c;人物穿着黑色冲锋衣&#xff0c;手里拿着手机&#xff0c;男孩靠坐在机车旁边&#xff0c;脚边依偎着一只带着小摩托车头盔的小小猫&#xff0c;背景是雨中&#xff0c;身旁停…...

    编程日记 2025/6/27 23:15:39

    Rust 学习笔记：生命周期

    Rust 学习笔记&#xff1a;生命周期 Rust 学习笔记&#xff1a;生命周期使用生命周期防止悬空引用借用检查器函数中的泛型生命周期生命周期注释语法函数签名中的生命周期注解从生命周期的角度思考结构定义中的生命周期注解省略生命周期方法定义中的生命周期注释静态生命周期泛型…...

    编程日记 2025/6/27 22:48:53

    科学标注法：数据治理的未来之路

    在数据治理领域，科学标注法是一种系统化、标准化的数据标注方法论，其核心是通过规范化的流程、技术工具和质量控制机制，将原始数据转化为具有语义和结构特征的可用数据资源。以下从定义、技术特征、应用场景、与传统标注方法的区别以及遵循的标准框架等方面展开详细解析： 一…...

    编程日记 2025/6/27 22:49:04

    小白刷题 之 如何高效计算二进制数组中最大连续 1 的个数

    前言 学习如何快速找出二进制数组中最长的连续 1 序列。 这个问题在数据处理、网络传输和算法面试中经常出现&#xff0c;掌握它不仅能提升编程能力&#xff0c;还能加深对数组操作和循环控制的理解。 &#x1f31f; 问题背景 想象你是一位网络工程师&#xff0c;正在分析服…...

    编程日记 2025/6/27 23:19:36

    中科方德鸳鸯火锅平台使用教程：轻松运行Windows应用！

    原文链接&#xff1a;中科方德鸳鸯火锅平台使用教程&#xff1a;轻松运行Windows应用&#xff01; Hello&#xff0c;大家好啊&#xff0c;今天给大家带来一篇中科方德鸳鸯火锅平台使用的文章&#xff0c;欢迎大家分享点赞&#xff0c;点个在看和关注吧&#xff01;在信创环境…...

    编程日记 2025/6/27 22:49:51

    完全禁用 Actuator 功能

    问题描述&#xff1a; springboot 关闭Actuator无效&#xff0c;原本设置 management:endpoints:enabled-by-default: false # 禁用所有端点屏蔽了/actuator/info和/actuator/health&#xff0c;但/actuator还可以访问。 拉满配置如下&#xff0c;成功屏蔽 # application.y…...

    编程日记 2025/6/27 23:27:12

    Netty学习专栏（二）：Netty快速入门及重要组件详解（EventLoop、Channel、ChannelPipeline）

    文章目录 前言一、快速入门&#xff1a;5分钟搭建Echo服务器二、核心组件深度解析2.1 EventLoop&#xff1a;颠覆性的线程模型EventLoop 设计原理核心 API 详解代码实践&#xff1a;完整使用示例 2.2 Channel&#xff1a;统一的网络抽象层Channel 核心架构核心 API 详解代码实践…...

    编程日记 2025/6/27 22:48:50

    27-FreeRTOS的任务管理

    一、FreeRTOS的任务概念 在FreeRTOS中&#xff0c;任务&#xff08;Task&#xff09;是操作系统调度的基本单位。每个任务都是一个无限循环的函数&#xff0c;它执行特定的功能。任务可以被看作是一个轻量级的线程&#xff0c;具有自己的堆栈和优先级。下面是如何定义一个任务函…...

    编程日记 2025/6/27 23:31:45

    upload-labs靶场通关详解：第14关

    一、分析源代码 这一关的任务说明已经相当于给出了答案&#xff0c;就是让我们上传一个图片木马&#xff0c;可以理解为图片中包含了一段木马代码。 function getReailFileType($filename){$file fopen($filename, "rb");$bin fread($file, 2); //只读2字节fclose…...

    编程日记 2025/6/27 23:21:01

    supervisor的进程监控+prometheus+alertmanager实现告警

    supervisor服务进程监控实现告警 前提&#xff1a;部署了prometheus(配置了rules文件夹),alertmanager,webhook,python3环境 [roottest supervisor_prometheus]# pwd /opt/supervisor_prometheus [roottest supervisor_prometheus]# ls supervisor_exporter.py supervisor_int…...

    编程日记 2025/6/27 22:49:30

    HarmonyOS 鸿蒙应用开发基础：父组件调用子组件方法的几种实现方案对比

    在ArkUI声明式UI框架中&#xff0c;父组件无法直接调用子组件的方法。本文介绍几种优雅的解决方案&#xff0c;并作出对比分析&#xff0c;分析其适用于不同场景和版本需求。帮助开发者在开发中合理的选择和使用。 方案一&#xff1a;Watch装饰器&#xff08;V1版本适用&#x…...

    编程日记 2025/6/27 22:54:26

    Enhancing Relation Extractionvia Supervised Rationale Verifcation and Feedback

    Enhancing Relation Extraction via Supervised Rationale Verification and Feedback| Proceedings of the AAAI Conference on Artificial Intelligencehttps://ojs.aaai.org/index.php/AAAI/article/view/34631 1. 概述 关系抽取（RE）任务旨在抽取文本中实体之间的语义关...

    编程日记 2025/6/27 22:49:06

    等离子体隐身技术和小型等离子体防御装置设计

    相信大家前不久都看到了关于国防科大团队关于等离子体防御的相关文章&#xff0c;恰好也在做相关的研究&#xff0c;所以想向对这个问题感兴趣的朋友聊一聊这里面的一些基本原理和研究现状。 等离子体与电磁波的相互作用 等离子体会对电磁波产生吸收和反射作用&#xff0c;通常…...

    编程日记 2025/6/27 22:48:47

    PCB设计教程【入门篇】——电路分析基础-电路定理

    前言 本教程基于B站Expert电子实验室的PCB设计教学的整理&#xff0c;为个人学习记录&#xff0c;旨在帮助PCB设计新手入门。所有内容仅作学习交流使用&#xff0c;无任何商业目的。若涉及侵权&#xff0c;请随时联系&#xff0c;将会立即处理 一、电路基本概念 连接线与节点 …...

    编程日记 2025/6/27 22:48:48

    C++-继承

    1.继承的概念及定义 1.1继承的概念 继承(inheritance)机制是面向对象程序设计使代码可以复用的最重要的手段&#xff0c;它允许程序员在保持原有类特性的基础上进行扩展&#xff0c;增加功能&#xff0c;这样产生新的类&#xff0c;称派生类。继承呈现了面向对象 程序设计的层…...

    编程日记 2025/6/27 23:30:51