当前位置：首页 > news >正文

DeepSeek底层揭秘——《推理时Scaling方法》技术对比浅析

news 来源：原创 2025/9/20 11:33:35

4月初，DeepSeek 提交到 arXiv 上的最新论文正在 AI 社区逐渐升温。

笔者尝试对比了“关于推理时Scaling”与现有技术，粗浅分析如下：

与LoRA的对比

区别：
- 应用场景：LoRA是一种参数高效微调方法，主要用于在训练阶段对模型进行微调，以适应特定的任务或数据集。而“推理时Scaling”主要关注推理阶段的性能提升，通过动态调整奖励机制来实现，不涉及模型参数的改变。
- 优化目标：LoRA旨在通过引入低秩矩阵来近似模型参数的变化，从而减少训练时的计算量和内存占用。而“推理时Scaling”则侧重于在推理过程中，通过增加计算资源来提升模型的推理能力，如逻辑一致性和事实准确性。
优势：
- 推理时Scaling：无需改变模型参数，避免了重新训练模型的高成本，同时能够在推理阶段灵活地提升模型性能。
- LoRA：在训练阶段能够有效减少计算资源的消耗，适用于资源有限的情况下的模型微调。
劣势：
- 推理时Scaling：可能需要在推理阶段投入更多的计算资源，导致推理延迟增加和计算成本上升。
- LoRA：仅在训练阶段有效，对于已经训练好的模型，在推理阶段无法进一步提升性能。

与知识蒸馏的对比

区别：
- 知识传递方式：知识蒸馏通过将大型教师模型的知识传递给小型学生模型，以提高学生模型的性能。而“推理时Scaling”不涉及模型间的知识传递，而是通过在推理过程中增加计算资源来提升同一模型的推理能力。
- 模型规模变化：知识蒸馏通常会减小模型的规模，以提高推理效率。而“推理时Scaling”不改变模型的规模，只是在推理阶段动态调整计算资源。
优势：
- 推理时Scaling：无需对模型进行重新训练或蒸馏，能够快速提升推理性能，适用于对模型规模有严格限制的场景。
- 知识蒸馏：通过减小模型规模，降低了存储和计算成本，同时保留了教师模型的大部分性能，适用于资源受限的设备部署。
劣势：
- 推理时Scaling：可能需要更多的计算资源，且性能提升的效果可能因任务和模型而异。
- 知识蒸馏：蒸馏过程需要额外的训练成本，且蒸馏效果可能受到教师模型质量和蒸馏方法的影响。

与模型剪枝的对比

区别：
- 模型结构改变：模型剪枝通过去除模型中的冗余参数或连接，减小模型规模，从而提高推理效率。而“推理时Scaling”不改变模型结构，只是在推理阶段动态调整计算资源。
- 性能提升方式：模型剪枝通过优化模型结构来提升推理效率，但可能会降低模型的表达能力。而“推理时Scaling”通过增加计算资源来提升推理性能，不会影响模型的结构和表达能力。
优势：
- 推理时Scaling：无需对模型进行结构修改，避免了剪枝可能导致的性能下降，同时能够灵活地根据推理需求调整计算资源。
- 模型剪枝：能够显著减小模型规模，降低存储和计算成本，适用于对模型大小有严格限制的场景，如移动设备和嵌入式系统。
劣势：
- 推理时Scaling：需要额外的计算资源，可能不适用于资源极度受限的环境。
- 模型剪枝：剪枝过程可能导致模型性能的下降，且需要重新训练模型以恢复性能，增加了训练成本。

与动态Batch Size的对比

区别：
- 资源调整方式：动态Batch Size通过在训练过程中根据计算资源和内存限制动态调整Batch Size，以提高训练效率。而“推理时Scaling”在推理阶段通过增加计算资源，如多次采样和并行采样，来提升推理性能。
- 应用场景：动态Batch Size主要用于训练阶段的资源优化，而“推理时Scaling”专注于推理阶段的性能提升。
优势：
- 推理时Scaling：能够在推理阶段灵活地利用计算资源，提升推理的准确性和效率，适用于对推理性能要求较高的场景。
- 动态Batch Size：在训练阶段能够有效利用计算资源，提高训练速度和效率，适用于大规模模型的分布式训练。
劣势：
- 推理时Scaling：可能增加推理延迟和计算成本，需要在性能提升和资源消耗之间进行权衡。
- 动态Batch Size：仅在训练阶段有效，对推理阶段的性能提升没有直接帮助。

与模型并行的对比

区别：
- 并行方式：模型并行通过将模型的不同部分分配到不同的计算设备上进行并行计算，以提高训练和推理速度。而“推理时Scaling”主要通过在推理过程中增加计算资源，如多次采样和并行采样，来提升推理性能。
- 目标：模型并行侧重于提高模型的训练和推理速度，特别是在处理大规模模型时。而“推理时Scaling”侧重于提升推理阶段的性能，如逻辑一致性和事实准确性。
优势：
- 推理时Scaling：无需对模型进行复杂的并行化处理，能够快速提升推理性能，适用于对模型并行化有困难的场景。
- 模型并行：能够有效利用多个计算设备的资源，提高大规模模型的训练和推理速度，适用于需要快速处理大量数据的场景。
劣势：
- 推理时Scaling：可能需要更多的计算资源，且性能提升的效果可能因任务和模型而异。
- 模型并行：实现复杂，需要对模型进行仔细的划分和优化，且可能会引入通信开销，影响整体性能。

DeepSeek底层揭秘——《推理时Scaling方法》技术对比浅析

4月初，DeepSeek 提交到 arXiv 上的最新论文正在 AI 社区逐渐升温。笔者尝试对比了“关于推理时Scaling”与现有技术，粗浅分析如下： 与LoRA的对比区别： 应用场景：LoRA是一种参数高效微调方法，主要用于在…...

编程日记 2025/9/20 11:33:35

Spring MVC与Spring Boot文件上传配置差异对比及文件上传关键类详细说明与对比

一、Spring MVC与Spring Boot文件上传配置差异对比 1. 配置方式差异框架配置方式依赖管理自动配置Spring MVC需手动配置MultipartResolver（如StandardServletMultipartResolver）需自行引入commons-fileupload等依赖无，默认不启用文件上传支…...

编程日记 2025/9/10 11:51:58

Linux网络配置与测试

目录一.与网络配置相关的命令 1.1ifconfig命令 1.1.1作用 1.1.2网络接口的信息接口信息的组成 1.1.3显示所有网卡包括没有启动的网卡 1.1.4查看指定网络接口 1.1.5开启或关闭网卡 1.1.6设置临时虚拟网卡 1.1.7网络通讯情况编辑 1.1.8临时修改网卡属性 1.2hos…...

编程日记 2025/9/20 11:30:58

游戏赛季和数据处理

问题游戏从无赛季到赛季机制会涉及哪些问题： 如何改动，增加赛季机制，涉及要修改的代码量最少如何改动，账号、角色部分数据继承问题，涉及要修改的代码量最少账号下角色的永久服共享或是永久服独立，需要做…...

编程日记 2025/9/8 12:00:25

京东店铺托管7*16小时全时护航

内容概要京东店铺托管服务的*716小时全时护航模式，相当于给商家配了个全年无休的"运营管家"。专业团队每天从早7点到晚11点实时盯着运营数据和商品排名，连半夜流量波动都能通过智能系统秒级预警。这种全天候服务可不是单纯拼人力——系统自动…...

编程日记 2025/9/20 11:32:48

HTTP的Keep-Alive是什么?TCP 的 Keepalive 和 HTTP 的 Keep-Alive 是一个东西吗?

HTTP的Keep-Alive： HTTP Keep-Alive 是一种机制，允许客户端和服务器在单个 TCP 连接上发送多个 HTTP 请求和响应，而不是每次请求和响应后都关闭连接。它的主要目的是提高性能，减少连接的开销，优化通信效率。工作…...

编程日记 2025/9/12 1:38:54

使用scoop一键下载jdk和实现版本切换

安装在 PowerShell 中输入下面内容，保证允许本地脚本的执行： set-executionpolicy remotesigned -scope currentuser然后执行下面的命令安装 Scoop： iwr -useb get.scoop.sh | iex国内用户可以使用镜像源安装：powershell iwr -us…...

编程日记 2025/9/15 1:39:39

PPIO × UI-TARS：用自然语言操控电脑，AI Agent 的极致体验

Manus的爆火预示着AI 正在从单纯的文本生成和图像识别迈向更复杂的交互场景。字节跳动近期推出的开源项目 UI-TARS Desktop 为我们展示了一种全新的可能性：能够通过自然语言理解和处理来控制计算机界面。这款工具代表了人工智能与人机交互领域的重大突破&#xff0c…...

编程日记 2025/9/20 11:31:35

PG：incorrect prev-link

目录 WAL日志中"incorrect prev-link"错误解决方案错误原因分析解决步骤典型修复案例 WAL日志中"incorrect prev-link"错误解决方案错误原因分析 WAL日志的prev-link字段用于确保日志记录的连续性。当出现incorrect prev-link 2/754ECB0 at 2/8000028错…...

编程日记 2025/9/20 11:30:57

SQL Server 数据库邮件配置失败：SMTP 连接与权限问题

问题现象： 配置数据库邮件时，发送测试邮件失败，提示 “邮件无法发送到 SMTP 服务器，操作超时”（错误 14661）或 “服务器拒绝发件人地址”（错误 15009）。快速诊断检查数据库邮件配置…...

编程日记 2025/9/20 5:18:31

深入浅出动态规划：从基础到蓝桥杯实战（Java版）

引言：为什么你需要掌握动态规划？ 动态规划（DP）是算法竞赛和面试中的常客，不仅能大幅提升解题效率（时间复杂度通常为O(n)或O(n)）[4]，更是解决复杂优化问题的利器。统计显示&#xff…...

编程日记 2025/9/20 11:33:35

获取cookie的chrome插件：Get cookies.txt LOCALLY

接上一篇，在下载视频的时候需要网站的cookie，下面介绍一款可以获取网站cookie的chrome插件 https://chromewebstore.google.com/detail/get-cookiestxt-locally/cclelndahbckbenkjhflpdbgdldlbecc?utm_sourceitem-share-cb 备注需要科学上网【使用方…...

编程日记 2025/9/20 0:57:35

opencv无法设置禁用RGB转换问题

树莓派连接摄像头,摄像头输出格式为YUYV(YUV422)。通过执行 v4l2-ctl --list-formats --device/dev/video0 可以看的具体的摄像头的数据格式。使用opencv获取视频流，通过cap.set(cv2.CAP_PROP_CONVERT_RGB, 0)设置禁用自动转换RGB格式，但是打印输出…...

编程日记 2025/9/20 11:33:34

Ansible：roles角色

文章目录 Roles角色Ansible Roles目录编排Roles各目录作用创建 roleplaybook调用角色调用角色方法1：调用角色方法2：调用角色方法3： roles 中 tags 使用实战案例 Roles角色角色是ansible自1.2版本引入的新特性，用于层次性、结构化…...

编程日记 2025/9/19 13:34:04

SAP系统采购信息记录失效

问题：采购信息记录失效现象：最初主数据导入完成之后，单元测试的时采购信息记录是有效的，中间经过配置的变化，集成测试初期发现采购信息记录全部失效。原因： 单元测试时发现采购订单里面的条件类型…...

编程日记 2025/9/7 8:09:10

JavaWeb 课堂笔记 —— 04 Ajax

本系列为笔者学习JavaWeb的课堂笔记，视频资源为B站黑马程序员出品的《黑马程序员JavaWeb开发教程，实现javaweb企业开发全流程（涵盖SpringMyBatisSpringMVCSpringBoot等）》，章节分布参考视频教程，为同样学习…...

编程日记 2025/9/10 18:33:28

Pandas 库

Pandas 是一个开源的数据分析和数据处理库，它是基于 Python 编程语言的。 Pandas 提供了易于使用的数据结构和数据分析工具，特别适用于处理结构化数据，如表格型数据 Pandas 是数据科学和分析领域中常用的工具之一，它使得用户能够…...

编程日记 2025/9/18 22:18:48

4.8学习总结

完成摆动序列的算法题（比较难，想不出方法） 学习了HashMap,TreeMap 的源码（看完一遍对其理解没有太清楚，还需再多刷几遍理解源码及其底层逻辑的概念） 学习了可变参数和Collections工具类...

编程日记 2025/8/17 21:58:30

C语言之九九乘法表

一、代码展示二、运行结果三、代码分析首先->是外层循环是小于等于9的然后->是内层循环是小于等于外层循环的最后->就是\n让九九乘法表的格式更加美观(当然电脑不同有可能%2d 也有可能%3d) 四、与以下素数题目逻辑相似五、运行结果...

编程日记 2025/8/17 21:57:20

【Linux操作系统】：信号

Linux操作系统下的信号一、引言首先我们可以简单理解一下信号的概念，信号，顾名思义，就是我们操作系统发送给进程的消息。举个简单的例子，我们在写C/C程序的时候，当执行a / 0类似的操作的时候，程序直接就挂…...

编程日记 2025/9/16 1:59:36

skynet.call使用详解

目录 skynet.call 详细解析1. 函数签名与参数2. 内部实现机制3. 会话ID与协程调度4. 超时与错误处理5. 返回值处理6. 协议类型的影响7. skynet.call vs skynet.send8. 示例代码分析9. 最佳实践10. 总结 skynet.call 详细解析 1. 函数签名与参数函数签名： skynet…...

编程日记 2025/9/18 11:27:39

uniapp 打包 H5 向打包的APP 使用 @dcloudio/uni-webview-js 传值

1.安装 dcloudio/uni-webview-js npm install dcloudio/uni-webview-js -save 这个模块的 uni. 会与H5的uniapp的 uni. 冲突,所以需要改下名称,一共需要改3处 2.引入并使用 import uniWeb from dcloudio/uni-webview-js;uniWeb.postMessage({data: {action: message,content…...

编程日记 2025/9/12 15:20:28

c语言文件操作

c语言文件操作 one 打开/usr/dev.txt文件，在第1行覆盖写入 "MAC1q23456789" #include <fcntl.h> #include <unistd.h> #include <string.h> int main() { const char *line_1 "MAC1q23456789\n"; // 要写入的内容…...

编程日记 2025/9/4 3:33:59

企业电子招投标采购系统——功能模块功能描述+数字化采购管理采购招投标

功能描述 1、门户管理：所有用户可在门户页面查看所有的公告信息及相关的通知信息。主要板块包含：招标公告、非招标公告、系统通知、政策法规。 2、立项管理：企业用户可对需要采购的项目进行立项申请，并提交审批，查看…...

编程日记 2025/9/18 11:25:41

Python 序列构成的数组(序列的增量赋值)

序列的增量赋值增量赋值运算符和 * 的表现取决于它们的第一个操作对象。简单起见，我们把讨论集中在增量加法（）上，但是这些概念对 * 和其他增量运算符来说都是一样的。背后的特殊方法是 iadd （用于“就地加法”&…...

编程日记 2025/8/25 1:18:18

力扣hot100【链表】

160.相交链表题目我的思路：两个链表一长一短，先把长的提前遍历使两个链表的长度相等，然后同时遍历，如果遍历的节点相等时说明相交，否则不相交。 /*** Definition for singly-linked list.* struct ListNode {* …...

编程日记 2025/9/10 4:23:29

PyTorch 生态迎来新成员：SGLang 高效推理引擎解析

SGLang 现已正式融入 PyTorch 生态系统！此次集成确保了 SGLang 符合 PyTorch 的技术标准与最佳实践，为开发者提供了一个可靠且社区支持的框架，助力大规模语言模型（LLM）实现高效且灵活的推理。如需深入了解 PyTorch…...

编程日记 2025/9/19 10:39:42

C++ Primer Plus 编程练习题第六章分支语句和逻辑运算符

1.大小写转换使用cctype库里的函数进行大小写转换,但要注意使用toupper或tolower时要进行强制类型转换，否则会输出ASCII值 #include <iostream> #include<cctype> using namespace std;int main() {cout << "请输入字符串（大…...

编程日记 2025/9/10 22:32:56

一文详解OpenGL环境搭建：Windows使用CLion配置OpenGL开发环境

在计算机图形学的广阔领域中，OpenGL作为行业标准的图形库，为开发者提供了强大的工具集来创建从简单的2D图形到复杂的3D世界。然而，对于初学者和经验丰富的开发者而言，选择一个合适的开发环境是迈向成功的第一步。尤其是在Windows平台上，配置一个既支持现代C++编程实践又能…...

编程日记 2025/9/14 14:11:27

一次奇怪的enq: TX - row lock contention锁问题处理

某天上午客户告知数据库库有锁导致数据库卡死，需排查出问题的原因，从根本上解决问题。按正常步骤，查询V$SESSION中BLOCKING_SESSION列不为空的，发现没有进程互相阻塞的情况；而查询ACTIVE会话，则有大量进程…...

编程日记 2025/9/12 6:13:17

STL常用容器整理

STL常用容器操作整理 STL常用容器操作整理（string/vector/set/map）一、string（字符串）构造函数元素访问修改操作容量操作子串与查找二、vector（动态数组）构造函数元素访问修改操作容量操作三、set&#x…...

编程日记 2025/8/17 22:09:03

深入 PostgreSQL 内部：5 个关键阶段拆解查询处理全流程

引言当您向 PostgreSQL 发送查询时，后端会经历多个处理阶段。每个阶段承担着不同的职责，以确保您能在最短时间内获得准确响应。虽然这些阶段可能庞大而复杂，但理解它们在查询处理中的角色对 PostgreSQL 开发者至关重要。本文将概述每个查询…...

编程日记 2025/9/18 14:19:09

解析 LILIkoi 光纤力传感器：FBG 原理铸就耐高温抗干扰优势

LILIkoi光纤力传感器通过光纤光栅（FBG）技术实现高精度力测量。其核心原理基于光纤内光栅栅距的微小变化，用以感知外界施加的力。该传感器在高温、强辐射等恶劣环境中表现出色，能够有效抵抗电磁干扰和温度漂移。凭借卓越的性能&…...

编程日记 2025/9/12 11:32:54

SU-YOLO：基于脉冲神经网络的高效水下目标检测模型解析

论文地址：https://arxiv.org/pdf/2503.24389 目录一、论文概述二、创新点解析 1. 基于脉冲的水下图像去噪（SpikeDenoiser）原理与结构 2. 分离批归一化（SeBN）原理与结构 3. 优化的残差块（SU-Block）原理与结构三、代码复现指南环境配置模型训练四、…...

编程日记 2025/9/19 15:46:15

有关eeprom以及pwm

a0 a1就是对应的芯片的写和读 0写 1读使用操作主函数读一次然后信息里一直写入。用level设置挡位如 10个格子设置2 3 这样占空比就有了...

编程日记 2025/8/17 22:03:46

JMeter教程|0到1学会接口性能压测第14课-JMeter接口性能测试全流程讲解

Apache JMeter是一款纯java编写负载功能测试和性能测试开源工具软件。相比Loadrunner而言，JMeter小巧轻便且免费，逐渐成为了主流的性能测试工具，是每个测试人员都必须要掌握的工具之一。本文以百度搜索接口为例，全流程讲解JMeter接口性能测试。从JMeter下载安装到编写一个…...

编程日记 2025/9/9 4:12:17

系统思考：问题诊断

“做事不怕困难，怕的是不明白困难出在哪里。” —— 亨利福特最近发现，有些领导者或者团队，常常急于给出解决方案，却忽视了最关键的一步——诊断问题的根源。团队甚至在集体心智模式的影响下，连问题本身都搞错了方向…...

编程日记 2025/9/15 11:57:25

有效压缩 Hyper-v linux Centos 的虚拟磁盘 VHDX

参考： http://www.360doc.com/content/22/0505/16/67252277_1029878535.shtml VHDX 有个不好的问题就是，如果在里面存放过文件再删除，那么已经使用过的空间不会压缩，导致空间一直被占用。那么就需要想办法压缩空间。还有一点&a…...

编程日记 2025/8/28 17:38:38

使用 redis 实现消息队列

方案1: 使用list做消息队列问题1: 如何保证消息不丢失问题 2: 重复消费/幂等方案 2: zset实现消息队列方案 3: 发布/订阅(pub/sub)问题1: 如何保证消息不丢失问题 2: 重复消费/幂等方案 4: Stream 实现消息队列问题1: 如何保证消息不丢失问题 2: 重复消费/幂等方案1: 使用li…...

编程日记 2025/9/19 17:23:37

2025 XYCTF Pwn-wp(含附件)

前言总体来说Pwn方向题目难度属于中等,属于那种一眼看不出要咋做,但多试试又能做出来的那种,比赛的时候甚至有几只队伍AK了Pwn方向。感觉题目还是很不错的尽管比赛中有一些小意外像是有些题目附件给错了，但是XYCTF的师傅们都是无偿出题纯热爱向大伙分享自己的题目…...

编程日记 2025/9/11 15:03:55

verilog有符号数的乘法

1、单周期乘法器对于低速要求的乘法器，可以简单的使用 * 实现。 module Mult(input wire [7:0] multiplicand ,input wire [7:0] multipliter ,output wire [7:0] product);assign product multiplicand * multipliter …...

编程日记 2025/9/18 22:44:24

【python3】关于等额本金和等额本息计算

【python3】关于等额本金和等额本息计算 1.背景2.计算3.总结4.推导 1.背景在贷款买房的宝子们一定有了解等额本金和等额本息，年轻的时候只听销售在那里计算， 您可能听得云里雾里。等额本金：每个月还的本金固定，利息逐渐减少。…...

编程日记 2025/9/15 0:28:41

git怎么删除远程分支

删除远程分支引言删除远程分支查看远程分支查看远程分支详情删除远程分支引言本文旨在记录一下，git如何通过命令行删除远程分支。删除远程分支查看远程分支使用指令： git branch -r查看远程分支详情使用指令： git remote show …...

编程日记 2025/8/17 21:57:21

【C++】函数直接返回bool值和返回bool变量差异

函数直接返回bool值和返回bool变量差异背景在工作中遇到一个比较诡异的问题，场景是给业务方提供的SDK有一个获取状态的函数GetStatus，函数的返回值类型是bool，在测试过程中发现，SDK返回的是false，但是业务方拿到的…...

编程日记 2025/9/8 13:44:34

蓝桥杯-蓝桥幼儿园(并查集)

并查集的核心思想并查集主要由两个操作构成： Find：查找某个元素所在集合的根节点。并查集的特点是，每个元素都指向它自己的父节点，根节点的父节点指向它自己。查找过程中可以通过路径压缩来加速后续的查找操作，即将路…...

编程日记 2025/9/11 7:31:02

Ensemble of differential evolution variants（EDEV）

差分进化变体的集成1 在这项研究中，一个基于多种群的框架（MPF）被提议用于多个差分进化变体的集合。与PAP2不同，PAP通过时间预算分配策略和个体移民算子实现算法组合，MPF将整个种群划分为子种群，包括几个指…...

编程日记 2025/9/19 9:16:45

《AI开发工具和技能实战》第1集 Windows CMD 命令行操作指南：从基础到进阶

第1集 Windows CMD 命令行操作指南：从基础到进阶在日常使用 Windows 系统时，命令提示符（Command Prompt，简称 CMD）是一个强大且灵活的工具。无论是文件管理、系统配置，还是网络诊断，CMD 都能提…...

编程日记 2025/9/19 2:30:43

实现一个拖拽排序组件：Vue 3 + TypeScript + Tailwind CSS

文章目录一、项目背景与需求分析需求： 二、搭建基础项目1. 初始化 Vue 3 项目2. 安装 Tailwind CSS 三、设计拖拽排序组件1. 创建拖拽排序组件2. 说明： 四、完善样式与功能1. 样式调整2. 拖拽顺序更新五、进一步优化与拓展1. 添加排序指示器2. 支持动态…...

编程日记 2025/9/20 2:31:26

哈希表(开散列)的实现

目录引入开散列的底层实现哈希表的定义哈希表的扩容哈希表的插入哈希表查找哈希表的删除引入接上一篇，我们使用了闭散列的方法解决了哈希冲突，此篇文章将会使用开散列的方式解决哈希冲突，后面对unordered_set和unordered_map的…...

编程日记 2025/9/13 21:12:34

解决 Jetpack Compose 中 State 委托报错：“no method getValue“ 的终极指南

1. 必须的导入 ✅ import androidx.compose.runtime.getValue // 核心关键！作用：为 State 类型添加 getValue() 操作符，使其支持 by 委托语法。为什么需要：Kotlin 的委托属性需要对象实现 getValue() 方法，Compose 通…...

编程日记 2025/9/19 13:46:22