当前位置： 首页 > news >正文

AI 速读 SpecReason：让思考又快又准！

news 来源：原创 2025/7/23 1:58:36

在大模型推理的世界里，速度与精度往往难以兼得。但今天要介绍的这篇论文带来了名为SpecReason的创新系统，它打破常规，能让大模型推理既快速又准确，大幅提升性能。想知道它是如何做到的吗？快来一探究竟！

论文标题
SpecReason: Fast and Accurate Inference-Time Compute via Speculative Reasoning
来源
arXiv:2504.07891v1 [cs.LG] + https://arxiv.org/abs/2504.07891

文章核心

研究背景

大型推理模型（LRMs）在复杂任务上取得了很高的准确率，但推理延迟高的问题限制了其在交互式应用中的使用。

研究问题

  1. LRMs生成的长推理序列以及解码的自回归特性导致推理延迟高，严重影响用户体验。
  2. 传统的推理加速方法，如投机解码（Speculative decoding），要求小模型和基础模型在token级别等价，无法充分利用推理过程对近似的容忍性。

主要贡献

  1. 提出SpecReason系统：利用轻量级模型推测执行简单的中间推理步骤，基础模型仅用于评估和纠正推测结果，在保持或提高准确率的同时，显著降低推理延迟，相比传统LRM推理实现1.5 - 2.5倍的加速。
  2. 突破传统要求：与投机解码不同，SpecReason聚焦于思维token的语义相似性，放宽了严格的token级别等价要求，为降低LRM推理延迟开辟了新途径。
  3. 互补优化策略：发现SpecReason与投机解码可互补，两者结合能进一步降低延迟，相比单独的投机解码，延迟可额外减少19.4 - 44.2%。

方法论精要

  1. 核心算法/框架：SpecReason采用一种新的推测执行形式，将较简单或不太关键的推理步骤（如完整的推理步骤或句子这样语义自包含的单元）卸载到轻量级模型进行推测，再由基础模型评估其效用。
  2. 关键参数设计原理：通过设置基础模型评估推测步骤效用的分数阈值（如静态阈值score ≥7 ）来决定是否接受推测步骤。该阈值可调整，控制推测的激进程度，进而平衡推理延迟和准确率。
  3. 创新性技术组合：结合轻量级模型的快速推测和基础模型的精准评估，利用LRM推理对近似的容忍性，在语义层面而非token层面追求相似性，实现高效推理加速。
  4. 实验验证方式：使用QwQ - 32B作为基础模型，蒸馏版DeepSeek - R1（R1 - 1.5B）作为小模型，在AIME、MATH500和GPQA三个推理基准数据集上进行实验。对比基线包括使用小模型和基础模型的普通推理，以及以R1 - 1.5B为草稿模型的投机解码，还测试了将SpecReason与投机解码结合的“SpecReason+Decode”方法。

实验洞察

  1. 性能优势：在MATH、AIME和GPQA数据集上，SpecReason相比基础模型的普通推理，延迟分别降低2.5倍、1.9倍和1.5倍，准确率分别提高1.0%、3.1%和9.9%。与投机解码相比，SpecReason处于准确率 - 延迟权衡的帕累托前沿，且SpecReason+Decode相比单独的投机解码，延迟进一步降低44.2%、33.8%和19.4%。
  2. 效率突破：SpecReason实现了1.5 - 2.5倍的推理加速，减少了端到端的推理延迟。与投机解码结合后，能进一步优化推理效率。
  3. 消融研究：通过调整基础模型评估推测步骤的接受阈值，发现提高阈值会减少小模型推测步骤的接受率，使延迟增加但准确率提高。在不同数据集上，这种趋势有所不同，如AIME数据集上小模型与基础模型性能差距大，放宽阈值对准确率影响更明显，证明了SpecReason中基础模型评估和阈值设置对整体性能的重要性。

本文由AI辅助完成。

相关文章：

AI 速读 SpecReason：让思考又快又准！

在大模型推理的世界里，速度与精度往往难以兼得。但今天要介绍的这篇论文带来了名为SpecReason的创新系统，它打破常规，能让大模型推理既快速又准确，大幅提升性能。想知道它是如何做到的吗？快来一探究竟！ 论…...

编程日记 2025/7/23 1:58:36

从“堆料竞赛”到“体验深耕”，X200 Ultra和X200s打响手机价值升维战

出品 | 何玺 排版 | 叶媛 vivo双旗舰来袭！ 4月21日，vivo X系列春季新品发布会盛大开启，带来了一场科技与创新的盛宴。会上，消费者期待已久的X200 Ultra及X200s两款旗舰新品正式发布。 vivo两款旗舰新品发布后，其打破…...

编程日记 2025/7/23 1:54:45

Macbook IntelliJ IDEA终端无法运行mvn命令

一、背景 idea工具里执行Maven命令mvn package，报错提示 zsh: command not found: mvn。 macOS，默认使用的是zsh，环境变量通常配置在 ~/.zshrc 文件中。 而我之前一直是配置在~/.bash_profile文件中。 二、环境变量 vi ~/.zshrc设置MAVE…...

编程日记 2025/6/29 10:25:31

CentOS 7进入救援模式——VirtualBox虚拟机

​ 目录 1. 在`VirtualBox`环境下，开机按F12，进入`VirtualBox temporary boot device selection `界面，按`c`键,选中`CD-ROM `回车。2. 选中`Troubleshooting`(故障排除),进入`Troubleshooting`界面3. 接下来会显示救援模式菜单，通常选择`"1) Continue"`（除非您…...

编程日记 2025/7/23 1:57:34

AI软件栈：LLVM分析（六）

LLVM后端代码生成的关键步骤 文章目录 指令选择指令调度寄存器分配 指令选择 完成从基于LLVM IR的DAG转换为基于特定目标平台的DAG（注意，此时描述格式依然是DAG形态）基于TabGen完成指令重映射（典型的处理包括：指令拆散…...

编程日记 2025/7/23 1:47:01

【第十六届 蓝桥杯 省 C/Python A/Java C 登山】题解

题目链接：P12169 [蓝桥杯 2025 省 C/Python A/Java C] 登山 思路来源 一开始想的其实是记搜，但是发现还有先找更小的再找更大的这种路径，所以这样可能错过某些最优决策，这样不行。 于是我又想能不能从最大值出发往回搜&#xf…...

编程日记 2025/6/29 11:23:05

Github 热点项目 Jumpserver开源堡垒机让服务器管理效率翻倍

Jumpserver今日喜提160星，总星飙至2.6万！这个开源堡垒机有三大亮点：① 像哆啦A梦的口袋，支持多云服务器一站式管理；② 安全审计功能超硬核，操作记录随时可回放；③ 网页终端无需装插件&#xff0…...

编程日记 2025/7/23 1:54:44

5V 1A充电标准的由来与技术演进——从USB诞生到智能手机时代的电力革命

点击下面图片带您领略全新的嵌入式学习路线 🔥爆款热榜 88万阅读 1.6万收藏 一、起源：USB标准与早期电力传输需求 1. USB的诞生背景 1996年，由英特尔、微软、IBM等公司组成的USB-IF（USB Implementers Forum）发布了…...

编程日记 2025/7/23 1:46:59

驱动开发硬核特训 · Day 16：字符设备驱动模型与实战注册流程

🎥 视频教程请关注 B 站：“嵌入式 Jerry” 一、为什么要学习字符设备驱动？ 在 Linux 驱动开发中，字符设备（Character Device）驱动 是最基础也是最常见的一类驱动类型。很多设备（如 LED、按键、…...

编程日记 2025/6/29 11:23:36

外网如何连接内网中的mysql数据库服务器

一、MySQL 产品简介 mysql是一款数据库产品，它主要用于存储、管理和检索数据，对用户的数据进行存储管理 二、运维人员遇到的问题 当内网服务器部署好mysql数据库后，外网如何安全的访问数据库进行增删改查，是运维人员遇到的一个…...

编程日记 2025/6/29 10:13:41

你的大模型服务如何压测：首 Token 延迟、并发与 QPS

写在前面 大型语言模型（LLM）API，特别是遵循 OpenAI 规范的接口（无论是 OpenAI 官方、Azure OpenAI，还是 DeepSeek、Moonshot 等众多兼容服务），已成为驱动下一代 AI 应用的核心引擎。然而，随着应用规模的扩大和用户量的增长，仅仅关注模型的功能是不够的，API 的性能表…...

编程日记 2025/7/18 11:02:03

4月谷歌新政 | Google Play今年对“数据安全”的管控将全面升级！

大家好，我是牢鹅！每年的Q2季度是Google Play重要政策更新的时间节点，一般都伴随着重磅政策的更新，今年也不例外。4月10日，谷歌政策迎来2025年第二次更新，本次政策更新内容相较3月政策更新，不管是…...

编程日记 2025/7/23 1:50:42

第十四届蓝桥杯 2023 C/C++组 有奖问答

目录 题目： 题目描述： 题目链接： 思路： 核心思路： 思路详解： 代码： 代码详解： 题目： 题目描述： 题目链接： 蓝桥云课 有奖问答 思路&…...

编程日记 2025/6/29 9:41:29

【Redis】SpringDataRedis

Spring Data Redis 使得开发者能够更容易地与 Redis 数据库进行交互，并且支持不同的 Redis 客户端实现，如 Jedis 和 Lettuce。Spring Data Redis 会自动选择一个客户端，通常情况下，Spring Boot 默认使用 Lettuce 作为 Redis 客户端…...

编程日记 2025/6/29 11:12:34

XAttention

XAttention: Block Sparse Attention with Antidiagonal Scoring 革新Transformer推理的高效注意力机制资源​​ ​​论文链接​​：XAttention: Block Sparse Attention with Antidiagonal Scoring ​​代码开源​​：GitHub仓库 XAttention是韩松团队提…...

编程日记 2025/6/29 11:43:15

07.Python代码NumPy-排序sort，argsort，lexsort

07.Python代码NumPy-排序sort，argsort，lexsort 提示：帮帮志会陆续更新非常多的IT技术知识，希望分享的内容对您有用。本章分享的是NumPy的使用语法。前后每一小节的内容是存在的有：学习and理解的关联性，希望…...

编程日记 2025/6/29 9:41:30

无人机飞控运行在stm32上的RTOS实时操作系统上，而不是linux这种非实时操作系统的必要性

飞控程序需要运行在STM32等微控制器（MCU）的实时操作系统（RTOS）而非Linux等非实时操作系统（如通用Linux内核），主要原因在于实时性、资源占用、硬件适配性以及系统可靠性等方面的实质性差异。以下…...

编程日记 2025/6/29 11:32:00

Leetcode - 周赛446

目录 一、3522. 执行指令后的得分二、3523. 非递减数组的最大长度三、3524. 求出数组的 X 值 I四、3525. 求出数组的 X 值 II 一、3522. 执行指令后的得分 题目链接 本题就是一道模拟题，代码如下： class Solution {public long calculateScore(String…...

编程日记 2025/6/29 10:29:34

Linux——系统安全及应用

目录 一：账号安全控制 1，基本安全措施 系统账号清理 密码安全控制 命令历史，自动注销 2，用户切换与提权 su命令的用法 PAM认证 3，sudo命令——提升执行权限 在配置文件/etc/sudoers中添加授权 通过sudo执行…...

编程日记 2025/6/29 12:12:29

随机面试--＜二＞

编译安装软件的流程 1-安装所需源代码 2-配置安装环境 3-进行相关设置 4-编译 5-安装 nginx安装新模块的流程 1-准备与原nginx版本相同的源码包，准备模块安装包 2-准备编译安装环境 3-配置参数 来源于nginx -V配置原模块 以及--add-module 增加模块 4-mak…...

编程日记 2025/6/29 11:24:38

LeetCode面试经典 150 题（Java题解）

一、数组、字符串 1、合并两个有序数组 从后往前比较，这样就不需要使用额外的空间 class Solution {public void merge(int[] nums1, int m, int[] nums2, int n) {int l mn-1, i m-1, j n-1;while(i > 0 && j > 0){if(nums1[i] > nums2[j])…...

编程日记 2025/6/29 12:15:01

【技术追踪】Differential Transformer（ICLR-2025）

Differential Transformer：大语言模型新架构， 提出了 differential attention mechanism，Transformer 又多了一个小 trick~ 论文：Differential Transformer 代码：https://github.com/microsoft/unilm/tree/master/Diff…...

编程日记 2025/6/29 12:19:33

报告系统状态的连续日期 mysql + pandas(连续值判断)

本题用到知识点：row_number(), union, date_sub(), to_timedelta()…… 目录 思路 pandas Mysql 思路 链接：报告系统状态的连续日期 思路： 判断连续性常用的一个方法，增量相同的两个列的差值是固定的。 让日期与行号 * 天数…...

编程日记 2025/6/29 11:03:36

【C++类和数据抽象】类的作用域

目录 一、类的作用域基本概念 1.1 什么是类的作用域 1.2 作用域层次体系 1.3 类作用域的特点 1.4 基本访问规则 二、访问控制三剑客 2.1 public：开放接口 2.2 private：数据封装 2.3 protected：继承通道 2.4 跨作用域访问示例 三…...

编程日记 2025/6/29 11:56:43

【区块链技术解析】从原理到实践的全链路指南

目录 前言：技术背景与价值当前技术痛点解决方案概述目标读者说明 一、技术原理剖析核心概念图解核心作用讲解关键技术模块技术选型对比 二、实战演示环境配置要求核心代码实现（10个案例）案例1：创建简单区块链案例2：工作…...

编程日记 2025/6/29 9:55:37

LangGraph(一)——QuickStart样例中的第一步

目录 1. LangGraph简介2. 使用uv初始化项目3. 官网QuickStart——第一步：构建一个ChatBot(仅关注Graph的构建即可)3.1 配置大模型API_KEY3.2 初始化StateGraph3.3 添加chatbot node3.4 添加edges3.5 可视化StateGraph3.6 构建聊天循环 参考 1. LangGraph简介 LangGr…...

编程日记 2025/6/29 10:58:34

spring security +kotlin 实现oauth2.0 认证

基于OAuth 2.0的认证功能实现（Kotlin Spring Security） 以下是使用 AbstractAuthenticationProcessingFilter、AuthenticationProvider、AbstractAuthenticationToken 和 AuthenticationSuccessHandler 实现 OAuth 2.0 认证的完整代码设计。 1. 自定义…...

编程日记 2025/6/29 12:31:38

服务器监控软件推荐

以下是几款常用的服务器监控软件推荐，涵盖开源和商业方案，适用于不同规模和需求： 一、开源免费方案 Prometheus Grafana 特点：时序数据库 可视化仪表盘，支持多维度监控和告警。适用场景：云原生、Kubernet…...

编程日记 2025/6/29 11:30:19

在kali中安装AntSword（蚁剑）

步骤一、下载压缩包 源码：https://github.com/AntSwordProject/antSword，下载压缩包。 加载器：https://github.com/AntSwordProject/AntSword-Loader，根据系统选择压缩包（kali选择AntSword-Loader-v4.0.3-linux-x64&…...

编程日记 2025/6/29 11:49:17

【论文速递】2025年06周 （Robotics/Embodied AI/LLM）

目录 SMOLLM2：当Smol变得大 - 以数据为中心的小语言模型英文摘要中文摘要 OmniHuman-1：重新考虑一阶段的人类动画模型的扩展英文摘要中文摘要 S1：简单的测试时间缩放英文摘要中文摘要 直接对齐算法间的差异日渐模糊英文摘要中文摘要 VideoJAM…...

编程日记 2025/6/29 11:25:38

相机标定（输出相机内参和畸变参数）

相机标定 这里我用笔记本电脑自带的摄像头进行相机标定 仅作示例，实际工程中要用对应的摄像头进行标定 同时代码也要相应的修改，不过修改的主要是相机的初始化 粗略的说就是打开相机那部分要修改（依据实际情况相应修改） 最终的结果…...

编程日记 2025/7/21 11:19:20

Linux-编辑器的使用

实验三 Linux编辑器的使用 一、实验目的 学习使用vi编辑器建立、编辑和保存文本文件。 二、实验内容 1.进入和退出vi。 2.Vi不同工作模式的切换。 3.文本文件基本编辑（光标移动、文本输入、复制、移动、删除、查找、替换）。 4.文本文件的保存和备份。…...

编程日记 2025/6/29 19:36:40

Android开发中的复制和粘贴

Android 提供了一个强大的基于剪贴板的框架，用于复制和粘贴。它支持简单和复杂的数据类型，包括文本字符串、复杂数据结构、文本和二进制流数据，以及应用资源。简单的文本数据直接存储在剪贴板中，而复杂的数据则存储为引用&#xf…...

编程日记 2025/6/29 19:35:41

使用 inobounce 解决 iOS 皮筋效果导致的无法下拉刷新

使用 inobounce 解决 iOS 皮筋效果导致的无法下拉刷新 在移动端 H5 页面开发中，iOS 设备的“皮筋效果”（Rubber Band Effect）是一个常见的挑战。当用户在页面顶部下拉或底部上拉时，iOS 会触发整个页面的回弹效果，这不…...

编程日记 2025/6/29 9:53:52

特征选择与类不平衡处理

特征选择与类不平衡处理技术 一、特征选择方法 1. 过滤法（Filter Methods） 原理： 基于统计学方法或特征本身的分布特性独立于模型进行特征筛选，通过计算特征与目标变量的相关性或特征的发散性进行排序选择。 典型方法&#xf…...

编程日记 2025/6/29 10:27:20

24、ASP.NET⻚⾯之间传递值的⼏种⽅式

1. QueryString（查询字符串） 描述：通过 URL 参数传递数据，例如 Page2.aspx?id123。 适用场景：简单、非敏感数据，页面跳转时使用。 2. Session（会话） 描述：在服务器端…...

编程日记 2025/6/29 11:34:26

【扩展卡尔曼滤波器实际运用案例】

扩展卡尔曼滤波器 算法描述实际案例 算法描述 考虑离散时间非线性动态系统 { x k 1 f k ( x k , w k ) z k h k ( x k , v k ) \left\{\begin{matrix} x_{k1}f_{k}(x_k,w_k)\\ z_{k}h_{k}(x_k,v_k) \end{matrix}\right. {xk1​fk​(xk​,wk​)zk​hk​(xk​,vk​)​ 其中是…...

编程日记 2025/6/29 11:46:12

Centos9 安装 nginx 及配置

1. 安装nginx 安装依赖软件，安装之前可以看一下是否已经安装过以下软件，dnf list installed | grep zlib dnf install gcc-c dnf install zlib dnf install pcre pcre-devel dnf install openssl openssl-devel下载nginx，这里是下载到opt文…...

编程日记 2025/6/29 10:32:58

总结设计测试用例的万能公式

现在有⼀款产品，要求我们对“⻔锁”设计测试⽤例，假如你是测试⼈员，你会怎么设计呢？ 1 常规思考逆向思维发散性思维 设计测试⽤例的原则⼆： 1.测试⽤例的编写不仅应当根据有效和预料到的输⼊情况，⽽且也…...

编程日记 2025/6/29 12:29:43

Android RK356X TVSettings USB调试开关

Android RK356X TVSettings USB调试开关 平台概述操作-打开USB调试实现源码补充说明 平台 RK3568 Android 11 概述 RK3568 是瑞芯微（Rockchip）推出的一款高性能处理器，支持 USB OTG（On-The-Go）和 USB Host 功能。US…...

编程日记 2025/7/15 21:45:17

python生成动态库在c++中调用

一.Windows下生成动态库.pyd 在setup.py的同目录下使用python setup.py build_ext --inplace 二.在vscode的c中使用.pyd文件（动态库） 1）配置python的环境 python -c "import sys; print(sys.executable)" #确定python安装位置 2…...

编程日记 2025/6/29 10:58:46

大模型数据味蕾论

大模型数据味蕾论 大模型的成长路径：从婴儿到专家预训练数据的"四维口味"模型从文本到模型：数据处理的关键步骤"大模型数据味蕾论"结语 AI大模型就像一位厨师，预训练数据就是这位厨师的味蕾。 没有经过训练的味蕾&#x…...

编程日记 2025/6/29 12:04:12

网络编程4

day4 一、Modbus 1.分类 (1).Modbus RTU: 运行在串口上的协议，采用二进制表现形式以及紧凑型数据结构，通信效率高，应用广泛。(2).Modbus ASCII: 运行在串口上的协议，采用ASCII码传输，并且利用特殊字符作为其字节的开始…...

编程日记 2025/6/29 11:49:35

neo4j-community-3.5.5-unix.tar.gz安装

从官网找了下包，哎，奈何访问不了github,那就找镜像吧，哎，也是不通。 # docker search neo4j Error response from daemon: Get "https://index.docker.io/v1/search?qneo4j&n25": dial tcp 202.160.128.40:443: i…...

编程日记 2025/6/29 9:41:41

高防IP能抵御哪些类型的网络攻击？

高防IP（High Defense IP）是一种专门针对网络攻击设计的防护服务，主要通过流量清洗、协议分析、行为检测等技术抵御多种网络攻击。以下是其能防御的主要攻击类型及原理： ​​一、常见防御的攻击类型​​ ​​DDoS攻击（分…...

编程日记 2025/6/29 9:41:50

动态监控进程

1.介绍: top和ps命令很相似,它们都是用来显示正在执行的进程,top和ps最大的不同之处,在于top在执行中可以更新正在执行的进程. 2.基本语法： top [选项] 选项说明 ⭐️僵死进程：内存没有释放,但是进程已经停止工作了,需要及时清理 交互操作说明 应用案…...

编程日记 2025/6/29 9:41:45

你学会了些什么220622？--搭建UI自动化

jenkins访问地址：http://192.168.82.129:8080/ 账号密码：admin/a123456a ***** 什么是UI自动化** 使用工具或者脚本对需要测试的软件的前端界面在预设的条件下，在已有的测试数据下运行系统或者应用程序，并获取其前端页面UI显示的…...

编程日记 2025/6/29 10:46:29

深入理解自监督学习（Self-Supervised Learning）：理论与实践

📌 友情提示： 本文内容由银河易创AI（https://ai.eaigx.com）创作平台的gpt-4o-mini模型生成，旨在提供技术参考与灵感启发。文中观点或代码示例需结合实际情况验证，建议读者通过官方文档或实践进一步确认其准…...

编程日记 2025/6/29 9:41:43

时序逻辑入门指南：LTL、CTL与PTL的概念介绍与应用场景

引言 在计算机科学和形式化方法中，**时序逻辑（Temporal Logic）**是描述系统动态行为的核心工具，它允许我们形式化地表达“时间”相关的性质，例如“某事件最终会发生”或“系统始终满足安全条件”。其中，LTL（线性时序逻辑）、**CTL（计算树逻辑）和PTL（命题时序逻辑）*…...

编程日记 2025/6/29 9:41:51

Spring Boot 整合 JavaFX 核心知识点详解

1. 架构设计与集成模式 1.1 Spring Boot 与 JavaFX 的分层架构设计 Spring Boot 与 JavaFX 的整合需要精心设计的分层架构，以充分利用两个框架的优势。 标准分层架构 ┌────────────────────────────────────────────────…...

编程日记 2025/6/29 10:31:06