当前位置： 首页 > news >正文

浅谈 - GPTQ为啥按列量化

news 来源：原创 2025/8/18 13:17:15

前言

曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！

先说结论

GPTQ 按列量化 W，是因为 Transformer 中的每一列权重只跟输入向量 x 的一个元素相乘，按列量化可以最小化量化误差对输出的影响，同时兼容高效的矩阵乘法实现。

一、从矩阵乘法角度看本质

我们来看 Transformer 中最核心的操作：

y = W × x

设：

  • W 是 n × d 的权重矩阵

  • x 是 d × 1 的输入 token 的 embedding 向量（列向量）

  • 输出 y 是 n × 1

展开乘法的过程是：

y = ∑ (x[i] * w_i)     # w_i 是 W 的第 i 列

每个 x[i] 只影响 w_i 这一列
每列 w_i 决定了 x[i] 如何影响输出

所以重点是：

误差在每列 w_i 上的放大会被 x[i] 直接乘进去。

如果不按列量化，而是按行或整层，误差的影响就更不可控了。

二、按列量化有什么优势？

原因类别说明
数学合理性每列权重只与输入向量的一个分量相乘，逐列控制精度可单独抑制误差传播
量化误差可控每列都有自己 min/max、scale、zero_point，不受其他列值影响
支持动态 range某些列的权重值范围可能在 [-0.1, 0.1]，有的可能在 [-5, 5]，统一 scale 会损精度
工程并行性多数矩阵乘法库（比如 CUDA kernel）天然按列访存，可以直接用 INT4 SIMD 并行
与 Hessian 局部估计配合好GPTQ 使用列级 Hessian 估计每列误差影响，逐列量化刚好配套

三、如果按行量化或者整层量化，会发生什么？

❌ 整层统一 scale：

  • scale 被极端值主导；
  • 某些列权重值过于集中（如 -0.01 ~ 0.01），会被压成几个重复值；
  • 误差大，模型崩了。

❌ 按行量化：

  • 每行影响了多个输出维度；
  • 行量化会破坏 “单列 × x[i]” 的清晰数学结构；
  • 与 GPTQ 的误差补偿思路不符。

四、类比解释

可以把 W 看成一个表格，每一列代表一个“输入维度”，比如：

列1：处理“价格”输入；
列2：处理“温度”输入；
列3：处理“时间”输入；

每列的取值范围、分布都不一样：

  • 价格：100~1000
  • 温度：-10~40
  • 时间：0~24

不可能用一个统一的量尺（scale）来压缩这三列！
否则会让温度、时间精度全毁掉。

总结

GPTQ 按列量化权重矩阵 W，是一种对 Transformer 结构极度贴合的压缩策略，既能保留推理精度，又能用低位计算加速推理。因为：

  • 每列权重 w_i 只乘以 x[i]，误差局部控制；
  • 每列可以用自己的 scale 适配分布；
  • 配合 GPTQ 的逐列误差估计与补偿策略（Hessian）；
  • 高效、稳定、误差最小。

相关文章：

浅谈 - GPTQ为啥按列量化

前言 曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！ 先说结论 GPTQ 按列量化 W，…...

编程日记 2025/8/18 13:17:15

引用第三方自定义组件——微信小程序学习笔记

1. 使用 npm 安装第三方包 1.1 下载安装Node.js 工具 下载地址：Node.js — Download Node.js 1.2 安装 npm 包 在项目空白处右键弹出菜单，选择“在外部终端窗口打开”，打开命令行工具，输入以下指令： 1> 初始化:…...

编程日记 2025/8/17 10:13:27

解决android studio 中gradle 出现task list not built

点击 file 选择settings...

编程日记 2025/8/17 8:43:23

UE5 材质淡入淡出

混合模式选择半透明,灯光照明模式选择Surface TranslucencyVolume...

编程日记 2025/8/17 9:45:23

如何用Java读取PDF

在本文中，我将向您展示如何使用JPedal（一个用于转换、打印、查看PDF文件的Java库）在Java中读取PDF。 如何在Java中读取PDF文件 • 将JPedal添加到您的类或模块路径中（下载试用版jar包）。 • 使用JPedal库中的&q…...

编程日记 2025/8/17 8:29:26

tinyrenderer笔记（中）

tinyrenderer个人代码仓库：tinyrenderer个人练习代码 前言 原教程的第 4 课与第 5 课主要介绍了坐标变换的一些知识点，但这一篇文章的内容主要是手动构建 MVP 矩阵，LookAt 矩阵以及原教程涉及到的一些知识点，不是从一个图形学小白…...

编程日记 2025/8/17 10:23:37

人工智能对人类的影响

人工智能对人类的影响 近年来，人工智能（AI）技术以惊人的速度发展，深刻改变了人类社会的方方面面。从医疗、教育到交通、制造业，AI的应用正在重塑我们的生活方式。然而，这一技术革命也带来了机遇与挑战并存…...

编程日记 2025/8/17 10:09:41

LeetCode 220 存在重复元素 III 题解

LeetCode 220 存在重复元素 III 题解 题目描述 给定一个整数数组 nums 和两个整数 k 和 t&#xff0c;请判断数组中是否存在两个不同的索引 i 和 j&#xff0c;使得&#xff1a; abs(nums[i] - nums[j]) < tabs(i - j) < k 方法思路&#xff1a;桶排序 滑动窗口 核…...

编程日记 2025/8/17 8:29:48

0506--01-DA

36. 单选题 在娱乐方式多元化的今天&#xff0c;“ ”是不少人&#xff08;特别是中青年群体&#xff09;对待戏曲的态度。这里面固然存在 的偏见、难以静下心来欣赏戏曲之美等因素&#xff0c;却也有另一个无法回避的原因&#xff1a;一些戏曲虽然与观众…...

编程日记 2025/8/18 21:58:32

单应性估计

单应性估计是计算机视觉中的核心技术&#xff0c;主要用于描述同一平面在不同视角下的投影变换关系。以下从定义、数学原理、估计方法及应用场景等方面进行综合解析&#xff1a; 一、单应性的定义与核心特性 单应性&#xff08;Homography&#xff09;是射影几何中的概念&…...

编程日记 2025/8/16 19:39:35

Missashe考研日记-day33

Missashe考研日记-day33 1 专业课408 学习时间&#xff1a;2h30min学习内容&#xff1a; 今天开始学习OS最后一章I/O管理的内容&#xff0c;听了第一小节的内容&#xff0c;然后把课后习题也做了。知识点回顾&#xff1a; 1.I/O设备分类&#xff1a;按信息交换单位、按设备传…...

编程日记 2025/8/17 8:29:40

YOLO8之学习指南

一、引言 在计算机视觉领域，目标检测是一项核心任务，其应用范围广泛，涵盖安防监控、自动驾驶、智能医疗等众多领域。YOLO（You Only Look Once）系列算法凭借其高效、快速的特点，在目标检测领域占据重要地位。YOLO8 作为 YOLO 系列的最新版本，进一步提升了检测精度和速度…...

编程日记 2025/8/17 9:47:59

中达瑞和便携式高光谱相机：珠宝鉴定领域的“光谱之眼”

在珠宝行业中&#xff0c;真伪鉴定始终是核心需求。随着合成技术与优化处理手段的日益精进&#xff0c;传统鉴定方法逐渐面临挑战。中达瑞和推出的便携式高光谱相机&#xff0c;凭借其独特的“图谱合一”技术&#xff0c;为珠宝真假鉴定提供了科学、高效且无损的解决方案&#…...

编程日记 2025/8/18 19:26:27

C++自动重连机制设计与实现指南

一、为什么需要自动重连 在网络通信场景中&#xff0c;连接中断是不可避免的常见问题&#xff1a; 网络波动&#xff08;移动网络切换、WiFi信号不稳&#xff09; 服务端维护/重启 中间设备故障&#xff08;路由器、负载均衡器&#xff09; 操作系统资源限制 长时间空闲断…...

编程日记 2025/8/17 9:01:07

昇腾Atlas 200I DK A2 开发者套件无法上网问题的解决

目录 引言 USB WiFi网卡 USB以太网卡 结语 引言 今年通过华为的智能基座项目得到了三个Atlas 200I DK A2 开发者套件&#xff0c;很不幸其中有一块是坏的&#xff0c;其上网部分不能使用&#xff1a;2个RJ45的口在Linux系统内都无法识别&#xff0c;而USB口虽然能够识别&a…...

编程日记 2025/8/17 10:33:11

私有仓库 Harbor、GitLab

gitlab 部署资料 Harbor...

编程日记 2025/8/17 9:45:57

极狐GitLab 如何将项目共享给群组？

极狐GitLab 是 GitLab 在中国的发行版&#xff0c;关于中文参考文档和资料有&#xff1a; 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网 共享项目和群组 (BASIC ALL) 在极狐GitLab 16.10 中&#xff0c;更改为在成员页面的成员选项卡上显示被邀请群组成员&#xf…...

编程日记 2025/8/17 8:49:17

QGIS分割平行四边形

需求&#xff1a;四个点确定的平行四边形的范围&#xff0c;我想把他们均分成20份&#xff0c;然后取质心。 解决方案&#xff1a;找了好几个插件&#xff0c;Polygon Divider、Split Polygon发现不好用&#xff0c;不能满足需求。最终找到了Equalyzer&#xff0c;就是比较麻烦…...

编程日记 2025/8/17 10:24:53

NestJS 的核心构建块有哪些？请简要描述它们的作用（例如，Modules, Controllers, Providers）

NestJS 核心构建块解析&#xff08;Modules、Controllers、Providers&#xff09; NestJS 是一个基于 TypeScript 的渐进式 Node.js 框架&#xff0c;核心设计借鉴了 Angular 的模块化思想。下面从实际开发角度解析它的三大核心构建块&#xff0c;并附代码示例和避坑指南。 一…...

编程日记 2025/8/17 8:56:55

Nginx 安全防护与Https 部署实战

目录 一、核心安全配置 1. 编译安装 Nginx 2. 隐藏版本号 3. 限制危险请求方法 4. 请求限制&#xff08;CC 攻击防御&#xff09; &#xff08;1&#xff09;使用 Nginx 的 limit_req 模块限制请求速率 &#xff08;2&#xff09;压力测试验证 5. 防盗链 二、高级防护 …...

编程日记 2025/8/17 10:47:12

电商双十一美妆数据分析

1. 数据读取与基础查看 库导入&#xff1a;使用 import numpy as np 和 import pandas as pd 导入常用数据分析库。数据读取&#xff1a; df pd.read_csv(双十一_淘宝美妆数据.csv) 读取数据文件。数据查看&#xff1a;通过 df.head() 查看数据前几行&#xff1b; df.info() 了…...

编程日记 2025/8/18 11:54:31

高等数学第六章---定积分（§6.1元素法6.2定积分在几何上的应用1）

本文是关于定积分应用的系列讲解的第一讲&#xff0c;主要介绍元素法的基本思想&#xff0c;并重点讲解如何运用定积分计算平面图形的面积&#xff0c;包括直角坐标系和极坐标系下的情况。 6.1 元素法 曲边梯形的面积回顾 我们首先回顾曲边梯形的面积。设函数 f ( x ) ≥ 0 …...

编程日记 2025/8/18 13:29:08

十分钟了解 @MapperScan

MapperScan 是 MyBatis 和 MyBatis-Plus 提供的一个 Spring Boot 注解&#xff0c;用于自动扫描并注册 Mapper 接口&#xff0c;使其能够被 Spring 容器管理&#xff0c;并与对应的 XML 或注解 SQL 绑定。它的核心作用是简化 MyBatis Mapper 接口的配置&#xff0c;避免手动逐个…...

编程日记 2025/8/17 10:21:48

爬虫程序中如何添加异常处理？

在爬虫程序中添加异常处理是确保程序稳定性和可靠性的关键步骤。异常处理可以帮助你在遇到错误时捕获问题、记录日志&#xff0c;并采取适当的措施&#xff0c;而不是让程序直接崩溃。以下是一些常见的异常处理方法和示例&#xff0c;帮助你在爬虫程序中实现健壮的错误处理机制…...

编程日记 2025/8/17 8:37:41

[250506] Auto-cpufreq 2.6 版本发布：带来增强的 TUI 监控及多项改进

目录 Auto-cpufreq 2.6 版本发布&#xff1a;带来增强的 TUI 监控及多项改进 Auto-cpufreq 2.6 版本发布&#xff1a;带来增强的 TUI 监控及多项改进 Auto-cpufreq&#xff0c;一款适用于 Linux 的免费开源自动 CPU 速度与功耗优化器&#xff0c;已发布其最新版本 2.6。该工具…...

编程日记 2025/8/18 12:29:36

探索Hello Robot开源移动操作机器人Stretch 3的技术亮点与市场定位

Hello Robot 推出的 Stretch 3 机器人凭借其前沿技术和多功能性在众多产品中占据优势。Stretch 3 机器人采用开源设计&#xff0c;为开发者提供了灵活的定制空间&#xff0c;能够满足各种不同的需求。其配备的灵活手腕组件和 Intel Realsense D405 摄像头&#xff0c;显著增强了…...

编程日记 2025/8/17 9:19:46

【Harbor v2.13.0 详细安装步骤 安装证书启用 HTTPS】

Harbor v2.13.0 详细安装步骤&#xff08;启用 HTTPS&#xff09; 1. 环境准备 系统要求&#xff1a;至少 4GB 内存&#xff0c;100GB 磁盘空间。 已安装组件&#xff1a; Docker&#xff08;版本 ≥ 20.10&#xff09;Docker Compose&#xff08;版本 ≥ v2.0&#xff09; 域…...

编程日记 2025/8/18 20:26:26

码蹄集——直角坐标到极坐标的转换、射线、线段

目录 MT1052 直角坐标到极坐标的转换 MT1066 射线 MT1067 线段 MT1052 直角坐标到极坐标的转换 思路&#xff1a; arctan()在c中是atan()&#xff0c;结果是弧度要转换为度&#xff0c;即乘与180/PI 拓展&#xff1a;cos()、sin()在c代码中表示方式不变 #include<bits/…...

编程日记 2025/8/17 8:29:38

accept() reject() hide()

1. accept() 用途 确认操作&#xff1a;表示用户完成了对话框的交互并确认了操作&#xff08;如点击“确定”按钮&#xff09;。 关闭模态对话框&#xff1a;结束 exec() 的事件循环&#xff0c;返回 QDialog::Accepted 结果码。适用场景 模态对话框&#xff08;通过 exec()…...

编程日记 2025/8/17 8:52:50

天文探秘学习小结

宇宙 宇宙大爆炸 时间 130亿年前 10-30次方秒内发生大爆炸 发现 20世纪80年代 哈勃发现 通过基于其他星系相对地球的移动速度得出的结论 哈勃发现离地球越远的星系 离开地球的速度越快 得出宇宙加速膨胀的结论 测量造父变星到地球的距离 哈勃测量的是一种恒星 叫造父变星 造…...

编程日记 2025/8/17 10:18:06

游戏引擎学习第261天:切换到静态帧数组

game_debug.cpp: 将ProfileGraph的尺寸初始化为相对较大的值 今天的讨论主要围绕性能分析器&#xff08;Profiler&#xff09;以及如何改进它的可用性展开。当前性能分析器已经能够正常工作&#xff0c;但我们希望通过一些改进&#xff0c;使其更易于使用&#xff0c;特别是在…...

编程日记 2025/8/17 6:14:39

利用 Kali Linux 进行信息收集和枚举

重要提示&#xff1a; 在对任何系统进行信息收集和枚举之前&#xff0c;务必获得明确的授权。未经授权的扫描和探测行为是非法的&#xff0c;并可能导致严重的法律后果。本教程仅用于教育和授权测试目的。 Kali Linux 官方链接&#xff1a; 官方网站&#xff1a; https://www…...

编程日记 2025/8/17 8:59:40

深入解析代理服务器：原理、应用与实战配置指南

一、代理服务器的核心原理与工作机制 1.1 网络通信的中介架构 代理服务器&#xff08;Proxy Server&#xff09;本质上是位于客户端与目标服务器之间的中间层节点&#xff0c;其核心工作机制遵循OSI模型的​​会话层​​与​​应用层​​协议。当客户端发起网络请求时&#x…...

编程日记 2025/8/17 8:37:23

[蓝桥杯 2025 省 B] 水质检测（暴力 ）

暴力暴力 菜鸟第一次写题解&#xff0c;多多包涵&#xff01;&#xff01;! 这个题目的数据量很小&#xff0c;所以没必要去使用bfs&#xff0c;直接分情况讨论即可 一共两排数据&#xff0c;我们使用贪心的思想&#xff0c;只需要实现从左往右的过程中每个检测器相互连接即…...

编程日记 2025/8/17 8:46:14

区块链+数据库：技术融合下的应用革新与挑战突围

引言 近年来&#xff0c;区块链技术凭借其去中心化、不可篡改、透明可追溯等特性&#xff0c;逐渐从数字货币领域扩展到更广泛的应用场景&#xff0c;包括供应链管理、医疗健康、政务服务和数字身份等。与此同时&#xff0c;传统数据库系统在应对海量数据、多方协作与安全需求…...

编程日记 2025/8/18 15:21:33

油气地震资料信号处理中的NMO（正常时差校正）

油气地震资料信号处理中的NMO&#xff08;正常时差校正&#xff09;介绍与应用 NMO基本概念 **正常时差校正&#xff08;Normal Moveout Correction&#xff0c;NMO&#xff09;**是地震资料处理中的一项关键技术&#xff0c;主要用于消除由于炮检距&#xff08;source-recei…...

编程日记 2025/8/17 10:35:24

TDengine 车联网案例

简介 随着科技的迅猛发展和智能设备的广泛普及&#xff0c;车联网技术已逐渐成为现代交通领域的核心要素。在这样的背景下&#xff0c;选择一个合适的车联网时序数据库显得尤为关键。车联网时序数据库不仅仅是数据存储的解决方案&#xff0c;更是一个集车辆信息交互、深度分析…...

编程日记 2025/8/16 20:59:01

探索编程世界：从“爱编程的小黄鸭”B站账号启航

探索编程世界&#xff1a;从“爱编程的小黄鸭”B站账号启航 在编程学习的漫漫长路上&#xff0c;你是否常常为寻找优质、易懂的学习资源而烦恼&#xff1f;今天&#xff0c;我想给大家分享一个宝藏B站账号——“爱编程的小黄鸭”&#xff0c;希望能为大家的编程学习之旅提供一…...

编程日记 2025/8/17 9:18:04

使用 git subtree 方法将六个项目合并到一个仓库并保留提交记录

使用 git subtree 方法将六个项目合并到一个仓库并保留提交记录 步骤 1&#xff1a;初始化主仓库步骤 2&#xff1a;逐个添加子项目2.1 添加子项目远程仓库2.2 将子项目合并到主仓库的指定目录2.3 重复操作其他子项目 步骤 3&#xff1a;验证提交历史步骤 4&#xff08;可选&am…...

编程日记 2025/8/17 21:18:38

Django缓存框架API

这里写自定义目录标题 访问缓存django.core.cache.cachesdjango.core.cache.cache 基本用法cache.set(key, value, timeoutDEFAULT_TIMEOUT, versionNone)cache.get(key, defaultNone, versionNone)cache.add(key, value, timeoutDEFAULT_TIMEOUT, versionNone)cache.get_or_se…...

编程日记 2025/8/17 9:21:36

Linux云计算训练营笔记day02（Linux、计算机网络、进制）

Linux 是一个操作系统 Linux版本 RedHat Rocky Linux CentOS7 Linux Ubuntu Linux Debian Linux Deepin Linux 登录用户 管理员 root a 普通用户 nsd a 打开终端 放大: ctrl shift 缩小: ctrl - 命令行提示符 [rootlocalhost ~]# ~ 家目录 /root 当前登录的用户…...

编程日记 2025/8/17 10:35:54

LIO-Livox

用单台Livox Horizon (含内置IMU) 实现高鲁棒性的激光-惯性里程计&#xff0c;可在各类极端场景下鲁棒运行&#xff0c;并达到高精度的定位和建图效果。(城区拥堵、高速公路、幽暗隧道) 注&#xff1a;该系统主要面向大型室外环境中的汽车平台设计。用户可以使用 Livox Horizo…...

编程日记 2025/8/17 10:13:04

VNP46A3灯光遥感数据全球拼接并重采样

感谢Deepseek帮我写代码&#xff0c;本人在此过程中仅对其进行调试和部分修改&#xff1a; 灯光遥感2024年1月全球拼接结果 代码如下&#xff1a; import os import glob import h5py import numpy as np from osgeo import gdal, osr import rasterio from rasterio.merge im…...

编程日记 2025/8/17 9:29:24

CEF格式说明

又是一年护网季&#xff0c;现在甲方hw已经主流采用SIEM平台了&#xff0c;IPS、IDS、WAF、FW、EDR等安全数据经过安全态势感知这个二道贩子展现在蓝队面前&#xff0c;勉强能用&#xff0c;今天来说一下SIEM中常见的CEF格式&#xff0c;Common Event Format&#xff0c;公共事…...

编程日记 2025/8/17 9:43:08

【Trea】Trea国际版|海外版下载

Trea目前有两个版本&#xff0c;海外版和国内版。‌ Trae 版本差异 ‌大模型选择‌&#xff1a; ‌国内版‌&#xff1a;提供了字节自己的Doubao-1.5-pro以及DeepSeek的V3版本和R1版本。海外版&#xff1a;提供了ChartGPT以及Claude-3.5-Sonnet和3.7-Sonnt. ‌功能和界面‌&a…...

编程日记 2025/8/17 21:18:26

如何管理两个Git账户

背景 在开发过程中&#xff0c;我们有时需要同时使用 多个 Git 账户&#xff08;如个人 GitHub 账户和公司 GitLab 账户&#xff09;。但由于 Git 默认使用全局配置&#xff0c;可能会导致提交信息混乱、权限冲突等问题。本文将介绍如何在同一台机器上 安全、高效地管理多个 G…...

编程日记 2025/8/17 10:26:36

概统期末复习--速成

随机事件及其概率 加法公式 推三个的时候ABC&#xff0c;夹逼准则 减法准则 除法公式 相互独立定义 两种分析 两个解法 古典概型求概率&#xff08;排列组合&#xff09; 分步相乘、分类相加 全概率公式和贝叶斯公式 两阶段问题 第一个小概率*A在小概率的概率。。。累计 …...

编程日记 2025/8/17 9:15:45

Linux系统之shell脚本基础：条件测试、正整数字符串比较与if、case语句

目录 一.条件测试 1.三种测试方法 2.正整数值比较 3.字符串比较 4.逻辑测试 二.脚本中常用命令 1.echo命令 2.date命令 3.cal命令 4.tr命令 5.cut命令 6.sort命令 7.uniq命令 8.cat多行重定向 三.if语句 1.使用格式 2.if语句实例 四.case格式 1.使用格式 2…...

编程日记 2025/8/17 9:50:25

15.Spring Security对Actuator进行访问控制

15.Spring Security对Actuator进行访问控制 pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocati…...

编程日记 2025/8/17 9:19:51

Eigen矩阵的平移,旋转,缩放

#include <Eigen/Core> #include <Eigen/Dense>平移 x轴 // 原始点或对象的坐标Eigen::Vector3d original_point(1.0, 2.0, 3.0);std::cout << "original_point: " << std::endl << original_point << std::endl;// x 轴上的平…...

编程日记 2025/8/17 21:18:17