大模型量化框架GPTQModel的基本使用方法
接上一篇博客：AutoGPTQ报torch._C._LinAlgError: linalg.cholesky: The factorization could not be completed的解决办法-CSDN博客
如果Llama factory量化一直报错，可以改用其他的量化框架，例如GPTQ：https://github.com/ModelCloud/GPTQMode
主要注意的是校准数据集的构造，可以参考这里：使用LLaMA-Factory进行模型量化_llamafactory 量化-CSDN博客
最简单的方法就是直接通过微调数据集构造校准数据集，然后再参考一下GPTQModel的主页例子。我把GitHub上的例子稍微修改了一下：
from datasets import load_dataset
from gptqmodel import GPTQModel, QuantizeConfigmodel_id = "/home/admin90601/ProjectsQuYuNew/LLaMA-Factory/models/qwen2.5-32b_lora_sft"
quant_path = "/home/admin90601/ProjectsQuYuNew/QuantiModels/Qwen2.5-32B"calibration_dataset = load_dataset("json",data_files="private_train_quanti.json",split="train").select(range(3913))["text"]print(len(calibration_dataset))quant_config = QuantizeConfig(bits=4, group_size=128)model = GPTQModel.load(model_id, quant_config)# increase `batch_size` to match gpu/vram specs to speed up quantization
model.quantize(calibration_dataset, batch_size=2)model.save(quant_path)# test post-quant inference
model = GPTQModel.load(quant_path)
result = model.generate("Uncovering deep insights begins with")[0] # tokens
print(model.tokenizer.decode(result)) # string output主要需要注意的就是load_dataset这个函数，其中第一个和第三个参数的说明可以看其源码注释：
Args:path (`str`):Path or name of the dataset.- if `path` is a dataset repository on the HF hub (list all available datasets with [`huggingface_hub.list_datasets`])-> load the dataset from supported files in the repository (csv, json, parquet, etc.)e.g. `'username/dataset_name'`, a dataset repository on the HF hub containing the data files.- if `path` is a local directory-> load the dataset from supported files in the directory (csv, json, parquet, etc.)e.g. `'./path/to/directory/with/my/csv/data'`.- if `path` is the name of a dataset builder and `data_files` or `data_dir` is specified(available builders are "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder")-> load the dataset from the files in `data_files` or `data_dir`e.g. `'parquet'`.It can also point to a local dataset script but this is not recommended.name (`str`, *optional*):Defining the name of the dataset configuration.data_dir (`str`, *optional*):Defining the `data_dir` of the dataset configuration. If specified for the generic builders (csv, text etc.) or the Hub datasets and `data_files` is `None`,the behavior is equal to passing `os.path.join(data_dir, **)` as `data_files` to reference all the files in a directory.简单来说，当data_dir这个参数指定的时候，第一个参数path可以用来指定数据类型，如json，csv，text，xml等。相信大家看一下我给的例子就能明白。
相关文章：
大模型量化框架GPTQModel的基本使用方法
接上一篇博客：AutoGPTQ报torch._C._LinAlgError: linalg.cholesky: The factorization could not be completed的解决办法-CSDN博客 如果Llama factory量化一直报错，可以改用其他的量化框架，例如GPTQ：https://github.com/ModelCl…...
HTTP长连接与短连接的前世今生
HTTP长连接与短连接的前世今生 大家好！作为一名在互联网摸爬滚打多年的开发者，今天想跟大家聊聊HTTP中的长连接和短连接这个话题。 记得我刚入行时，对这些概念一头雾水，希望这篇文章能帮助新入行的朋友少走些弯路。 什么是HTTP…...
线程控制学习
1、线程创建： int pthread_create(pthread_t *thread, const pthread_attr_t *attr, void * (*start_routine)(void*), void *arg); 参数 thread：返回线程ID；attr：设置线程的属性，attr为nullptr表示使用默认属性(一般…...
使用 Node.js 从零搭建 Kafka 生产消费系统
目录 一、Kafka 核心概念速览 二、环境准备 三、生产者实现：发送消息 四、消费者实现：处理消息 五、高级配置与最佳实践 六、常见问题解决 七、应用场景示例 总结 Apache Kafka 作为高吞吐、分布式的消息队列系统，在实时数据流处理中…...
【Linux系统】Linux权限讲解！！！超详细！！！
目录 Linux文件类型 区分方法 文件类型 Linux用户 用户创建与删除 用户之间的转换 su指令 普通用户->超级用户(root) 超级用户(root) ->普通用户 普通账户->普通账户 普通用户的权限提高 sudo指令 注： Linux权限 定义 权限操作 1、修改文…...
)
Ubuntu安装TensorFlow 2.13-GPU版全流程指南（anaconda)
目录 一、安装前准备1.版本选择依据2.创建独立环境 二、详细安装步骤1.通过conda自动安装依赖2.手动验证依赖版本 三、补充说明1.组件依赖关系表2.常见问题解决方案3.性能验证脚本 一、安装前准备 1.版本选择依据 当前最新稳定版：TensorFlow 2.13&a…...
Spring事务管理
介绍了事务的概念，事务的特性，JDBC 事务管理的步骤和操作过程，以及Spring事务管理的两种实现方式：编程式事务管理和声明式事务管理。 1.事务的概念 事务（Transaction）就是将一系列的数据库操作作为一个整体…...
 函数的错误❌使用！！！)
避雷 ：C语言中 scanf() 函数的错误❌使用！！！
1. 返回值说明 scanf函数会返回成功匹配并赋值的输入项个数，而不是返回输入的数据。 可以通过检查返回值数量来确认输入是否成功。若返回值与预期不符，就表明输入存在问题。 #include <stdio.h>int main() {int num;if (scanf("%d", …...
判断一个操作是不是允许
一、目的 简单探索一个URL请求是不是允许的。 二、具体过程 (一)系统的初始化 系统数据库有账户"admin"，密码是"123"。 账号"admin"的角色是管理员"manager"。 假设管理员身份设定的权限是： 1、对于/user/开头的…...
【FPGA开发】Cordic原理推导、Xilinx PG105手册解读
目录 Cordic原理推导PG105手册解读IP核总览核心计算功能总览基本握手信号非阻塞模式 NonBlocking Mode阻塞模式 Block Mode 数据格式数据映射 本文针对Cordic算法本身，以及Xilinx官方CORDIC IP做学习记录，如有纰漏，欢迎指正！ Cord…...
数据结构与算法：宽度优先遍历
前言 进入图论部分难度明显提升了一大截，思路想不到一点…… 一、宽度优先遍历 1.内容 宽度优先遍历主要用于在图上求最短路。 （1）特点 宽度优先遍历的特点就是逐层扩展，最短路即层数 （2）使用条件 …...
PyTorch 面试题及参考答案（精选100道）
目录 PyTorch 的动态计算图与 TensorFlow 的静态计算图有何区别？动态图的优势是什么？ 解释张量（Tensor）与 NumPy 数组的异同，为何 PyTorch 选择张量作为核心数据结构？ 什么是 torch.autograd 模块？它在反向传播中的作用是什么？ 如何理解 PyTorch 中的 nn.Module 类？…...
【数理基础】【概率论与数理统计】概率论与数理统计本科课程总结、资料汇总、个人理解
1 前言 概率论与数理统计是数学系核心的基础专业课，我本科的时候，是拆开上的，对应工科专业的高数中的概率论与数理统计，在量子力学，机器学习，计算机领域深度学习，大模型，机器人控制…...
美制 / 英制单位换算/公制/帝国制 单位转换速查表
文章目录 💡Introduction📏 英制（美制）单位与公制换算速查表🧱 一、长度（Length）🧴 二、体积（Volume / Liquid Measure）⚖️ 三、质量 / 重量（Wei…...
ENSP学习day9
ACL访问控制列表实验 ACL（Access Control List，访问控制列表）是一种用于控制用户或系统对资源（如文件、文件夹、网络等）访问权限的机制。通过ACL，系统管理员可以定义哪些用户或系统可以访问特定资源&#x…...
我爱学算法之——滑动窗口攻克子数组和子串难题（中）
学习算法，继续加油！！！ 一、将 x 减到 0 的最小操作数 题目解析 来看这一道题，题目给定一个数组nums和一个整数x；我们可以在数组nums的左边或者右边进行操作（x减去该位置的值）&#…...
Linux centos 7 vsftp本地部署脚本
下面是脚本: #!/bin/bash #function:vsftpd脚本 #author: 20230323 IT 小旋风# 判断是否是root用户 if [ "$USER" ! "root" ]; thenecho "不是root 装个蛋啊"exit 1 fi# 关闭防火墙 systemctl stop firewalld && systemctl disable …...
编程考古-安德斯·海尔斯伯格（Anders Hejlsberg）回答离开Borland的原因
安德斯海尔斯伯格（Anders Hejlsberg）是著名的编程语言和工具开发者，曾主导开发了 Turbo Pascal、Delphi（Borland 时期），以及加入微软后参与的 C# 和 TypeScript。关于他离开 Borland 的原因，可以…...
数据库数值函数详解
各类资料学习下载合集 https://pan.quark.cn/s/8c91ccb5a474 数值函数是数据库中用于处理数值数据的函数，可以用于执行各种数学运算、统计计算等。数值函数在数据分析及处理时非常重要，能够帮助我们进行数据的聚合、计算和转换。在本篇博客中，我们将详细介绍常用的…...
SpringBoot与Redisson整合，用注解方式解决分布式锁的使用问题
文章引用：https://mp.weixin.qq.com/s/XgdKE2rBKL0-nFk2NJPuyg 一、单个服务 1.代码 该接口的作用是累加一个值，访问一次该值加1 RestController public class LockController {Autowiredprivate StringRedisTemplate stringRedisTemplate;GetMappin…...
Bash 脚本基础
一、Bash 脚本基础 什么是 Bash 脚本：Bash 脚本是一种文本文件，其中包含了一系列的命令，这些命令可以被 Bash shell 执行。它用于自动化重复性的任务，提高工作效率。 Bash 脚本的基本结构：以 #!/bin/bash 开头&#x…...
【Linux】线程库
一、线程库管理 tid其实是一个地址 void* start(void* args) {const char* name (const char *)args;while(true){printf("我是新线程 %s ，我的地址：0x%lx\n",name,pthread_self());sleep(1);}return nullptr; }int main() {pthread_t tid…...
Smith3.0 4.0的阻抗匹配操作方法
阅读了这篇文章中，我get到一些知识点的总结： 百度安全验证https://baijiahao.baidu.com/s?id1822624157494292625 1）红色圆代表阻抗圆，绿色圆代表导纳圆。 2）圆心位于50欧，最左侧为0欧，最右侧…...
)
装饰器模式 (Decorator Pattern)
装饰器模式 (Decorator Pattern) 是一种结构型设计模式，它动态地给一个对象添加一些额外的职责，就增加功能来说，装饰器模式相比生成子类更为灵活。 一、基础 1 意图 动态地给一个对象添加一些额外的职责。 就增加功能来说，装饰器模式相比生成子类更为灵活。 2 适用场景 当…...
生活电子类常识——搭建openMauns工作流+搭建易犯错解析
前言 小白一句话生成一个网站？小白一句话生成一个游戏？小白一句话生成一个ppt?小白一句话生成一个视频？ 可以 原理 总体的执行流程是 1，用户下达指令 2，大模型根据用户指令，分解指令任务为多个细分步骤…...
题型笔记 | Apriori算法
目录 内容拓展知识 内容 其步骤如下： 扫描全部数据，产生候选项 1 1 1 项集的集合 C 1 C_1 C1根据最小支持度，由候选 1 1 1 项集的集合 C 1 C_1 C1 产生频繁 1 1 1 项集的集合 L 1 L_1 L1。若 k > 1 k > 1 k>1…...
雷电模拟器启动94%卡住不动解决方案
安卓模拟器启动失败/启动加载卡0-29%/启动卡50%/启动卡94%的解决方法 首先看官方论坛常见问题来尝试解决： 安卓模拟器启动失败/启动加载卡0-29%/启动卡50%/启动卡94%的解决方法-雷电安卓模拟器-手游模拟器安卓版_android手机模拟器电脑版_雷电模拟器帮助中心 所有…...
站群服务器是什么意思呢？
站群服务器是一种专门为托管和管理多个网站而设计的服务器，其核心特点是为每个网站分配独立的IP地址。这种服务器通常用于SEO优化、提高网站权重和排名，以及集中管理多个网站的需求。以下是站群服务器的详细解释： 一、站群服务器的定义 站群…...
靶场（十五）---小白心得思路分析---LaVita
启程： 扫描端口，发现开放22，80端口，发现ws.css可能存在exp，经查发现无可利用的exp PORT STATE SERVICE VERSION 22/tcp open ssh OpenSSH 8.4p1 Debian 5deb11u2 (protocol 2.0) | ssh-hostkey: | 3072 c9…...
第十六次CCF-CSP认证（含C++源码）
第十六次CCF-CSP认证 小中大满分思路遇到的问题 二十四点（表达式求值）难点满分思路 小中大 这次我觉得是非常难的 只有一道easy 做的时候看这个通过率就有点不对劲 上官网看了一眼平均分 106 就是人均A一道的水准 一开始看了半天 第三题几乎还是下不了手…...
大数据中的数据预处理：脏数据不清，算法徒劳！
大数据中的数据预处理：脏数据不清，算法徒劳！ 在大数据世界里，数据预处理是个让人又爱又恨的环节。爱它，是因为数据预处理做好了，后续的模型跑起来又快又准，仿佛给AI装上了火箭助推器࿱…...
17153 班级活动
17153 班级活动 ⭐️难度：简单 🌟考点：2023、思维、国赛 📖 📚 import java.util.Arrays; import java.util.LinkedList; import java.util.Queue; import java.util.Scanner;public class Main {static int N 10…...
算力100问☞第93问：算力资源为何更分散了？
目录 1、政策驱动与地方投资的盲目性 2、美国芯片断供与国产替代的阵痛 3、政企市场对私有云的偏好 4、技术标准与供需结构的失衡 5、产业生态与市场机制的滞后 6、破局路径与未来展望 在大模型和人工智能技术快速发展的背景下，算力资源已成为数字经济时代的核心基础设施…...
记录 macOS 上使用 Homebrew 安装的软件
Homebrew 是 macOS 上最受欢迎的软件包管理器之一，能够轻松安装各种命令行工具和 GUI 应用。本文记录了我通过 Homebrew 安装的各种软件，并对它们的用途和基本使用方法进行介绍。 🍺 Homebrew 介绍 Homebrew 是一个开源的包管理器ÿ…...
)
Java 安装开发环境(Mac Apple M1 Pro)
下载 Java Downloads 查看本地安装的 JDK 所在位置以及 JAVA 版本 系统默认的安装处 /Library/Java/JavaVirtualMachines配置Java 添加环境变量 vim ～/.bash_profileAdd # 安装位置 export JAVA_11_HOME"/Library/Java/JavaVirtualMachines/zulu-11.jdk…...
微前端框架的实战demo
以下是基于主流微前端框架的实战 Demo 开发指南，综合多个开源项目与实践案例整理而成： 一、qiankun 框架实战 1. 核心架构 主应用：负责路由分发、子应用注册与生命周期管理子应用：独立开发部署，支持不同技术栈&#…...
win32汇编环境,网络编程入门之九
;在上一教程里，我们学习了在连接成功网站后，应该发送什么数据给网站 ;在前面的几个教程里，简单地运行了套接字机制连接网站的方式，这是字节级的网络连接，扩展几乎是无限的。 ;想了想，这个开个头就行了&…...
OceanBase 4.3.3 AP 解析：应用 RoaringBitmaps 类型处理海量数据的判重和基数统计
对于大数据开发人员而言，处理海量数据的判重操作和基数统计是常见需求，而 RoaringBitmap类型及其相关函数是当前非常高效的一种解决方案，许多大数据库产品已支持RoaringBitmap类型。OceanBase 4.3.3版本，作为专为OLAP场景设计的正…...
点亮STM32最小系统板LED灯
对于如何点亮板载LED灯只需要掌握如何初始化GPIO引脚，并改变GPIO引脚的电平即可实现点亮或者熄灭LED。 Led_INFO led_info {0}; led_info 是一个结构体变量，类型为 Led_INFO，用于存储LED的状态信息。这里初始化为 {0}，表示所有成…...
分区表的应用场景与优化实践
当表的数据量非常大，达到几千万甚至上亿行时，全表扫描会很慢，这时候分区可以帮助缩小扫描范围。比如，在一个电商系统中，订单表可能按月份分区，这样查询某个月的订单时，只需要扫描对应的分区，而不是整个表。或者在日志系统中，按天分区，方便归档和删除旧日志。 另外，如…...
如何高效参与 GitHub 知名项目开发并成为核心贡献者
参与知名 GitHub 项目开发不仅能提升你的编程能力，还能积累开源贡献经验，甚至为求职加分。以下是详细步骤： 1. 选择合适的 GitHub 项目 (1) 确定兴趣方向 后端开发：Spring、Spring Boot、Netty前端开发：React、Vue、…...
AIGC 新势力：探秘海螺 AI 与蓝耘 MaaS 平台的协同创新之旅
探秘海螺AI：多模态架构下的认知智能新引擎 在人工智能持续进阶的进程中，海螺AI作为一款前沿的多功能AI工具，正凭借其独特的多模态架构崭露头角。它由上海稀宇科技有限公司（MiniMax）精心打造，依托自研的万亿…...
银河麒麟桌面版包管理器（三）
以下内容摘自《银河麒麟操作系统进阶应用》一书 麒麟系统软件源配置 使用官方内置源时，无须任何操作。仅在使用其他镜像源（Mirror）时，需要修改/etc/apt/sources.list文件，根据不同版本，将原始sources.lis…...
在 .NET 9.0 Web API 中实现 Scalar 接口文档及JWT集成
示例代码：https://download.csdn.net/download/hefeng_aspnet/90408075 介绍 随着 .NET 9 的发布，微软宣布他们将不再为任何 .NET API 项目提供默认的 Swagger gen UI。以前，当我们创建 .NET API 项目时，微软会自动添加 Swagger…...
XSS跨站脚本攻击漏洞（Cross Site Scripting）
前提概要 本文章主要用于分享XSS跨站脚本攻击漏洞基础学习，以下是对XSS跨站脚本攻击漏洞的一些个人解析，请大家结合参考其他文章中的相关信息进行归纳和补充。 XSS跨站脚本攻击漏洞描述 跨站脚本攻击（XSS）漏洞是一种常见且危害较…...
Android：蓝牙设置配套设备配对
一、概述 在搭载 Android 8.0（API 级别 26）及更高版本的设备上，配套设备配对会代表您的应用对附近的设备执行蓝牙或 Wi-Fi 扫描，而不需要 ACCESS_FINE_LOCATION 权限。这有助于最大限度地保护用户隐私。使用此方法执行配套设备&am…...
MFC中CString类型是如何怎么转std::string的
文章目录 一、转换方法总结二、详细步骤1. Unicode 项目（CStringW → std::string）2. 多字节项目（CStringA → std::string） 三、注意事项四、总结更多信息(知识点存在重复，可跳过)方法 1：项目使用 Unicode…...
使用vscode搭建pywebview集成vue项目示例
文章目录 前言环境准备项目源码下载一、项目说明1 目录结构2 前端项目3 后端项目获取python安装包(选择对应版本及系统) 三、调试与生成可执行文件1 本地调试2 打包应用 四、核心代码说明1、package.json2、vite.config.ts设置3、main.py后端入口文件说明 参考文档 前言 本节我…...
JAVASCRIPT 基础 DOM元素，MAP方法，获取输入值
从输入框获取数据的一般写法是： javascript const w parseFloat(document.getElementById("weight").value); const h parseFloat(document.getElementById("height").value); 而从弹窗获取数据一般写法是： javascript const w …...
VLAN间通信
目录 第一步：配vlan 第二步：配置核心vlanif,MAC地址信息。 第三步：ospf协议 三层交换机（汇聚层）: 对于交换机、路由器、防火墙等网络设备而言，接口类型一般存在两种：二层接口，三…...