【大模型实战篇】使用GPTQ量化QwQ-32B微调后的推理模型
1. 量化背景
之所以做量化，就是希望在现有的硬件条件下，提升性能。量化能将模型权重从高精度（如FP32）转换为低精度（如INT8/FP16），内存占用可减少50%~75%。低精度运算（如INT8）在GPU等硬件上计算效率更高，推理速度可提升2~4倍。
我们的任务是，将QwQ-32B微调后的推理模型，也就是bf16的精度，通过量化，压缩到int4。关于QwQ-32B微调，可以参考《利用ms-swift微调框架对QwQ-32B推理模型进行微调》。关于推理模型吞吐性能对比，可以参考《对比包括QwQ-32B在内的不同推理模型的吞吐量表现》。
2. 量化流程
接下来进入量化介绍：
QwQ-32B的模型架构依然还是Qwen2系列，所以可以使用GPTQ进行量化。之前尝试用AWQ，会报错。下列内容是基于AutoGPTQ实现量化。
首先通过安装源代码的方式获取并安装最新版本的该软件包。
git clone https://github.com/AutoGPTQ/AutoGPTQ
cd AutoGPTQ
pip install -e . 假设基于QwQ-32B模型进行微调，并将该微调后的模型命名为 QwQ-32B-finetuned ，且使用的是自己的带推理链的数据集。要构建GPTQ量化模型，还需要使用训练数据进行校准。
这里校准数据的设置，最好配置参数damp_percent=0.1，然后我采用的校准样本量是128个sample。不然会报错【1】：
torch._C._LinAlgError: linalg.cholesky: The factorization could not be completed because the input is not positive-definite
在我的场景中，damp_percent我设置0.01，通过调整校准样本量解决了该报错。
我们采用双卡进行量化，脚本如下：
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
from transformers import AutoTokenizer
import torch
import json# 设置路径
model_path = "/data/QwQ-32B-finetuned"
quant_path = "/data/quantized_model"# 设置量化配置
quantize_config = BaseQuantizeConfig(bits=4, # 可选择4或8位量化group_size=128,damp_percent=0.01,desc_act=False, # 为了加速推理，可将其设置为False，但可能会导致困惑度稍差static_groups=False,sym=True,true_sequential=True,model_name_or_path=None,model_file_base_name="model"
)max_len = 8192 # 设置最大文本长度# 加载tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_path)# 加载模型，并指定使用GPU 2和GPU 5
model = AutoGPTQForCausalLM.from_pretrained(model_path,quantize_config,max_memory={2: "80GB", 5: "80GB"} # 使用GPU 2和GPU 5，各分配80GB显存
)# 准备校准数据集
data = []
with open("/data/jz_v0303.jsonl", "r") as f:for line in f:msg = json.loads(line)text = tokenizer.apply_chat_template(msg["messages"], tokenize=False, add_generation_prompt=False)model_inputs = tokenizer([text])input_ids = torch.tensor(model_inputs.input_ids[:max_len], dtype=torch.int)data.append(dict(input_ids=input_ids, attention_mask=input_ids.ne(tokenizer.pad_token_id)))# 运行量化过程
import logginglogging.basicConfig(format="%(asctime)s %(levelname)s [%(name)s] %(message)s", level=logging.INFO, datefmt="%Y-%m-%d %H:%M:%S"
)
model.quantize(data, cache_examples_on_gpu=False)# 保存量化后的模型
model.save_quantized(quant_path, use_safetensors=True)
tokenizer.save_pretrained(quant_path)量化日志：
QwQ有64层transformer层，整个量化共花费约110分钟。
Loading checkpoint shards: 100%|██████████| 14/14 [00:24<00:00, 1.74s/it]
INFO - Start quantizing layer 1/64
INFO - Quantizing self_attn.k_proj in layer 1/64...
2025-03-16 13:08:27 INFO [auto_gptq.quantization.gptq] duration: 4.176503658294678
2025-03-16 13:08:27 INFO [auto_gptq.quantization.gptq] avg loss: 4.942690849304199
INFO - Quantizing self_attn.v_proj in layer 1/64...
2025-03-16 13:08:28 INFO [auto_gptq.quantization.gptq] duration: 1.400636911392212
2025-03-16 13:08:28 INFO [auto_gptq.quantization.gptq] avg loss: 1.4266357421875
INFO - Quantizing self_attn.q_proj in layer 1/64...
2025-03-16 13:08:30 INFO [auto_gptq.quantization.gptq] duration: 1.4035542011260986
2025-03-16 13:08:30 INFO [auto_gptq.quantization.gptq] avg loss: 14.252044677734375
INFO - Quantizing self_attn.o_proj in layer 1/64...
2025-03-16 13:08:35 INFO [auto_gptq.quantization.gptq] duration: 1.4259772300720215
2025-03-16 13:08:35 INFO [auto_gptq.quantization.gptq] avg loss: 21.492481231689453
INFO - Quantizing mlp.up_proj in layer 1/64...
2025-03-16 13:08:42 INFO [auto_gptq.quantization.gptq] duration: 1.4980144500732422
2025-03-16 13:08:42 INFO [auto_gptq.quantization.gptq] avg loss: 11.520009994506836
INFO - Quantizing mlp.gate_proj in layer 1/64...
2025-03-16 13:08:43 INFO [auto_gptq.quantization.gptq] duration: 1.4689013957977295
2025-03-16 13:08:43 INFO [auto_gptq.quantization.gptq] avg loss: 13.158416748046875
INFO - Quantizing mlp.down_proj in layer 1/64...
2025-03-16 13:09:36 INFO [auto_gptq.quantization.gptq] duration: 11.233691692352295
2025-03-16 13:09:36 INFO [auto_gptq.quantization.gptq] avg loss: 5.198782444000244
INFO - Start quantizing layer 2/64
INFO - Quantizing self_attn.k_proj in layer 2/64...
2025-03-16 13:09:50 INFO [auto_gptq.quantization.gptq] duration: 1.4270472526550293
2025-03-16 13:09:50 INFO [auto_gptq.quantization.gptq] avg loss: 0.25423723459243774
INFO - Quantizing self_attn.v_proj in layer 2/64...
2025-03-16 13:09:51 INFO [auto_gptq.quantization.gptq] duration: 1.377784252166748
2025-03-16 13:09:51 INFO [auto_gptq.quantization.gptq] avg loss: 0.12605950236320496
INFO - Quantizing self_attn.q_proj in layer 2/64...
2025-03-16 13:09:53 INFO [auto_gptq.quantization.gptq] duration: 1.3954062461853027
2025-03-16 13:09:53 INFO [auto_gptq.quantization.gptq] avg loss: 0.6923567056655884
INFO - Quantizing self_attn.o_proj in layer 2/64...
2025-03-16 13:09:58 INFO [auto_gptq.quantization.gptq] duration: 1.4187729358673096
2025-03-16 13:09:58 INFO [auto_gptq.quantization.gptq] avg loss: 0.21527329087257385
INFO - Quantizing mlp.up_proj in layer 2/64...
2025-03-16 13:10:05 INFO [auto_gptq.quantization.gptq] duration: 1.4918739795684814
2025-03-16 13:10:05 INFO [auto_gptq.quantization.gptq] avg loss: 42.98908615112305
INFO - Quantizing mlp.gate_proj in layer 2/64...
2025-03-16 13:10:07 INFO [auto_gptq.quantization.gptq] duration: 1.4632303714752197
2025-03-16 13:10:07 INFO [auto_gptq.quantization.gptq] avg loss: 254.09523010253906
INFO - Quantizing mlp.down_proj in layer 2/64...
2025-03-16 13:10:59 INFO [auto_gptq.quantization.gptq] duration: 11.405533790588379
2025-03-16 13:10:59 INFO [auto_gptq.quantization.gptq] avg loss: 1.4062278270721436
INFO - Start quantizing layer 3/64.......
2025-03-16 14:33:08 INFO [auto_gptq.quantization.gptq] duration: 11.416744709014893
2025-03-16 14:33:08 INFO [auto_gptq.quantization.gptq] avg loss: 10015.05078125
INFO - Start quantizing layer 62/64
INFO - Quantizing self_attn.k_proj in layer 62/64...
2025-03-16 14:33:22 INFO [auto_gptq.quantization.gptq] duration: 1.4608099460601807
2025-03-16 14:33:22 INFO [auto_gptq.quantization.gptq] avg loss: 129.20584106445312
INFO - Quantizing self_attn.v_proj in layer 62/64...
2025-03-16 14:33:23 INFO [auto_gptq.quantization.gptq] duration: 1.417314052581787
2025-03-16 14:33:23 INFO [auto_gptq.quantization.gptq] avg loss: 834.720947265625
INFO - Quantizing self_attn.q_proj in layer 62/64...
2025-03-16 14:33:25 INFO [auto_gptq.quantization.gptq] duration: 1.4364099502563477
2025-03-16 14:33:25 INFO [auto_gptq.quantization.gptq] avg loss: 770.3301391601562
INFO - Quantizing self_attn.o_proj in layer 62/64...
2025-03-16 14:33:30 INFO [auto_gptq.quantization.gptq] duration: 1.4644238948822021
2025-03-16 14:33:30 INFO [auto_gptq.quantization.gptq] avg loss: 1413.948486328125
INFO - Quantizing mlp.up_proj in layer 62/64...
2025-03-16 14:33:38 INFO [auto_gptq.quantization.gptq] duration: 1.5320115089416504
2025-03-16 14:33:38 INFO [auto_gptq.quantization.gptq] avg loss: 7386.39453125
INFO - Quantizing mlp.gate_proj in layer 62/64...
2025-03-16 14:33:39 INFO [auto_gptq.quantization.gptq] duration: 1.5006358623504639
2025-03-16 14:33:39 INFO [auto_gptq.quantization.gptq] avg loss: 6787.9912109375
INFO - Quantizing mlp.down_proj in layer 62/64...
2025-03-16 14:34:32 INFO [auto_gptq.quantization.gptq] duration: 11.412427186965942
2025-03-16 14:34:32 INFO [auto_gptq.quantization.gptq] avg loss: 11235.9814453125
INFO - Start quantizing layer 63/64
INFO - Quantizing self_attn.k_proj in layer 63/64...
2025-03-16 14:34:46 INFO [auto_gptq.quantization.gptq] duration: 1.4546654224395752
2025-03-16 14:34:46 INFO [auto_gptq.quantization.gptq] avg loss: 130.98355102539062
INFO - Quantizing self_attn.v_proj in layer 63/64...
2025-03-16 14:34:48 INFO [auto_gptq.quantization.gptq] duration: 1.4156157970428467
2025-03-16 14:34:48 INFO [auto_gptq.quantization.gptq] avg loss: 958.8649291992188
INFO - Quantizing self_attn.q_proj in layer 63/64...
2025-03-16 14:34:49 INFO [auto_gptq.quantization.gptq] duration: 1.4323241710662842
2025-03-16 14:34:49 INFO [auto_gptq.quantization.gptq] avg loss: 780.7476196289062
INFO - Quantizing self_attn.o_proj in layer 63/64...
2025-03-16 14:34:55 INFO [auto_gptq.quantization.gptq] duration: 1.4556679725646973
2025-03-16 14:34:55 INFO [auto_gptq.quantization.gptq] avg loss: 2276.7041015625
INFO - Quantizing mlp.up_proj in layer 63/64...
2025-03-16 14:35:01 INFO [auto_gptq.quantization.gptq] duration: 1.533803939819336
2025-03-16 14:35:01 INFO [auto_gptq.quantization.gptq] avg loss: 7764.6142578125
INFO - Quantizing mlp.gate_proj in layer 63/64...
2025-03-16 14:35:03 INFO [auto_gptq.quantization.gptq] duration: 1.4962470531463623
2025-03-16 14:35:03 INFO [auto_gptq.quantization.gptq] avg loss: 7304.74365234375
INFO - Quantizing mlp.down_proj in layer 63/64...
2025-03-16 14:35:56 INFO [auto_gptq.quantization.gptq] duration: 11.429993629455566
2025-03-16 14:35:56 INFO [auto_gptq.quantization.gptq] avg loss: 17015.2734375
INFO - Start quantizing layer 64/64
INFO - Quantizing self_attn.k_proj in layer 64/64...
2025-03-16 14:36:10 INFO [auto_gptq.quantization.gptq] duration: 1.453392744064331
2025-03-16 14:36:10 INFO [auto_gptq.quantization.gptq] avg loss: 112.55108642578125
INFO - Quantizing self_attn.v_proj in layer 64/64...
2025-03-16 14:36:11 INFO [auto_gptq.quantization.gptq] duration: 1.4028844833374023
2025-03-16 14:36:11 INFO [auto_gptq.quantization.gptq] avg loss: 509.4556884765625
INFO - Quantizing self_attn.q_proj in layer 64/64...
2025-03-16 14:36:12 INFO [auto_gptq.quantization.gptq] duration: 1.434821605682373
2025-03-16 14:36:12 INFO [auto_gptq.quantization.gptq] avg loss: 685.0777587890625
INFO - Quantizing self_attn.o_proj in layer 64/64...
2025-03-16 14:36:18 INFO [auto_gptq.quantization.gptq] duration: 1.4707720279693604
2025-03-16 14:36:18 INFO [auto_gptq.quantization.gptq] avg loss: 990.3109130859375
INFO - Quantizing mlp.up_proj in layer 64/64...
2025-03-16 14:36:25 INFO [auto_gptq.quantization.gptq] duration: 1.572035312652588
2025-03-16 14:36:25 INFO [auto_gptq.quantization.gptq] avg loss: 8309.283203125
INFO - Quantizing mlp.gate_proj in layer 64/64...
2025-03-16 14:36:27 INFO [auto_gptq.quantization.gptq] duration: 1.8046717643737793
2025-03-16 14:36:27 INFO [auto_gptq.quantization.gptq] avg loss: 7995.7509765625
INFO - Quantizing mlp.down_proj in layer 64/64...
2025-03-16 14:37:20 INFO [auto_gptq.quantization.gptq] duration: 11.410486698150635
2025-03-16 14:37:20 INFO [auto_gptq.quantization.gptq] avg loss: 27875.2734375
INFO - Packing model...
2025-03-16 14:37:25 INFO [auto_gptq.modeling._utils] Packing model...
Packing model.layers.63.mlp.down_proj...: 100%|██████████| 448/448 [20:01<00:00, 2.68s/it]
INFO - Model packed.
2025-03-16 14:57:31 INFO [auto_gptq.modeling._utils] Model packed.
量化前模型大小为62G：
total 62G
-rw-r--r-- 1 research research 707 Mar 12 10:19 added_tokens.json
-rw-r--r-- 1 research research 16K Mar 12 10:19 args.json
-rw-r--r-- 1 research research 785 Mar 12 10:15 config.json
-rw-r--r-- 1 research research 214 Mar 12 10:15 generation_config.json
-rw-r--r-- 1 research research 1.6M Mar 12 10:19 merges.txt
-rw-r--r-- 1 research research 4.6G Mar 12 10:15 model-00001-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:16 model-00002-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:16 model-00003-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:16 model-00004-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:16 model-00005-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:17 model-00006-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:17 model-00007-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:17 model-00008-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:18 model-00009-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:18 model-00010-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:18 model-00011-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:18 model-00012-of-00014.safetensors
-rw-r--r-- 1 research research 4.6G Mar 12 10:19 model-00013-of-00014.safetensors
-rw-r--r-- 1 research research 2.0G Mar 12 10:19 model-00014-of-00014.safetensors
-rw-r--r-- 1 research research 62K Mar 12 10:19 model.safetensors.index.json
-rw-r--r-- 1 research research 613 Mar 12 10:19 special_tokens_map.json
-rw-r--r-- 1 research research 8.0K Mar 12 10:19 tokenizer_config.json
-rw-r--r-- 1 research research 11M Mar 12 10:19 tokenizer.json
-rw-r--r-- 1 research research 2.7M Mar 12 10:19 vocab.json
量化后模型大小为19G：
total 19G
-rw-r--r-- 1 research research 707 Mar 16 14:58 added_tokens.json
-rw-r--r-- 1 research research 1.2K Mar 16 14:58 config.json
-rw-r--r-- 1 research research 1.6M Mar 16 14:58 merges.txt
-rw-r--r-- 1 research research 19G Mar 16 14:58 model.safetensors
-rw-r--r-- 1 research research 271 Mar 16 14:58 quantize_config.json
-rw-r--r-- 1 research research 613 Mar 16 14:58 special_tokens_map.json
-rw-r--r-- 1 research research 8.0K Mar 16 14:58 tokenizer_config.json
-rw-r--r-- 1 research research 11M Mar 16 14:58 tokenizer.json
-rw-r--r-- 1 research research 2.7M Mar 16 14:58 vocab.json
3. 量化模型部署
vLLM已支持GPTQ，可以直接使用AutoGPTQ量化的模型。使用GPTQ模型与vLLM的基本用法相同。
CUDA_VISIBLE_DEVICES=0,1,2,3 \
vllm serve /data/quantized_model \
--tensor-parallel-size 4 \
--port 8001随后，可以这样调用API：
curl http://localhost:8001/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "quantized_model","messages": [{"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},{"role": "user", "content": "推荐一款防水耳机."}],"temperature": 0.7,"top_p": 0.8,"repetition_penalty": 1.05,"max_tokens": 512
}' 也可以使用 openai Python包中的API客户端：
from openai import OpenAIopenai_api_key = "EMPTY"
openai_api_base = "http://localhost:8001/v1"client = OpenAI(api_key=openai_api_key,base_url=openai_api_base,
)chat_response = client.chat.completions.create(model="/data/quantized_model",messages=[{"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},{"role": "user", "content": "推荐一款防水耳机"},],temperature=0.7,top_p=0.8,max_tokens=512,extra_body={"repetition_penalty": 1.05,},
)
print("Chat response:", chat_response)实测了下，模型生成吞吐量可以在92 tokens/s， 还是很不错的。
注意：需要注意下，百亿参数的模型，一般还是选择int8量化比较合适。int4更适合是千亿模型，百亿规模损失会有点大。
4. 参考材料
【1】https://github.com/AutoGPTQ/AutoGPTQ/issues/196
【2】GPTQ - Qwen
相关文章：
【大模型实战篇】使用GPTQ量化QwQ-32B微调后的推理模型
1. 量化背景 之所以做量化，就是希望在现有的硬件条件下，提升性能。量化能将模型权重从高精度（如FP32）转换为低精度（如INT8/FP16），内存占用可减少50%~75%。低精度运算（如INT8…...
点灯、点各式各样的灯
鱼离水则身枯，心离书则神索。 前言闪灯呼吸灯流水灯二进制数显示灯蜂鸣器节拍流水音乐会总结 前言 上回书咱们简单了解了一点有关特殊功能寄存器sfr、通用输入输出GPIO、位操作运算符sbit和一个不靠单片机上的晶振(拿来定时的)的依托于单片机CPU空操作的ms级延时函…...
关于修改 Ollama 及其模型默认路径、迁移已安装的 Ollama 程序和模型以及重启 Ollama 的操作指南
以下是关于修改 Ollama 及其模型默认路径、迁移已安装的 Ollama 程序和模型以及重启 Ollama 的操作指南，以问答格式呈现，并将涉及命令操作的部分使用代码块按执行顺序和步骤形式展示： Q1：如何修改 Ollama 及其模型的默认路径&…...
《C#上位机开发从门外到门内》3-3：基于USB的设备管理系统
文章目录 **1. 项目概述****1.1 项目背景****1.2 项目目标****1.3 技术栈** **2. 系统架构设计****2.1 系统架构图****2.2 模块功能** **3. 设备控制模块实现****3.1 USB通信简介****3.2 设备控制流程****3.3 代码实现** **4. 设备状态监测模块实现****4.1 设备状态监测流程***…...
Matlab 风力发电机磁悬浮轴承模型pid控制
1、内容简介 略 Matlab 174-风力发电机磁悬浮轴承模型pid控制 可以交流、咨询、答疑 2、内容说明 磁悬浮轴承具有无接触、无摩擦、高速度、高精度、能耗低、不需要需润滑无油污染、可靠性高、寿命长和密封等一系列显著的优点。将磁悬浮技术应用于风力发电机中可以降低风机切入…...
大模型-提示词调优
什么是提示词 提示词（Prompt）在大模型应用中扮演着关键角色，它是用户输入给模型的一段文本指令 。简单来说，就是我们向大模型提出问题、请求或描述任务时所使用的文字内容。例如，当我们想让模型写一篇关于春天的散文&a…...
[RN 实践有效]Expo+cross-env配置项目环境变量
首先，从中可以看出，cross-env的主要作用是跨平台设置环境变量，而Expo项目通常通过app.config.js或.env文件来管理这些变量。需要强调安装cross-env的必要性，以及如何在package.json中正确配置脚本命令。 接下来，用户的问题是关于Expo中cross-env的详细配置，因此需要分步骤…...
【C语言】编译和链接详解
hi，各位，让我们开启今日份博客~ 小编个人主页点这里~ 目录 一、翻译环境和运行环境1、翻译环境1.1预处理（预编译）1.2编译1.2.1词法分析1.2.2语法分析1.2.3语义分析 1.3汇编1.4链接 2.运行环境 一、翻译环境和运行环境 在ANSI C…...
CSS引入方式、字体与文本
目录 前言 一、CSS引入方式 1.内联样式（Inline Style） 2.内部样式表（Internal Style Sheet） 3.外部样式表（External Style Sheet） 4.导入样式表（import） 5.引入方式对比 6.总…...
2.机器学习-回归模型-非线性模型
一.决策树回归 1.决策树的核心参数: (1)树的生长与分裂 参数名默认值作用criterion"squared_error"分裂节点的评估标准： - "squared_error"：均方误差（MSE）。 - "friedman_mse"：改进的…...
Git提交前时间检查
为了防止在本地看日志的时候，由于本地时间被修改，导致日志的时间存在非正确时间。通过以下脚本在提交前进行时间验证，只有是正确的时间才可以提交。 使用方法如下： 复制如下脚本，命名为 pre-commit ，放到 …...
浅述WinForm 和 WPF 的前景
在.NET 开发领域，WinForm 和 WPF 都是用于创建桌面应用程序的技术框架，但它们在很多方面存在差异，对于开发者来说，也常常会思考哪个更有前途。 一、WinForm 1. 成熟/稳定度： WinForms 是较早的桌面应用程序框架&am…...
【从零开始学习计算机科学】设计模式（二）工厂模式、抽象工厂模式、单例模式、建造者模型、原型模式
【从零开始学习计算机科学】设计模式（二）工厂模式、抽象工厂模式、单例模式、建造者模型、原型模式 工厂模式主要特点类型适用场景抽象工厂模式主要特点工作原理适用场景举例优点缺点总结单例模式主要特点工作原理适用场景优点缺点总结建造者模式主要特点工作原理适用场景优点…...
超精密工件小孔几何尺寸测量：自动化解决方案
下载链接：（最新版本）超精密工件小孔几何尺寸测量：自动化解决方案python脚本代码，可直接运行，内包含测试数据，亲测好用资源-CSDN文库 在现代制造业中，超精密工件的质量控制至关重要&a…...
Mastering SAP Analytics Cloud - Empower Your Business Users
Mastering SAP Analytics Cloud - Empower Your Business Users...
Hadoop、Spark、Flink Shuffle对比
一、Hadoop的shuffle 前置知识： Map任务的数量由Hadoop框架自动计算，等于分片数量，等于输入文件总大小 / 分片大小，分片大小为HDFS默认值128M，可调 Reduce任务数由用户在作业提交时通过Job.setNumReduceTasks(int)设…...
Sublime Text 2.0.2 安装与汉化指南：从下载到中文包配置的完整教程
Sublime Text 是一款轻量级、高性能的代码编辑器，深受开发者喜爱。Sublime Text 2.0.2 是一个较旧的版本，但仍然可以满足基本的代码编辑需求。以下是关于 Sublime Text 2.0.2 的安装、中文包配置以及使用方法的详细指南。 1. 下载 Sublime Text 2.0.2 提…...
【双指针】移动零
题目描述： 算法分析： 观察输入输出： 输出中一共分为两个区域，0区和非零区。 但是在处理未完成之前，必然存在着一个零和非零数共存的区域，所以在处理的过程当中一共有三个区域，0区，…...
CMake简单入门
简介 CMake 是一个开源的跨平台构建系统生成工具，旨在简化和自动化项目的构建过程。它主要用于管理和控制软件构建的过程，特别是在处理复杂的项目结构和多个平台时。CMake 并不直接进行编译或链接，而是生成本地构建系统所需的文件࿰…...
【AIGC】OpenAI 集成 Langchain 操作实战使用详解
目录 一、前言 二、前置准备 2.1 安装 Langchain必须的依赖 2.1.1 python环境 2.1.2 langchain openai 环境 2.1.3 准备一个apikey 2.1.4 langchain 核心组件 三、Langchain 各组件使用 3.1 Chat models组件 3.1.1 Invocation 使用 3.1.1.1 结果解析 3.2 提示词模板…...
热key探测技术架构设计与实践
参考： 得物热点探测技术架构设计与实践 Redis数据倾斜与JD开源hotkey源码分析揭秘 京东热点检测 HotKey 学习笔记 hotkey: 京东App后台中间件，毫秒级探测热点数据，毫秒级推送至服务器集群内存，大幅降低热key对数据层查询压力 …...
【最新】 ubuntu24安装 1panel 保姆级教程
系统：ubuntu24.04.1 安装软件 ：1panel 第一步：更新系统 sudo apt update sudo apt upgrade 如下图 第二步：安装1panel，运行如下命令 curl -sSL https://resource.fit2cloud.com/1panel/package/quick_start.sh -o …...
微信小程序threejs三维开发
微信小程序threejs开发 import * as THREE from three; const { performance, document, window, HTMLCanvasElement, requestAnimationFrame, cancelAnimationFrame, core, Event, Event0 } THREE .DHTML import Stats from three/examples/jsm/libs/stats.module.js; im…...
Starship：快速且高度可定制的命令行框架！！
Starship 是一款专为开发者设计的现代、快速且高度可定制的命令行框架。它通过简洁的界面提供丰富的环境信息，帮助用户更高效地进行日常开发工作。 软件介绍： Starship 是用 Rust 编写的开源项目，以其轻量级和极速启动而著称。它能够跨平台运…...
流水线（Pipeline）
在现代 CPU 设计中，流水线（Pipeline） 是将指令处理拆分为多个阶段以提高执行效率的关键技术。为了更精细地分析性能，流水线通常被分为 前端流水线（Frontend Pipeline） 和 后端流水线（Backend Pi…...
Symbian（塞班）操作系统
Symbian（塞班）是由多家通信巨头联合开发的专为移动设备设计的操作系统，曾是全球智能手机市场的早期主导者。以下是其核心定义与技术特点的整合分析： 一、定义与起源 系统定位 Symbian是由英国Psion公司的EPOC操作系统演变而来…...
CSS -属性值的计算过程
目录 一、抛出两个问题1.如果我们学过优先级关系，那么请思考如下样式为何会生效2.如果我们学习过继承，那么可以知道color是可以被子元素继承使用的，那么请思考下述情景为何不生效 二、属性值计算过程1.确定声明值2.层叠冲突3.使用继承4.使用默…...
)
施磊老师c++(七)
STL组件 文章目录 STL组件1.整体学习内容2.vector容器3.deque和listdeque--双端队列容器list--链表容器 4.vector,deque,list对比主要内容面经问题 5.详解容器适配器--stack, queue, priority_queue容器适配器stack-栈queue-队列priority_queue-优先级队列总结 6.无序关联容器关…...
Codeforces 158B. Taxi
题目 题目链接：https://codeforces.com/problemset/problem/158/B time limit per test:3 seconds;memory limit per test:256 megabytes After the lessons n groups of schoolchildren went outside and decided to visit Polycarpus to celebrate his birthda…...
hadoop伪分布式搭建--启动过程中如果发现某个datanode出现问题，如何处理？
一、问题定位： （1）检查DataNode日志： DataNode日志通常位于$HADOOP_HOME/logs/或/var/log/hadoop-hdfs/目录下，文件名为hadoop-hdfs-datanode-<hostname>.log。重点关注以下错误类型： ——Incompa…...
)
MySQL(事物上)
目录 示例： 一 引入事物 1. 概念 2. 事物的4大特性 3. 为什么要有事物？ 二 事物操作 1. 查看存储引擎支持的事物 2. 事物的提交方式 2.1 查看事物的默认提交方式 2.2 设置事物的默认提交方式 2.3 查看事物的全局隔离级别 2.4 验证事物的回滚…...
人工智能 Day06 pandas库进阶
1.处理缺失数据 总体流程是这样的， 归根在于如何处理NAN，接下来详细赘述 1.1. 处理缺失值的相关函数 判断缺失值 pd.isnull(df)：用于判断 DataFrame df 中的元素是否为缺失值（NaN ），返回一个与df 形状相同…...
C# --- LINQ
C# --- LINQ 什么是LINQFluent Syntax 和 SQL-Like QueryLINQ Operations 什么是LINQ LINQ的全称为Language Integrated Query, 为各种查询(包括对象查询，数据库查询，XML查询) 提供了统一模型.LINQ源于SQL，但比SQL更加强大，更加灵…...
C语言之 条件编译和预处理指令
条件编译 在编译⼀个程序的时候我们如果要将⼀条语句（⼀组语句）编译或者放弃是很⽅便的。因为我们有条件编译指令。 ⽐如说： 调试性的代码删除可惜，保留⼜碍事，所以我们可以选择性的编译。 #define M 1 int main() …...
JVM常用概念之锁省略
问题 synchronized(同步-重量级锁)会解除所有编译器优化吗? 基础知识 使用当前的 Java 内存模型，未观察到的锁不一定会产生任何内存效应。除其他情况外，这意味着对非共享对象进行同步是徒劳的，因此运行时不必在那里做任何事情。这给编译优…...
[网络][tcp协议]:tcp报头
tcp(传输控制协议)是一种面向字节流的传输层协议,相较于udp协议,tcp能保证传输数据的可靠性与准确性,tcp也是目前最常见的传输层协议 本文主要介绍tcp报头各个字段的含义与用途 注:保留6位和6位标记位是目前最普遍的写法,在我查资料时,发现有一些拓展情况,会在后文细说 最简单的…...
传输层自学
传输实体：完成传输层任务的硬件或软件 可能位于： 操作系统内核独立的用户进程绑定在网络应用中的链接库网络接口卡 1.功能： 网络层与传输层作用范围比较？ 网络层负责把数据从源机送达到目的机 传输层负责把数据送达到具体的应…...
FFmpeg —— 各系统下ffmpeg硬件加速和API支持情况（文内表格形式详细阐述）
介绍 FFmpeg 作为一款功能强大的多媒体处理工具，支持多种硬件加速技术，能够显著提升视频编解码的效率，尤其是在处理高分辨率、高码率视频时表现尤为突出。不同操作系统下，FFmpeg 的硬件加速实现方式和支持的 API 各有特点。 在 Windows 系统上，FFmpeg 主要依赖 DirectX Vi…...
RUOYI框架在实际项目中的应用二：Ruoyi前后端分离版本
如需观看Ruoyi框架的整体介绍，请移步：RUOYI框架在实际项目中的应用一：ruoyi简介 一、Ruoyi前后端分离版本-RuoYi-Vue 1、官方资料 1：代码地址：https://gitee.com/y_project/RuoYi-Vue.git 2：文档介绍地址…...
2.12[A]distribute sys
在分布式训练中，特别是使用3D并行（数据并行、流水线并行和模型并行）时，不同阶段的GPU可能因为通信或数据依赖而出现空闲时间，这些空闲时间就是所谓的“气泡”。这些气泡会降低整体的训练效率，导致GPU资源的…...
R语言的移动应用开发
R语言的移动应用开发 在数据科学和统计分析的大潮中，R语言因其强大的数据处理和可视化能力而备受青睐。然而，R语言对移动应用开发的适用性并未得到广泛关注。本文将探讨R语言在移动应用开发中的潜力及其工具，并提供一些实践示例，…...
解决 Redis 后台持久化失败的问题：内存不足导致 fork 失败
文章目录 解决 Redis 后台持久化失败的问题：内存不足导致 fork 失败问题背景与成因解决方案修改内核参数 vm.overcommit_memory增加系统内存或 Swap 空间调整 Redis 配置 stop-writes-on-bgsave-error 在 Docker 环境中的注意事项总结 解决 Redis 后台持久化失败的问…...
交换机控制软件的实现步骤猜测
一、主要目的 提出对交换机软件控制逻辑的猜测。 二、交换机控制软件的组成 (一)背景 1、交换机有很多的RJ45水晶头端口。 2、每个端口支持同时发送和接收字节数据。 3、每个端口接收的数据需要查表后才能转发给目标端口。 (二)端口状态扫描线程 负责扫描每个端口的状态&#x…...
100.HarmonyOS NEXT跑马灯组件教程：实际应用与场景示例
温馨提示：本篇博客的详细代码已发布到 git : https://gitcode.com/nutpi/HarmonyosNext 可以下载运行哦！ HarmonyOS NEXT跑马灯组件教程：实际应用与场景示例 文章目录 HarmonyOS NEXT跑马灯组件教程：实际应用与场景示例1. 跑马灯组…...
【计算机网络】2物理层
物理层任务：实现相邻节点之间比特(或)的传输 1.通信基础 1.1.基本概念 1.1.1.信源，信宿，信道，数据，信号 数据通信系统主要划分为信源、信道、信宿三部分。 信源：产生和发送数据的源头。 信宿：接收数据的终点。 信道：信号的传输介质。 数据和信号都有模拟或数字…...
2.3 滑动窗口专题：最大连续1的个数 III（LeetCode 1004）
1. 题目链接 1004. 最大连续1的个数 III - 力扣（LeetCode）https://leetcode.cn/problems/max-consecutive-ones-iii/ 2. 题目描述 给定一个二进制数组 nums 和一个整数 k，允许将最多 k 个 0 翻转为 1，求翻转后最长的连续 1 …...
怎么解决在Mac上每次打开文件夹都会弹出一个新窗口的问题
在Mac上每次打开文件夹都会弹出一个新窗口的问题，可以通过以下方法解决 调整Finder设置： 打开Finder，点击“Finder”菜单，选择“偏好设置”。在偏好设置中，选择“通用”标签。取消勾选“在标签页中打开文件夹”或…...
Python异常处理
异常处理 概述 在Python中，在处理可能会引发异常的代码块时，使用try和except语句。可以帮助我们捕获并处理异常， 而不是让程序因为一个未处理的异常而完全崩溃。 try-except try-except-finally try-finally try-except-else try-except-…...
VSTO（C#）Excel开发8：打包发布安装卸载
初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的，可以在任何平台上使用。 源码指引：github源…...
 问题如何处理)
ImportError: cannot import name ‘genai‘ from ‘google‘ (unknown location) 问题如何处理
这个错误通常发生在没有正确安装Google的生成式AI库。需要安装官方的google-generativeai库： pip install google-generativeai如果代码中使用的导入方式与新版SDK不兼容，可能需要调整导入语句。根据当前代码上下文，正确的导入方式应该是&am…...