当前位置：首页 > news >正文

【vLLM 学习】Aqlm 示例

news 来源：原创 2025/8/15 0:51:59

vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。

更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/

源代码：vllm-project/vllm

from vllm import LLM, SamplingParams
from vllm.utils import FlexibleArgumentParserdef main():parser = FlexibleArgumentParser(description='AQLM examples')parser.add_argument('--model','-m',type=str,default=None,help='model path, as for HF')parser.add_argument('--choice','-c',type=int,default=0,help='known good models by index, [0-4]')parser.add_argument('--tensor-parallel-size','-t',type=int,default=1,help='tensor parallel size')args = parser.parse_args()models = ["ISTA-DASLab/Llama-2-7b-AQLM-2Bit-1x16-hf","ISTA-DASLab/Llama-2-7b-AQLM-2Bit-2x8-hf","ISTA-DASLab/Llama-2-13b-AQLM-2Bit-1x16-hf","ISTA-DASLab/Mixtral-8x7b-AQLM-2Bit-1x16-hf","BlackSamorez/TinyLlama-1_1B-Chat-v1_0-AQLM-2Bit-1x16-hf",]model = LLM(args.model if args.model is not None else models[args.choice],tensor_parallel_size=args.tensor_parallel_size)sampling_params = SamplingParams(max_tokens=100, temperature=0)outputs = model.generate("Hello my name is",sampling_params=sampling_params)print(outputs[0].outputs[0].text)if __name__ == '__main__':main()

【vLLM 学习】Aqlm 示例

vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/ 源代码：vllm-project/vllm from vllm import LLM, SamplingParams fr…...

编程日记 2025/8/15 0:51:59

《数据结构之美--链表oj练习》

链表oj题分享 1. 移除链表元素题目： 思路分析： 根据题目描述，可以看出该题是要将满足条件的链表元素删除，并且返回新的头结点. 首先我们想到的肯定是直接遍历该链表然后对满足条件的元素进行删除，但删除某个元素时…...

编程日记 2025/8/15 0:48:33

杂记-LeetCode中部分题思路详解与笔记-HOT100篇-其四

那今天我们就把Hot100的所有题都完结了吧，Hot100作为大多数人笔试题的入门之选，可以说是非常的经典了，但是俗话说得好，书读百遍，其意自现，我不支持反复地只刷部分算法题，但是我支持周期性地刷刷…...

编程日记 2025/8/15 0:50:29

SpringBoot私人西服系统开发与设计

概述基于SpringBoot的私人西服系统项目，是一个实用的服装管理系统。该系统包含了西服选择、面料选择、预约管理等核心功能。主要内容 1. 管理员功能模块用户管理：管理注册用户信息服装款式管理：管理西服款式信息面料类别管理&#xff…...

编程日记 2025/8/15 0:47:30

文章题目：Association of uric acid to high-density lipoprotein cholesterol ratio with the presence or absence of hypertensive kidney function: results from the China Health and Retirement Longitudinal Study (CHARLS) DOI：10.1186/s12882-…...

编程日记 2025/8/15 0:48:58

云端免费训练 AI 大模型推荐（适用于个人学习）

学习 AI 大模型训练（如LLM、扩散模型等），云端服务器是必不可少的，因为大模型对算力（GPU/TPU）和内存要求极高。以下是适合不同学习阶段的云端服务器推荐，涵盖免费、低成本、高性能选项&#…...

编程日记 2025/8/15 0:44:44

《操作系统真象还原》第九章（2）——线程

《操作系统真象还原》第九章（2）——线程文章目录《操作系统真象还原》第九章（2）——线程前言多线程调度简单优先级调度的基础任务调度器和任务切换注册时钟中断处理函数实现调度器schedule实现任务切换函数switch_to启用线程调度…...

编程日记 2025/8/15 0:44:43

Windows程序包管理器WinGet实战

概述 WinGet，Windows Package Manager，Windows软件包管理器，开源在GitHub，GitHub Releases可下载，官方文档。 WinGet由一个命令行工具和一组用于在Windows 10/11等版本上安装应用的服务组成，可帮助用户快…...

编程日记 2025/8/15 0:44:44

【特殊场景应对1】视觉设计：信息密度与美学的博弈——让简历在HR视网膜上蹦迪的科学指南

写在最前作为一个中古程序猿，我有很多自己想做的事情，比如埋头苦干手搓一个低代码数据库设计平台（目前只针对写java的朋友），比如很喜欢帮身边的朋友看看简历，讲讲面试技巧，毕竟工作这么多年，也做到过高管，有很多面人经历，意见还算有用，大家基本都能拿到想要的offe…...

编程日记 2025/8/15 0:44:45

番外篇 | SEAM-YOLO：引入SEAM系列注意力机制，提升遮挡小目标的检测性能

前言：Hello大家好，我是小哥谈。SEAM(Squeeze-and-Excitation Attention Module)系列注意力机制是一种高效的特征增强方法，特别适合处理遮挡和小目标检测问题。该机制通过建模通道间关系来自适应地重新校准通道特征响应。在遮挡小目标检测中的应用优势包括：1）通道注意力增强…...

编程日记 2025/8/15 0:50:00

Top100(26-30)

二叉树的中序遍历给定一个二叉树的根节点 root ，返回它的中序遍历。示例 1： 输入：root [1,null,2,3] 输出：[1,3,2] 示例 2： 输入：root [] 输出：[] 示例 3： 输入&#x…...

编程日记 2025/8/15 0:47:14

在 Vue 3 中将拆分后的数组合并回原数组

接上文Vue 3 中按照某个字段将数组分成多个数组_vue3怎么进行数组对象--分割对象-CSDN博客方法一：使用 flat() 方法 // 假设这是拆分后的多维数组 const splitArrays [[{id: 1, category: A}, {id: 3, category: A}],[{id: 2, category: B}, {id: 5, category: …...

编程日记 2025/8/15 0:48:57

MyBatis如何配置数据库连接并实现交互？

如果你用过MyBatis，肯定知道它的核心功能之一就是数据库连接管理。但很多新手在第一次配置时总会遇到各种问题：数据源怎么配？连接池参数如何调优？XML和注解方式有什么区别？今天我们就来彻底搞懂MyBatis连接数据库的每一…...

编程日记 2025/8/15 0:49:59

PyTorch入门------卷积神经网络

前言参考：神经网络 — PyTorch Tutorials 2.6.0cu124 文档 - PyTorch 深度学习库一个典型的神经网络训练过程如下： 定义一个包含可学习参数（或权重）的神经网络遍历输入数据集将输入通过神经网络处理计算损失（即…...

编程日记 2025/8/15 0:45:55

Qt官方案例知识点总结（图形视图——Colliding Mice）

Colliding Mice 案例图元可重写下面的方法，返回一个QPainterPath(形状)，该形状基于图形项自己的坐标系返回的形状用于碰撞检测、命中测试等，形状越精确，那么碰撞检测等就越准确不重写的话，默认取 boundingRect()…...

编程日记 2025/8/15 0:50:47

人工智能在后端开发中的革命：从架构到运维

后端开发作为应用程序的"大脑"，正在经历人工智能带来的深刻变革。从智能API设计到自动化数据库优化，从异常预测到资源调度，AI技术正在重塑后端开发的各个方面。本文将全面探讨AI如何赋能现代后端系统开发，并通过实际案例展示这些技术的应用价值。一、智能API开…...

编程日记 2025/8/15 0:50:28

电子电器架构 --- EOL 工厂刷写（产线）

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁，漫无目的走着，大概这就是成年人最深的孤独吧! 旧人不知我近况，新人不知我过…...

编程日记 2025/8/15 0:45:43

AI数据分析与BI可视化结合：解锁企业决策新境界

大家好，今天我们来聊聊一个前沿而热门的话题——AI数据分析与BI可视化结合，如何携手推动企业决策迈向新高度。在数据爆炸的时代，企业如何高效利用这些数据，成为制胜的关键。AI数据分析与BI可视化的结合，正是解锁这一潜…...

编程日记 2025/8/11 18:01:57

深度学习3.2 线性回归的从零开始实现

3.2.1 生成数据集 %matplotlib inline import random import torch from d2l import torch as d2ldef synthetic_data(w, b, num_examples):# 生成特征矩阵X，形状为(num_examples, len(w))，符合标准正态分布X torch.normal(0, 1, (num_examples, len(w…...

编程日记 2025/8/15 0:48:33

ArcPy工具箱制作（下）

在上一篇博客中，我们已经初步了解了如何制作ArcPy工具箱，包括工具箱的基本概念、准备工作、脚本编写以及将脚本转换为工具箱的步骤。今天，我们将继续深入探讨ArcPy工具箱的制作，重点介绍一些进阶技巧和优化方法. 一、优化工具箱的…...

编程日记 2025/8/15 0:50:29

if/switch语句初始化功能

基础介绍这个特性是在c17版本引入的，在这之前是不允许在if语句或者switch语句中使用赋值语句，不仅仅是if语句和switch语句，包括lambda表达式在c17版本也支持类在捕获表达式中支持赋值操作。言归正传，下面阐述这个特性的基本语法…...

编程日记 2025/8/15 0:47:15

cmake 语法大纲

1，基础语法 CMakeLists.txt 目录组织文件； *.cmake 脚本文件运行: $ cmake -P xxx.cmake *.cmake 模块文件 include 命令来引用模块文件。自定义模块； cmake 预制模块； 单行注释 # com 括号注释 #…...

编程日记 2025/8/15 0:47:32

前端单元测试实战：如何开始？

实战：如何开始单元测试 1.安装依赖 npm install --save-dev jest2.简单的例子首先，创建一个 sum.js 文件 ./sum.js function sum(a, b) {return a b; }module.exports sum;创建一个名为 sum.test.js 的文件，这个文件包含了实际测试内…...

编程日记 2025/8/14 21:20:59

《软件设计师》复习笔记（12.2）——成本管理、配置管理

目录一、项目成本管理 1. 定义 2. 主要过程 3. 成本类型 4. 其他概念真题示例： 二、软件配置管理 1. 定义 2. 主要活动 3. 配置项 4. 基线（Baseline） 5. 配置库类型真题示例： 一、项目成本管理 1. 定义在批准…...

编程日记 2025/8/15 0:44:43

edge browser for linux debian

下载地址 https://www.microsoft.com/en-us/edge/download?formMA13FJ 安装 # 下载安装包 wget https://packages.microsoft.com/repos/edge/pool/main/m/microsoft-edge-stable/microsoft-edge-stable_135.0.3179.85-1_amd64.deb?brandM102 # 安装 sudo dpkg -i microsoft…...

编程日记 2025/8/15 0:45:53

Python读取Excel表格数据并写成JSON格式文件（精简版）

🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息文章目录 1. 步骤步骤 1: 安装必要的库步骤 2: 读取Ex…...

编程日记 2025/8/15 0:48:32

服务器的算力已经被被人占用了，我如何能“无缝衔接”？

今天遇到一个问题，服务器已经被别人占用了，我又不知道什么时候他能结束，因此很难去训练自己的模型，隔一会去看看别人是否结束又太麻烦，于是便可以写这个脚本文件来自动检测服务器是否空闲，一有空闲就可以自…...

编程日记 2025/8/5 4:24:44

rulego-server是一个开源程序，是一个轻量级、无依赖性的工作流自动化平台。支持 iPaaS、流式计算和 AI 能力。

一、软件介绍文末提供程序和源码下载学习 RuleGo-Server 是一个基于 RuleGo 构建的轻量级、高性能、模块化和集成友好的自动化工作流程平台。可用于自动化编排、iPaaS（集成平台即服务）、API 编排、应用编排、AI 编排、数据处理、IoT 规则引擎、AI 助手…...

编程日记 2025/8/15 0:45:54

『前端样式分享』联系我们卡片式布局自适应屏幕 hover动效在wikijs中使用（代码拿来即用）

目录预览效果分析要点响应式网格布局卡片样式：阴影和过渡效果代码优化希望长短不一的邮箱地址在左右居中的同时,做到左侧文字对齐(wikijs可用)总结欢迎关注『前端布局样式』专栏，持续更新中欢迎关注『前端布局样式』专栏，持续更新中…...

编程日记 2025/8/15 0:45:43

航电系统之通信技术篇

航电系统（航空电子系统）的通信技术是现代航空器的核心技术之一，其核心目标是实现飞行器内部各系统之间以及飞行器与外部设备（如地面控制中心、其他飞行器等）之间高效、可靠的信息交互。随着航空技术的不断发展&#xf…...

编程日记 2025/8/2 9:59:36

4.3 熟悉字符串处理函数

作为一名C语言初学者，掌握字符串处理函数是编程道路上不可或缺的一步。字符串是C语言中处理文本数据的基础，而标准库提供了一系列强大的字符串处理函数，极大地方便了我们的开发工作。本文将带领大家熟悉这些常用的字符串处理函数，…...

编程日记 2025/8/15 0:48:33

二叉树理论基础

二叉树种类满二叉树：每个非叶子节点都有且只有两个子节点。和完全二叉树：除了最底层外，其他各层都是满的；最底层的节点都集中在左侧。二叉搜索树：对于任意节点 u，左子树上所有节点的值都小于 u.val…...

编程日记 2025/8/15 0:51:58

yarn的三个资源调度策略

### YARN 的三种资源调度策略及其工作原理与区别 #### 1. **FIFO Scheduler (先进先出调度器)** FIFO Scheduler 是一种最简单的调度方式，所有的应用程序都按顺序排队等待执行。其基本逻辑如下： - 应用程序按照提交的时间先后顺序依次进入队列。 - 当集…...

编程日记 2025/7/31 12:54:04

leetcode0112. 路径总和-easy

1 题目：路径总和官方标定难度：易给你二叉树的根节点 root 和一个表示目标和的整数 targetSum 。判断该树中是否存在根节点到叶子节点的路径，这条路径上所有节点值相加等于目标和 targetSum 。如果存在，返回 true &#xff1…...

编程日记 2025/8/2 9:59:32

铁氧体和纳米晶：车载定制电感的材料选择

最近有个做车载产品的粉丝问到：我们的定制电感产品既会用到铁氧体磁芯，也会用到纳米晶磁芯，那么这两种材料，该如何选择呢？ 要回答这个问题，我们首先要对两种材料做一个基本的对比。铁氧体材料成本低&…...

编程日记 2025/8/5 14:22:51

MCP认证难题破解

一、MCP 认证体系现状与核心挑战微软认证专家（MCP）体系在 2020 年后逐步向基于角色的认证转型，例如 Azure 管理员（AZ-104）、数据分析师（DP-100）等，传统 MCP 考试已被取代。当前备考的核心难题集中在以下方面： 1. 技术栈快速迭代云原生技术占比提升：Azure 认证中，…...

编程日记 2025/8/2 9:59:28

ROS机器人一般用哪些传感器？

以下是ROS机器人常用传感器的分层详解及思维导图总结，涵盖传感器分类、核心参数、ROS支持及典型应用：一、环境感知传感器 1. 视觉传感器类型原理 ROS支持数据类型典型型号/驱动优缺点及应用场景单目摄像头单镜头成像，通过透视变换获取2D图像，依赖算法推断深度驱…...

编程日记 2025/8/2 9:59:26

【ubuntu】在Linux Yocto的基础上去适配Ubuntu的wifi模块

一、修改wifi的节点名 1.找到wifi模块的PID和VID ifconfig查看wifi模块网络节点的名字，发现是wlx44876393bb3a（wlxmac地址） 通过udevadm info -a /sys/class/net/wlx44876393bba路径的命令去查看wlx44876393bba的总线号，端口号…...

编程日记 2025/8/2 9:59:24

基于WebRTC技术的EasyRTC：支持任意平台设备的实时音视频通信解决方案

一、技术架构与核心优势 EasyRTC是一套基于WebRTC技术的实时音视频通信框架，旨在为开发者提供高效、稳定、跨平台的通信解决方案。其核心优势在于支持任意平台设备，包括Web端、移动端、桌面端和嵌入式设备，真正实现“一次开发，多…...

编程日记 2025/8/2 11:19:59

51单片机实验四：键盘检测原理及应用实现

目录一、实验环境与实验器材二、实验内容及实验步骤 1.独立键盘检测 2.独立键盘(简易版本） 3．矩阵键盘检测 4.矩阵键盘（简单版，单数码管）： 一、实验环境与实验器材环境：Keli&#xff0c…...

编程日记 2025/8/7 8:32:07

GN ninja 工程化构建例程

文章目录 1. 前言✨2. 工程实例🚩2.1 工程目录结构2.2 工程顶层.gn文件2.3 工具链配置.gn文件2.4 编译配置.gn文件2.5 编译目标配置.gn文件2.6 工程接口文件2.7 动态库编译.gn文件2.8 动态库源文件2.9 静态库编译.gn文件2.10 静态库源文件2.11 主程序编译.gn文件2.12 主程序源…...

编程日记 2025/8/11 23:12:49

STC定时器频率占空比程序

// // 一、宏定义区 // #include <STC15.H> //头文件 #include <intrins.h> //库函数文件 #define FOSC 12000000L //IRC频率 typedef …...

编程日记 2025/8/10 12:40:28

观察者 ➜ 事件总线：一路走来的碎碎念

写给未来的自己：每次手敲事件模型都要 Google，干脆把思路和踩坑一次性记清楚。文章很长，都是唠叨，目的是让自己看两眼就能把设计理由找回来。目录为什么我要折腾事件模型？V0 ─ 单一事件的观察者模式V1 ─ 多事件同步总线（类型拆分）V2 ─ 订阅者优先级（链式调用可控）…...

编程日记 2025/8/2 11:19:52

AOP基本概念

上述语句解释感觉太过玄妙不似常人能够听懂，所以结合自己理解，给自己留点备注： 首先目标对象： 就是这要对哪个对象进行代理，因为AOP是面向切面编程，在OOP的基础上再次解耦合，这个过程需要提…...

编程日记 2025/8/11 20:17:13

不确定与非单调推理的概率方法

前文我们学习了“不确定与非单调推理的基本概念”，了解了不确定性推理是人工智能领域中处理不完整、不精确或模糊信息的推理方法，其核心是在前提条件或推理规则存在不确定性时，通过某种数学或逻辑机制推导出合理结论，并对结论的可靠性进行量化。不确定与非单调推理的基本概…...

编程日记 2025/8/12 12:55:24

device_fingerprint、device_id、hmac生成

文章目录 1. 写在前面2. 设备信息3. 数美指纹【🏠作者主页】：吴秋霖【💼作者介绍】：擅长爬虫与JS加密逆向分析！Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚守并致力于Python…...

编程日记 2025/8/2 11:19:46

centos下openjdk报:getVersion(FontConfiguration.java)异常,安装fontconfig无效问题的处理

TOC centos下openjdk报:getVersion(FontConfiguration.java)异常,安装fontconfig无效问题的处理官网jdk包：Releases dragonwell-project/dragonwell8 背景： 为了适应国产化，使用东方通和国产jdk，从tomcat改为tongweb&#x…...

编程日记 2025/8/1 20:55:19

Banana Pi BPI-RV2 RISC-V 路由器开发板发售, 全球首款RISC-V路由器

Banana Pi BPI-RV2 开源路由器是矽昌通信和⾹蕉派开源社区（Banana Pi ）合作设计, 联合打造全球首款RISC-V架构路由器开发板。这是香蕉派开源社区与矽昌通信继BPI-Wifi5 低成本Wifi5 路由器合作之后的又一力作，为全球开发者与商业客户提供基于…...

编程日记 2025/8/2 11:19:42

自学新标日第十九课复习版本

第十九课基本–》否定うー＞わ单词单词假名声调词义品物しなもの0物品，商品お皿おさら0盘子ごみごみ2垃圾初心者しょしんしゃ2初学者上級者じょうきゅうしゃ3熟练者高級こうきゅう0高级上級クラス5高级版英会話えいかいわ3英语会话コース1路线&a…...

编程日记 2025/8/2 11:19:35

网安加·百家讲坛 | 刘志诚：AI安全风险与未来展望

作者简介：刘志诚，乐信集团信息安全中心总监、OWASP广东区域负责人、网安加社区特聘专家。专注于企业数字化过程中网络空间安全风险治理，对大数据、人工智能、区块链等新技术在金融风险治理领域的应用，以及新技术带来的技术风险治理…...

编程日记 2025/8/13 2:29:48

相关文章：