当前位置：首页 > news >正文

来自B站AIGC科技官的“vLLM简介“视频截图

news 来源：原创 2025/6/8 19:07:36

来自B站AIGC科技官的"vLLM简介"视频截图

0. 引言
1. vLLM简介
2. vLLM启动日志解析
3. vLLM压力测试
4.vLLM分布式推理

0. 引言

这篇文章主要记录了B站AIGC科技官的"vLLM简介"视频截图。

1. vLLM简介

在这里插入图片描述

在这里插入图片描述

笔记 From Up主：

KV Cache的大小与序列长度的大小是成正比的

在这里插入图片描述

2. vLLM启动日志解析

在这里插入图片描述

3. vLLM压力测试

在这里插入图片描述

我本机测试的示例代码，

import requests
import time# 接口配置（根据实际部署调整）
API_URL = "http://192.168.31.15:8000/v1/completions"
MODEL_NAME = "gpt-4o"  # 与启动命令的 --served-model-name 一致
HEADERS = {"Content-Type": "application/json", "Authorization": "Bearer sk-123456"}def test_token_rate(prompt: str, max_tokens: int = 512):"""测试单次请求的 Token 速率"""payload = {"model": "gpt-4o","prompt": prompt,"stream": True,  # 启用流式响应以统计 Token 延迟"max_tokens": max_tokens,"temperature": 0.7}start_time = time.perf_counter()first_token_received = Falsetoken_count = 0# 发送流式请求response = requests.post(API_URL, json=payload, headers=HEADERS, stream=True)for chunk in response.iter_lines():if chunk:chunk_str = chunk.decode("utf-8").strip()if chunk_str.startswith("data: "):# 统计首 Token 到达时间if not first_token_received:first_token_time = time.perf_counter()first_token_received = True# 累计生成 Token 数量token_count += 1end_time = time.perf_counter()return {"total_time": end_time - start_time,"first_token_latency": first_token_time - start_time if first_token_received else 0,"tokens_per_sec": token_count / (end_time - start_time)}# 测试执行
prompt = "假设你是唐朝诗人李白，请用七言绝句描述一次雪夜独钓的场景"
result = test_token_rate(prompt)
print(f"首 Token 延迟: {result['first_token_latency']:.2f}s")
print(f"Token 速率: {result['tokens_per_sec']:.2f} tokens/s")

我本机测试的示例结果，

首 Token 延迟: 0.36s
Token 速率: 39.10 tokens/s

在这里插入图片描述

我本机测试的示例代码，

import requests
import time
from concurrent.futures import ThreadPoolExecutor, as_completed# 配置参数
API_URL = "http://192.168.31.15:8000/v1/completions"
MODEL_NAME = "gpt-4o"  # 与 vLLM 启动参数 --served-model-name 一致
CONCURRENCY = 10  # 并发请求数
MAX_TOKENS = 512  # 每个请求生成的最大 Token 数
TEST_PROMPT = "请用鲁迅的文学风格描写一次深夜咖啡馆的场景"
HEADERS = {"Content-Type": "application/json", "Authorization": "Bearer sk-123456"}def send_request(request_id: int):"""单个请求测试函数"""payload = {"model": "gpt-4o","prompt": TEST_PROMPT,"stream": True,"max_tokens": MAX_TOKENS,"temperature": 0.8}start_time = time.perf_counter()first_token_time = Nonetoken_count = 0try:response = requests.post(API_URL, json=payload, headers=HEADERS, stream=True)for chunk in response.iter_lines():if chunk:chunk_str = chunk.decode().strip()if chunk_str.startswith("data: "):if not first_token_time:first_token_time = time.perf_counter()token_count += 1except Exception as e:print(f"请求 {request_id} 失败: {str(e)}")return Noneend_time = time.perf_counter()return {"request_id": request_id,"total_time": end_time - start_time,"first_token_latency": first_token_time - start_time if first_token_time else 0,"tokens": token_count}def run_concurrent_test():"""执行并发测试"""results = []with ThreadPoolExecutor(max_workers=CONCURRENCY) as executor:futures = {executor.submit(send_request, i): i for i in range(CONCURRENCY)}for future in as_completed(futures):result = future.result()if result:results.append(result)# 统计结果total_tokens = sum(r["tokens"] for r in results)total_time = max(r["total_time"] for r in results)  # 取最长耗时作为总时间avg_first_latency = sum(r["first_token_latency"] for r in results) / len(results)print(f"\n测试报告: ")print(f"并发请求数: {CONCURRENCY}")print(f"总生成 Token 数: {total_tokens}")print(f"平均首 Token 延迟: {avg_first_latency:.2f}s")print(f"系统吞吐量: {total_tokens / total_time:.2f} tokens/s")if __name__ == "__main__":run_concurrent_test()

我本机测试的示例结果，

测试报告: 
并发请求数: 10
总生成 Token 数: 5130
平均首 Token 延迟: 0.39s
系统吞吐量: 355.00 tokens/s

在这里插入图片描述

4.vLLM分布式推理

在这里插入图片描述

在这里插入图片描述
未完待续！！！

原视频链接：B站AIGC科技官 vLLM简介

来自B站AIGC科技官的“vLLM简介“视频截图

来自B站AIGC科技官的"vLLM简介"视频截图 0. 引言1. vLLM简介2. vLLM启动日志解析3. vLLM压力测试4.vLLM分布式推理 0. 引言这篇文章主要记录了B站AIGC科技官的"vLLM简介"视频截图。 1. vLLM简介笔记 From Up主： KV Cache的大小与序列长度的…...

编程日记 2025/5/31 9:35:13

CSS元素动画篇：基于当前位置的变换动画（四）

基于当前位置的变换动画（四） 前言透明效果类元素动画闪烁动画效果效果预览代码实现淡入动画效果效果预览代码实现淡出动画效果效果预览代码实现结语前言 CSS元素动画一般分为两种：一种是元素基于当前位置的变换动画，通过不明…...

编程日记 2025/5/31 11:34:58

如何打包一个QT 程序

如何打包一个QT 程序找到 vcvarsall.bat 文件打开图中框选的命令行输入命令 D:\MicrosoftVisualStdio2022\Community\VC\Auxiliary\Build\vcvarsall.bat x64命令行进入待打包的目录，只留下一个exe 文件即可 windeployqt 程序名打包完成...

编程日记 2025/5/27 5:24:15

【vLLM 学习】CPU 离线处理

vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/ 源代码：vllm-project/vllm from vllm import LLM, SamplingParams# S…...

编程日记 2025/5/26 7:06:24

德州仪器（TI）—TDA4VM芯片详解—目录

写在前面本系列文章主要讲解德州仪器（TI）TDA4VM芯片的相关知识，希望能帮助更多的同学认识和了解德州仪器（TI）TDA4VM芯片。若有相关问题，欢迎评论沟通，共同进步。(*^▽^*) 本篇是此系列的目录…...

编程日记 2025/5/19 11:58:58

深入解读：2025 数字化转型管理参考架构

《GB/T 45341—2025 数字化转型管理参考架构》规定了数字化转型参考架构，涵盖主要视角、过程方法、发展阶段与水平档次。主要视角包含发展战略、业务创新转型等 5 个方面，明确任务及关联； 过程方法基于 “策划 — 支持、实施与运行 — 评测 …...

编程日记 2025/6/1 17:57:02

dma_buf学习记录之二核心接口

dma_buf学习记录之一基础知识-CSDN博客本章学习linux\include\linux\dma-buf.h dma-buf.h 是 Linux 内核中用于实现 DMA 缓冲区共享框架的核心头文件。它定义了 dma-buf 子系统的主要数据结构和操作接口，允许设备驱动程序之间共享缓冲区，并支持异步硬件…...

编程日记 2025/5/31 19:13:27

java Optional

我还没用过java8的一些语法，有点老古董了，记录下Optional怎么用。从源码看，Optional内部持有一个对象， 有一些api对这个对象进行判空处理。静态方法of ，生成Optional对象， 但这个value不能为空&#…...

编程日记 2025/6/1 4:47:40

一文说清Token这个大模型中的数字乐高积木的作用

第一章：语言解码的底层逻辑 1.1 人类大脑的"偷懒智慧" 想象你走在街头，突然看到"星巴克"的招牌。你的大脑不会逐个分析"星""巴""克"三个字的笔画，而是瞬间将其识别为一个整体。这种将高…...

编程日记 2025/5/15 18:46:49

界面打印和重定向同时实现

在 Shell 中，若要让程序运行时既在界面打印输出内容，又将其重定向到文件，可使用tee命令达成此目的。tee命令的作用是从标准输入读取数据，然后将这些数据同时输出到标准输出（也就是屏幕）和指定的文件中。基…...

编程日记 2025/6/1 8:48:32

最佳实践-HENGSHI SENSE 可视化创作中如何引入数据集市的成果

HENGSHI SENSE 提供了中心化的数据集市管理 ，即数据集市的功能： 数据集市，支持层级结构的数据集市建立，按用户，用户组，组织架构授权，将数据分配到合适的人。支持统一的计算字段，计算…...

编程日记 2025/5/27 17:28:50

YOLO旋转检测模型简化

YOLO模型作为单阶段目标检测方法的代表，其已经应用在多个领域。但要想将其部署到单片机上，其模型的大小需要受到极大的限制，而采用剪枝的方式模型体积下降效果有限，因此我们直接修改网络结构，将其进行删减&#xff0c…...

编程日记 2025/5/30 15:38:04

JavaScript之Webpack的模块加载机制

目录目标概述 IIFE语法分析无参数的IIFE 有参数的IIFE Webpack语法分析基本结构缓存加载过的模块 ES5的格式 ES6的格式目标本文站在js逆向的角度总结知识，所以不讲解Webpack打包技术，只分析模块加载机制。概述 Webpack Webpack是一个…...

编程日记 2025/5/27 7:36:58

深度解析如何将图像帧和音频片段特征高效存储到向量数据库 Milvus

在视频和音频分析领域，如何高效地处理和检索海量的多模态数据一直是一个重大挑战。本文将深度解析一种行之有效的解决方案：利用 OpenCV 和音频处理库提取数据特征后，将这些特征向量存储到 Milvus 向量数据库，以实现高效的相似性检…...

编程日记 2025/5/30 17:15:38

《Vue3学习手记6》

组件通信 props props 可以父传子，也可以子传父 1.父传子子组件： <template><div class"child"><h2>子组件</h2><h3>礼物：{{ gift }}</h3><h3 v-show"zichan">父亲给我的…...

编程日记 2025/5/28 6:39:30

抗体品牌推荐

默克超级英雄抗体的披荆斩棘之路自保罗埃尔利希1891年10月提出“Antikrper”一词后，科研人逐渐意识到抗体（Antibody）可以应用于各种类型的研究中。从结构、功能、人体免疫应答……到基因治疗、药物研究，抗体的身影无处不在。值…...

编程日记 2025/5/29 23:56:44

生成式人工智能认证（GAI认证）有什么用？

在人工智能的浪潮中，我们正站在一个前所未有的十字路口。有人将生成式人工智能（Generative AI）视为技术迭代的工具，有人将其视为颠覆行业的“黑匣子”，而更少有人意识到：它正在重新定义人类与技术的共生关系。当AI不再局限于辅助人类，而是开始参与创作、决策甚至伦理判断…...

编程日记 2025/5/19 8:53:45

全新升级：BRAV-7601-T003高性能无风扇AI边缘计算系统，助力智能未来！

在数字化与智能化飞速发展的今天，AI边缘计算正成为各行各业的核心驱动力。BRAV-7601作为一款高性能无风扇AI边缘计算系统，凭借其强大的硬件配置与丰富的扩展能力，为车路协同、特种车辆车载、机器视觉、医疗影像等领域提供了卓越的解决方案。最…...

编程日记 2025/5/26 8:00:35

基于c++的LCA倍增法实现

原理就不写了，自己找b站视频学习 #include <iostream> #include <vector> #include <cmath> #include <algorithm> using namespace std; const int MAXN 100005; // 最大节点数 const int MAXLOG 20; // 最大对数深度 vector<…...

编程日记 2025/5/24 22:17:12

探索大语言模型（LLM）：语言模型从海量文本中无师自通

文章目录引言：当语言模型学会“自己教自己”一、自监督学习：从“无标签”中挖掘“有监督”信号二、语言模型的自监督训练范式：两大经典路径1. 掩码语言模型（Masked Language Modeling, MLM）——以BERT为例2. 自回归语…...

编程日记 2025/5/16 2:09:48

大语言模型 - 运行、微调的显存计算详解与优化全量微调、LoRA 优化策略

写在前面随着Transformer架构的大语言模型（LLM）不断发展，其参数规模也在迅速增加。无论是进行模型推理还是微调训练，GPU显存消耗都是开发和应用LLM时的重要考量。本文将详细探讨大模型运行（推理）与微调时…...

编程日记 2025/5/29 11:03:52

【音视频】视频解码实战

FFmpeg流程从本地读取YUV数据编码为h264格式的数据，然后再存⼊到本地，编码后的数据有带startcode与FFmpeg 示例⾳频编码的流程基本⼀致。函数说明 avcodec_find_encoder_by_name：根据指定的编码器名称查找注册的编码器。avcodec_alloc_co…...

编程日记 2025/5/23 1:59:59

计算机网络学习笔记 4-6章

第 4 章网络层【考纲内容】 （一）网络层的功能异构网络互连；路由与转发；SDN 基本概念；拥塞控制 （二）路由算法静态路由与动态路由；距离 - 向量路由算法&#xff1…...

编程日记 2025/5/27 8:32:24

游戏哪些接口会暴露源IP？_深度解析服务器通信安全隐患

一、用户认证体系中的IP泄露陷阱在游戏登录验证环节，采用明文传输的HTTP协议接口会将客户端IP直接暴露在TCP握手阶段。某头部MOBA游戏曾因使用HTTP Basic认证方式，导致黑客通过抓取三次握手数据包获取服务器真实IP。游戏行业权威测试显示，使…...

编程日记 2025/6/1 17:07:59

树莓派学习专题＜11＞：使用V4L2驱动获取摄像头数据--启动/停止数据流，数据捕获，缓存释放

树莓派学习专题＜11＞：使用V4L2驱动获取摄像头数据--启动/停止数据流，数据捕获，缓存释放 1. 启动和停止数据流2. 捕获数据3. 释放缓存 1. 启动和停止数据流使用命令 VIDIOC_STREAMON 启动摄像头数据流，使用…...

编程日记 2025/6/1 16:47:11

adb push 报错：CreateProcess failure, error 123

客户使用adb push 可执行程序的时候报错如下所示原因：文件目录里边带中文导致解决方法：将文件目录里中文改成英文就好了...

编程日记 2025/6/1 17:31:54

【实战篇】数字化打印——打印格式设计器的功能说明

前言 myBuilder内置了覆盖丰富场景的打印格式设计器，效果统一，功能完善。设计器一：小票用于设计小票、水单等滚筒纸张的场景，例如：超市购物小票主要功能打印格式的保存、下载、上传设计时功能：撤销…...

编程日记 2025/5/22 9:15:05

【数据挖掘】时间序列预测-时间序列预测策略

时间序列预测策略 （1）单步预测与多步预测（2）直接多步预测（3）递归多步预测（4）直接递归的混合预测（5）多输入多输出预测 （1）单步预测与多…...

编程日记 2025/5/31 15:52:26

京东商品详情数据爬取难度分析与解决方案

在当今数字化商业时代，电商数据对于市场分析、竞品研究、价格监控等诸多领域有着不可估量的价值。京东，作为国内首屈一指的电商巨头，其商品详情页蕴含着海量且极具价值的数据，涵盖商品价格、库存、规格、用户评价等关键信息。然而…...

编程日记 2025/5/15 1:53:19

【Linux】线程

一.线程概念我们在学习进程的时候已经知道了，进程内核数据结构pcb自己的代码和数据。那么单单一个task_struct是什么呢？ 我们将单个的task_struct叫做轻量级进程，而这个轻量级进程也叫做线程。以往我们在了解进程的时候，一个进…...

编程日记 2025/5/28 15:07:07

WPF-遵循MVVM框架创建图表的显示【保姆级】

文章速览 1、技术栈实现步骤1、创建WPF工程项目2、引入框架 Caliburn.Micro、数据可视化库ScottPlot.WPF3、创建文件夹，并创建相应的View & ViewModel4、创建启动类5、将启动类设置为启动项6、编写View7、编写VM8、将VM和View中的图表进行绑定9、备注示例效果 …...

编程日记 2025/5/17 22:01:56

深入详解人工智能数学基础—概率论-KL散度在变分自编码器（VAE）中的应用

🧑 博主简介：CSDN博客专家、CSDN平台优质创作者，高级开发工程师，数学专业，10年以上C/C++, C#, Java等多种编程语言开发经验，拥有高级工程师证书；擅长C/C++、C#等开发语言，熟悉Java常用开发技术，能熟练应用常用数据库SQL server,Oracle,mysql,postgresql等进行开发应用…...

编程日记 2025/5/27 4:59:48

《代码整洁之道》第9章单元测试 - 笔记

测试驱动开发 (TDD) 是一种编写整洁代码的“规程”或“方法论”，而不仅仅是测试技术。 JaCoCo 在运行测试后生成详细的覆盖率报告的工具， maven 引用。测试驱动开发测试驱动开发（TDD）是什么？ TDD 不是说写完代码…...

编程日记 2025/5/27 6:22:19

每日c/c++题备战蓝桥杯(P2392 kkksc03考前临时抱佛脚)

【题解】期末考试抱佛脚最短时间（动态规划 | 二进制背包） 题目链接题目背景 kkksc03 的大学生活非常颓废，临近期末考试才开始疯狂复习。他有 4 门科目需要复习，每一科都有若干道题目，每道题目需要一定的时间完成。…...

编程日记 2025/5/17 11:12:05

徽客松S1 | 合肥首场 AI 黑客松招募

越来越多的黑客松在各个城市出现！5 月 10 日，合肥，12 小时极速挑战。我们和本次「徽客松」发起人 SDL 也是在一个黑客松上相识。当你的城市还没有黑客松可参加，与其等待，不如学习 SDL，自己发起一个&#…...

编程日记 2025/5/26 18:26:22

单片机-89C51部分：6、按键

飞书文档https://x509p6c8to.feishu.cn/wiki/EtkHw8MG0ipz3NkHlZEcwpEnn4g 一、应用场景： 轻触开关、按键、电容开关、光栅传感器、微动、关电开关二、原理： 轻触按键可以理解为两根导线，按下时导线连接，松开时导线断开。我们可…...

编程日记 2025/6/2 8:40:12

小结: DHCP

交换机的物理接口分批地址池、全局分配地址池分批地址池（接口地址池/局部分配） 按物理接口（如 VLAN 接口、SVI、物理端口）划分，每个接口单独配置一个小型地址池。适合规模较小、子网划分清晰的场景。配置方法示例&…...

编程日记 2025/6/3 15:44:16

matlab simulink中理想变压激磁电流容易有直流偏置的原因分析。

simulink把线性变压器模块拉出来，设置没有绕线电阻的变压器，激磁电感和Rm都有，然后给一个50%占空比的方波，幅值正负10V，线路中设置一个电阻，模拟导线阻抗。通过示波器观察激磁电流，发现电阻越小…...

编程日记 2025/5/23 23:27:08

国产三维CAD皇冠CAD在「通用设备制造业」建模教程：台式起重机

在制造业数字化转型的浪潮中，三维CAD软件已成为装备设计的核心工具，而国产软件的崛起正悄然改变行业格局。皇冠CAD（CrownCAD）作为中国自主研发的云端三维CAD平台，凭借全栈可控的底层架构、高效协同的设计流程及复杂场景…...

编程日记 2025/6/2 6:05:42

Day 12

文件操作文件文件操作文件函数课堂笔记文件 1）概述 FILE 所有平台的名字都一样，FILE 是一个结构体类型,里面的成员功能一样,不同平台成员的名字不一样。 FILE *fp 1、fp指针，只用调用了fopen().在堆区分配空间,把地址返回给fp 2、fp指针…...

编程日记 2025/5/22 11:01:08

Lua 第11部分小插曲：出现频率最高的单词

在本章中，我们要开发一个读取并输出一段文本中出现频率最高的单词的程序。像之前的小插曲一样，本章的程序也十分简单但是也使用了诸如迭代器和匿名函数这样的高级特性。该程序的主要数据结构是一个记录文本中出现的每一个单词及其出现次数之间关系的表。…...

编程日记 2025/5/29 13:38:13

自然语言处理之机器翻译：注意力机制在低资源翻译中的突破与哲思

## 被忽视的7000种语言在人工智能翻译技术突飞猛进的今天，一个残酷的事实被刻意掩盖：全球7000种语言中，超过95%缺乏构建现代机器翻译系统所需的基础资源。当我们在庆贺Transformer模型将英德翻译BLEU值推高至40%时，那些承载着人类文明基因的少数民族语言，正在经历着前所未…...

编程日记 2025/5/31 7:40:38

SQL 处理重复数据之技巧（Techniques for Handling Duplicate Data with SQL）

SQL 处理重复数据之技巧 ❝ 在日常数据库操作中，我们经常会遇到重复数据的问题。重复数据不仅会占用存储空间，还可能导致数据分析结果不准确。本文将详细讲解 SQL 中处理重复数据的常用方法，帮助你更高效地管理数据库中的数据。一、为什么会…...

编程日记 2025/5/18 4:31:11

Redis01-基础-入门

零、文章目录 Redis01-基础-入门 1、认识 NoSQL NoSQL 知识请参考：https://blog.csdn.net/liyou123456789/article/details/132612444 2、认识 Redis （1）简介 Redis（Remote Dictionary Server，远程字典服务&…...

编程日记 2025/6/4 16:12:53

辞九门回忆

2025年月日，13~30℃，挺好的待办： 《高等数学2》期末试卷高数重修电子版材料冶金《物理》期末试卷《物理[2]》期末试卷批阅冶金《物理》作业→→统计平时成绩遇见：遇见一位小姐姐。感受或反思：不主动推动关系&a…...

编程日记 2025/5/26 10:52:31

全球城市范围30米分辨率土地覆盖数据（1985-2020）

Global urban area 30 meter resolution land cover data (1985-2020) 时间分辨率年空间分辨率10m - 100m共享方式保护期 277 天 5 时 42 分 9 秒数据大小：8.98 GB数据时间范围：1985-2020元数据更新时间2024-01-11 数据集摘要 1985~2020全球城市土地覆…...

编程日记 2025/5/19 7:16:14

java编程式、声明式事务简单介绍

大家吼鸭！今天学习新项目的时候，项目中运用了编程式项目，有点不理解什么叫编程式事务，于是我去查询了一些资料，大概了解了一下。现在做一个简单的介绍。编程式事务和声明式事务的区别现在想象一个场景，…...

编程日记 2025/6/3 8:50:44

Golang 遇见 Kubernetes：云原生开发的完美结合

Golang 和 Kubernetes 简介 Golang 概述 Golang，也称为 Go，是由 Google 开发的一种开源编程语言。Go 由 Robert Griesemer、Rob Pike 和 Ken Thompson 设计，于 2009 年首次发布，此后在各个领域都获得了广泛的关注，尤其…...

编程日记 2025/5/15 5:09:03

第三章，GRE和MGRE

VPN---虚拟专用网络 VPN的核心技术----隧道技术---封装 GRE---通用路由封装配置 GRE的配置： R1： [r1]interface Tunnel 0/0/0 ---创建一个虚拟的隧道接口 [r1-Tunnel0/0/0]ip address 192.168.3.1 24 ---给隧道接口分配一个IP地址 [r1-Tunnel0/0/0]t…...

编程日记 2025/5/14 21:49:48

redis常用集合操作命令

在 Redis 的命令行界面（redis-cli）中， Redis 的集合（Set）是无序的，且集合中的元素是唯一的。Redis 本身没有直接提供获取集合中某个特定属性的命令，因为集合中的元素是简单的值，而不…...

编程日记 2025/5/22 10:48:37

来自B站AIGC科技官的"vLLM简介"视频截图

0. 引言

1. vLLM简介

2. vLLM启动日志解析

3. vLLM压力测试

4.vLLM分布式推理

相关文章：