当前位置：首页 > news >正文

LLM 部署(1)——LLM 部署框架对比

news 来源：原创 2025/8/23 18:58:25

1 Ollama

一个专注于简化大型语言模型（LLM）在本地部署和运行的开源框架。

简化部署：Ollama使用Docker容器技术来简化LLM的部署过程
捆绑模型组件：Ollama将模型权重、配置和数据捆绑到一个包中，称为Modelfile，这有助于优化设置和配置细节，包括GPU使用情况。
支持多种模型：Ollama支持多种大型语言模型，并允许用户根据特定需求定制和创建自己的模型。
跨平台支持：Ollama支持macOS和Linux平台，Windows平台。
命令行操作：安装完成后，用户可以通过简单的命令行操作启动和运行大型语言模型。
ollama 对于内存和显存资源有一定的需求。可以应用于多种场景，如聊天机器人、文本生成、问答系统等。
提供了简洁的API和类似ChatGPT的聊天界面
运行时占用资源少，适合在本地计算机上运行。

2 vLLM

vLLM 是一个基于Python的LLM推理和服务框架，旨在提升推理速度、降低显存占用，并更好地满足实际应用需求。它通过创新的PagedAttention技术、连续批处理、CUDA核心优化以及分布式推理支持，显著提高了LLM的推理性能。

PagedAttention技术：通过内存管理技术，PagedAttention能够将注意力机制中的键（keys）和值（values）存储在不连续的显存空间中，从而减少显存碎片，提高显存利用率。
连续批处理：vLLM能够连续批处理接入的请求，充分利用GPU资源，提高吞吐量。
CUDA核心优化：针对CUDA核心进行了优化，确保速度与效率。
分布式推理支持：支持分布式推理，能够在多台GPU上并行运行模型，进一步提高推理速度。
支持多种模型格式：包括PyTorch、TensorFlow等
高性能推理引擎：支持在线推理和批量推理，能够快速响应大量并发请求。
提供丰富的接口和输出格式，方便用户将推理结果集成到实际应用中。

部署步骤通常包括：

安装虚拟环境（如conda或virtualenv）
安装必要的依赖库（如torch、transformers等）
下载vLLM源码并解压到本地目录
配置模型参数，包括模型路径、输入输出数据类型等
启动vLLM服务，并指定监听端口等参数

3 LightLLM

LightLLM是一个基于Python的轻量级、高性能的LLM（大型语言模型）推理和服务器框架。它借鉴并整合了FasterTransformer、TGI、vLLM和FlashAttention等优秀开源实现。

三进程异步协作：LightLLM采用三进程架构，将词法化（tokenize）、模型推断和词法还原（detokenize）三大步骤解耦，通过异步协作的方式运行。提高了GPU的利用率，减少了数据传输带来的延迟。
Nopad无填充操作：LightLLM支持Nopad无填充操作，能够更有效地处理长度差异较大的请求，避免了无效填充，从而提高了资源利用率。
动态批处理：系统能够动态调整请求批次的大小，以适应不同长度的输入请求
FlashAttention集成：通过集成FlashAttention技术，LightLLM在保持高速运行的同时，还能有效降低GPU内存使用，优化推理速度。
Token Attention：引入了一种以Token为粒度进行kv cache显存管理的特性，通过高性能的算子和高效的显存申请释放方式，有效管理模型推理过程中的显存占用，减少显存碎片化问题。
Tensor Parallelism：支持多GPU并行计算，加速推理过程
Int8KV Cache：扩大令牌容量，提高系统效率

4 llama.cpp

llama.cpp 旨在优化语言模型在多种硬件上的推理性能。通过优化和量化技术，提高模型在CPU、GPU等硬件上的推理速度和效率。

高性能推理引擎：使用C语言编写的机器学习张量库ggml，高效处理大规模的张量运算，加速模型推理。支持CPU、CUDA和OpenCL，能够在多种硬件上运行
模型量化工具：允许用户将原本的32位浮点数模型参数量化为16位浮点数，甚至是更低精度的8位或4位整数。
服务化组件：提供服务化组件，可以直接对外提供模型的API，便于用户构建自己的应用。
多格式支持：支持多种模型格式，包括PyTorch的.pth、huggingface的.safetensors以及llama.cpp采用的ggmlv3等。

LLM 部署(1)——LLM 部署框架对比

1 Ollama 一个专注于简化大型语言模型（LLM）在本地部署和运行的开源框架。简化部署：Ollama使用Docker容器技术来简化LLM的部署过程捆绑模型组件：Ollama将模型权重、配置和数据捆绑到一个包中，称为Modelfile&#xf…...

编程日记 2025/8/23 18:58:25

Qt坐标体系，控件坐标的设置

Qt窗口坐标体系---平面直角坐标系（笛卡尔坐标系） 以左上角为0，0坐标原点给Qt的某个控件，设置位置，就需要指定坐标，对应这个控件来说，坐标系原点就是相对于父控件的如： QPushButt…...

编程日记 2025/8/18 23:52:38

大数据系列之：Kerberos

大数据系列之：Kerberos 基本概念工作流程安全特性应用场景总结加密原理Kerberos认证流程更改您的密码授予账户访问权限票证管理Kerberos 票据属性使用 kinit 获取票据使用 klist 查看票据使用 kdestroy 销毁票据.k5identity 文件描述 Kerberos 是一种网络认证协议&a…...

编程日记 2025/8/23 18:57:27

【力扣hot100题】（059）单词搜索

这道题给我最大的启示就是不要什么时候都用哈希表，偶尔也要用用数组…… 是这样，一开始还沾沾自喜的以为知道了哈希表的自己一定可以比以前傻傻用数组的我要节省空间，结果发现哈希表不能存储pair用编号存储会时间超限用数组只需要7*7的空间。…...

编程日记 2025/8/20 19:17:37

Java全栈面试宝典：锁机制与Spring生命周期深度解析

目录一、synchronized锁状态机全解析 🔥 问题5：synchronized四态转换与性能对比锁状态转换流程图锁特性对比表 CAS操作示例二、ReentrantLock与synchronized深度对比 🔥 问题6：两大锁机制对比核心差异矩阵生产级Re…...

编程日记 2025/8/17 19:45:52

15分钟完成Odoo18.0安装与基本配置

序言:时间是我们最宝贵的财富,珍惜手上的每个时分 Odoo18发行已半年有余，不少企业也已上至生产环境进行使用了。今天我们来看看 Odoo18的安装。本次安装我们介绍通过阿里云服务器安装Odoo18社区版。 1.服务器准备 1.1操作系统操作系统使用ubuntu22.04&#xff…...

编程日记 2025/8/23 16:41:19

pom导包成功，但是就是无法使用相关类，同时报错：Library:Maven ‘xxx‘ has broken path

开发环境：Intellij 2023 一、问题记录在maven工程的pom文件导入如下某一依赖(JGit)。没有显示导包的错误，同时在maven仓库里面找到对应的包是正常下载到相应jar的。但是就是无法引入相关的类。打开Project Structure，在Dependencies中发现…...

编程日记 2025/8/19 14:38:21

Cocos Creator 进行 Web 发布后，目录结构解析

在使用 Cocos Creator 进行 Web 发布后，生成的目录结构通常包含以下内容，下面为你详细介绍： 1. index.html 这是 Web 项目的入口 HTML 文件，它会加载所需的 JavaScript 文件和资源，从而启动游戏或应用程序。示例代码…...

编程日记 2025/8/21 2:42:34

Linux-磁盘管理

文章目录 1、查看磁盘和文件（夹）使用情况2、磁盘分区1）查看分区情况2）MBR分区3）GPT分区 3、磁盘分区格式化4、磁盘挂载1）挂载2）卸载挂载点3）永久挂载 1、查看磁盘和文件（…...

编程日记 2025/8/21 6:00:17

P1149 [NOIP 2008 提高组] 火柴棒等式（DFS）

题目描述给你 n 根火柴棍，你可以拼出多少个形如 ABC 的等式？等式中的 A、B、C 是用火柴棍拼出的整数（若该数非零，则最高位不能是 0）。用火柴棍拼数字 0∼9 的拼法如图所示： 注意： 加号与等号…...

编程日记 2025/8/23 18:57:31

机器学习新范式：Kubernetes + Kubeflow，解锁模型训练与部署的高效密码

一、Kubernetes在机器学习模型训练与部署中的作用 Kubernetes作为一个强大的容器编排平台，为机器学习模型的训练与部署提供了以下核心支持： 分布式训练支持：Kubernetes能够自动化部署和管理PyTorch等机器学习框架的分布式训练任务。通过利用…...

编程日记 2025/8/23 18:57:31

testflight上架ipa包-只有ipa包的情况下如何修改签名信息为苹果开发者账户对应的信息-ipa苹果包如何手动改签或者第三方工具改签-优雅草卓伊凡

testflight上架ipa包-只有ipa包的情况下如何修改签名信息为苹果开发者账户对应的信息-ipa苹果包如何手动改签或者第三方工具改签-优雅草卓伊凡直接修改苹果IPA包的签名和打包信息并不是一个推荐的常规做法，因为这可能违反苹果的开发者条款，并且可能导致…...

编程日记 2025/8/21 19:23:12

SpringSecurity框架入门

简介官网 Spring Security是一个Java框架，用于保护应用程序的安全性。它提供了一套全面的安全解决方案，包括身份验证、授权、防止攻击等功能。Spring Security基于过滤器链的概念，可以轻松地集成到任何基于Spring的应用程序中。它支持多种…...

编程日记 2025/8/18 1:20:03

AIDD-人工智能药物设计-双扩散模型结合多目标优化策略助力3D小分子药物设计

Adv. Sci. | 双扩散模型结合多目标优化策略助力3D小分子药物设计药物发现中，如何精准且高效地设计具有理想物理化学性质的潜在药物分子，对当前的研究水平来说仍然是一项重大挑战。近年来，基于深度学习的全新分子生成（de novo molecular generation）方法取得了显著进展，…...

编程日记 2025/8/19 22:45:12

Python面向对象编程 - 接口隔离原则(ISP)

1. 原则定义接口隔离原则(Interface Segregation Principle, ISP) 是SOLID原则中的"I"，核心思想是： 客户端不应该被迫依赖它们不使用的接口即：多个特定功能的接口比一个通用接口更好 2. 核心思想将臃肿的接口拆分为更小、更具…...

编程日记 2025/8/23 18:58:23

mac安装浏览器闪退处理

安装 Chrome或edge后打开浏览器出现闪退，是因为权限不够。以下是针对edge的处理方法。 sudo chown -R $(whoami) ~/Library/Application\ Support/Microsoft\ Edge sudo chmod -R 755 ~/Library/Application\ Support/Microsoft\ Edge 原因分析： 在…...

编程日记 2025/8/23 18:57:33

408 计算机网络知识点记忆（5）

前言本文基于王道考研课程与湖科大计算机网络课程教学内容，系统梳理核心知识记忆点和框架，既为个人复习沉淀思考，亦希望能与同行者互助共进。（PS：后续将持续迭代优化细节） 往期内容 408 计算机网络知识…...

编程日记 2025/8/22 1:14:37

Java面试黄金宝典38

1. TIME_WAIT 和 CLOSE_WAIT 的区别定义 TIME_WAIT：是主动发起关闭连接操作的一方，在发送最后一个 ACK 确认包之后进入的状态。此状态存在的意义在于确保对端能收到最后一个 ACK 包，同时让网络中可能残留的旧数据包自然消逝，防止其干扰后续相同四元组（源 IP、源端口、目…...

编程日记 2025/8/23 18:58:22

【算法】筛质数

目录埃氏筛法算法原理代码欧拉筛法算法原理代码埃氏筛法算法原理算法思想就像"筛子"一样，把合数筛掉，剩下的就是质数： 从2开始，依次检查每个数如果当前数未被标记为合数，它就是质数然后把这个质数的…...

编程日记 2025/8/22 18:25:21

【IDEA】✈️自定义模板，自动生成类和方法注释

💥💥✈️✈️欢迎阅读本文章❤️❤️💥💥 🏆本篇文章阅读大约耗时三分钟。 ⛳️motto：不积跬步、无以千里 📋📋📋本文目录如下：🎁🎁&a…...

编程日记 2025/8/23 18:58:24

笔试专题（六）

文章目录最长无重复子数组（滑动窗口）题解代码重排字符串（贪心构造）题解代码牛牛冲钻五（模拟）题解代码最长无重复子数组（滑动窗口） 题目链接题解 1. 滑动窗口 2. 什么时候…...

编程日记 2025/8/23 18:57:28

【算法实践】跳跃游戏——计算到达终点的最小跳数

问题描述给定一个非负数数组 arr[]，每个元素表示从该位置最多可向前跳跃的步数。示例： 若 arr[i] 3，则可以从位置 i 跳跃到 i1、i2 或 i3。若 arr[i] 0，则无法从该位置向前跳跃。任务：找到从数组第一个位置移动…...

编程日记 2025/8/22 2:28:09

sklearn的Pipeline

Pipeline类介绍：Pipeline 可以将多个数据处理步骤和机器学习模型组合成一个序列，其中每个步骤都是一个变换器（Transformer）或者估计器（Estimator），并且Pipeline中的最后一个必须为估计器，其它的必须为变换器，如果Pipeline中的估计器为为分类器则整个Pipeline就作为分…...

编程日记 2025/8/19 7:34:10

Unity3D仿星露谷物语开发34之单击Drop项目

1、目标当在道具栏中选中一个Item时，点击地面就可以实现Item的drop操作，每点击一次就drop一次，直到道具栏中Item数量不够。这样的好处：避免每次Drop都从道具栏中拖拉Item，通过点击这种操作可以更加高效。方法&am…...

编程日记 2025/8/23 18:57:32

每日一题（小白）回溯篇4

深度优先搜索题：找到最长的路径，计算这样的路径有多少条（使用回溯） 分析题意可以得知，每次向前后左右走一步，直至走完16步就算一条走通路径。要求条件是不能超出4*4的范围，不能重复之前的路径。…...

编程日记 2025/8/23 18:58:24

Day16——路由2

路由独有的两个生命周期钩子作用：用于捕获路由组件的激活状态具体名字： activated 路由组件被激活时触发 deactivated 路由组件失活时触发现在在缓存路由组件的基础上,想要使h2中的文字透明度不断变化，在切换到别的组件时销毁控制文字不…...

编程日记 2025/8/20 9:00:10

iproute2 工具集使用详解

目录一、iproute2 核心命令：ip二、常用功能详解1. 管理网络接口（link 对象）2. 管理 IP 地址（address 对象）3. 管理路由表（route 对象）4. 管理 ARP 和邻居缓存（neigh 对象&#xff0…...

编程日记 2025/8/19 20:04:22

C++学习之套接字并发服务器

目录 1.昨天套接字服务器的弊端 2.如何通过多进程方式实现服务器并发 3.多进程服务器-1 4.多进程服务器-2 5.多进程版程序-回收子进程被信号中断的处理 6.多线程版TCP服务处理思路 7.多线程并发服务器编写 8.为什么不能把文件描述符地址传到子线程中 9.多线程程序测试 …...

编程日记 2025/8/19 2:55:06

MCP项目开发-一个简单的RAG示例

MCP项目开发-一个简单的RAG示例前言前言客户端是基于官网的例子改的，模型改成了openai库连接仅仅使用基础的RAG流程作为一个演示，包含了以下步骤 query改写搜索：使用google serper重排序：使用硅基流动的api 大模型api也使用…...

编程日记 2025/8/22 11:43:19

使用管理员权限打开Windows PowerShell Add-WindowsCapability -Online -Name OpenSSH.Server~~~~0.0.1.0启动服务 Start-Service sshd 设置开机自启 Set-Service sshd -StartupType Automatic允许22端口 New-NetFirewallRule -Name “SSH” -DisplayName “SSH” -Enabled Tr…...

编程日记 2025/8/21 8:35:24

从零实现本地大模型RAG部署

1. RAG概念 RAG（Retrieval-Augmented Generation）即检索增强生成，是一种结合信息检索与大型语言模型（大模型）的技术。从外部知识库（如文档、数据库或网页）中实时检索相关信息，并将其…...

编程日记 2025/8/23 18:58:24

什么是ThreadLocal

ThreadLocal 是 Java 提供的一个工具类，它为每一个使用该变量的线程都提供了一个独立的变量副本。换句话说：每个线程都有自己的本地变量副本、互不干扰。它不是用来共享数据的，而是用来隔离数据的。一、为什么需要 ThreadLocal？…...

编程日记 2025/8/23 18:58:25

MySQL-SQL-DQL语句、DQL基本查询、DQL条件查询、DQL分组查询、聚合函数、DQL排序查询、DQL分页查询

一. DQL DQL：Data Query Language(数据查询语言)，用来查询数据库表中的记录。关键字：SELETE -- DQL 完整语法select字段列表 from表名列表 where条件列表 group by分组字段列表 having分组后条件列表 order by排序字段列表 limit分页参数 …...

编程日记 2025/8/20 22:10:44

vue2 vue3 响应式差异

vue2 响应式原理看这链接: link 总结： object.defineproperty()是对属性的劫持，对属性劫持有两大缺陷 1. 需要遍历对象的所有属性，深层属性需递归，存在效率问题 2. 后添加的属性，无法获得响应式，因为劫持…...

编程日记 2025/8/23 18:57:30

常见NLP模型发展脉络：从传统方法到大语言模型

自然语言处理作为人工智能领域的重要分支，经历了从传统统计方法到深度学习的巨大飞跃。本文将带你梳理NLP模型的发展脉络，回顾那些推动技术进步的重要里程碑。一、统计学习阶段（1990s-2010s初） 早期的NLP模型主要基于统计方法&…...

编程日记 2025/8/23 16:44:28

Bert论文解析

文章目录 BERT：用于语言理解的深度双向转换器的预训练一、摘要三、BERT介绍BERT及其详细实现答疑：为什么没有标注的数据可以用来预训练模型？1. 掩码语言模型（Masked Language Model, MLM）2. 下一句预测（Nex…...

编程日记 2025/8/17 22:27:39

【数学】勒让德定理（legendres-formula）详解

勒让德定理（Legendre’s Formula）详解这段代码使用的数学原理是勒让德定理，它是计算质数p在n!的质因数分解中指数的核心方法。一、定理内容对于任意质数p和正整数n，p在n!的质因数分解中的指数（即n!能被p整除的最…...

编程日记 2025/8/22 5:12:23

时空联合规划算法

本文主要讲解时空时空联合规划算法。文章目录前言一、时空联合规划基本概念1.1 EM Planner算法求解过程1.2 时空联合规划算法求解过程二、基于搜索的规划方法2.1 构建三维时空联合规划地图2.2 基于Hybrid A*的时空联合规划二、基于迭代搜索的规划方法2.1 这段时间更新中2.2 这…...

编程日记 2025/8/23 18:57:30

如何在idea中新建一个项目

Java通常展现的方式就是项目，但是在不熟悉idea的情况下，我们应该如何创建一个项目呢？ 第一步：点击File-->New-->Project 第二步：选择 Empty Project 第三步：点击File-->找到Project Structure--&…...

编程日记 2025/8/19 21:27:07

设计模式简述（十三）适配器模式

适配器模式描述基本使用使用关于适配器关联不兼容类的方式如果原有抽象层是抽象类若原有抽象是接口使用描述适配器模式常用于系统已经上限稳定运行，但现有需求需要将两个不匹配的类放到一起工作时使用。也就是说这是一个迭代阶段使用的模式。这种模式&#x…...

编程日记 2025/8/19 7:49:05

功耗日志抓取需求

最近罗列了一些功耗分析需要的常见日志： 测试功耗前： adb shell dumpsys batterystats --reset adb shell dumpsys batterystats --enable full-wake-history 测试功耗后，使用脚本导出如下功耗日志： 脚本 chmod x collect_logs.s…...

编程日记 2025/8/23 18:57:29

设计模式简述（十一）装饰器模式

装饰器模式描述基本使用使用描述装饰器模式是一种功能型模式用于动态增强对象的功能这么一说感觉上和代理模式有些类似抽象装饰器要实现原有业务接口，并注入原有业务对象至于对原有业务对象的调用，可以采用private业务对象实现业务接口方法的…...

编程日记 2025/8/23 18:58:24

MongoDB基础知识

MongoDB基础知识目录基础篇一、MongoDB入门指南（零基础必读）二、MongoDB简介三、MongoDB安装与配置四、MongoDB基本操作五、MongoDB查询操作进阶篇六、MongoDB索引七、MongoDB聚合操作八、MongoDB数据模型九、MongoDB安全十、MongoDB备份恢复十一…...

编程日记 2025/8/22 12:56:29

Kubernetes详细教程（一）：入门、架构及基本概念

Kubernetes（常简称为K8s）是一个开源的平台，用于自动化部署、扩展和管理容器化应用程序。官方文档：https://kubernetes.io/zh-cn/docs/concepts/overview/components/ 一、入门 （一）Kubernetes是什么&am…...

编程日记 2025/8/23 18:57:30

架构思维：限流技术深度解析

文章目录 Pre业务场景熔断 VS 限流4大限流算法固定时间窗口计数滑动时间窗口计数漏桶令牌桶方案实现使用令牌桶还是漏桶模式？在 Nginx 中实现限流还是在网关层中实现限流？使用分布式限流还是单机限流？使用哪个开源技术？ 限流方案…...

编程日记 2025/8/23 11:22:11

批量改CAD图层颜色——CAD c#二次开发

一个文件夹下大量图纸（几百甚至几千个文件）需要改图层颜色时，可采用插件实现，效果如下： 转换前： 转换后： 使用方式如下：netload加载此dll插件，输入xx运行。附部分代码如…...

编程日记 2025/8/23 18:57:33

vue猜词游戏

说明：我希望用vue实现猜词游戏 Vue Wordle 游戏规则总结核心规则单词选择目标单词从预设词库（DEFAULT_WORDS）中随机选取，均为5字母单词（如apple、zebra等）。输入要求长度限制：必须…...

编程日记 2025/8/21 3:27:52

SQL ②-库操作 | 数据类型

这里是Themberfue SQL语法数据库术语 DATABASE：数据库，保存有组织的数据的容器（通常是一个文件或一组文件）。TABLE：表，某种特定类型数据的结构化清单。SCHEMA：模式，关于数据库和表…...

编程日记 2025/8/23 18:58:25

云轴科技ZStack CTO王为@中国GenAI大会：AI原生实践重构AI Infra新范式

4月1-2日，2025中国生成式AI大会（GenAICon 2025）在北京举办，该会议已成为国内AI领域最具影响力的产业峰会之一。来自学术界与产业界的50位嘉宾围绕GenAI应用、大模型、AI智能体、具身智能、DeepSeek R1与推理模型等话题&#xff0c…...

编程日记 2025/8/19 8:18:39

处理甘特图启动依赖报错。

处理甘特图启动报错一、修改甘特图下载地址1.1 配置修改1.2 修改地址(https://registry.npmmirror.com) 二、安装依赖1.1 安装sass-loader1.2 适配安装dhtmlx-gantt 一、修改甘特图下载地址 1.1 配置修改 npm config get registry1.2 修改地址(https://registry.npmmirror.c…...

编程日记 2025/8/23 2:08:25

1 Ollama

2 vLLM

3 LightLLM

4 llama.cpp

相关文章：