当前位置：首页 > news >正文

LLM框架

news 来源：原创 2025/7/22 12:59:34

LLM（Large Language Model，大型语言模型）框架是一类用于开发、部署和优化大型语言模型的工具和平台。它们在自然语言处理（NLP）和人工智能（AI）领域中发挥着重要作用，帮助开发者高效地利用LLM的能力，同时优化性能和降低成本。以下是关于LLM框架的详细介绍：

LLM框架的作用

LLM框架的主要作用是为开发者提供一个高效、灵活且易于使用的环境，用于开发、部署和优化基于LLM的应用程序。这些框架通常具备以下功能：

模型管理：支持多种LLM模型的加载、切换和管理。
推理优化：通过内存管理、批处理、量化等技术提升模型推理速度和效率。
接口兼容：提供与主流API（如OpenAI API）兼容的接口，方便集成。
本地部署：支持在本地设备上离线运行模型，保护数据隐私。
多模型支持：支持多种架构的LLM，包括Transformer架构、混合专家模型等。
开发工具：提供用户友好的界面和工具，简化模型实验和开发流程。

以下是目前常见的基于LLM（大型语言模型）框架的框架，按其功能和特点分类介绍：

开发者工具与编排框架

LangChain：模块化LLM编排框架，支持RAG（检索增强生成）和代理功能，集成600+工具，如OpenAI、Hugging Face等，适合复杂工作流和工具集成。
Langflow：低代码、可视化工作流框架，基于LangChain，支持代码导出，适合快速原型设计和复杂管道开发。
CrewAI：多代理协作框架，专注于角色分配和工作流，适合构建多代理系统。
AutoGen：多代理对话框架，支持代理间协作，适合复杂的任务自动化。

数据处理与检索框架

LlamaIndex：数据索引和检索框架，支持向量库（如FAISS、Pinecone）和数据连接，适合知识库、语义搜索和RAG。
Haystack：NLP管道框架，支持语义搜索、问答和RAG，整合了OpenAI、Hugging Face等技术，适合企业级应用。

低代码与快速开发框架

Dify：低代码平台，提供拖拽界面，适合非技术用户快速开发简单应用。
Flowise：基于LangChain的低代码框架，提供可视化界面，适合快速构建聊天机器人。
Coze（扣子）：新一代AI应用开发平台，支持无代码或少量代码开发，可快速部署到多种平台。

性能优化与推理框架

vLLM：高性能推理框架，采用PagedAttention技术优化内存管理，支持多种量化方法，与OpenAI API兼容。
LightLLM：高效推理框架，融合了FasterTransformer、FlashAttention等技术，优化GPU利用率和内存管理。
KTransformers：专注于在资源受限环境中实现低功耗和高效率的CPU优化框架。
airLLM：通过分层推理技术优化资源受限设备上的模型运行，支持模型压缩和量化。

本地部署与轻量化框架

GPT4ALL：配备图形用户界面（GUI），操作简单，适合初学者快速入门和本地模型体验。
Ollama：简单易用的框架，支持热加载模型文件，适合快速原型开发和模型实验。

多模型支持与灵活部署框架

XInference：开源框架，提供与OpenAI API兼容的接口，支持多种模型，适合快速切换或集成不同LLM。
OpenLLM：开源社区驱动框架，支持各种模型架构和混合部署模式，适合深度定制化LLM部署。
Hugging Face Transformers：生态系统完善，提供丰富的预训练模型资源，支持快速原型开发和灵活部署。

代理与智能体框架

AutoGPT：目标导向的任务自动化框架，适合实验性自动化和任务驱动的代理。
Agentverse：多代理模拟环境，支持复杂交互。
LangGraph：基于状态机的代理编排框架。
CAMEL：基于角色的代理通信框架。

其他

MaxKB：知识管理平台，支持知识库创建和RAG，但文档不足。
n8n：工作流自动化框架，支持LLM集成，适合业务自动化。
SGLang：开源框架，后端采用RadixAttention和前缀缓存优化，支持多种主流模型，适合提升LLM服务速度。

这些框架各有优势，开发者可以根据项目的具体需求、团队技术水平和扩展需求选择合适的工具。

LLM框架

LLM（Large Language Model，大型语言模型）框架是一类用于开发、部署和优化大型语言模型的工具和平台。它们在自然语言处理（NLP）和人工智能（AI）领域中发挥着重要作用，帮助开发者高效地…...

编程日记 2025/7/22 12:59:34

SaaS场快订首页的前端搭建【持续更新】

文章目录一、创建页面二、配置路由三、写接口文件（api）1.定位的接口函数（腾讯地图api）实现代码： 2.获取场馆分类的数据3.获取附近场馆列表的数据四、开发首页页面1.顶部区域2.搜索框3.场馆分类4.附近场馆列表五、难…...

编程日记 2025/7/22 12:55:58

2025第九届御网杯网络安全大赛线上赛区域赛WP （MISC和Crypto）（详解-思路-脚本）

芜湖~ 御网杯线上分是越来越精细区域赛都有了然后不过多评价整体不算难以下是我自己的一些思路和解析有什么问题或者建议随时都可以联系我目录芜湖~ MISC #被折叠的显影图纸 #光隙中的寄生密钥 #ez_xor #套娃 #easy_misc #ez_pictre Crypto #easy签到题 …...

编程日记 2025/7/22 12:55:58

HTTP/1.1 host虚拟主机详解

一、核心需求：为什么需要虚拟主机？ 在互联网上，我们常常希望在一台物理服务器（它通常只有一个公网 IP 地址）上运行多个独立的网站，每个网站都有自己独特的域名（例如 www.a-site.com, www.b-s…...

编程日记 2025/7/22 12:54:18

低代码开发：开启软件开发的新篇章

摘要低代码开发作为一种新兴的软件开发方式，正在迅速改变传统软件开发的模式和效率。它通过可视化界面和预设的模板，使非专业开发者也能够快速构建应用程序，极大地降低了开发门槛和成本。本文将深入探讨低代码开发的定义、优势、应用场景以及…...

编程日记 2025/7/22 9:21:47

HVV蓝队初级面试总结

一、技术面： 1-SQL注入原理 1-WEB应用程序对用户输入的数据 2-没有过滤或者过滤的不严谨 3-并且把用户输入的数据当作SQL 语司 4-带入到数据中去执行2-SQL注入分类 1-回显型 2-无回显型/盲注1-联合查询注入unionselect 2-堆叠注入； 3-报错注入upda…...

编程日记 2025/7/22 11:09:35

C++八股——函数对象

文章目录一、仿函数二、Lambda表达式三、bind四、function 一、仿函数仿函数：重载了操作符()的类，也叫函数对象特征：可以有状态，通过类的成员变量来存储；（有状态的函数对象称之为闭包） 样…...

编程日记 2025/7/21 1:16:49

Typora自动对其脚注序号

欢迎转载，但请标明出处和引用本文地址 Markdown中的脚注脚注引用：[^2] 脚注定义：[^2]: xxxxxxx 问题：脚注需要使用者自己定义排序。写作过程中，在文章最前面引用脚注序号，需要递增其后所有的脚注引用&…...

编程日记 2025/7/22 12:56:55

【Android】cmd命令

Android中cmd命令可以用来向binder服务发送命令，来进行相关调试， 其实现原理是调用binder服务的command接口 frameworks/native/cmds/cmd/cmd.cpp 209 Vector<String16> args; 210 for (int i2; i<argc; i) { 211 args.add(Stri…...

编程日记 2025/7/22 12:51:28

【入门】打印字母塔

描述输入行数N,打印图形. 输入描述输入只有一行，包括1个整数。(N<15) 输出描述输出有N行. #include <bits/stdc.h> using namespace std; int main() { char t;int n,f;cin>>n;for(int i1;i<n;i){tchar(65i);for(int j1;j<n-i;j){cout…...

编程日记 2025/7/22 12:56:55

基于OpenCV的人脸识别：LBPH算法

文章目录引言一、概述二、代码实现1. 代码整体结构2. 导入库解析3. 训练数据准备4. 标签系统5. 待识别图像加载6. LBPH识别器创建7. 模型训练8. 预测执行9. 结果输出三、 LBPH算法原理解析四、关键点解析五、改进方向总结引言人脸识别是计算机视觉领域的一个重要应用&…...

编程日记 2025/7/22 12:54:18

opencascade.js stp vite webpack 调试笔记

Hello, World! | OpenCascade.js cnpm install opencascade.js cnpm install vite-plugin-wasm --save-dev 当你不知道文件写哪的时候trae还是有点用的 ‘’‘ import { defineConfig } from vite; import wasm from vite-plugin-wasm; import rollupWasm from rollup/plugi…...

编程日记 2025/7/22 12:52:26

使用go开发安卓程序

因为使用传统的安卓开发方式对于非专业人士来说比较繁琐，所以这里想用go简单的开发一下安卓程序。go支持安卓的项目就叫gomobile，有写安卓库文件和安卓程序两种方式，写安卓程序只能使用OPENGL画图。一、安装步骤参考文档：用Go…...

编程日记 2025/7/22 12:52:26

嵌入式中屏幕的通信方式

LCD屏通信方式详解 LCD屏（液晶显示屏）的通信方式直接影响其数据传输效率、显示刷新速度及硬件设计复杂度。根据应用场景和需求，LCD屏的通信方式主要分为以下三类，每种方式在协议类型、数据速率、硬件成本及适用场景上存在显著差异…...

编程日记 2025/7/20 5:18:19

常见的 DCGM 设备级别指标及其含义

前言在大规模 GPU 集群运维与性能调优中，精准、全面地了解每块显卡的运行状态和健康状况至关重要。NVIDIA 数据中心 GPU 管理 (DCGM) 提供了一系列关键指标，用于监控显存错误、硬件利用率、温度、能耗以及互联带宽等多维度信息。通过对这些指标的持续采…...

编程日记 2025/7/19 9:00:19

基于zernike 拟合生成包裹训练数据-可自定义拟合的项数

可以看到拟合误差其实还是有很多的，但是这个主要是包裹噪声产生的，用到了github 上的zernike 库，直接pip install 一下安装就可以了 import numpy as np import matplotlib.pyplot as plt from matplotlib import cm from mpl_toolkits.mplot3d import Axes3D import matpl…...

编程日记 2025/7/19 13:02:56

基于多层权重博弈与广播机制的仿生类脑 AI 决策框架

Layered Weighted Consensus and Broadcasting AI Architecture (LWCBA) 前言本框架模仿人脑的工作机制，模拟人脑对条件反射，本能，道德伦理，理性分析，等事件处理及决策博弈机制。基本原则和特点底层-中层-高层的…...

编程日记 2025/7/18 19:20:07

欧拉路与欧拉回路(模板)

欧拉路得判别法： 欧拉回路：我们先记录一下所有点得度数，然后拿并查集判断一下连通性，如果有解得话，我们从奇数个得点开始遍历，一直遍历到不能遍历为止，然后逆序输出得路径就是欧拉回路 P7771 【…...

编程日记 2025/7/19 4:36:29

HttpServletResponse的理解

HttpServletResponse 是 Java Servlet API 提供的一个接口常用方法方法用途setContentType(String type)设置响应内容类型（如 "application/json"、"text/html"）setStatus(int sc)设置响应状态码（如 200、404&#x…...

编程日记 2025/7/20 18:55:47

用一张网记住局域网核心概念：从拓扑结构到传输介质的具象化理解

标题： 用一张网记住局域网核心概念：从拓扑结构到传输介质的具象化理解摘要： 本文通过"一张网"的类比，将计算机网络中抽象的局域网技术概念转化为日常生活中可感知的网结与绳子模型，帮助读者轻松理解网络拓…...

编程日记 2025/7/19 17:02:12

Linux 进程控制基础IO

Linux 进程控制学习笔记本节重点学习进程创建：fork() / vfork()学习进程等待学习进程程序替换：exec 函数族，微型 shell 实现原理学习进程终止：认识 $? 一、进程创建 1. fork() 函数初识在 Linux 中，fork() 函…...

编程日记 2025/7/19 23:04:40

三、Hive DDL数据库操作

在 Apache Hive 中，数据库 (Database)，有时也被称为模式 (Schema)，是组织和管理表及其他对象的基本命名空间单元。熟练掌握数据库层面的数据定义语言 (DDL) 操作，是构建清晰、有序的 Hive 数据仓库的第一步。本篇笔记将详细梳理 …...

编程日记 2025/7/20 9:34:38

C++ string初始化、string赋值操作、string拼接操作

以下介绍了string的六种定义方式，还有很多，这个只是简单举例 #include<iostream>using namespace std;int main() {//1 无参构造string s1;cout << s1 << endl;//2 初始化构造string s2 ({h, h, l, l, o});cout << s2 <<…...

编程日记 2025/7/18 1:14:31

java.util.Timer

知识点详细说明 java.util.Timer 是Java早期提供的定时任务调度工具，用于在指定延迟后或按固定间隔执行任务。以下是其核心知识点： 1. 核心组成 Timer类：负责调度任务，内部维护一个任务队列和后台线程。TimerTask类：抽象类，需继承并实现run()方法定义任务逻辑。2. 核心方…...

编程日记 2025/7/22 12:55:12

SQlite数据库

介绍基本信息：是一款轻量级的嵌入式关系型数据库管理系统。主要特点：SQLite的源码是C语言，其源代码完全开发，SQLite第一个Alpha版本诞生于2000年5月，他是一个轻量级的嵌入式数据库。零配置，无需安装和配…...

编程日记 2025/7/14 6:29:01

什么是 ANR 如何避免它

一、什么是 ANR？ ANR（Application Not Responding） 是 Android 系统在应用程序主线程（UI 线程）被阻塞超过一定时间后触发的错误机制。此时系统会弹出一个对话框提示用户“应用无响应”，用户可以选择等待或强…...

编程日记 2025/7/19 4:30:59

当虚拟吞噬现实——《GTA6》结合技术

‌ ‌标题：当虚拟吞噬现实——《GTA6》的万言书：一部数字文明的启示录‌ ‌（万字深度解析，拆解技术、叙事与社会学的三重革命）‌ ‌一、序章：游戏史的奇点时刻‌ 1. ‌从像素暴动到文明模拟：G…...

编程日记 2025/7/16 1:57:21

pandas读取pymysql和解析excel的一系列问题(版本不匹配)

pandas读取pymysql和解析excel的一系列问题，大部分都是版本不匹配导致的尤其是pandas,numpy,pymysql,openpyxl不匹配导致 from sqlalchemy import create_engine import numpy as np import pandas as pd conncreate_engine("mysqlpymysql://user:passhost:3…...

编程日记 2025/7/19 18:01:11

【安装配置教程】ubuntu安装配置Kodbox

目录一、引言二、环境配置 1. 服务器配置 2. 必备组件三、安装基础环境 1. 安装 PHP 8.1 及扩展 2. 安装 MySQL 数据库 3.安装 Redis（可选，提升缓存性能） 4. 配置nginx文件 4.1. 创建 Kodbox 站点目录 4.2. 编写 Ng…...

编程日记 2025/7/17 20:46:57

模型过拟合是什么?

模型过拟合的详细解析一、定义与本质过拟合（Overfitting）是机器学习与统计学中的核心问题，指模型在训练数据上表现优异，但在未见过的新数据（如测试集或实际应用数据）上泛化能力显著下降的现象。其本质在于模型过度捕捉了训练数据中的噪声、随机波动或非典型细节，而非…...

编程日记 2025/7/18 1:09:40

服务器mysql连接我碰到的错误

搞了2个下午，总算成功了我在服务器上使用docker部署了java项目与mysql，但mysql连接一直出现问题 1.首先，我使用的是localhost连接，心想反正都在服务器上吧。 jdbc:mysql://localhost:3306/fly-bird?useSSLfalse&serverTime…...

编程日记 2025/7/21 4:59:25

数电课设·交通信号灯（Quartus Ⅱ）

远书归梦两悠悠，只有空床敌素秋。阶下青苔与红树，雨中寥落月中愁。 ————《端居》【唐】李商隐目录交通信号灯要点剖析： 端口说明： 代码展示：&…...

编程日记 2025/7/20 18:55:43

单片机-STM32部分：13、PWM

飞书文档https://x509p6c8to.feishu.cn/wiki/NjhuwbVP7iaEOikVK95cmJNLnWf PWM（Pulse Width Modulation）脉冲宽度调制，是利用微处理器的数字输出来对模拟电路进行控制的一种非常有效的技术。它是把每一脉冲宽度均相等的脉冲列作为PWM波形&am…...

编程日记 2025/7/20 18:55:46

HTTP 错误状态码以及常用解决方案

以下是常见 HTTP 错误状态码及其解决方案的对比表格，按客户端（4xx）和服务端（5xx）分类： HTTP 错误码对比表一、客户端错误（4xx） 状态码含义常见原因解决方案400Bad Request请求参…...

编程日记 2025/7/22 2:04:08

巧用promise.race实现nrm镜像源切换----nbsl

今天是母亲节祝全天的母亲节日快乐奥引言在复习Promise知识点时，发现Promise.race在实际开发中应用较少，于是深入思考了它的应用场景。最近使用nrm（npm镜像源切换工具）时，想到每次都需要手动切换镜像源来测试哪个更…...

编程日记 2025/7/20 9:11:31

Python基础语法（中）

顺序语句默认情况下，Python的代码执行顺序是从上往下执行的。形如下面这样的代码，执行的结果只能是123，而不是321 print(1) print(2) print(3) 条件语句 Python 中使用 if else 关键字表示条件语句 （1）if if e…...

编程日记 2025/7/15 3:57:41

【Part 2安卓原生360°VR播放器开发实战】第四节｜安卓VR播放器性能优化与设备适配

《VR 360全景视频开发》专栏将带你深入探索从全景视频制作到Unity眼镜端应用开发的全流程技术。专栏内容涵盖安卓原生VR播放器开发、Unity VR视频渲染与手势交互、360全景视频制作与优化，以及高分辨率视频性能优化等实战技巧。 📝 希望通过这个专栏&am…...

编程日记 2025/7/18 20:01:29

java笔记06

TreeMap的基本使用 TreeMapTreeMap 跟 TreeSet 底层原理一样，都是红黑树结构的。由键决定特性：不重复、无索引、可排序可排序：对键进行排序。注意：默认按照键的从小到大进行排序，也可以自己规定键的排序规则代码书写…...

编程日记 2025/7/20 10:02:07

Problem E: 实现冒泡排序（内存优化）

1.题目描述输入任意顺序的整数序列，输出结果为从小到大的排序结果 2.输入描述输入一个整数序列，整数之间用空格隔开，输入完最后一个整数，回车 3.输出描述从小到大的排序结果 4.样例提示：注意，主…...

编程日记 2025/7/18 1:12:24

大模型对时尚穿搭体验的革新与重塑

在大模型深度介入时尚穿搭领域后，人们的穿搭体验迎来了前所未有的变革。它不再局限于单纯提供搭配方案，而是全方位渗透进时尚穿搭的各个环节，从决策过程到实际穿着感受，都在悄然改变着人们与时尚互动的方式。打破信息壁垒&#…...

编程日记 2025/7/18 10:34:10

第6讲、全面拆解Encoder、Decoder内部模块

全面拆解 Transformer 架构：Encoder、Decoder 内部模块解析（附流程图小测验） 关键词：Transformer、Encoder、Decoder、Self-Attention、Masked Attention、位置编码、残差连接、多头注意力机制 Transformer 自 2017 年诞生以来&am…...

编程日记 2025/7/17 15:38:06

Linux电脑本机使用小皮面板集成环境开发调试WEB项目

开发调试WEB项目，有时开发环境配置繁琐，可以使用小皮面板集成环境。小皮面板官网： https://www.xp.cn/1.可以使用小皮面板安装脚本一键安装。登陆小皮面板管理后台 2.在“软件商店”使用LNMP一键部署集成环境。 3.添加网站，本…...

编程日记 2025/7/17 12:18:49

数据仓库Hive

1.数据仓库 1.1数据仓库的概念数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。面向主题。操作型数据库的数据组织面向事务处理任务，而数据仓库中的数据按照一定的…...

编程日记 2025/7/19 18:23:34

嵌入式学习笔记 - STM32 ADC，多重转换，内部参考电压，

一多个ADC器件，多重转换速率每个型号MCU通常由多个ADC器件，比如STM32F4有三个ADC器件，每个ADC器件有一个最大转换速率，一般为25Mhz，即一个ADC器件每秒最多转换25M次，两次转换之间需要有时间间隔&#xf…...

编程日记 2025/7/18 7:10:23

精读计算机体系结构基础第三章特权指令系统

3. 1 特权指令系统简介想象一下，计算机就像一个大楼，而这个大楼有很多不同的楼层。每个楼层都有不同的功能和使用者。最上面的楼层是应用层，那里住着各种各样的应用程序，比如你用来写作的文字处理软件、用来浏览网页的浏览器等等…...

编程日记 2025/7/17 4:05:14

库室多功能控制器

应急供电保障内置智能备电系统，市电中断时即刻无缝切换，为设备持续稳定供电，确保关键场景用电无忧。超高性价比集门禁、报警、环控等专业功能于一体，相比同类产品，以更优的价格提供更全面、更强大的解决方…...

编程日记 2025/7/22 2:11:55

使用FastAPI和React以及MongoDB构建全栈Web应用07 FastAPI实现经典三层架构

一、单文件简单实现 1.1 开发用户增删改查接口 main.py from fastapi import FastAPI, Request, Query, HTTPException from fastapi.responses import JSONResponse from motor.motor_asyncio import AsyncIOMotorClient from pydantic import BaseModel from bson import …...

编程日记 2025/7/15 16:31:30