当前位置：首页 > news >正文

【大语言模型_8】vllm启动的模型通过fastapi封装增加api-key验证

news 来源：原创 2025/8/4 12:13:52

背景：

vllm推理框架启动模型不具备api-key验证。需借助fastapi可以实现该功能

代码实现：

rom fastapi import FastAPI, Header, HTTPException, Request,Response
import httpx
import logging# 创建 FastAPI 应用
app = FastAPI()
logging.basicConfig(level=logging.DEBUG)
# 配置 vLLM 的服务地址
VLLM_BASE_URL = "http://localhost:25010"# 定义合法的 API Key 列表（可以根据需要扩展为数据库或配置文件）
VALID_API_KEYS = {"zml_123456789", "zml_1234567890"}# 中间件：验证 API Key
# 验证 API Key
async def verify_api_key(authorization: str = Header(None)):# 打印接收到的 Authorization 字段logging.debug(f"Received Authorization header: {authorization}")# 检查 Authorization 是否存在且以 "Bearer " 开头if not authorization or not isinstance(authorization, str) or not authorization.startswith("Bearer "):raise HTTPException(status_code=403, detail="Invalid Authorization Header")# 提取 API Keytry:api_key = authorization.split(" ")[1]  # 提取 "Bearer " 后的部分except IndexError:raise HTTPException(status_code=403, detail="Malformed Authorization Header")# 验证 API Key 是否合法if api_key not in VALID_API_KEYS:raise HTTPException(status_code=403, detail="Invalid API Key")# 代理路由：转发请求到 vLLM
@app.api_route("/{path:path}", methods=["GET", "POST", "PUT", "DELETE"])
async def proxy(request: Request, path: str, authorization: str = Header(None)):# 验证 API Keylogging.debug(f"Received request with path: {path}")logging.debug(f"Received headers: {request.headers}")await verify_api_key(authorization)# 构造转发的目标 URLtarget_url = f"{VLLM_BASE_URL}/{path}"# 获取请求体和查询参数body = await request.body()query_params = request.query_params# 使用 httpx 转发请求async with httpx.AsyncClient() as client:# 根据请求方法转发response = await client.request(method=request.method,url=target_url,params=query_params,data=body,headers={key: value for key, value in request.headers.items() if key != "host"})# 返回 vLLM 的响应return Response(content=response.content, status_code=response.status_code, headers=dict(response.headers))

三、启动

uvicorn my_fastapi:app  --host=0.0.0.0 --port=12345
# my_fastapi 为脚本名称

通过访问fastapi提供的12345即可实现改功能

【大语言模型_8】vllm启动的模型通过fastapi封装增加api-key验证

背景： vllm推理框架启动模型不具备api-key验证。需借助fastapi可以实现该功能代码实现： rom fastapi import FastAPI, Header, HTTPException, Request,Response import httpx import logging# 创建 FastAPI 应用 app FastAPI() logging.basicConfig(…...

编程日记 2025/8/4 12:13:52

hadoop-HDFS操作

1. 使用的是hadoop的用户登录到系统，那么 cd ~ 是跳转到/home/hadoop下。 2. 在操作hdfs时，需要在hadoop用户下的/usr/local/hadoop，此时是在根目录下。 cd /usr/local/hadoop或者cd / cd usr/local/hadoop 3. 回到Linux的操作目录我们把…...

编程日记 2025/7/29 5:00:40

Mysql 安装教程和Workbench的安装教程以及workbench的菜单栏汉化

Mysql 安装教程和Workbench的安装教程详细请参考我的文件 Mysql 安装教程和Workbench的安装教程或者下载我的资源Mysql 安装教程和Workbench的安装教程汉化菜单英文版菜单文件：下载链接汉化版菜单文件：下载链接默认情况下，安…...

编程日记 2025/8/4 12:13:51

失物招领|校园失物招领系统|基于Springboot的校园失物招领系统设计与实现(源码+数据库+文档)

校园失物招领系统目录目录基于Springboot的校园失物招领系统设计与实现一、前言二、系统功能设计三、系统实现 1、管理员功能实现 (1) 失物招领管理 (2) 寻物启事管理 (3) 公告管理 (4) 公告类型管理 2、用户功能实现 (1) 失物招领 (2) 寻物启事 (3) 公告 …...

编程日记 2025/7/28 1:00:48

一条不太简单的TEX学习之路

目录 rule raisebox \includegraphics newenviro 、\vspace \stretch \setlength 解释： 总结： 、\linespread newcommand \par 小四 \small simple 、mutiput画网格解释： 图案解释： xetex pdelatex etc index 报…...

编程日记 2025/7/29 12:20:18

如何为AI开发选择合适的服务器？

选择适合的服务器可以为您的AI项目带来更高的效率，确保最佳性能、可扩展性和可靠性，从而实现无缝的开发与部署。选择适合的AI开发服务器可能并不容易。您需要一台能够处理大量计算和大型数据集的服务器，同时它还需要符合您的预算并易于管理…...

编程日记 2025/8/4 12:12:59

doris:审计日志

Doris 提供了对于数据库操作的审计能力，可以记录用户对数据库的登陆、查询、修改操作。在 Doris 中，可以直接通过内置系统表查询审计日志，也可以直接查看 Doris 的审计日志文件。开启审计日志通过全局变量 enable_audit_plugin 可以随时…...

编程日记 2025/8/4 12:12:57

CSS中的transition与渐变

目录一、CSS transition 1. 核心属性简写语法 2. 子属性详解 2.1 transition-property 2.2 transition-duration 2.3 transition-timing-function 2.4 transition-delay 3. 使用场景示例 3.1 悬停效果（Hover） 3.2 展开/收起动画 3.3 动态移…...

编程日记 2025/7/31 1:32:06

AI + 医疗 Qwq大模型离线本地应用

通义千问Qwq-32b-FP16可用于社区医院、乡镇卫生院、诊所等小型医疗机构，替代专业合理用药系统，作为药品知识库，实现以下功能： 药品信息智能查询：检索药品的详细说明书、适应症、禁忌症、不良反应及药物相互作用等关键信…...

编程日记 2025/7/27 9:33:59

大数据环境搭建

目录一：虚拟机:VirtualBox 二：Shell工具:MobaXterm 三：安装脚本四：JDK和Hadoop 4.1：安装 4.2：启动 4.3：Hadoop可视化访问 4.4：关机一：虚拟机:VirtualBox Virt…...

编程日记 2025/7/27 9:26:36

七天免登录为什么不能用seesion，客户端的http请求自动携带cookei的机制（比较重要）涉及HTTP规范

如果是七天免登录,和session肯定没关系,因为session不能持久化,主要是客户端一旦关闭,seesion就失效了/// 所以必须是能持久化的，这就清晰了，要莫在的服务器保存，要摸在客户端设置 cook机制 1. 使用Cookie实现七天免登录前端（登…...

编程日记 2025/7/31 1:32:06

从PGC到AIGC：海螺AI多模态内容生成系统的技术革命

一、内容生产的范式迁移：从PGC到AIGC的进化之路在数字内容生产的历史长河中，人类经历了三次重大范式转变：专业生成内容（PGC）的工业化生产、用户生成内容（UGC）的全民创作浪潮，以及当…...

编程日记 2025/8/4 12:13:52

常考计算机操作系统面试习题（三上）

目录 1. 为何要引入与设备的无关性？如何实现设备的独立性？ 2. 页面置换先进先出算法 3. 页面置换先进先出算法，4个页框 4. 进程优先级调度算法 5. 短作业优先调度策略 6. 平均内存访问时间计算 7. 页式存储和段式存储的物理地址计算 …...

编程日记 2025/8/3 15:20:28

数据结构之双向链表-初始化链表-头插法-遍历链表-获取尾部结点-尾插法-指定位置插入-删除节点-释放链表——完整代码

数据结构之双向链表-初始化链表-头插法-遍历链表-获取尾部结点-尾插法-指定位置插入-删除节点-释放链表——完整代码 #include <stdio.h> #include <stdlib.h>typedef int ElemType;typedef struct node{ElemType data;struct node *next, *prev; }Node;//初化链表…...

编程日记 2025/8/4 12:12:58

一键部署 GPU Kind 集群，体验 vLLM 极速推理

随着 Kubernetes 在大模型训练和推理领域的广泛应用，越来越多的开发者需要在本地环境中搭建支持 GPU 的 Kubernetes 集群，以便进行测试和开发。大家都知道，本地搭建 Kubernetes 集群通常可以使用 Kind（Kubernetes IN Docker&#…...

编程日记 2025/8/4 12:13:26

C/C++蓝桥杯算法真题打卡（Day6）

一、P8615 [蓝桥杯 2014 国 C] 拼接平方数 - 洛谷方法一：算法代码（字符串分割法） #include<bits/stdc.h> // 包含标准库中的所有头文件，方便编程 using namespace std; // 使用标准命名空间，避免每次调用…...

编程日记 2025/8/4 12:03:15

【C++】入门

1.命名空间 1.1 namespace的价值在C/C中，变量，函数和后面要学到的类都是大量存在的，这些变量，函数和类的名称将存在于全局作用域中，可能会导致很多冲突。使用命名空间的目的是对标识符的名称进行本地化，…...

编程日记 2025/8/2 13:41:17

CUDA 学习(2)——CUDA 介绍

GeForce 256 是英伟达 1999 年开发的第一个 GPU，最初用作显示器上渲染高端图形，只用于像素计算。在早期，OpenGL 和 DirectX 等图形 API 是与 GPU 唯一的交互方式。后来，人们意识到 GPU 除了用于渲染图形图像外，还可以…...

编程日记 2025/8/4 12:04:57

构建自定义MCP天气服务器：集成Claude for Desktop与实时天气数据

构建自定义MCP天气服务器：集成Claude for Desktop与实时天气数据概述本文将指导开发者构建一个MCP（Model Control Protocol）天气服务器，通过暴露get-alerts和get-forecast工具，为Claude for Desktop等客户端提供实时天气数据支持。该方案解决了传统LLM无法直接获取天气…...

编程日记 2025/8/3 11:08:50

[Lc_2 二叉树dfs] 布尔二叉树的值 | 根节点到叶节点数字之和 | 二叉树剪枝

目录 1.计算布尔二叉树的值题解 2.求根节点到叶节点数字之和 3. 二叉树剪枝题解 1.计算布尔二叉树的值链接：2331. 计算布尔二叉树的值给你一棵完整二叉树的根，这棵树有以下特征： 叶子节点要么值为 0 要么值为 1 ，其…...

编程日记 2025/7/30 4:43:37

搜广推校招面经五十六

字节推荐算法一、Attention的复杂度是多少？ 见【搜广推校招面经三十八】二、如何对普适性强的物品（如新华字典）设计指标进行降权 2.1. 问题背景普适性强的物品（如新华字典）在推荐系统或搜索排序中可能频繁出现…...

编程日记 2025/8/1 5:43:57

ZYNQ的cache原理与一致性操作

在Xilinx Zynq SoC中，Cache管理是确保处理器与外部设备（如FPGA逻辑、DMA控制器）之间数据一致性的关键。Zynq的ARM Cortex-A9处理器包含L1 Cache（指令/数据）和L2 Cache，其刷新（Flush/Invalidate&…...

编程日记 2025/8/4 12:10:57

安装React开发者工具

我们在说组件之前，需要先安装一下React官方推出的开发者工具，首先我们分享在线安装方式首先打开谷歌网上应用商店(针对谷歌浏览器)，在输入框内搜索react，安装如下插件： 注意安装提供方为Facebook的插件，这…...

编程日记 2025/7/27 17:08:21

多层感知机

多层感知机（Multilayer Perceptron，简称 MLP）是一种基于前馈神经网络（Feedforward Neural Network）的深度学习模型，由多个神经元层组成，每一层与前一层全连接。它包括至少一个隐藏层&#xff08…...

编程日记 2025/8/1 8:38:06

2025年渗透测试面试题总结- PingCAP安全工程师（题目+回答）

网络安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录 PingCAP安全工程师一、SQL注入判断数据库类型技术分析 1. 常规判断方法 2. 盲注场景下的判断 3. 补…...

编程日记 2025/8/4 12:10:36

CAD模型导入Geant4

CADMesh是一个开源项目，专门用于将STL格式的CAD模型导入Geant4。以下是使用CADMesh操作STL模型的步骤： 准备工作下载CADMesh开源代码：可以从GitHub或Gitee下载CADMesh的开源代码。将CAD模型转换为STL格式：在CAD软件中创建几何…...

编程日记 2025/8/3 10:43:02

DeepSORT 目标追踪算法详解

DeepSORT（Deep Simple Online and Realtime Tracking）是多目标追踪（MOT） 领域的经典算法，通过结合目标检测、运动预测和外观特征匹配，实现了高效、稳定的实时追踪。其核心思想是通过检测驱动追踪&#xf…...

编程日记 2025/7/31 10:23:37

mne溯源后的数据初步处理方法

文章目录导入库 Yeo2011_7Networks_N1000绘制一些圆球来代表区域大小和强度单网络绘制和扩展的方式AI补充一下背景知识📚 **背景与研究来源**🧠 **7 个功能网络的定义**📂 **标签数据获取**🔍 **标签文件内容解析**&#x1f6e0…...

编程日记 2025/8/3 16:18:53

基于STM32进行FFT滤波并计算插值DA输出

文章目录一、前言背景二、项目构思1. 确定FFT点数、采样率、采样点数2. 双缓存设计三、代码实现1. STM32CubeMX配置和HAL库初始化2. 核心代码四、效果展示和后话五、项目联想与扩展1. 倍频2. 降频3. 插值3.1 线性插值3.2 样条插值一、前言背景 STM32 对 AD 采样信号进行快…...

编程日记 2025/8/3 9:44:54

【用 Trace读源码】PlanAgent 执行流程

前提条件在 Trae 中打开 OpenManus 工程，使用 build 模式，模型选择 claude-sonnet-3.7 提示词分析 agent/planning.py 中 main 方法及相关类的执行流程，以流程图的方式展示PlanningAgent 执行流程图以下流程图展示了 PlanningAgent 类…...

编程日记 2025/7/29 8:48:26

AI代码编辑器：Cursor和Trae

Cursor 定义：Cursor 是一款基于AI的代码编辑器，它继承了VS Code的核心功能，并在此基础上增加了深度AI支持。它支持代码生成、优化、重构以及调试等功能，提供直观的Diff视图和自动补全功能，是一款功能强大的编程工具。…...

编程日记 2025/8/3 15:11:43

LSM-Tree（Log-Structured Merge-Tree）详解

1. 什么是 LSM-Tree？ LSM-Tree（Log-Structured Merge-Tree）是一种针对写优化的存储结构，广泛用于 NoSQL 数据库（如 LevelDB、RocksDB、HBase、Cassandra）等系统。它的核心思想是：写入时只追加写（Append-Only），将数据先写入内存缓冲区（MemTable）。内存数据满后…...

编程日记 2025/7/30 8:11:20

介绍一个测试boostrap表格插件的好网站！

最近在开发一个物业管理系统。用到bootstrap的表格插件bootstrap table，官方地址： https://bootstrap-table.com/ 因为是英文界面，对国人不是很友好。后来发现了IT小书童网站 IT小书童 - 为程序员提供优质教程和文档网站： IT…...

编程日记 2025/8/4 4:56:52

虚拟路由与单页应用（SPA）：详解

在单页应用（SPA，Single Page Application）中，虚拟路由（也称为前端路由）是一种关键的技术，用于管理页面导航和状态变化，而无需重新加载整个页面。为了帮助你更好地理解这一概念&#…...

编程日记 2025/7/31 18:47:00

基于树莓派3B+的人脸识别实践：Python与C联合开发

基于树莓派3B的人脸识别实践：Python与C联合开发引言树莓派因其小巧的体积和丰富的扩展性，成为嵌入式开发的理想平台。本文将分享如何通过Python与C语言联合开发，在树莓派3B上实现从硬件控制、摄像头拍照到百度API人脸比对的完整流程。项目…...

编程日记 2025/7/28 7:46:05

尝试使用Tauri2+Django+React项目（2）

前言尝试使用tauri2DjangoReact的项目-CSDN博客https://blog.csdn.net/qq_63401240/article/details/146403103在前面笔者不知道怎么做，搞了半天笔者看到官网，原来可以使用二进制文件，好好好嵌入外部二进制文件 | Taurihttps://v2.taur…...

编程日记 2025/8/3 1:23:32

Qt桌面客户端跨平台开发实例

在Windows平台上，桌面客户端软件通常使用C/C语言和Qt跨平台开发框架进行开发。因此，大部分代码可以运行于不同平台环境，但是程序运行依赖的三方库以及代码中一些平台相关的头文件和接口需要进行平台兼容。本文以windows桌面端应用迁移到Linux…...

编程日记 2025/8/1 8:33:24

c++进阶之------红黑树

一、概念红黑树（Red-Black Tree）是一种自平衡二叉查找树，它在计算机科学的许多领域中都有广泛应用，比如Java中的TreeMap和C中的set/map等数据结构的底层实现。红黑树通过在每个节点上增加一个颜色属性（红色或黑色&am…...

编程日记 2025/7/31 16:14:46

政安晨【超级AI工作流】—— 使用Dify通过工作流对接ComfyUI实现多工作流协同

政安晨的个人主页：政安晨欢迎 👍点赞✍评论⭐收藏希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提出指正！ 目录一、准备工作 Dify跑起来 ollama局域网化配置 Dify配置并验证启动ComfyUI 二、…...

编程日记 2025/7/31 20:48:23

javaweb开发以及部署

先说一个阿里云学生无门槛免费领一年2核4g服务器的方法： 阿里云服务器学生无门槛免费领一年2核4g_阿里云学生认证免费服务器-CSDN博客 Java Web开发是使用Java编程语言开发Web应用程序的过程，通常涵盖了使用Java EE（Java Enterprise Edition…...

编程日记 2025/7/29 4:56:15

树莓派5介绍与系统安装

简介 Raspberry Pi 5采用运行频率为2.4GHz的64位四核Arm Cortex-A76处理器，与Raspberry Pi 4相比， CPU性能提高了2至3倍。此外，它还配备了一个800MHz的VideoCore VII GPU，可以提供大幅度的图形性能提升，通过HDMI实现…...

编程日记 2025/8/1 5:34:19

菜鸟之路Day25一一前端工程化（二）

菜鸟之路Day25一一前端工程化（二） 作者：blue 时间：2025.3.19 文章目录菜鸟之路Day25一一前端工程化（二）1.概述2.Element快速入门3.综合案例一.布局二.组件三.Axios异步加载数据1. 生命周期钩子概述2. mo…...

编程日记 2025/8/2 22:46:56

vue如何获取 sessionStorage的值,获取token

// 使用Axios发送请求并处理下载 import axios from axios;const handleDownload () > {const params {warehouseId: selectedWarehouseId.value};const apiUrl /api/materials/wmMatCheck/export-wmMatCheckDetail;axios.get(apiUrl, {params,responseType: blob, // 接…...

编程日记 2025/8/4 1:21:49

图解AUTOSAR_CP_DiagnosticLogAndTrace

AUTOSAR 诊断日志和跟踪(DLT)模块详解 AUTOSAR 经典平台中的诊断和调试关键组件目录 1. 概述2. DLT模块架构 2.1 模块位置2.2 内部组件2.3 接口定义 3. DLT操作流程 3.1 初始化流程3.2 日志和跟踪消息处理3.3 控制命令处理 4. 数据结构与配置模型 4.1 配置类4.2 消息格式4.3 …...

编程日记 2025/7/30 4:40:42

微调实战 - 使用 Unsloth 微调 QwQ 32B 4bit （单卡4090）

本文参考视频教程：赋范课堂 – 只需20G显存，QwQ-32B高效微调实战！4大微调工具精讲！知识灌注问答风格微调，DeepSeek R1类推理模型微调Cot数据集创建实战打造定制大模型！ https://www.bilibili.com/video/BV1…...

编程日记 2025/7/31 4:57:43

金仓KESV8R6任务调度

基本概念 • 程序（program） 程序对象描述调度器要运行的内容。 • 调度计划（schedule） 调度计划对象指定作业何时运行以及运行多少次。调度计划可以被多个作业共享。 • 作业（job） 作业就是用户定义的…...

编程日记 2025/8/3 23:58:21

Maven常见问题汇总

Maven刷新,本地仓库无法更新现象 This failure was cached in the local repository and resolution is not reattempted until the update interval of aliyunmaven has elapsed or updates are forced原因因为上一次尝试下载，发现对应的仓库没有这个maven配置…...

编程日记 2025/7/29 20:35:55

颠覆者的困局：解构周鸿祎商业哲学中的“永恒战争”

引言：被误解的破坏者在北京海淀区知春路银谷大厦的某间会议室里，周鸿祎用马克笔在白板上画出一个巨大的爆炸图案——这是2010年360与腾讯开战前夜的战术推演场景。这个充满硝烟味的瞬间，恰是《颠覆者》精神内核的完美隐喻：在中国…...

编程日记 2025/7/31 13:58:04

基于ChatGPT、GIS与Python机器学习的地质灾害风险评估、易发性分析、信息化建库及灾后重建高级实践

第一章、ChatGPT、DeepSeek大语言模型提示词与地质灾害基础及平台介绍【基础实践篇】 1、什么是大模型？ 大模型（Large Language Model, LLM）是一种基于深度学习技术的大规模自然语言处理模型。代表性大模型：GPT-4、BERT、T5、Ch…...

编程日记 2025/7/28 10:36:22

如何实现单点登录？

单点登录（Single Sign-On, SSO）是一种身份验证机制，允许用户在多个应用系统中只登录一次，就能够访问所有受保护的系统或服务，而无需重复登录。SSO通过集中式认证来简化用户的登录体验，提高安全性，并减少管理复杂性。一、原理 SSO的核心原理是通过一个认证中心（Ident…...

编程日记 2025/7/31 9:43:57

相关文章：