当前位置：首页 > news >正文

存储系统03——数据缓冲evBuffer

news 来源：原创 2025/7/19 9:56:40

存储系统03——数据缓冲evBuffer

数据缓冲evBuffer
- 分段存储
- 零拷贝
- 线程安全
evbuffer 实例——存储系统事件触发

数据缓冲evBuffer

evbuffer 是 Libevent 提供的一个高效内存缓冲区管理工具，用于存储和操作数据。它类似于一个动态增长的字节缓冲区，支持多种操作，如添加、移除、读取和写入数据；在多线程环境中，evbuffer 的操作是线程安全的。

分段存储

evbuffer 内部使用链表结构存储数据，可以根据需要动态扩展和收缩内存空间；这使得它能够高效地处理不同大小的文件，而无需预先分配固定大小的缓冲区。

避免了直接使用套接字传输时，需要的手动管理缓冲区、大文件手动分段

零拷贝

evbuffer 提供了零拷贝操作，如evbuffer_add_file()，可以直接将文件内容添加到缓冲区，而无需先将文件内容读取到内存中，这样可以显著减少内存占用和拷贝操作，提高传输效率。

避免了直接使用套接字传输时，需要将文件内容先读取到内存缓冲区中，再写入套接字；这会增加不必要的内存拷贝操作，降低传输效率。

线程安全

evbuffer 的操作是线程安全的。

evbuffer 实例——存储系统事件触发

用户在浏览器中触发了某些功能后，事件触发并调用回调函数GenHandler()，根据读取到的不同URL请求，回调函数执行对应的业务；
以Download为例：

static void GenHandler(struct evhttp_request *req, void *arg)
{std::string path = evhttp_uri_get_path(evhttp_request_get_evhttp_uri(req));path = UrlDecode(path);// 根据请求中的内容判断是什么请求// 这里是下载请求if (path.find("/download/") != std::string::npos){Download(req, arg);}else{evhttp_send_reply(req, HTTP_NOTFOUND, "Not Found", NULL);}
}

当读取到的业务为Download时，evbuffer 被用于处理 HTTP 文件下载请求；
下载代码逻辑为：

从 HTTP 请求中提取资源路径，并进行 URL 解码

// 1. 获取客户端请求的资源路径path   req.path
std::string resource_path = evhttp_uri_get_path(evhttp_request_get_evhttp_uri(req)); // 从请求的 URI 中提取路径部分           
resource_path = UrlDecode(resource_path); // 对路径进行 URL 解码

根据资源路径查询文件的存储信息

// 2. 根据资源路径，获取StorageInfo
StorageInfo info;
data_->GetOneByURL(resource_path, &info); // 根据资源路径获取文件的存储信息std::string download_path = info.storage_path_; // 获取文件的实际存储路径

将文件内容添加到 HTTP 响应中

// 3. 读取文件数据，放入 rsp.body 中
evbuffer *outbuf = evhttp_request_get_output_buffer(req); // 获取 HTTP 请求的输出缓冲区 evbuffer
int fd = open(download_path.c_str(), O_RDONLY);
// 使用零拷贝机制将文件放入输出缓冲区
evbuffer_add_file(outbuf, fd, 0, fu.FileSize()) // 将文件内容添加到输出缓冲区 outbuf

设置相应的 HTTP 头部字段，回传文件

// 4. 设置响应头部字段： ETag， Accept-Ranges: bytes
evhttp_add_header(req->output_headers, "Accept-Ranges", "bytes");
evhttp_add_header(req->output_headers, "ETag", GetETag(info).c_str());
evhttp_add_header(req->output_headers, "Content-Type", "application/octet-stream");evhttp_send_reply(req, HTTP_OK, "Success", NULL);

存储系统03——数据缓冲evBuffer

存储系统03——数据缓冲evBuffer 数据缓冲evBuffer分段存储零拷贝线程安全 evbuffer 实例——存储系统事件触发数据缓冲evBuffer evbuffer 是 Libevent 提供的一个高效内存缓冲区管理工具，用于存储和操作数据。它类似于一个动态增长的字节缓冲区，支持多…...

编程日记 2025/7/19 9:56:40

留给王小川的时间不多了

王小川，这位头顶“天才少年”光环的清华学霸、搜狗输入法创始人、中国互联网初代技术偶像，正迎来人生中最难啃的硬骨头。他在2023年创立的百川智能，被称为“大模型六小虎”之一。今年4月，王小川在全员信中罕见地反思过去两年工作…...

编程日记 2025/7/19 9:31:14

Python海龟绘图-斗地主

#导入库 import random as r import turtle as t #数据 pk[红心A,红心2,红心3,红心4,红心5,红心6,红心7,红心8, 红心9,红心10,红心J,红心Q,红心K,黑桃A,黑桃2,黑桃3,黑桃4,黑桃5,黑桃6,黑桃7,黑桃8, 黑桃9,黑桃10,黑桃J, 黑桃Q,黑桃K,方块A,方块2,方块3,方块4,方块5,方块6,方块…...

编程日记 2025/7/17 10:09:50

一、内存调优

一、内存调优什么是内存泄漏监控Java内存的常用工具内存泄露的常见场景内存泄露的解决方案内存泄露与内存溢出的区别内存泄露：在Java中如果不再使用一个对象，但是该对象依然在GC ROOT的引用链上，这个对象就不会被垃圾回收器回收&…...

编程日记 2025/7/17 1:27:24

机器学习--特征工程具体案例

一、数据集介绍 sklearn库中的玩具数据集，葡萄酒数据集。在前两次发布的内容《机器学习基础中》有介绍。 1.1葡萄酒列标签名： wine.feature_names 结果： [alcohol, malic_acid, ash, alcalinity_of_ash, magnesium, total_phenols, flavanoi…...

编程日记 2025/7/17 12:33:40

Java-List集合类全面解析

Java-List集合类全面解析前言一、List接口概述与核心特性1.1 List在集合框架中的位置1.2 List的核心特性1.3 常见实现类对比二、ArrayList源码剖析与应用场景2.1 内部结构与初始化2.2 动态扩容机制2.3 性能特点与最佳实践三、LinkedList 源码剖析与应用场景3.1 内部结构与节…...

编程日记 2025/7/19 9:52:08

在Cursor中启用WebStorm/IntelliJ风格快捷键

在Cursor中启用WebStorm/IntelliJ风格快捷键方法一：使用预置快捷键方案打开快捷键设置 Windows/Linux: Ctrl K → Ctrl SmacOS: ⌘ K → ⌘ S 搜索预设方案在搜索框中输入keyboard shortcuts，选择Preferences: Open Keyboard Shortcuts (JSON) …...

编程日记 2025/7/17 5:36:20

32、跨平台咒语—— React Native初探

一、时空晶体架构（核心原理） 1. 量子组件桥接协议 // 原生组件映射 <View> → iOS UIView / Android ViewGroup <Text> → UILabel / TextView 魔法特性： • JavaScriptCore引擎：通过V8/Hermes引擎执行JS逻辑…...

编程日记 2025/7/1 11:59:07

无源探头衰减比与带宽特性的关联性研究

引言在电子测量领域，无源探头作为示波器的重要附件，其性能参数直接影响测量结果的准确性。本文将从电路设计原理出发，深入分析衰减比与带宽这两个关键参数的相互关系，帮助工程师正确理解并选择适合的测量探头。技术原理分析 …...

编程日记 2025/7/1 11:59:06

虚拟机的三个核心类加载器

虚拟机的三个核心类加载器在Java虚拟机（JVM）中，类加载器（ClassLoader）负责将类的字节码加载到内存中，并生成对应的Class对象。以下是三个核心类加载器的详细说明： 1. 启动类加载器（Bootstrap ClassLoader）职责：加载Java核心类库（如java.lang、java.util等），位…...

编程日记 2025/7/1 11:59:04

国家互联网信息办公室关于发布第十一批深度合成服务算法备案信息的公告

wenz 根据《互联网信息服务深度合成管理规定》，现公开发布第十一批境内深度合成服务算法备案信息，具体信息可通过互联网信息服务算法备案系统（https://beian.cac.gov.cn）进行查询。任何单位或个人如有疑议，请发送邮件…...

编程日记 2025/7/1 11:59:02

深入理解动态规划：从斐波那契数列到最优子结构

引言动态规划(Dynamic Programming, DP)是算法设计中一种非常重要的思想，广泛应用于解决各类优化问题。许多看似复杂的问题，通过动态规划的视角分析，往往能找到高效的解决方案。本文将系统介绍动态规划的核心概念，通过经典案例展…...

编程日记 2025/7/17 21:17:46

AT 指令详解：基于 MCU 的通信控制实战指南AT 指令详解

在 MCU（单片机）项目中，我们经常需要与各种通信模组（GSM、Wi-Fi、蓝牙等）交互。而这类模组通常都通过串口（UART）与 MCU 通信，控制它们的“语言”就是——AT 指令。一、什么是 AT 指…...

编程日记 2025/7/16 17:13:41

初学c语言16（内存函数）

1.memcpy 形式： 功能：完成内存块拷贝（所以可拷贝任何类型的数据） 过程：从source开始拷贝num个字节的数据到destination指向的空间里返回值：返回目标空间的起始地址应用： 模拟实现&#xf…...

编程日记 2025/7/1 11:58:57

【git进阶】git rebase（变基）

文章目录合并分支提交信息修改合并提交记录时间问题1时间问题2时间问题3git rebase有很多用武之地，我一一道来合并分支当多人协作同一个分支时，在提交我们自己版本之前，我们会先用git pull获取远端最新的版本。但是 git pull = git fetch + git mergegit merge是一个非…...

编程日记 2025/7/17 11:31:01

Pytorch---view()函数

在PyTorch中，view函数是一个极为重要的张量操作函数，其主要功能是对张量的形状进行重塑，与此同时会尽力维持张量中元素的总数不变。 1. 基本功能与语法 view函数的主要作用是改变张量的维度和大小，不过要保证重塑前后张量的元素…...

编程日记 2025/7/17 1:27:15

AI Agent开发第71课-一个完善的可落地企业AI Agent全架构

开篇在之前的若干篇章里我们大量叙述了DIFY AI工作流、重排序、提示词重写、文档chunk、AI翻页、各种高级RAG应用以及AI Agent案例甚至全代码的输出。目的，就是为了帮助大家认识到这么一件事，那就是：当前AI主要还是在被叫好却不卖座，很多人（包括我身边的太多大厂）去…...

编程日记 2025/7/17 15:41:52

Prompt、Agent、MCP关系

AI基础概念概述链接: https://www.bilibili.com/video/BV1aeLqzUE6L?t419.4 Agent（智能体）：智能体是能够执行特定任务的程序或实体，它可以根据环境变化调整自身行为。 MCP（多通道协议）：MCP是…...

编程日记 2025/7/17 19:59:12

人工智能100问☞第27问：神经网络与贝叶斯网络的关系？

神经网络与贝叶斯网络是两种互补的智能模型：神经网络通过多层非线性变换从数据中学习复杂模式，擅长大规模特征提取和预测，而贝叶斯网络基于概率推理建模变量间的条件依赖关系，擅长处理不确定性和因果推断。两者的融合（如贝叶斯神经网络）结合了深度学习的表征能力与概率建…...

编程日记 2025/7/17 10:39:49

Vue-样式绑定-style

样式绑定-style 对象写法数组写法对象写法 :style"{fontSize: x}", x是动态值 （{fontSize: x}是样式对象） 代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><title>…...

编程日记 2025/7/18 13:59:39

Python60日基础学习打卡D30

回顾： 导入官方库的三种手段导入自定义库/模块的方式导入库/模块的核心逻辑：找到根目录（python解释器的目录和终端的目录不一致） # 直接导入 from random import randint print(randint(1, 10)) # 导入自定义库 import module m…...

编程日记 2025/7/17 8:01:14

el-upload图片设置了url不显示问题

引用：可以使用Image组件测试url是否可以用此时不显示图片，因为打印后提示图片加载失败此时图片显示使用的base64的格式。但要注意在生成的base64码前要加上data:image/png;base64的内容才可以赋值给url...

编程日记 2025/7/18 18:56:44

学习黑客PowerShell的历史、架构与工作原理深度解析

PowerShell的历史、架构与工作原理深度解析 🔍 作者: 海尔辛 | 发布时间: 2025-05-19 12:28:44 UTC 1. PowerShell的历史演变 📜 🔹 诞生背景与起源 PowerShell的诞生源于微软解决Windows管理工具碎片化问题的需求。在PowerShell出现之前…...

编程日记 2025/7/17 13:05:24

视觉-和-语言导航的综述：任务、方法和未来方向

22年6月来自UC Santa Cruz、澳大利亚的阿德莱德大学和 USC 的论文“Vision-and-Language Navigation: A Survey of Tasks, Methods, and Future Directions”。人工智能研究的一个长期目标是构建能够用自然语言与人类交流、感知环境并执行现实世界任务的智体。视觉与语言导航…...

编程日记 2025/7/1 11:58:40

ReadWriteLock 代码示例： package com.yw.rw;import java.util.HashMap; import java.util.Map; import java.util.concurrent.locks.ReentrantReadWriteLock;public class ReadWriteDemo {public static void main(String[] args) {MyCache myCache new MyCache…...

编程日记 2025/7/17 15:59:46

day 21 常见降维算法

一、无监督降维定义：这类算法在降维过程中不使用任何关于数据样本的标签信息（比如类别标签、目标值等）。它们仅仅根据数据点本身的分布、方差、相关性、局部结构等特性来寻找低维表示。输入：只有特征矩阵 X。目标&#xff1a…...

编程日记 2025/7/18 23:13:31

代理IP高可用性与稳定性方案：负载均衡、节点健康监测与智能切换策略

一、负载均衡策略：动态分配与场景适配多算法协同调度轮询与加权轮询：适用于定时数据采集等低频任务，通过静态IP池按顺序分配请求，避免单一节点过载。例如，静态IP池可支持电商商品价格监控，按固定周期切换…...

编程日记 2025/7/1 11:58:35

C语言：在操作系统中，链表有什么应用？

在操作系统中，链表是一种重要的数据结构，凭借其灵活的内存管理和高效的插入/删除特性，被广泛应用于多个核心模块。以下是其主要应用场景及详细说明： 1. 内存管理：空闲内存块管理应用场景：操作系统需要管…...

编程日记 2025/7/1 11:58:33

RocketMQ

一、引言 Message Queue（消息队列），从字⾯上理解：⾸先它是⼀个队列。FIFO先进先出的数据结构——队列。消息队列就是所谓的存放消息的队列。消息队列解决的不是存放消息的队列的⽬的，解决的是通信问题。 …...

编程日记 2025/7/1 11:58:32

学习BI---QuickBI介绍

BI是什么 BI 数据仓库（存数据） OLAP（多维分析） 数据挖掘（找规律） 可视化（图表/看板） 人话解释就是把企业里乱七八糟的数据变成老板能看懂的报告，帮他们做更聪明的决…...

编程日记 2025/7/19 8:44:41

【数据结构】AVL树的实现

文章目录 1. AVL 的概念2. AVL 树的实现2.1 AVL 树的结构2.2 AVL 树的插入2.2.1 AVL 树插入一个值的大致过程2.2.2 平衡因子更新 2.3 旋转2.3.1 旋转的原则2.3.2 右单旋2.3.3 左单旋2.3.4 左右双旋2.3.5 右左双选 2.4 AVL 树的查找2.5 AVL 树平衡检测 1. AVL 的概念 AVL树是最…...

编程日记 2025/7/18 16:56:14

基于Zynq SDK的LWIP UDP组播开发实战指南

一、为什么选择LWIP组播？在工业控制、智能安防、物联网等领域，一对多的高效数据传输需求日益增长。Zynq-7000系列SoC凭借其ARM+FPGA的独特架构，结合LWIP轻量级网络协议栈，成为嵌入式网络开发的理想选择。本文将带您实现： LWIP组播配置全流程动态组播组切换技术零拷贝数据…...

编程日记 2025/7/19 4:35:24

【esp32 控制台】-命令

文章目录 1 esp32控制台简介2 控制台命令编程2.1 控制台配置交互设备初始化控制台初始化等待命令输入 2.2 命令实现2.2.1 命令注册踩坑记录 1 esp32控制台简介可以通过idf.py monitor调出idf的控制台，结束控制台用ctrl ]。 esp32的控制台就像linux中的shell一样…...

编程日记 2025/7/17 20:24:52

DApp开发全流程解析：模式设计、功能参考与合约管理实践

DApp开发全流程解析：模式设计、功能参考与合约管理实践引言：Web3.0时代的DApp开发范式随着区块链技术的成熟，DApp（去中心化应用）已成为Web3.0生态的核心载体。截至2025年，全球DApp数量突破10万&#xf…...

编程日记 2025/7/1 14:17:34

I/O多路复用：poll与epoll

一、select/poll与epoll对比核心区别特性select/pollepoll内核数据结构数组（线性结构）红黑树（存储监听的fd）内存拷贝每次调用需将fd列表从用户态拷贝到内核态仅在注册fd时拷贝一次（epoll_ctl）内核事件检…...

编程日记 2025/7/17 20:14:54

【调制识别】PGD攻击中参数的含义

在PGD（Projected Gradient Descent）对抗攻击中，代码如下： # 定义PGD对抗样本生成类 class AttackPGD(nn.Module): def __init__(self, model, config):super(AttackPGD, self).__init__()self.model model …...

编程日记 2025/7/1 14:17:29

设备数据看板助力自动化工厂实现生产智能精细化管理

工厂数字化转型需要实现自动化设备生产现场可视化、设备系统间的互联互通，以及数据的智能决策。然而，当前许多制造企业仍面临着传统单机设备同质化严重、数字化服务能力不足、售后成本高企、系统集成效率低下等挑战。企业如何通过自动化装备看板和实时数…...

编程日记 2025/7/18 23:28:54

单点登录是是什么？具体流程是什么？

SSO⼀般都需要⼀个独⽴的认证中⼼（passport），⼦系统的登录均得通过passport，⼦系统本⾝将不参与登录操作，当⼀个系统成功登录以后，passport将会颁发⼀个令牌给各个⼦系统，⼦系统可以拿着令牌会获…...

编程日记 2025/7/1 14:17:25

什么业务需要用到waf

Web应用防火墙（Web Application Firewall，简称WAF）主要用于保护Web应用程序免受各种网络攻击，以下是需要用到WAF的业务类型及具体场景： 一、电子商务业务业务特点：涉及用户注册、登录、支付等敏感操作&a…...

编程日记 2025/7/1 14:17:23

java中的Servlet4.x详解

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站 Servlet 4.x 是 Java EE 8（现 Jakarta EE）规范的一部分，于 2017 年正式发布。作为 Servlet 技术的重大更…...

编程日记 2025/7/19 1:08:52

## Docker 中 Elasticsearch 启动失败：日志文件权限问题排查与解决

好的，这是一份关于你遇到的 Docker Elasticsearch 启动报错问题的笔记，包含问题描述、我的分析判断以及最终的解决方案，适合用于整理成文章。 Docker 中 Elasticsearch 启动失败：日志文件权限问题排查与解决在使用 Docker部署 E…...

编程日记 2025/7/18 13:59:08

JavaScript：PC端特效--缓动动画

一、缓动效果原理缓动动画就是让元素运动速度有所变化，最常见的就是让元素慢慢停下来思路： 让盒子每次移动的距离慢慢变小，速度就会慢慢降下来核心算法：（目标值-现在位置）/10作为每次移动距离的步长停…...

编程日记 2025/7/1 14:17:16

【深度学习新浪潮】什么是多模态大模型？

多模态大模型是人工智能领域的前沿技术方向，它融合了多种数据模态（如文本、图像、语音、视频、传感器数据等），并通过大规模参数模型实现跨模态的联合理解与生成。简单来说，这类模型就像人类一样，能同时“看”“听”“读”“说”，并将不同信息关联起来，完成复杂任务。 …...

编程日记 2025/7/18 1:18:58

C++23 std::mdspan：多维数组处理新利器

文章目录引言C23简介std::mdspan的定义与特点定义特点 std::mdspan的优势零成本抽象的多维数据访问减少内存开销提高代码灵活性 std::mdspan的应用场景科学计算图形学相关提案示例代码使用动态扩展使用静态和动态扩展总结引言在C的发展历程中，每一个新版本都带…...

编程日记 2025/7/1 14:17:11

09、底层注解-@Import导入组件

09、底层注解-Import导入组件 Import是Spring框架中的一个注解，用于将组件导入到Spring的应用上下文中。以下是Import注解的详细介绍： #### 基本用法 - **导入配置类** java Configuration public class MainConfig { // 配置内容 } Configuration Impo…...

编程日记 2025/7/18 12:12:19

码蹄集——N是什么、棋盘

MT1223 N是什么给定一系列数字3、10、21、36…，输入正整数N，输出上述序列的第N个值。从N1开始计数。格式输入格式：输入正整数N 输出格式：输出整型样例 1 输入：5 输出：55 备注：N小于…...

编程日记 2025/7/18 1:28:10

C++中聚合类（Aggregate Class）知识详解和注意事项

一、聚合类（Aggregate Class）概念聚合（Aggregate） 是 C 中一类特殊的类类型，无用户自定义构造函数、无私有或受保护非静态数据成员、无虚函数、无基类（C11 起基类必须也是聚合且无私有/受保护成员&#x…...

编程日记 2025/7/1 14:17:04

python打卡day30

模块和库的导入知识点回顾： 导入官方库的三种手段导入自定义库/模块的方式导入库/模块的核心逻辑：找到根目录（python解释器的目录和终端的目录不一致） 作业：自己新建几个不同路径文件尝试下如何导入 python的学习就像…...

编程日记 2025/7/18 1:19:23

PostGIS实现栅格数据导出图片标准格式【ST_AsGDALRaster】

ST_AsGDALRaster 函数应用详解：将栅格数据导出为标准图片格式 [文章目录] 一、函数概述二、函数参数详解三、关键功能示例四、GDAL 选项配置指南五、性能优化建议六、注意事项与限制七、应用场景八、总结一、函数概述 ST_AsGDALRaster是PostGIS中…...

编程日记 2025/7/17 22:07:43

4.6 sys模块

sys --- 仅作了解面试之前冲击一下 python的垃圾回收机制 import sys # 1. api_version : 获取python的内部版本号 print(sys.api_version) #1013 # 2. copyright: 获取cpython的版本 print(sys.copyright) #3.getfilesystemencoding() getdefaultencoding():获…...

编程日记 2025/7/19 1:08:53

存储系统03——数据缓冲evBuffer

数据缓冲evBuffer

分段存储

零拷贝

线程安全

evbuffer 实例——存储系统事件触发

相关文章：