当前位置：首页 > news >正文

038-flatbuffers

news 来源：原创 2025/9/7 4:00:51

flatbuffers

FlatBuffers技术调研报告

一、核心原理与优势

FlatBuffers通过内存直接访问技术实现零拷贝序列化，其核心优势如下：

内存布局：数据以连续二进制块存储，包含VTable（虚拟表）和Data Object（数据对象）。
零拷贝特性：接收端无需解析即可直接访问数据，性能比JSON快6-10倍。
向前兼容：Table结构支持字段动态扩展，新增字段需追加到末尾并指定ID。

二、C++实现流程与代码示例

数据定义（fbs文件）

// person.fbs 
table Person {name: string;age: int;friends: [Person];
}
root_type Person;

代码生成

flatc --cpp person.fbs

生成person_generated.h包含序列化接口。

3. 序列化实现

#include "person_generated.h"
#include <flatbuffers/flatbuffers.h>
#include <vector>
#include <fstream>int main() {flatbuffers::FlatBufferBuilder builder(1024);// 创建嵌套对象auto friend_name = builder.CreateString("Alice");auto friend_age = 30;auto friend_offset = CreatePerson(builder, friend_name, friend_age, 0);// 创建主对象auto name = builder.CreateString("Bob");auto age = 40;// 使用 CreateVector 方法创建向量std::vector<flatbuffers::Offset<Person>> friends = {friend_offset};auto friends_vec = builder.CreateVector(friends);auto root = CreatePerson(builder, name, age, friends_vec);// 构建最终缓冲区builder.Finish(root);auto buf = builder.GetBufferPointer();size_t size = builder.GetSize();// 保存到文件（可选）std::ofstream file("data.bin", std::ios::binary);file.write(reinterpret_cast<const char*>(buf), size);file.close(); return 0;
}
}

4. 反序列化实现

#include "person_generated.h"
#include <fstream>
#include <cstdio>int main() {// 读取二进制文件std::ifstream file("data.bin", std::ios::binary | std::ios::ate);if (!file.is_open()) {printf("Failed to open file.\n");return -1;}size_t size = file.tellg();char* buf = new char[size];file.seekg(0, std::ios::beg);file.read(buf, size);file.close();// 验证缓冲区flatbuffers::Verifier verifier(reinterpret_cast<const uint8_t*>(buf), size);if (!verifier.VerifyBuffer<Person>()) {delete[] buf;printf("Verification failed.\n");return -1;}// 直接访问数据const Person* person = GetPerson(buf);printf("Name: %s, Age: %d\n", person->name()->c_str(), person->age());// 遍历嵌套数据if (person->friends() != nullptr) {for (int i = 0; i < person->friends()->size(); ++i) {const Person* friend_person = person->friends()->Get(i);printf("Friend: %s\n", friend_person->name()->c_str());}}delete[] buf;return 0;
}

三、性能优化参数

1. 缓冲区管理

初始容量：FlatBufferBuilder(size_t)设置初始缓冲区大小，减少内存分配次数7
内存对齐：通过FLATBUFFERS_MAX_BUFFER_SIZE控制对齐粒度

2. 数据结构优化

字段ID：为每个字段分配唯一ID（如id: 1）确保兼容性4
向量化处理：使用CreateVector替代动态数组，预分配空间

3. 编译选项

flatc --gen-name-strings --gen-mutable --cpp person.fbs

--gen-name-strings：生成字段名称字符串（调试用）
--gen-mutable：允许修改已生成对象（谨慎使用）

四、典型应用场景

场景	优势体现	代码示例片段
网络通信	减少带宽消耗（比JSON小30%）	`SendBuffer(builder.GetBufferPointer())`
本地缓存	加载速度提升6-10倍	`FileCache::Load("config.bin")`
多线程数据共享	避免拷贝提升线程间通信效率	`std::shared_ptr<void> data = builder.Release();`

五、架构设计建议

1. 分层设计

+-------------------+
| 业务逻辑层         |
+-------------------+↓
+-------------------+
| FlatBuffers封装层 |
| - 序列化工厂      |
| - 反序列化解析器  |
+-------------------+↓
+-------------------+
| 网络/文件IO层     |
+-------------------+

2. 容错机制

// 数据校验
if (!person->Verify(verifier)) {LOG(ERROR) << "Invalid buffer format";return;
}// 版本兼容
if (person->has_deprecated_field()) {LOG(WARNING) << "Deprecated field detected";
}

六、性能对比测试

格式	序列化时间(ms)	反序列化时间(ms)	文件大小(KB)
FlatBuffers	0.23	0.18	15.7
JSON	1.25	0.98	42.3
ProtocolBuf	0.45	0.35	28.1

测试环境：Intel i7-10700K, 16GB RAM, 数据集包含1000个嵌套对象

完整代码

Github


作者	郑天佐
邮箱	zhengtianzuo06@163.com
主页	http://www.zhengtianzuo.com
github	https://github.com/zhengtianzuo

038-flatbuffers

flatbuffers FlatBuffers技术调研报告一、核心原理与优势 FlatBuffers通过内存直接访问技术实现零拷贝序列化，其核心优势如下： 内存布局：数据以连续二进制块存储，包含VTable（虚拟表）和Data Object&…...

编程日记 2025/9/7 4:00:51

探索 Go 与 Python：性能、适用场景与开发效率对比

1 性能对比：执行速度与资源占用 1.1 Go 的性能优势 Go 语言被设计为具有高效的执行速度和低资源占用。它编译后生成的是机器码，能够直接在硬件上运行，避免了 Python 解释执行的开销。以下是一个用 Go 实现的简单循环计算代码： …...

编程日记 2025/9/7 4:00:05

Pinia最基本用法

1. 定义 Store 首先，定义一个 Pinia Store，使用组合式 API 风格和 ref 来管理状态。示例：stores/ids.js import { defineStore } from pinia; import { ref } from vue;export const useIdsStore defineStore(ids, () > {const ids …...

编程日记 2025/9/5 7:39:20

MySQL中的UNION和UNION ALL【简单易懂】

一、前言 UNION 和 UNION ALL 是 SQL 中用于合并多个查询结果集的关键字。二、核心作用两者均用于将多个 SELECT 语句的结果集纵向合并（列结构需相同），但行为存在关键差异： 三、使用场景对比需要去重时：例如合并…...

编程日记 2025/9/3 20:34:00

ConcurrentHashMap 源码分析

摘要介绍线程安全集合类 ConcurrentHashMap 源码，包括扩容，协助扩容，红黑树节点读写线程同步，插入元素后累加键值对数量操作原子性实现。 1 成员变量及其对应的数据结构底层由数组红黑树链表实现volatile long baseCount 和 v…...

编程日记 2025/9/6 23:01:29

一种基于学习的多尺度方法及其在非弹性碰撞问题中的应用

A learning-based multiscale method and its application to inelastic impact problems 摘要： 我们在工程应用中观察和利用的材料宏观特性，源于电子、原子、缺陷、域等多尺度物理机制间复杂的相互作用。多尺度建模旨在通过利用固有的层次化结构来理解…...

编程日记 2025/9/4 0:23:19

【DE2-115】Verilog实现DDS+Quartus仿真波形

【DE2-115】Verilog实现DDSQuartus仿真波形一、任务要求二、实现步骤2.1 相位累加器2.2 波形存储器ROM2.2.1 方波模块2.2.2 正弦波形存储器 2.3 3锁相环倍频电路2.4 顶层电路设计三、设计实现四、实验总结一、任务要求采用数字频率合成（Direct Digital Frequen…...

编程日记 2025/9/4 19:59:15

StickyNotes，简单便签超实用

日常工作中是不是经常需要记点东西，但又不想用太复杂的工具？今天给你推荐一款超简单的桌面便签软件——StickyNotes。下面是动图： 简单到极致的便签工具 StickyNotes真的是简单到不能再简单了。打开软件，直接输入你的便签内容&a…...

编程日记 2025/8/29 10:11:43

深度探索 C 语言：指针与内存管理的精妙艺术

C 语言作为一门历史悠久且功能强大的编程语言，以其高效的性能和灵活的底层控制能力，在计算机科学领域占据着举足轻重的地位。指针和内存管理是 C 语言的核心特性，也是其最具挑战性和魅力的部分。深入理解指针与内存管理，不仅能够…...

编程日记 2025/8/28 0:38:41

重开也不是不可能 ~.~ 浅拷贝 #include <iostream> #include <cstring>class ShallowCopyExample { public:int m_nValue;int* m_pData;// 构造函数，初始化指针成员ShallowCopyExample(int value) : m_nValue(value) {m_pData new int(0);*m_pData va…...

编程日记 2025/9/4 3:09:23

【3】k8s集群管理系列--包应用管理器helm之chart资源打包并推送到harbor镜像仓库

一、chart资源打包 helm package ./web-chart # 当前目录会生成一个tgz的压缩文件二、安装help push插件（用于推送前面打包的文件，到镜像仓库） .1 下载help-push二进制文件 wget https://github.com/chartmuseum/helm-push/releases/down…...

编程日记 2025/9/5 4:01:20

React与Vue：选择哪个框架入门？

React与Vue：选择哪个框架入门？ 作为前端开发者，我在React和Vue两个框架间切换多次，常被新手问到应该从哪个入手。不同于网上那些详尽的技术比较，这里我想从实用角度给你一个简明对比。两大框架核心差异特性ReactV…...

编程日记 2025/8/29 20:52:21

pycharm已有python3.7，如何新增Run Configurations中的Python interpreter为python 3.9

在 PyCharm 中，如果你已经安装了 Python 3.9，并且希望在 Run Configurations 中新增一个 Python 3.9 的解释器，可以按照以下步骤操作： 步骤 1：打开 PyCharm 设置点击 PyCharm 左上角的 File 菜单。选择 Settings&am…...

编程日记 2025/9/5 3:22:57

STL之迭代器（iterator）

迭代器的基本概念迭代器(iterator)模式又称为游标(Cursor)模式，用于提供一种方法顺序访问一个聚合对象中各个元素, 而又不需暴露该对象的内部表示。或者这样说可能更容易理解：Iterator模式是运用于聚合对象的一种模式，通过运用该模式&#…...

编程日记 2025/9/2 12:58:19

Mysql5.7配置文件

Mysql5.7配置文件初始化数据库之前修改my.cnf----配置持久化键(persistence key) 初始化数据库之前修改my.cnf----配置持久化键(persistence key) 使用utf8mb4而不是utf8： https://blog.csdn.net/omaidb/article/details/106481406 https://blog.csdn.net/fdipzo…...

编程日记 2025/9/6 9:36:00

HarmonyOS-ArkUI V2装饰器: @Provider和@Consumer装饰器：跨组件层级双向同步

作用我们在之前学习的那些控件中，各有特点，也各有缺陷，至今没有痛痛快快的出现过真正能跨组件的双向绑定的装饰器。比如 @Local装饰器，不能跨组件@Param装饰器呢，能跨组件传递，但是仅仅就是下一层组件接收参数。另外，它是单向传递，不可被重新赋值。如果您非要改值则…...

编程日记 2025/8/29 12:00:43

【HarmonyOS 5】敏感信息本地存储详解

【HarmonyOS 5】敏感信息本地存储详解前言鸿蒙其实自身已经通过多层次的安全机制，确保用户敏感信息本地存储安全。不过再此基础上，用户敏感信息一般三方应用还需要再进行加密存储。本文章会从鸿蒙自身的安全机制进行展开，最后再说明本地…...

编程日记 2025/9/3 0:48:17

0x03.Redis 通常应用于哪些场景？

回答重点 1）缓存(Cache)： Redis 最常用的场景是作为缓存层，以减少数据库的负载，提高数据读取速度。例如，常用的用户会话数据和页面渲染结果可以存储在 Redis 中。2）分布式锁(Distributed Lock)： Redis 可以用作分布式锁的实现，确保在分布式系统中资源的安全访问，避免…...

编程日记 2025/9/6 8:01:50

Keil创建自定义的STM32标准库工程

注：以下工程创建将以STM32F103ZET6为例 1 下载需要的资料包 1.1 下载 Keil 的 STM32F103 芯片支持包 1.1.1 手动下载安装包 Keil官网：https://www.keil.com/ （1）进入官网，点击 Download。 （2&#xf…...

编程日记 2025/9/2 1:07:40

React(1)基础入门

React(1)基础入门 Author: Once Day Date: 2025年4月10日一位热衷于Linux学习和开发的菜鸟，试图谱写一场冒险之旅，也许终点只是一场白日梦… 漫漫长路，有人对你微笑过嘛… 全系列文章可参考专栏: FullStack开发_Once-Day的博客-CSDN博客 …...

编程日记 2025/9/2 8:56:12

Mysql8配置文件

Mysql8配置文件修改my.cnf----配置持久化键(persistence key)配置表名不区分大小写修改my.cnf----配置持久化键(persistence key) MySQL8初始化数据库之前配置好这些变量值，初始化数据库之后可能无法修改这个值。 # 服务端配置 [mysqld] ######## 数据目录和基…...

编程日记 2025/9/4 17:17:27

c/c++ 使用libgeotiff读取全球高程数据ETOPO

#include <geotiff.h> #include <geotiffio.h> #include <tiffio.h> #include <iostream> #include <xtiffio.h> void MyTIFFErrorHandler(const char* module, const char* fmt, va_list args) {// 格式化错误消息char buffer[1024];vsnprintf(…...

编程日记 2025/9/6 14:19:11

Spring Boot集成Nacos

1. 添加依赖在pom.xml文件中添加Nacos相关依赖。根据Spring Boot版本选择合适的依赖版本： Spring Boot 3.2.x版本 <dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-nacos-config</artif…...

编程日记 2025/9/4 7:04:27

CAP理论与 BASE理论

一、分布式系统存在的问题 1.分布式系统 20世纪90年代，随着互联网应用的快速扩张，传统单机系统难以支撑高并发、跨地域的数据处理需求。分布式系统（Distributed System） 逐渐成为主流架构，分布式系统是由多台计算机&…...

编程日记 2025/9/1 16:03:21

C++(21)—类和对象(下) ⑥匿名对象

文章目录一、匿名对象的定义与基本特性二、匿名对象与有名对象的对比1. 有名对象2. 匿名对象三、匿名对象的构造与析构时机1. 构造与析构规则2. 示例分析四、匿名对象的适用场景1. 临时调用对象方法2. 作为函数参数五、总结一、匿名对象的定义与基本特性匿名对象&#x…...

编程日记 2025/9/3 4:31:53

Go环境变量配置

Go环境变量配置一、下载进入The Go Programming Language 点击下载对应操作系统的安装成功界面如下图,默认安装到: usr/local/go/ 安装完成之后，在终端运行 go version，如果显示类似下面的信息，表明安装成功（备注:darwin(其实…...

编程日记 2025/8/27 1:22:04

AI推理强，思维模型也有功劳【58】二八定律思维

giszz的理解：二八定律，我们说的和听的都比较多。20%的关键，是事物本质，做人不要贪心，也不要胡子眉毛一把抓。当然，也不要轻视那80%。一、定义二八定律思维模型，也被称为帕累托法则&#xff0…...

编程日记 2025/9/4 19:25:45

文件上传靶场

文件上传靶场项目结构 upload-lab/ ├── Dockerfile └── www├── index.php└── upload└── flag.txt执行命令流程（逐行执行） 创建目录结构 # 创建目录结构 mkdir upload-lab;cd upload-lab mkdir -p www/upload# 创建flag文件 echo &qu…...

编程日记 2025/9/5 12:56:19

RV1106 OCR 识别算法

一题记目标是在某款 RV1106 低算力小板下跑通OCR文字识别算法，做个简单的应用，RK 官方模型库rk_model_zoo 有PP-OCR 的例子，但在 rv1106 上尚未支持。于是便打算折腾一吧。二方案甄选参考国外某大佬的比较： 对比了几种方案…...

编程日记 2025/9/5 8:55:25

Linux实现翻译以及群通信功能

1.翻译功能实现 UdpServer.hpp文件构造函数接收一个端口号和一个回调函数，回调函数是传入一个执行方法，比如翻译方法。 UdpServer(uint16_t port,func_t func):_sockfd(defaultfd),_port(port),_isrunning(false),_func(func){}Init函数首先创建了…...

编程日记 2025/9/6 16:33:23

[MRCTF2020]ezpop wp

本题考点:php反序列化的pop链首先来了解一下pop链是什么,它类似于多米诺骨牌一环套一环,要调用这个成员方法然后去找能调用这个方法的魔术方法,最后一环接一环,完成一个链子,最终形成payload。那么来了解一下这些魔术方法 __construct() //类的构造函数&#xff0…...

编程日记 2025/9/6 13:29:55

机器学习入门之Sklearn基本操作

、 Sklearn全称:Scipy-toolkit Learn是一个基于scipy实现的的开源机器学习库。它提供了大量的算法和工具，用于数据挖掘和数据分析，包括分类、回归、聚类等多种任务。本文我将带你了解并入门Sklearn在机器学习中的基本用法。获取方式 pip install sc…...

编程日记 2025/9/3 7:08:28

（二十二）安卓开发中的数据存储之SQLite简单使用

在Android开发中，SQLite是一种非常常用的数据库存储方式。它轻量、简单，非常适合移动设备上的数据管理。本文将通过通俗易懂的语言，结合代码示例和具体场景，详细讲解SQLite在Android中的使用。 1. 什么是SQLite? SQLite是一个开…...

编程日记 2025/9/5 7:41:34

docker compose搭建博客wordpress

一、前言 docker安装等入门知识见我之前的这篇文章 https://blog.csdn.net/m0_73118788/article/details/146986119?fromshareblogdetail&sharetypeblogdetail&sharerId146986119&sharereferPC&sharesourcem0_73118788&sharefromfrom_link 1.1 docker co…...

编程日记 2025/9/7 1:23:34

信息学奥赛一本通 1498：Roadblocks | 洛谷 P2865 [USACO06NOV] Roadblocks G

【题目链接】 ybt 1498：Roadblocks 洛谷 P2865 [USACO06NOV] Roadblocks G 【题目考点】 1. 图论：严格次短路径严格次短路的路径长度必须大于最短路的路径长度。非严格次短路的路径长度大于等于最短路的路径长度。【解题思路】每个交叉路口是一…...

编程日记 2025/9/3 11:20:31

学习笔记—C++—类和对象（三）

目录类和对象再探构造函数类型转换隐式类型转换显式类型转换 C语言风格类型转换 C风格类型转换 static_cast dynamic_cast const_cast reinterpret_cast static成员友元友元函数友元类友元成员函数内部类匿名对象匿名对象的使用场景：…...

编程日记 2025/9/6 20:08:59

句句翻译。

对这些单词整理，格式为：“overall /əʊvərɔːl/ adj.全面的,综合的,总体的adv.全部,总计,一般来说,大致上,总体上n.外套,罩衣,工装连衣裤,工装服 ” 4,4 A review published in January in Experimental Dermatology found that ceramide made sk…...

编程日记 2025/9/4 1:19:25

LeetCode 2999.统计强大整数的数目：上下界数位DP

【LetMeFly】2999.统计强大整数的数目：上下界数位DP 力扣题目链接：https://leetcode.cn/problems/count-the-number-of-powerful-integers/ 给你三个整数 start ，finish 和 limit 。同时给你一个下标从 0 开始的字符串 s ，表示一…...

编程日记 2025/9/3 8:26:20

具身导航中的视觉语言注意力蒸馏！Vi-LAD：实现动态环境中的社会意识机器人导航

作者：Mohamed Elnoor 1 ^{1} 1, Kasun Weerakoon 1 ^{1} 1, Gershom Seneviratne 1 ^{1} 1, Jing Liang 2 ^{2} 2, Vignesh Rajagopal 3 ^{3} 3, and Dinesh Manocha 1 , 2 ^{1,2} 1,2单位： 1 ^{1} 1马里兰大学帕克分校电气与计算机工程系， 2…...

编程日记 2025/9/3 4:09:58

FreeRTOS入门与工程实践-基于STM32F103(一)(单片机程序设计模式,FreeRTOS源码概述,内存管理,任务管理,同步互斥与通信,队列,信号量)

裸机程序设计模式裸机程序的设计模式可以分为：轮询、前后台、定时器驱动、基于状态机。前面三种方法都无法解决一个问题：假设有A、B两个都很耗时的函数，无法降低它们相互之间的影响。第4种方法可以解决这个问题，但是实践起来有难…...

编程日记 2025/9/3 9:32:56

算法思想之位运算(二)

欢迎拜访：雾里看山-CSDN博客本篇主题：算法思想之位运算(二) 发布时间：2025.4.13 隶属专栏：算法目录滑动窗口算法介绍六大基础位运算符常用模板总结例题判定字符是否唯一题目链接题目描述算法思路代码实现汉明距离题目链接题目…...

编程日记 2025/9/4 18:00:33

软考笔记day04

寻址方式 CISC RISC 流水线技术存储系统 1、层次化存储系统 2、Cache 3、主存编址计算输入输出技术 I/O 总线...

编程日记 2025/9/3 6:22:38

本地电脑如何连接windows云服务器

进行远程连接需要几个数据：用户名、密码、公网IP 打开本地cmd，输入命令mstsc打开远程连接面板， 在计算机输入框中输入云服务器的IP地址点击“选项”展开，点击“本地资源”，然后点击“详细信息” 用户名通常为admin…...

编程日记 2025/9/4 15:01:45

Linux内核常见的调度策略

在 Linux 内核中，调度策略决定了任务如何被分配 CPU 时间以及任务之间的优先级关系。以下是五种常见的调度策略：STOP、DL（Deadline）、RT（Real-Time）、CFS（Completely Fair Scheduler&#xff09…...

编程日记 2025/9/6 21:49:44

【Linux】进程优先级、进程切换、进程调度

Linux 1.进程优先级1.基本概念2.查看进程1.UID2.PRI、NI3.修改优先级（PRI） 3.竞争、独立、并行、并发 2.进程切换3.进程调度1.活动队列2.过期队列3.active、expired指针 1.进程优先级 1.基本概念优先级：进程得到 CPU 资源分配的先后顺序。优…...

编程日记 2025/9/6 19:27:54