当前位置：首页 > news >正文

小米自研vela系统kvdb数据库的使用（一）

news 来源：原创 2025/7/19 8:17:27

KVDB数据库介绍

- - KVDB 数据库详细介绍
  - - KVDB 的基本原理
  - KVDB 的应用场景
  - - 1. 缓存系统
    - 2. 配置管理
    - 3. 会话存储与用户状态管理
    - 4. 实时数据处理
    - 5. 日志记录与事件存储
    - 6. 分布式存储
  - KVDB 的作用
  - KVDB 数据库的典型实现
  - - 1. LevelDB
    - 2. RocksDB
    - 3. LMDB (Lightning Memory-Mapped Database)
    - 4.UnQLite（重点讲述，也是小米自研系统使用的数据库类型）
  - KVDB 调用方式
  - - 1. 安装 UnQLite
    - 2. UnQLite 使用示例
  - 3. 常用功能说明
  - 4. 嵌入式应用中的 UnQLite
- 嵌入式场景kvdb数据库的使用（二）

KVDB 数据库详细介绍

KVDB（Key-Value Database，键值数据库）是一种使用键（Key）和对应的值（Value）来存储数据的数据库。它是 NoSQL 数据库的一种简单而高效的类型，以键值对的形式来存储数据，适合用于高速读写和处理简单查询的场景。KVDB 通常非常轻量，性能高，扩展性强，尤其在分布式系统中具有重要的应用。

KVDB 最常见的实现有 LevelDB、RocksDB、LMDB 、UnQLite等。

小米自研的操作系统vela就是使用的kvdb数据库，具体使用的是UnQLite这种嵌入式轻量数据库，见vela服务与框架中的通用框架KVDB
在这里插入图片描述

KVDB 的基本原理

键（Key）：每个数据项都有一个唯一的键（通常是一个字符串或整数），用来标识该项数据。
值（Value）：与每个键相关联的数据项，可以是任何类型的数据，如字符串、数字、JSON 数据、二进制数据等。

KVDB 数据库的设计原则是极简和高效，它为键值对的插入、删除和查找操作提供了高性能支持。常见的 KVDB 实现如 LevelDB，通常支持对数据进行持久化存储，但它也能高效地进行内存中的数据操作，提供快速的读写速度。

KVDB 的应用场景

KVDB 数据库通常用于以下场景：

1. 缓存系统

KVDB 由于其高性能的读取和写入操作，广泛用于缓存系统中。它能够提供快速的数据访问，减少数据库的负载，并加快应用的响应速度。例如，Redis 就是一种广泛使用的键值存储系统。

场景实例：在 web 应用中，可以将用户的会话信息、频繁访问的数据缓存到 KVDB 数据库中，从而提升系统性能。

2. 配置管理

KVDB 被广泛用于存储和管理应用的配置。由于 KVDB 的简单和高效，很多系统会将配置信息（如 API 密钥、数据库连接信息、应用设置等）存储为键值对。

场景实例：微服务架构中的配置中心，利用 KVDB 存储和管理服务的配置信息，便于快速加载和修改配置。

3. 会话存储与用户状态管理

KVDB 也非常适用于存储临时的用户数据，如会话信息和临时状态。常常被用在需要快速读取和写入的应用中，比如 Web 应用中的用户会话管理。

场景实例：在用户登录的情况下，使用 KVDB 存储用户的会话信息，并根据会话的键值进行验证和获取用户数据。

4. 实时数据处理

KVDB 可以存储实时生成的海量数据，并进行快速检索。在处理高频率、低延迟的实时数据时，KVDB 系统可以提供极好的性能。

场景实例：在物联网 (IoT) 环境中，用 KVDB 存储传感器采集到的实时数据，进行快速查询和处理。

5. 日志记录与事件存储

KVDB 的高性能特性使其适合用于存储应用的日志信息，尤其是那些需要快速写入和检索的日志数据。

场景实例：将事件日志数据按时间戳存储为键值对，方便后续的检索和分析。

6. 分布式存储

很多现代 KVDB 数据库（如 RocksDB）被设计为分布式系统的一部分，支持大规模的数据存储和快速访问。在云原生架构和分布式系统中，KVDB 被用于存储分布式数据和状态信息。

场景实例：在 Kubernetes 或其他分布式环境中，使用 KVDB 存储节点的状态信息和元数据。

KVDB 的作用

高性能：KVDB 的设计通常针对高效的读写操作，支持快速插入、删除和查询数据，适合需要低延迟的应用。
简单易用：KVDB 使用键值对的存储方式，数据模型简单易懂，易于使用和维护。
灵活性高：KVDB 的值可以是任意格式的数据，不限于字符串和数字，因此它具有很高的灵活性，适用于多种数据存储需求。
扩展性：许多 KVDB 实现支持水平扩展，能够适应大规模的数据存储需求。对于分布式 KVDB，多个节点可以协同工作，形成一个高效的集群。
数据持久化：大多数 KVDB 提供数据持久化功能，即使系统重启后数据依然能够保持不丢失，确保了数据的持久性。

KVDB 数据库的典型实现

1. LevelDB

LevelDB 是 Google 开发的一个高性能、嵌入式的键值数据库。它在许多应用中得到广泛使用，特别是在需要嵌入式存储的情况下。LevelDB 具有非常高的写入性能和低延迟的查询性能。

特点：

基于 Log-Structured Merge Tree（LSM Tree）结构，适合写密集型应用。
高性能的存储和读取能力，特别适合嵌入式设备或单一应用。
数据存储为 SSTable 文件格式，支持持久化存储。

2. RocksDB

RocksDB 是 Facebook 开发的一个高性能、嵌入式键值数据库，基于 LevelDB 构建，进行了优化。RocksDB 在支持大规模数据和高并发写入方面表现尤为突出。

特点：

优化的写入性能和查询速度，支持大规模数据存储。
支持高并发的读写操作，适合大数据量和高频访问场景。
支持数据压缩和索引，能够有效管理存储空间。
提供灵活的事务机制。

3. LMDB (Lightning Memory-Mapped Database)

LMDB 是一个内存映射的键值数据库，它提供极高的性能，特别适用于存储读取密集型数据。它在嵌入式设备和低资源系统中表现出色。

特点：

高效的内存映射文件存储机制。
支持高并发读取和事务性写入。
数据一致性高，支持 ACID 事务。
适合在资源有限的环境中使用。

4.UnQLite（重点讲述，也是小米自研系统使用的数据库类型）

UnQLite 是一个轻量级的嵌入式 NoSQL 数据库，它结合了键值存储和文档存储的特点，支持嵌入式应用，具有高效、易用、内存占用低等特点，适用于资源受限的嵌入式设备。它支持对 JSON 数据进行存储和操作，并且不依赖外部服务器。

KVDB 调用方式

下面以 UnQLite 为例，简要介绍如何在代码中使用 KVDB 数据库。

1. 安装 UnQLite

安装方法（Linux 示例）
从官网或 GitHub 获取源码：

官网下载地址：http://unqlite.org/
GitHub 地址：https://github.com/symisc/unqlite
编译安装（如果你使用的是 Linux 系统）：

git clone https://github.com/symisc/unqlite.git
cd unqlite
make
sudo make install

这样就可以在系统中安装好 UnQLite。
Windows 或其他平台
对于 Windows 和其他平台，你可以参考 UnQLite 官方文档，下载预编译的二进制文件，或者从源码进行编译。

2. UnQLite 使用示例

创建数据库
首先我们需要一个 C 程序来演示如何使用 UnQLite 创建数据库、插入数据、读取数据，并关闭数据库。

头文件和库链接
确保在编译时链接 unqlite 库文件。你需要包含 unqlite.h 头文件并链接 libunqlite.so（Linux）或 libunqlite.a（Windows）。

代码示例
以下是一个简单的示例，展示了如何使用 UnQLite 创建数据库、插入键值对、查询数据并关闭数据库。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "unqlite.h"// 数据库文件名
#define DB_PATH "test.db"int main() {// 定义数据库指针unqlite *db;// 打开数据库，如果数据库不存在则创建int rc = unqlite_open(&db, DB_PATH, UNQLITE_OPEN_CREATE);if (rc != UNQLITE_OK) {printf("Failed to open database: %d\n", rc);return -1;}// 插入键值对数据const char *key = "name";const char *value = "John Doe";rc = unqlite_kv_store(db, key, strlen(key), value, strlen(value));if (rc != UNQLITE_OK) {printf("Failed to insert data: %d\n", rc);unqlite_close(db);return -1;}// 读取存储的数据char retrieved_value[100];int retrieved_len = sizeof(retrieved_value);rc = unqlite_kv_fetch(db, key, strlen(key), retrieved_value, &retrieved_len);if (rc != UNQLITE_OK) {printf("Failed to fetch data: %d\n", rc);unqlite_close(db);return -1;}// 输出读取到的数据printf("Retrieved value: %.*s\n", retrieved_len, retrieved_value);// 关闭数据库unqlite_close(db);return 0;
}

代码解析
unqlite_open()：打开数据库。如果数据库文件不存在，且指定了 UNQLITE_OPEN_CREATE 参数，它会创建一个新的数据库文件。
unqlite_kv_store()：向数据库插入一对键值数据。在这里，key 是 “name”，value 是 “John Doe”。
unqlite_kv_fetch()：从数据库中获取指定键（key）对应的值。读取后，retrieved_value 存储了获取的数据。
unqlite_close()：关闭数据库，释放相关资源

编译和运行
假设你已经正确安装了 UnQLite 库，使用以下命令编译和运行该程序：

gcc -o unqlite_example unqlite_example.c -lunqlite
./unqlite_example

输出

Retrieved value: John Doe

3. 常用功能说明

创建数据库
使用 unqlite_open() 打开数据库，如果数据库文件不存在，则会自动创建一个新的数据库

int unqlite_open(unqlite **ppDb, const char *zDbName, int flags);

插入数据（键值存储）
通过 unqlite_kv_store() 插入数据。

int unqlite_kv_store(unqlite *pDb, const void *pKey, int nKeyLen, const void *pData, int nDataLen);

pKey：键的指针。
nKeyLen：键的长度。
pData：值的指针。
nDataLen：值的长度。

读取数据
通过 unqlite_kv_fetch() 读取数据。

int unqlite_kv_fetch(unqlite *pDb, const void *pKey, int nKeyLen, void *pData, int *pDataLen);

pKey：键的指针。
nKeyLen：键的长度。
pData：存储读取数据的缓冲区。
pDataLen：输出参数，存储实际读取的值的长度。

删除数据
通过 unqlite_kv_delete() 删除数据。

int unqlite_kv_delete(unqlite *pDb, const void *pKey, int nKeyLen);

关闭数据库
使用 unqlite_close() 关闭数据库连接并释放资源。

void unqlite_close(unqlite *pDb);

4. 嵌入式应用中的 UnQLite

UnQLite 适用于以下场景：

嵌入式设备：由于它非常轻量，因此特别适合嵌入式应用，如 IoT 设备、智能家居等。
内存受限的设备：UnQLite 可以在内存限制较大的设备上运行，并且能够将数据存储在磁盘上，减少内存占用。
键值对存储：适合存储如设备配置、日志数据等简单的键值对数据。
文档存储：也可以用于存储 JSON 格式的数据，适用于需要存储和查询半结构化数据的应用。

嵌入式场景kvdb数据库的使用（二）

小米自研vela系统kvdb数据库的使用（一）

KVDB数据库介绍 KVDB 数据库详细介绍KVDB 的基本原理 KVDB 的应用场景1. 缓存系统2. 配置管理3. 会话存储与用户状态管理4. 实时数据处理5. 日志记录与事件存储6. 分布式存储 KVDB 的作用KVDB 数据库的典型实现1. LevelDB2. RocksDB3. LMDB (Lightning Memory-Mapped Database)…...

编程日记 2025/7/19 8:17:27

Python 中的 `iter` 函数

因为在jax的代码接触了这个函数，不是很熟悉，每次看见名字只知道是迭代但是不知道是怎么迭代，因此写下以下笔记提醒自己。 def iter(source, sentinelNone): # known special case of iter"""iter(iterable) -> iteratorit…...

编程日记 2025/7/19 7:56:03

【AIGC】电话录音转文字实践：基于Google Cloud Speech-to-Text-v1的技术方案Python

引言在当今数字化时代，将语音内容转换为文字已经成为一个非常重要的技术需求。无论是客服通话记录、会议纪要，还是电话采访内容，高效准确的语音转文字服务都能大大提升工作效率。本文将详细介绍如何利用Google Cloud Speech-to-Text服务实现…...

编程日记 2025/7/18 18:29:17

《AI赋能自由职业：开启竞争力提升新征程》

在当今数字化时代，AI技术为自由职业者带来了前所未有的机遇，使其能够在激烈的市场竞争中脱颖而出。以下是自由职业者借助AI提升自身竞争力的几种方法。利用AI优化工作流程，提高效率自动化任务处理：自由职业者可以借助自动化工具…...

编程日记 2025/7/19 7:40:09

学习vue3的笔记

一、vue和react的对比 1、基础介绍 vue：https://cn.vuejs.org/ vue3是2020年创建的 react：https://react.dev/ react是一个2013年开源的JavaScript库，严格意义上来说不是一个框架 2、diff算法两个框架采用的都是同级对比策略两节点对…...

编程日记 2025/7/19 8:00:53

为什么要用ZGC

一、为什么要用 ZGC 问题我们有个“智慧园区”的项目,我们的下游系统“交叉带”[硬件系统]要求我们服务 60ms内返回结果，并且可用性要达到 99.99%。当时使用的是 G1垃圾回收器，单次 Young GC 40ms，一分钟10次，接口平均响应时间…...

编程日记 2025/7/18 23:59:34

rm误删掉的文件夹/文件如何恢复

Linux环境rm不小心误删掉文件/文件夹如何安全恢复，推荐tool：ext4magic(ext4 or ext3)，大家如果遇到误删的，希望可以帮到你。误删了，最好要保留现场，如果能umout当前分区最好，不要在当前磁盘分…...

编程日记 2025/7/15 17:10:39

uniapp - 小程序实现摄像头拍照 + 水印绘制 + 反转摄像头 + 拍之前显示时间+地点 + 图片上传到阿里云服务器

前言 uniapp，碰到新需求，反转摄像头，需要在打卡的时候对上传图片加上水印，拍照前就显示当前时间日期地点，拍摄后在呈现刚才拍摄的图加上水印，最好还需要将图片上传到阿里云。声明水印部分代码是借鉴的…...

编程日记 2025/7/14 19:06:33

南方电网场景中 Agent 的智慧赋能与创新实践（15/30）

一、南方电网的数字化变革浪潮在当今时代，能源领域正经历着深刻的变革，南方电网作为我国电力供应的重要支柱，面临着诸多挑战与机遇。随着经济的快速发展，用电需求持续攀升，电力负荷峰谷差日益增大，给电网的…...

编程日记 2025/7/14 13:05:02

rk3399增加新分区和计算规则

如果想要添加一个新的分区，例如添加名为"userdata"的分区，大小为，除了预留6G的system文件系统根目录分区（我这里是rootfs分区），剩下的空间全部给userdata。需要首先确定这个分区的起始地址。这个…...

编程日记 2025/7/19 4:18:37

风力涡轮机缺陷检测数据集，86.6％准确识别率，11921张图片，支持yolo，PASICAL VOC XML，COCO JSON格式的标注

风力涡轮机缺陷检测数据集，86.6％准确识别率，11921张图片，支持yolo，PASICAL VOC XML，COCO JSON格式的标注数据集下载 yolov11： https://download.csdn.net/download/pbymw8iwm/90206849 yolov…...

编程日记 2025/7/13 20:46:50

计算机网络-L2TP VPN基础实验配置

一、概述上次大概了解了L2TP的基本原理和使用场景，今天来模拟一个小实验，使用Ensp的网卡桥接到本地电脑试下L2TP拨号，今天主要使用标准的L2TP，其实在这个基础上可以加上IPSec进行加密，提高安全性。网络拓扑拓扑说明…...

编程日记 2025/7/14 8:11:51

QT集成IntelRealSense双目摄像头2，集成OpenGL

上一篇文章写了如何把IntelRealSense摄像头的SDK集成到QT项目，并成功采集数据，在没有用OpenCV的情况下完成色彩数据，以及深度数据的显示。具体地址：https://blog.csdn.net/qujia121qu/article/details/144734163 本次主要写如何…...

编程日记 2025/7/15 3:57:25

MySQL数据库——索引结构之B+树

本文先介绍数据结构中树的演化过程，之后介绍为什么MySQL数据库选择了B树作为索引结构。文章目录树的演化为什么其他树结构不行？为什么不使用二叉查找树（BST）？为什么不使用平衡二叉树（AVL树）&a…...

编程日记 2025/7/18 21:04:47

基于SpringBoot+Vue的旅游推荐系统

作者：计算机学姐开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码精品专栏：…...

编程日记 2025/7/14 8:50:06

HTML——20 自定义属性

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>自定义属性</title></head><body><a href"https://ai.m.taobao.com" 自定义属性"属性值">淘宝网</a><a href"h…...

编程日记 2025/7/15 1:30:04

Java Day1回顾简介-----变量命名规则

Java 简介、开发环境配置菜鸟教程编译运行 javac HelloWorld.java java HelloWorld Hello World public class HelloWorld {public static void main(String[] args) {System.out.println("Hello World");} }JAVA基础语法类、对象、方法、实例、变量对象&a…...

编程日记 2025/7/16 14:20:32

【Rust自学】8.2. Vector + Enum的应用

8.2.0. 本章内容第八章主要讲的是Rust中常见的集合。Rust中提供了很多集合类型的数据结构，这些集合可以包含很多值。但是第八章所讲的集合与数组和元组有所不同。第八章中的集合是存储在堆内存上而非栈内存上的，这也意味着这些集合的数据大小无需在编…...

编程日记 2025/7/19 7:12:39

机器算法之逻辑回归(Logistic Regression)详解

一、什么是逻辑回归？ 逻辑回归并不是传统意义上的回归分析，而是一种用于处理二分类问题的线性模型。它通过计算样本属于某一类别的概率来进行分类，尽管名字中有“回归”二字，但它实际上是一种分类算法。简单来说，逻辑…...

编程日记 2025/7/15 20:05:15

UE5材质节点VertexNormalWs/PixelNormalWS

VertexNormalWs顶点法线方向，此节点可以做物体上积雪、青苔等效果 PixelNormalWS像素法线方向...

编程日记 2025/6/30 22:39:59

NPM组件包 vant部分版本内嵌挖矿代码

Vant 是一个轻量、可定制的移动端组件库，于 2017 年开源。目前 Vant 官方提供了 Vue 2 版本、Vue 3 版本和微信小程序版本，并由社区团队维护 React 版本和支付宝小程序版本。 Vant 2 版本：https://vant-ui.github.io/vant/v2/#/zh-CN/home V…...

编程日记 2025/7/15 14:27:33

通过 Ansys Electronics Desktop 中的高级仿真优化 IC 设计

半导体行业继续通过日益复杂的集成电路 (IC) 设计突破技术界限。随着工艺节点缩小和电路密度达到前所未有的水平，电磁效应对设备性能和可靠性变得越来越重要。现代 IC 设计面临着来自复杂的布局相关耦合机制、信号完整性问题和功率分布问题的挑战，这些问…...

编程日记 2025/7/14 8:00:39

【Android】application@label 属性属性冲突报错

错误记录 What went wrong: Execution failed for task :app:processDebugMainManifest. > Manifest merger failed : Attribute applicationlabel value(string/app_name) from AndroidManifest.xml:8:9-41is also present at [:abslibrary] AndroidManifest.xml:25:9-47 v…...

编程日记 2025/7/16 12:43:40