【Redis】键值对数据库实现
目录
- 1、背景
- 2、五种基本数据类型对应底层实现
- 3、redis数据结构
1、背景
redis是一个（key-value）键值对数据库，其中value可以是五大基本数据类型：string、list、hash、set、zset，这五大基本数据类型对应着不同的底层结构，接下来就来讲解一下redis如何存储这些数据类型的。
2、五种基本数据类型对应底层实现
| redis数据结构 | 旧版本（≤3.0）底层实现 | 新版本（≥3.2+）底层实现 | 说明 |
|---|---|---|---|
| string | 简单动态字符串（SDS） | 简单动态字符串（SDS） | SDS是二进制安全的动态字符串，支持高效追加和预分配 |
| list | 双向链表（LinkedList）或压缩列表（Ziplist） | 快速列表（Quicklist） | 新版本统一用Quicklist（双向链表 + Ziplist的混合结构），平衡内存和访问效率 |
| hash | 压缩列表（Ziplist）或哈希表（Hashtable） | Ziplist或Hashtable，优化阈值 | 新版本调整了Ziplist转hashtable的阈值（如hash-max-ziplist-entries等配置） |
| set | 整数集合（Intset）或哈希表（Hashtable） | Intset或Hashable，优化阈值 | 新版本优化了Intset的升级策略（如元素类型超出int16时自动转Hashtable） |
| zset | 压缩列表（Ziplist）或跳跃表（SkipList）+ 哈希表 | Ziplist或SkipList + Hashtable | 新版本调整了Ziplist转SkipList的阈值（如zset-max-ziplist-entries） |
关键变化说明如下：
1、List的优化
旧版本：大列表用LinkedList（内存碎片多），小列表用Ziplist（节省内存但修改效率低）。
新版本：统一用Quicklist（双向链表节点内嵌Ziplist），兼顾内存和操作效率。
2、Hash/Set/ZSet的阈值调整
新版本通过配置参数优化了Ziplist和Intset的转换条件，减少内存浪费。
3、String保持不变
始终使用SDS，但新版本可能优化了内存分配策略（如惰性释放）。
3、redis数据结构
redis数据结构如下（6.2.18版本），所有键值对都存储在其中:
typedef struct redisDb {dict *dict; //存储当前数据库的所有键值对dict *expires; //存储所有设置了过期时间的键及过期时间戳dict *blocking_keys; //记录因阻塞操作（如BLPOP）被阻塞的客户端及其监听的键dict *ready_keys; //暂存已收到数据且准备解除阻塞的键（如LPUSH触发的BLPOP唤醒）dict *watched_keys; //实现事务的WATCH机制（乐观锁），记录被监视的键及关联的客户端int id; //当前数据库的编号（如0-15，默认16个库）long long avg_ttl; //统计当前数据库键的平均TTL（毫秒），用于INFO命令展示unsigned long expires_cursor; //记录渐进式过期检查的游标（避免长时间阻塞）list *defrag_later; //存储待内存碎片整理的键名列表（逐步整理，避免阻塞主线程）
} redisDb;
核心存储结构为dict *dict，dict结构体组成为：
typedef struct dict {dictType *type; //定义字典操作的函数指针（如哈函数、键比较函数）void *privdata; //存储字典的私有数据，传递给type中的函数dictht ht[2]; //存储实际数据的哈希表，ht[0]是主哈希，ht[1]仅在rehash时使用long rehashidx; //标记rehash的进度（-1表示为进行rehash，≥0表示当前rehash的桶索引）int16_t pauserehash; //控制rehash的暂停状态（>0暂停，=0正常，<0表示错误）
} dict;
核心存储结构为两个哈希表dictht ht[2]，哈希表dictht的结构为：
typedef struct dictht {dictEntry **table; //存储实际键值对数据的哈希桶数组，每个元素是链表头指针（解决哈希冲突）unsigned long size; //哈希表的大小（桶的总数量）unsigned long sizemask; //哈希掩码，用于计算键的索引unsigned long used; //当前哈希表中已使用的节点数量（所有链表的节点总数）
} dictht;
核心存储结构dictEntry **table里存放了哈希表数组，dictEntry 结构如下：
typedef struct dictEntry {void *key; //存储键的指针（实际指向redis的字符串对象）union {void *val; //指向redis对象的指针（如string、list、hash等复杂类型）uint64_t u64; //直接存储整数值（避免额外内存分配）int64_t s64; //直接存储有符号整数值（如时间戳）double d; //直接存储浮点数值} v;struct dictEntry *next; //指向下一个dictEntry节点（形成链表，解决哈希冲突）
} dictEntry;
void *key和void *val分别指向了实际的键对象和值对象robj，robj结构如下：
typedef struct redisObject {unsigned type:4; //标识redis对象的类型（如string、list、hash等）unsigned encoding:4; //表示底层实现的编码方式unsigned lru:LRU_BITS; //记录对象的访问时间或频率（用于内存淘汰策略）int refcount; //引用计数（实现内存回收垃圾回收机制）void *ptr; //指向实际存储数据的底层结构（如SDS、ziplist、dict等）
} robj;
void *ptr存储真正的数据，unsigned type:4为reids数据类型，其定义如下：
#define OBJ_STRING 0 /* String object. */
#define OBJ_LIST 1 /* List object. */
#define OBJ_SET 2 /* Set object. */
#define OBJ_ZSET 3 /* Sorted set object. */
#define OBJ_HASH 4 /* Hash object. */
相关文章：
【Redis】键值对数据库实现
目录 1、背景2、五种基本数据类型对应底层实现3、redis数据结构 1、背景 redis是一个（key-value）键值对数据库，其中value可以是五大基本数据类型：string、list、hash、set、zset，这五大基本数据类型对应着不同的底层结…...
MySQL 8.0 OCP 英文题库解析（三）
Oracle 为庆祝 MySQL 30 周年，截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。 从今天开始，将英文题库免费公布出来，并进行解析，帮助大家在一个月之内轻松通过OCP认证。 本期公布试题16~25 试题16:…...
互联网大厂Java求职面试：优惠券服务架构设计与AI增强实践-1
互联网大厂Java求职面试：优惠券服务架构设计与AI增强实践-1 在一间简洁明亮的会议室里，郑薪苦正面对着一位技术总监级别的面试官，这位面试官拥有超过十年的大型互联网企业经验，以技术全面性与落地能力著称。 第一轮面试…...
object的常用方法
在面向对象编程中，Object 类是所有类的根类，它提供了一些基本的方法，这些方法可以被所有对象继承和使用。以下是一些在 Java 中 Object 类的常用方法，以及它们的作用和使用示例： 1. equals(Object obj) 作用ÿ…...
解决vue create 创建项目，不能使用上下键选择模板的问题
使用 git bash 创建vue项目时候，无法使用上下键盘按键选择创建模板 处理： 1.当前界面，按CTR C终止创建命令； 2.使用 alias vuewinpty vue.cmd，更新命令环境； 3.再次使用 vue create demo创建项目…...
)
AI Agent开发第64课-DIFY和企业现有系统结合实现高可配置的智能零售AI Agent(上)
开篇 我们之前花了将近10个篇章讲Dify的一些基础应用，包括在讲Dify之前我们讲到了几十个AI Agent的开发例子，我不知道大家发觉了没有，在AI Agent开发过程中我们经常会伴随着这样的一些问题： 需要经常改猫娘；需要经常改调用LLM的参数，甚至在一个流程中有3个节点，每个节点…...
3.Redis-set集合类型
1.用集合做差集、并集（共同关注）、交集...
软考 系统架构设计师系列知识点之杂项集萃（57）
接前一篇文章：软考 系统架构设计师系列知识点之杂项集萃（56） 第93题 美国著名的卡内基梅隆大学软件工程学研究所针对软件工程的工程管理能力与水平进行了充分研究，提出了5级管理能力的模式，包括临时凑合阶段、简单模仿…...
Cabot：开源免费的 PagerDuty 替代品，让系统监控更简单高效
在当今复杂的IT环境中,及时发现并解决系统问题至关重要。而Cabot作为一款开源免费的监控工具,为开发和运维团队提供了强大而简单的解决方案。本文将详细介绍Cabot的核心功能、优势以及快速部署方法,帮助你更好地保障系统稳定性。 Cabot简介 Cabot是一个功能类似PagerDuty的开…...
)
AI中的MCP是什么？MCP的作用及未来方向预测 (使用go-zero 快速搭建MCP服务器)
AI是当下最热的风。在当今AI技术飞速发展的时代，AI的应用已经渗透到我们日常生活的方方面面。然而，随着AI系统的复杂性不断增加，如何让AI具备更强的自主性和灵活性成为了业界关注的焦点。这就引出了Model Context Protocol（MCP&am…...
字节开源FlowGram与n8n 技术选型
字节跳动开源的 FlowGram 和 n8n 是两款功能强大但定位不同的工作流编排工具，以下是两者的技术选型对比分析，结合其核心特性、适用场景和优劣势： 一、核心特性对比 维度FlowGram（字节开源）n8n定位面向AI场景的可视化工…...
面试专栏-03-Git的常用命令
二、Git常用命令学习 git本质上，就是一个 git类型的文件夹 1、基础配置信息 git -v：查看 git 版本信息 git config --global user.name "dz.cn"：配置用户名，注意，这里配置的用户名在进行版本提交时…...
使用 Syncthing 在两台电脑之间同步文件：简单教程
🧩 什么是 Syncthing？ Syncthing 是一个开源、跨平台、点对点的文件同步工具，类似于 Dropbox，但不依赖第三方服务器。它直接在你的设备之间同步文件，更加安全、可控，非常适合个人或团队内部使用。 支持操…...
spdlog日志格式化 标志全指南
一、spdlog格式化核心机制 SPDLOG通过set_pattern()函数实现灵活的日志格式定制，该函数解析用户提供的格式字符串，生成包含时间、源代码、进程等信息的结构化日志。其底层由pattern_formatter类处理，通过识别%标志符的组合动态生成格式化器对…...
http接口性能优化方案
设计高响应时间的HTTP查询接口（<80ms） 要实现跨机房调用的HTTP接口并保持响应时间在80ms以下，确实面临多个技术挑战。以下是关键点和解决方案： 主要技术难点 网络延迟：跨机房物理距离导致的传输延迟 TCP握手/挥手…...
Express知识框架
一、核心概念 1. Express 简介 Node.js 的 Web 框架，提供 HTTP 服务器封装 轻量级但灵活，支持中间件扩展 基于路由，支持 RESTful API 和传统 MVC 架构 无内置 ORM 或模板引擎，但可集成第三方库 2. 核心对象 express() - 创建…...
调出事件查看器界面的4种方法
方法1. 方法2. 方法3. 方法4....
Bash 执行命令的基本流程
是的，Bash 在执行外部命令（如 ls、grep 等非内置命令）时，确实会调用 exec 系列函数来实现进程程序替换。以下是其底层机制的分步解析： 1. Bash 执行命令的基本流程 当在 Bash 中键入一个命令（例如 ls -l&a…...
我们来学mysql -- 安装8.4版本
8.4版本 下载解压用户目录&用户权限my.cnf初始化普通启动safe启动检查启动用户登录远程登录用户root% 下载 地址选择安装包 查看OS位数 getconf LONG_BIT 二进制安装包说明 二进制包的文件名会包含 linux 或 glibc 等字样如：mysql-8.4.4-linux-glibc2.28-x86_…...
Java MVC架构在当今时代的技术解析
一、前言 MVC（Model-View-Controller）架构作为经典的设计模式，经历了数十年的演进。尽管新兴技术层出不穷，Java MVC仍然在企业级开发中占据重要地位。 二、Java MVC核心优势 1. 模块化分层设计 职责分离：数据层&…...
FPGA----基于ZYNQ 7020实现定制化的EPICS程序开发
引言：基于前文，我们在FPGA侧实现了一些外设驱动功能，并将其导出为hdf生成了他的petalinux，借助ALINX的Debian8做了我们自己的根文件系统。现在，我们需要在petalinux下开发一个epics程序，可以调用我们FPGA的驱动。 1、整体程序架构 注意：我们基于ALINX的根文件系统是不完…...
配置hosts
打开文件 右键点击「记事本」或其他文本编辑器，选择「以管理员身份运行」。 打开路径：C:\Windows\System32\drivers\etc\hosts 添加映射 在文件末尾添加一行，格式为： plaintext IP地址 域名例如： plaintext 127.0.…...
Blender 入门教程（一）：模型创建
一、前言 大家都知道，现在 AIGC 领域日新月异，今天 AI 大模型能生成粗糙的 3D 模型，明天就能做成商业级的 3D 模型，但是如果想要一些细节上也有的，还是需要自己手动对模型的布线进行调整，然后再蒙皮等等。…...
JVM对象头中的锁信息机制详解
JVM对象头中的锁信息机制详解 Java中的对象锁机制是高性能并发的基石，而这一切的底层实现都离不开对象头中的 Mark Word 字段。本文将系统梳理JVM对象头中锁信息的存储与演化机制，解析锁升级与批量重偏向优化原理，并通过JOL工具实战验证对象…...
需要低调使用的网盘小工具
周末总是过得飞快，转眼间周一又要来临。今天就不多说，直接给大家分享一款实用的小软件！ 软件介绍 今天给大家带来一款网盘转存工具——BaiduPanFilesTransfers。 这款工具是某知名网盘的批量转存利器。软件作者已经编写了一份非常详细的说明…...
js fetch流式请求 AI动态生成文本，实现逐字生成渲染效果
开启流式请求：向后端接口发起普通的 fetch，它会返回一个包含 ReadableStream 的 Response 对象获取流式读取器：调用 response.body.getReader() 获取一个 ReadableStreamDefaultReader 实例循环读取数据块：在 while(true) 循环或 …...
软考教材重点内容 信息安全工程师 第24章 工控安全需求分析与安全保护工程
24.1.1 工业控制系统概念及组成 工业控制系统是由各种控制组件、监测组件、数据处理与展示组件共同构成的对工业生产过程进行控制和监控的业务流程管控系统。工业控制系统通常简称工控系统(ICS)。工控系统通常分为离散制造类和过程控制类两大类，控制系统包括 SCADA…...
BGP基础实验
一、配置思路 AS200 内部路由由 OSPF 负责，使 AR2 ~ AR5 内部环回地址可达。 各 AS 之间通过 BGP 实现跨域路由互通。 通过 import-route ospf 语句将 OSPF 路由导入 BGP，再由 BGP 向外通告。 使用 network 命令通告本地环回地址。 AR1 <Huawei…...
遭遇DDoS攻击为什么不能反击回去？
遭遇DDoS（分布式拒绝服务）攻击时，不能直接“反击回去”的原因涉及技术、法律、道德和实际操作的多个层面。以下是详细分析： 1. 技术难题：难以定位真正的攻击者 分布式攻击源：DDoS攻击的特点是流量来自全球各…...
专题二：二叉树的深度搜索（二叉树剪枝）
以leetcode814题为例 题目分析： 也就是当你的子树全为0的时候就可以剪掉 算法原理分析： 首先分析问题，你子树全为0的时候才可以干掉，我们可以设递归到某一层的时候如何处理 然后抽象出三个核心问题 也就是假设我们递归到第2层…...
服务器共享文件夹如何实现外网访问
一、远程访问共享文件需求 有些企业在内网服务器上存储了很多重要工作文件，这些文件共享后需要在外网被员工访问 快解析帮助用户远程访问企业内网服务器共享文件夹 二、快解析实现远程共享文件夹的方法 下面简单介绍一下通过内网穿透快解析实现自己服务器上的共享…...
git|gitee仓库同步到github
参考：一次提交更新两个仓库，Get 更优雅的 GitHub/Gitee 仓库镜像同步 文章目录 进入需要使用镜像功能的仓库，进入「管理」找到「仓库镜像管理」选项，点击「添加镜像」按钮绑定github绑定成功后再次点击添加镜像如何申请 GitHub 私…...
1.Redis-key的基本命令
（一）Redis的基本类型 String，List，Set，Hash，Zset 三种特殊类型：geospatial（地理空间数据）、hyperloglog[基数估算（去重计数）]、bitmaps(位图&…...
配置Hadoop集群环境-使用脚本命令实现集群文件同步
在 Hadoop 集群环境中，确保各节点配置文件一致至关重要。以下是使用 rsync 结合 SSH 实现集群文件同步的脚本方案，支持批量同步文件到所有节点： 1. 前提条件 所有节点已配置 SSH 免密登录主节点（NameNode）能通过主机…...
搭建高可用及负载均衡的Redis
搭建高可用及负载均衡的Redis系统是确保数据存储和访问高效且可靠的关键。本文将详细介绍如何配置高可用的Redis集群，并通过负载均衡实现性能优化。 高可用Redis架构设计 高可用性是指系统在部分组件失效时仍能继续运行。对于Redis，高可用架构通常包括…...
Hepatology | 南京鼓楼医院余德才团队：从「无药可用」到「精准打击」！肝癌脂肪代谢分型让3类患者各有生路！
文章标题：Multiomics identifies metabolic subtypes based on fatty acid degradation allocating personalized treatment in hepatocellular carcinoma 发表期刊：Hepatology 影响因子：12.9 客户单位：南京市鼓楼医院 百趣提…...
【日撸 Java 三百行】Day 11（顺序表（一））
目录 Day 11：顺序表（一） 一、关于顺序表 二、关于面向对象 三、代码模块分析 1. 顺序表的属性 2. 顺序表的方法 四、代码及测试 拓展： 小结 Day 11：顺序表（一） Task： 在《数…...
配置集群-日志聚集操作
日志聚集是指将分布式集群中各个节点上的应用程序日志收集并汇总到一个集中的位置，方便后续的查看、分析和管理。在 Hadoop 和 Spark 集群中，日志聚集是一项重要的功能，下面分别介绍如何在这两个集群中配置日志聚集操作。 Hadoop 集群日志聚…...
node版本.node版本、npm版本和pnpm版本对应
报错： ERR_PNPM_META_FETCH_FAIL GET https://registry.npmmirror.com/rollup: Value of "this" must be of type URLSearchParams node版本 Node.js — Node.js Releases node和pnpm对应关系 Installation | pnpm 参考 NVM管理node版本.node版本、…...
电商物流管理优化：从网络重构到成本管控的全链路解析
大家好，我是沛哥儿。作为电商行业，我始终认为物流是电商体验的“最后一公里”，更是成本控制的核心战场。随着行业竞争加剧，如何通过物流网络优化实现降本增效，已成为电商企业的必修课。本文将从物流网络的各个环节切入…...
Java学习手册：客户端负载均衡
一、客户端负载均衡的概念 客户端负载均衡是指在客户端应用程序中，根据一定的算法和策略，将请求分发到多个服务实例上。与服务端负载均衡不同，客户端负载均衡不需要通过专门的负载均衡设备或服务，而是直接在客户端进行请求的分发…...
E+H流量计与Profibus DP主站转Modbus RTU/TCP网关通讯
EH流量计与Profibus DP主站转Modbus RTU/TCP网关通讯 随着工业自动化的不断发展，各种不同品牌、型号的设备需要进行数据交互和通信。在实际应用中，EH流量计作为一种常用的流量测量设备，常常需要与其他设备进行连接和通信。而Profibus DP是一…...
mysql配置输入错误密码3次后锁定60s
mysql配置输入错误密码3次后锁定60s 1、安装插件 INSTALL PLUGIN CONNECTION_CONTROL SONAME connection_control.so; INSTALL PLUGIN CONNECTION_CONTROL_FAILED_LOGIN_ATTEMPTS SONAME connection_control.so; 2、验证是否安装成功 SHOW VARIABLES LIKE connection_control…...
首屏优化，webpack插件用于给html中js自动添加异步加载属性
因为要使用cheerio库，需要安装 npm安装 npm install cheerio --save-dev或使用 yarn安装 yarn add cheerio --dev创建async-script-webpack-plugin.js const cheerio require(cheerio);class AsyncScriptWebpackPlugin {constructor(options {}) {this.options …...
SQLite 数据库常见问题及解决方法
一、数据库文件锁定问题 1. 问题表现 在多线程或多进程环境下访问 SQLite 数据库时，常常会出现数据库文件被锁定的情况。当一个进程对数据库执行写操作时，其他进程的读写操作都会被阻塞，导致应用程序出现卡顿甚至无响应。比如在移动应用开发…...
day 23
机器学习管道 pipeline 一般通用pipeline的实现流程： 1.构建多个转换器（transformer），来实现对特征的预处理 2.构建 ColumnTransformer，将不同的预处理应用于不同的列子集，构造一个完备的转化器 3.构建…...
MATLAB复制Excel数据到指定区域
Matlab中如何将Excel表中的265-528行F-AA列数据复制到1-263行AE-AZ中 版本：MatlabR2018b clc; clear; %旧Excel文件名 oldFile ; %新Excel文件名 newFile ; % 工作表名称（旧表和新表一致） sheetName Sheet1; % 旧文件中待复制的数据范…...
docker配置mysql主从同步
1. 创建Docker网络 docker network create mysql-network 2. 创建数据卷 docker volume create mysql-master-volume docker volume create mysql-slave-volume 3. 准备MySQL配置文件 主库配置 (master.cnf) [mysqld] server-id1 log-binmysql-bin binlog_formatROW gtid_mo…...
机动车授权签字人备考考试题库及答案
一、单选题 13、《中华人民共和国大气污染防治法》规定,进口、销售超过污染物排放标准的机动车、非道路移动机械的,由县级以上人民政府( )按照职责没收违法所得,并处货值金额一倍以上三倍以下的罚款,没收销毁无法达到污染物排放标准的机动车、非道路移动机械。 A、生态…...
WebGL图形编程实战【6】：性能优化 × 调试工具与技巧精讲
调试工具 NVIDIA Nsight Systems NVIDIA Nsight Systems 这个工具帮助开发者深入了解应用程序在CPU、GPU 和网络通信等各个层面的运行情况，从而有效地识别性能瓶颈并进行优化 WebGL-Inspector 插件的地址在这：WebGL-Inspector chrome插件 但是在这里…...