当前位置：首页 > news >正文

【redis】redis常见数据结构及其底层，redis单线程读写效率高于多线程的理解，

news 来源：原创 2025/6/24 8:07:07

redis常用数据结构及底层

string字符串、list链表、set无序集合、zset有序集合、hash哈希

1.string

底层结构是SDS简单动态字符串

struct sdshdr {int len;     // 已用长度（字符串实际长度）int free;    // 剩余可用空间char buf[];  // 数组，存储实际字符数据
};

相较于c字符串，它通过len和free字段实现O(1)长度查询，自动扩容，支持二进制存储。

2.list

是一个有序可重复链表结构，会根据数据量和长度，自动选择不同数据结构，提升性能
底层实现主要三种：
- ziplist压缩列表：redis3.2之前，元素数量<512，元素大小<64用压缩列表
- linkedlist双链表：redis3.2之前，大数据量使用。
- quicklist快速列表：redis3.2之后的默认存储，所有情况都用quicklist，他是由多个ziplist组成的双向链表

3.set

无序，元素唯一的集合类型，会根据数据量和内容，自动选择不同数据结构，提升性能
底层两种实现：
- intset整数集合：适用于，都是整数，数量<=512。内存连续，升序排列，插入删除慢
- hashtable哈希表：适用于，多数据类型，数量多。标准hash，内存开销较大（存储指针、哈希表结构）操作效率高

redis会根据数据自动切换，添加非整数/数量超512自动转hashtable，但是不会重新转回来

4.zset

元素唯一，通过每个元素关联的score自动排序的结构，支持范围查找，范围排名等操作
底层两种实现：
- skiplist跳表：跳表提供有序遍历和范围操作
- hashtable哈希表：哈希表提供快速查找

为什么用跳表而不是红黑树？
实现简单，插入删除性能好（时间复杂度平均 O(log n)），更容易实现范围操作

跳表原理：通过分多个索引层来加速查询，底层是完整的有序链表，上层是索引层，每上一层减少一半，所以log₂n

第3层：1 --------------------------> 9
第2层：1 ------> 5 ------> 7 ------> 9
第1层：1 -> 3 -> 5 -> 6 -> 7 -> 8 -> 9

5.hash

一个键值对集合，常用于存对象（用户配置）等，会根据字段数量和内容自动选择不同的实现方式
底层两种实现：
- ziplist压缩列表：小对象用压缩列表，(字段数<512，长度<64)连续内存，占用少，节省空间，查询速度稍慢，字段超过阈值时，会自动转换为hashtable
- hashtable哈希表：大对象用hash表，读写效率更高

为什么小数据用 ziplist？
内存利用率高（无指针开销）

Redis 的哈希表如何扩容？
采用 渐进式扩容：扩容时同时保留新旧两个哈希表，分批次迁移数据

关于hash渐进式扩容，可以看我的这篇https://blog.csdn.net/m0_74282926/article/details/147522876

总结

数据类型	底层结构	说明
String	int / embstr / raw（SDS）	根据长度和内容选择优化方式：int 表示整数，embstr 表示小字符串，raw 是通用 SDS
List	ziplist（旧） / quicklist	Redis 3.2+ 默认用 quicklist（多个 ziplist + 双向链表）
Set	intset / hashtable	小量整数用 intset，其他情况用 hashtable
ZSet	skiplist + hashtable	哈希表查找，跳表排序；两个结构同时维护
Hash	ziplist / hashtable	字段少且短用 ziplist，否则用 hashtable

为什么redis单线程反而更快？

一个误区：并不是多线程一定比单线程快:

在mysql中我们对于耗时较长的磁盘io操作往往采用多线程并发执行，因为多线程产生的线程切换开销往往小于磁盘读写开销，所以并发等待可以提高效率；
而redis是内存存储，本身单线程速度就很快，如果用多线程，
涉及cpu上下文切换，锁竞争，这些耗时可能会超过从内存中取数据的时间，从而降低性能。

redis的性能瓶颈往往是网络或者内存，而非cpu，内存访问的速度高于切换线程的开销
Redis 6.0 起引入了I/O 多线程模型，用于并行处理高并发下，客户端的网络读写数据（网络 I/O），但命令执行仍是单线程，以保证数据一致性

网络用多线程并发提速，核心逻辑用单线程保证安全。

redis的数据协议设计很高效，比如HashTable，理想情况下只需要O（1）的时间复杂度就可以找到数据。

例如 Hash 的 ziplist + hashtable 组合，在数据量小时用 ziplist（节省内存），大时转 HashTable（O(1) 查询）。

【redis】redis常见数据结构及其底层，redis单线程读写效率高于多线程的理解，

redis常用数据结构及底层 string字符串、list链表、set无序集合、zset有序集合、hash哈希 1.string 底层结构是SDS简单动态字符串 struct sdshdr {int len; // 已用长度（字符串实际长度）int free; // 剩余可用空间char buf[]; // 数组&#…...

编程日记 2025/6/24 8:07:07

Redis6为什么引入了多线程？

大家好，我是锋哥。今天分享关于【Redis6为什么引入了多线程？】面试题。希望对大家有帮助； Redis6为什么引入了多线程？ 1000道互联网大厂Java工程师精选面试题-Java资源分享网 Redis 6 引入多线程的主要目的是提升性能&#xf…...

编程日记 2025/6/19 19:51:43

使用GmSSL v3.1.1实现SM2证书认证

1、首先使用gmssl命令生成根证书、客户端公私钥，然后使用根证书签发客户端证书； 2、然后编写代码完成认证功能，使用根证书验证客户端证书是否由自己签发，然后使用客户端证书验证客户端私钥对随机数的签名是否正确。第一部分生成根…...

编程日记 2025/6/24 8:03:00

Spring MVC 接口的访问方法如何设置

RequestMapping 是 Spring 框架中用于映射 HTTP 请求到控制器方法的注解。它支持以下 HTTP 方法访问类型，通过 method 属性指定： GET：用于获取资源POST：用于提交数据PUT：用于更新资源DELETE：用于删除资源PA…...

编程日记 2025/6/24 7:04:48

虚拟网络编辑器

vmnet1 仅主机模式 hostonly 功能：虚拟机只能和宿主机通过vmnet1通信，不可连接其他网络（包括互联网） vmnet8 地址转换模式 NAT 功能：虚拟机可以和宿主通过vmnet8通信，并且可以连接其他网络，但是…...

编程日记 2025/6/3 21:03:10

【hadoop】Flume日志采集系统的安装部署

一、Flume安装与配置步骤： 1、使用XFTP将Flume安装包apache-flume-1.9.0-bin.tar.gz发送到master机器的主目录。 2、解压安装包： tar -zxvf ~/apache-flume-1.9.0-bin.tar.gz 3、修改文件夹的名字，将其改为flume，或者创建软…...

编程日记 2025/6/24 7:55:54

Kafka快速安装与使用

引言这篇文章是一篇Ubuntu(Linux)环境下的Kafka安装与使用教程，通过本文，你可以非常快速搭建一个kafka的小单元进行日常开发与调测。安装步骤下载与解压安装首先我们需要下载一下Kafka，这里笔者采用wget指令： wget https:…...

编程日记 2025/6/3 0:06:53

C# 实现雪花算法（Snowflake Algorithm）详解与应用

在现代分布式系统中，生成全局唯一的标识符（ID）是一个非常重要的问题。随着微服务架构和分布式系统的普及，传统的单机数据库生成 ID 的方式已无法满足高并发和高可用的需求。为了解决这个问题，Twitter 提出了雪花算法&…...

编程日记 2025/6/22 15:13:06

中间件-MQ常见问题

MQ常见问题消息丢失消息会在哪些环节丢失应对机制消息的顺序性消息幂等消息积压的处理消息丢失消息会在哪些环节丢失网络传输环节：生产者发送消息到broker，broker中master同步消息给slave，consumer消费消息，这3个环节都是跨…...

编程日记 2025/6/3 2:53:16

Redis学习打卡-Day2-缓存更新策略、主动更新策略、缓存穿透、缓存雪崩、缓存击穿

缓存更新策略对于低一致性需求：使用内存淘汰机制。例如店铺类型的查询缓存。对于高一致性需求：主动更新，并以超时剔除作为兜底方案。例如店铺详情查询的缓存。主动更新策略（缓存读写策略） 1. Cache Aside Pattern&…...

编程日记 2025/6/20 13:58:21

Git - 1（ 14000 字详解）

一： Git 初识 1.1 提出问题在工作或学习中，我们常常会面临文档管理的问题，尤其是在编写各种文档时。为了防止文档丢失或因更改失误而无法恢复，我们常常会创建多个版本的副本，例如：“报告-v1”、“报告-v…...

编程日记 2025/6/21 10:27:39

搭建Centos环境安装禅道

关于禅道： 禅道项目管理软件，将CMMI模型的要求有机融合到项目管理各个过程，支持Scrum、瀑布、看板和狭义IPD并支持融合使用。禅道项目管理软件功能强大，集产品管理、项目管理、质量管理、文档管理、组织管理和事务管理于一体&…...

编程日记 2025/6/21 19:49:27

语音识别——语音转文字

SenseVoiceSmall阿里开源大模型，SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或…...

编程日记 2025/6/21 15:36:58

语音识别——声纹识别

通过将说话人的声音与数据库中的记录声音进行比对，判断说话人是否为数据库白名单中的同一人，从而完成语音验证。目前，3D-Speaker 声纹验证的效果较为出色。 3D-Speaker 是一个开源工具包，可用于单模态和多模态的说话人验证、说话…...

编程日记 2025/6/20 18:53:20

c++作业整理2

直接访问就是直接利用变量的地址直接进行访问。答案：T 解析：直接访问通过变量名（实际对应内存地址）访问数据，与间接访问（通过指针）相对。 char *s"C Language"; 表示 s 是一个指向字…...

编程日记 2025/6/22 19:22:41

无人机屏蔽与滤波技术模块运行方式概述！

一、模块运行方式 1. 电磁屏蔽模块动态频段干扰：通过发射与无人机通信频段（如2.4GHz、5.8GHz、GPS频段等）同频的强干扰信号，切断无人机与遥控器、图传设备间的通信链路，实现迫降或返航功能。例如便携式屏蔽器通过…...

编程日记 2025/6/23 16:26:58

兼顾长、短视频任务的无人机具身理解！AirVista-II：面向动态场景语义理解的无人机具身智能体系统

作者：Fei Lin 1 ^{1} 1, Yonglin Tian 2 ^{2} 2, Tengchao Zhang 1 ^{1} 1, Jun Huang 1 ^{1} 1, Sangtian Guan 1 ^{1} 1, and Fei-Yue Wang 2 , 1 ^{2,1} 2,1单位： 1 ^{1} 1澳门科技大学创新工程学院工程科学系， 2 ^{2} 2中科院自动化研究所…...

编程日记 2025/6/19 18:33:49

深入探索 OpenCV：从实时视频流到图像处理的实战指南

引言在当今数字化时代，计算机视觉技术正逐渐成为推动科技发展的核心力量之一。从自动驾驶汽车到智能家居设备，从医疗影像诊断到工业自动化，计算机视觉的应用无处不在。而 OpenCV（Open Source Computer Vision Library&#xff0…...

编程日记 2025/6/21 2:15:33

Linux线程控制

POSIX线程库与线程有关的函数构成了一个完整的系列，绝大多数函数的名字都是以“pthread_”打头的要使用这些函数库，要通过引入头文 <pthread.h>链接这些线程函数库时要使用编译器命令的“-lpthread”选项创建线程功能：创建⼀个新…...

编程日记 2025/6/22 20:41:22

软件设计师考试《综合知识》设计模式之——工厂模式与抽象工厂模式考点分析

软件设计师考试《综合知识》工厂模式与抽象工厂模式考点分析 1. 分值占比与考察趋势（75分制） 年份题量分值占总分比例核心考点2023111.33%抽象工厂模式适用场景2022222.67%工厂方法 vs 抽象工厂区别2021111.33%工厂方法模式结构2020111.33%简单工厂模式…...

编程日记 2025/6/19 20:52:04

携程旅行酒店详情 token1004 分析 phantom-token

声明本文章中所有内容仅供学习交流使用，不用于其他任何目的，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！ 部分python代码这个网站有一个坑&am…...

编程日记 2025/6/2 18:28:52

QT——概述

<1>, Qt概述 Qt 是⼀个跨平台的 C 图形⽤⼾界⾯应⽤程序框架 Qt ⽀持多种开发⼯具，其中⽐较常⽤的开发⼯具有：Qt Creator、Visual Studio、Eclipse. 一，Qt Creator 集成开发环境（IDE） Qt Creator 是⼀个轻量…...

编程日记 2025/6/24 1:46:03

uniapp-vue3项目中引入高德地图的天气展示

前言： uniapp-vue3项目中引入高德地图的天气展示效果： 操作步骤： 1、页面上用定义我们的当前天气信息：<view></view> 2、引入我们的map文件 <script setup>import amapFile from ../../libs/amap-wx.js …...

编程日记 2025/6/22 11:05:30

Unity碰撞检测：射线与胶囊体投射/Layer（层）、LayerMask(遮罩层）

一、Physics碰撞检测 1.Physics.Raycast射线投射 Physics.Raycast 是 Unity 中用于执行射线检测（Raycasting）的方法。它允许你从一个点沿特定方向发射一条无形的“射线”，并检查这条射线是否与场景中的任何碰撞体相交。这个功能非常有用&am…...

编程日记 2025/6/4 17:49:28

浪潮云边协同：赋能云计算变革的强力引擎

在数字化浪潮以排山倒海之势席卷全球的当下，第五届数字中国建设峰会在福州盛大开幕。这场以“创新驱动新变革，数字引领新格局”为主题的行业盛会，宛如一座汇聚智慧与力量的灯塔，吸引了国内外众多行业精英齐聚一堂，共同…...

编程日记 2025/6/20 20:40:13

“傅里叶变换算法”来检测纸箱变形的简单示例

为了创建一个具有科技质感且能动态展示结果的纸箱变形检测傅里叶变换网页，下面将分别更新 HTML、CSS 和 JavaScript 文件。以下是更新后的代码： 1. HTML 文件 (index.html) <!DOCTYPE html> <html lang"zh-CN"> <head><…...

编程日记 2025/6/22 15:51:52

【SPIN】用Promela验证顺序程序：从断言到SPIN实战（SPIN学习系列--2）

你写了一段自认为“天衣无缝”的程序，但如何确保它真的没有bug？靠手动测试？可能漏掉边界情况；靠直觉？更不靠谱！这时候，Promela SPIN组合就像程序的“显微镜”——用形式化验证技术，…...

编程日记 2025/6/20 1:45:03

如何卸载并重新安装 Mozilla Firefox 浏览器

如果你在 Windows 上遇到现有的 Mozilla FireFox 安装问题，以下是重新安装 FireFox 的步骤。这可以帮助用户解决由于某些扩展或设置问题，或者不小心下载了令人讨厌的广告软件而导致的问题。虽然现在使用 Firefox 浏览器的用户在渐渐沦为小众群体，但是 Firefox 浏览器依然是最…...

编程日记 2025/5/29 10:10:28

Linux 后台运行的方法

Linux 后台运行的两种方法：screen 和 nohup 使用指南如有错误，敬请指正方法一：使用 screen 管理后台任务（推荐） 🔹 安装（如未安装） sudo apt install screen # Ubuntu/Debian …...

编程日记 2025/6/24 4:54:26

《无限暖暖》画质测评

《无限暖暖》作为一款采用虚幻5引擎打造的多平台畅玩、高自由度换装探索类RPG游戏，凭借其精美的画面、沉浸式操作和暖暖美丽坚毅的人设吸引了大量玩家。在其中玩家可以通过做各样任务收集美好并感受到丰富的人生体验，暖暖所在的世界里有超多的NPC可以互…...

编程日记 2025/6/1 8:15:11

websocket简介与基本使用

websocket是什么 WebSocket 是一种基于 TCP 的全双工通信协议，允许客户端和服务器之间建立持久连接，实现实时、双向的数据传输。它是 HTTP 协议的补充，专为低延迟、高效率的实时通信设计。核心特点特性说明全双工通信客户端和服务器可以同时…...

编程日记 2025/6/20 15:46:37

面试题：请解释Java中的垃圾回收机制（Garbage Collection, GC），并讨论不同的垃圾回收算法及其优缺点

Java垃圾回收机制（GC） Java的垃圾回收机制负责自动管理内存，回收不再使用的对象以释放内存空间。GC通过以下步骤实现： 标记（Marking） ：识别哪些对象是可达的，哪些是不可达的。清除…...

编程日记 2025/6/23 19:33:33

解决 Ubuntu 22.04 安装后启动卡死问题

最近在一台 PC 上安装了 Ubuntu 22.04 系统，但发现系统启动时出现问题：屏幕上出现一个旋转的小圈，旋转片刻后停止，系统无法正常进入桌面环境。经过一番排查，我找到了一种有效的解决方法，通过进入恢复模式并…...

编程日记 2025/6/22 21:58:17

线程的两种实现方式

线程的两种实现方式——内核支持线程（kernal Supported Thread, KST）， 用户级线程（User Level Thread, ULT） 1. 内核支持线程顾名思义，内核支持线程即为在内核支持下的那些线程，它们的创建&am…...

编程日记 2025/5/29 11:19:32

Python Bug 修复案例分析：asyncio 事件循环异常引发的程序崩溃两种修复方法

在 Python 异步编程的工作中，asyncio库为我们提供了高效处理并发任务的强大工具。然而，asyncio在使用过程中也可能因为一些细节处理不当而引发 Bug。下面，我们就来深入分析一个因asyncio事件循环异常导致程序崩溃的典型案例。兴趣的友友可以借…...

编程日记 2025/6/22 20:41:27

TCP（传输控制协议）建立连接的过程

TCP（传输控制协议）建立连接的过程称为三次握手（Three-Way Handshake）。这是为了确保通信双方能够可靠地建立连接，并同步初始序列号。以下是详细步骤： 三次握手过程（通俗比喻：打电话…...

编程日记 2025/6/23 23:42:40

（十九）Java集合框架深度解析：从基础到高级应用

一、集合框架概述 1.1 什么是集合框架 Java集合框架(Java Collections Framework, JCF)是Java语言中用于表示和操作集合的一套标准化体系结构。它提供了一组接口、实现类和算法，用于存储和操作对象组，解决了数组在存储对象时的诸多限制。集合框架的主…...

编程日记 2025/5/29 0:01:08

数据结构与算法-线性表-单链表（Linked List）

1 线性表 1.2 单链表（Linked List） 顺序表在内存中是连续的进行存储，可以随机获取某个元素，但是在插入和删除元素的时候就非常不方便，需要移动很多相关的元素，链表就可以解决这个问题。链表就是每个节点…...

编程日记 2025/6/21 8:20:21

Vue3学习（组合式API——生命周期函数基础）

目录一、Vue3组合式API中的生命周期函数。 （1）各阶段生命周期涉及函数简单介绍。 <1>创建挂载阶段的生命周期函数。 <2>更新阶段的生命周期函数。 <3>卸载阶段的生命周期函数。 <4>错误处理的生命周期函数。 （2&…...

编程日记 2025/6/20 2:27:14

MySQL索引优化面试高频考点解析（附实战场景）

文章目录当索引失效成为面试官的"送命题"（必看！）高频考点一：索引失效的七大死亡陷阱1. 隐式类型转换（血泪案例！）2. 函数操作毁所有高频考点二：最左前缀原则的魔鬼细节组…...

编程日记 2025/6/22 1:30:56

三目云台20倍变焦智能监控技术

“三目云台20倍转动”通常指的是一种具备三目变焦功能和20倍光学变焦能力的云台摄像机。以下是对这一概念的详细解释： 一、三目变焦功能三目云台摄像机通常配备“长、短、广”三组定焦镜头，每组镜头都有其独特的作用： 长焦镜头 &#xff…...

编程日记 2025/6/21 17:43:57

SQL注入---05--跨站注入

1 权限说明 select * from mysql.user; 这里的Y表示我前面的命令权限为root，n表示不支持root权限导致结果： 如果为root的话，我就可操作这些命令并且可以进行跨数据库攻击，但是如果不是高权限root就无法执行这些操作 2 root权限…...

编程日记 2025/6/23 20:51:58

1. ADTS（Audio Data Transport Stream）帧结构在ADTS（Audio Data Transport Stream）帧结构中，“上面扩展28 bit”指的是ADTS固定头（adts_fixed_header()）和ADTS可变头（adts_variable_header()）各自包含的28位信息。 1.1 ADTS固定头（adts_fixed_header()） AAC 帧…...

编程日记 2025/6/22 16:45:19

HGDB企业版迁移到HGDB安全版

文章目录环境文档用途详细信息环境系统平台：Linux x86-64 Red Hat Enterprise Linux 7 版本：4.5.8,6.0 文档用途 HGDB企业版数据库通过命令备份恢复，迁移到HGDB安全版中。详细信息 1、环境介绍 1 IP 操作系统 cpux.x.65.10 …...

编程日记 2025/6/21 21:21:54

智慧化系统安全分析报告

智慧化系统的安全背景与现状一、政策法规背景 （一）全球主要国家/地区政策对比地区政策名称核心内容实施时间特点中国《生成式人工智能服务管理暂行办法》明确服务提供者责任，强调数据合法、隐私保护，禁止生成违法内容2023年8…...

编程日记 2025/6/20 5:43:28

概率相关问题

问题汇总 1. 贝叶斯定理（贝叶斯公式和全概率公式）2. 概率题2.1 随机发生器的概率为1/2 1. 贝叶斯定理（贝叶斯公式和全概率公式） 定义：在信息和条件有限的情况下，基于过去的数据，通过动态调整的…...

编程日记 2025/6/20 14:14:40

使用 GitDiagram 快速将 GitHub 仓库转换为交互式图表

前言当面对 GitHub 上文件目录错综复杂的新项目，且你急需快速了解其系统设计或架构流程时，你可能会感到束手无策。今天大姚给大家分享一个开源利器 GitDiagram，它可以轻松将任何复杂的 GitHub 仓库转化为直观、交互式的图表，这对…...

编程日记 2025/6/3 16:51:08

AWS CloudHSM：金融级密钥安全管理实战，如何通过FIPS 140-2认证守护数据生命线？

数据泄露平均成本430万美元，加密漏洞成头号杀手！当《数据安全法》撞上金融科技合规，开发者如何用硬件安全模块（HSM）构建不可破解的密钥堡垒？本文揭秘AWS CloudHSM如何成为支付系统、电子病历、区块链的“数…...

编程日记 2025/6/23 14:53:52

自定义分区器-基础

什么是分区在 Spark 里，弹性分布式数据集（RDD）是核心的数据抽象，它是不可变的、可分区的、里面的元素并行计算的集合。在 Spark 中，分区是指将数据集按照一定的规则划分成多个较小的子集，每个子集可以独立…...

编程日记 2025/6/22 8:16:02