当前位置：首页 > news >正文

缓存 --- Redis性能瓶颈和大Key问题

news 来源：原创 2025/8/6 7:43:37

缓存 --- Redis性能瓶颈和大Key问题

内存瓶颈
网络瓶颈
CPU 瓶颈
持久化瓶颈
大key问题
- 优化方案

Redis 是一个高性能的内存数据库，但在实际使用中，可能会在内存、网络、CPU、持久化、大键值对等方面遇到性能瓶颈。下面从这些方面详细分析 Redis 的性能瓶颈，并给出相应的解决方法。

内存瓶颈

问题：

Redis 是一个基于内存的数据库，所有数据都存储在内存中，因此内存容量是 Redis 的主要限制。
当数据量超过可用内存时，Redis 可能会触发内存淘汰策略（如 LRU、LFU），导致部分数据被删除。
大键值对（如大哈希表、大列表）会占用大量内存，进一步加剧内存压力。

解决方法：

优化数据结构：使用更高效的数据结构（如压缩列表、整数集合）来减少内存占用。
启用内存淘汰策略：根据业务需求配置合适的内存淘汰策略（如 volatile-lru、allkeys-lru）。
分片存储：使用 Redis Cluster 将数据分布到多个节点，分散内存压力。
数据压缩：在客户端对数据进行压缩后再存储到 Redis 中。
监控内存使用：定期监控 Redis 的内存使用情况，及时发现和解决内存问题。

网络瓶颈

问题：

Redis 的性能高度依赖于网络，尤其是在高并发或跨地域部署的场景下。
网络延迟和带宽限制会影响 Redis 的响应速度。
大量小请求可能导致网络拥塞，增加 Redis 的负载。

解决方法：

减少网络请求：使用批量操作（如 MGET、MSET）减少网络请求次数。
优化Redis客户端连接池：配置合理的客户端连接池，避免连接数过多或过少。
使用内存缓存: 可考虑将一些数据量不大，并且对一致性要求不高的数据移至内存缓存
就近部署：将 Redis 部署在离客户端较近的位置，减少网络延迟。
监控网络流量：定期监控 Redis 的网络流量，及时发现和解决网络瓶颈。

CPU 瓶颈

问题：

Redis 的核心处理逻辑是单线程的（Redis 6.0 引入了多线程 I/O，但命令执行仍然是单线程的）。
复杂命令（如 SORT、ZUNIONSTORE）或长耗时操作（如 KEYS *、FLUSHALL）会占用大量 CPU 资源，阻塞其他命令的执行。

解决方法：

避免复杂命令：使用高效命令替代复杂命令（如 SCAN 替代 KEYS *）。
使用多线程 I/O：在 Redis 6.0 及以上版本中，启用多线程 I/O 提升网络处理能力。
分散计算逻辑：将复杂计算逻辑移到客户端或应用层，减少 Redis 的 CPU 负担。
监控 CPU 使用率：定期监控 Redis 的 CPU 使用率，及时发现和解决 CPU 瓶颈。

持久化瓶颈

问题：

Redis 提供了两种持久化方式：RDB（快照）和 AOF（追加日志）。
RDB 在生成快照时可能会占用大量 CPU 和内存，导致性能下降。
AOF 的日志追加操作会增加磁盘 I/O 压力，尤其是在高写入场景下。

解决方法：

选择合适的持久化方式：根据业务需求选择合适的持久化方式（如 RDB 适合备份，AOF 适合数据安全）。
调整持久化配置：优化 RDB 和 AOF 的配置（如 save 参数、appendfsync 参数）以平衡性能和数据安全。
使用混合持久化：在 Redis 4.0 及以上版本中，启用混合持久化（RDB + AOF）以兼顾性能和数据安全。
监控持久化性能：定期监控 Redis 的持久化性能，及时发现和解决持久化瓶颈。

大key问题

大key定义：

所谓的大key问题是某个key的value比较大，所以本质上是大value问题

String类型的Key，它的值为5MB（数据过大）
List类型的Key，它的列表数量为20000个（列表数量过多）
ZSet类型的Key，它的成员数量为10000个（成员数量过多）
Hash格式的Key，它的成员数量虽然只有1000个但这些成员的value总大小为100MB（成员体积过大）

在实际业务中，大Key的判定仍然需要根据Redis的实际使用场景、业务场景来进行综合判断。通常都会以数据大小与成员数量来判定。
一般认为string类型控制在10KB以内，hash、list、set、zset元素个数不要超过10000个。

大 Key 的问题

内存占用过高：
大 Key 会占用大量内存，可能导致 Redis 内存不足，触发内存淘汰策略（如 LRU、LFU），甚至导致 OOM（Out Of Memory）错误。
网络以及操作性能下降：
对大 Key 的操作（如 HGETALL、LRANGE、SMEMBERS）会消耗大量 CPU 和网络资源，导致 Redis 响应变慢。
大 Key 的操作可能会阻塞 Redis 的单线程模型，影响其他命令的执行。
持久化性能问题：
在生成 RDB 快照或 AOF 日志时，大 Key 会导致持久化操作变慢，增加 Redis 的负载。
数据迁移困难：
在 Redis Cluster 中，大 Key 的数据迁移会占用大量网络带宽，影响集群的稳定性。
故障恢复时间长：
如果 Redis 实例发生故障，大 Key 的恢复时间会显著增加，影响服务的可用性。

大key的产生：

大key的产生往往是业务方设计不合理，没有预见vaule的动态增长问题

redis数据结构使用不合理，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据
业务上线前规划设计不足，没有对Key中的成员进行合理的拆分，造成个别Key中的成员数量过多
没有对无效数据进行定期清理，造成如HASH类型Key中的成员持续不断的增加。即一直往value塞数据，却没有删除机制，value只会越来越大

在实际业务中，可能会发生的大key场景：

社交类：粉丝列表，如果某些明星或者大v不精心设计下，必是bigkey；
统计类：例如按天存储某项功能或者网站的用户集合，除非没几个人用，否则必是bigkey；
缓存类：将数据从数据库load出来序列化放到Redis里，这个方式非常常用，但有两个地方需要注意，第一，是不是有必要把所有字段都缓存，第二，有没有相关关联的数据。

优化方案

删除大key

首先考虑删除大key，如果发现某些大key并非热key就可以在DB中查询使用，则可以在Redis中删掉：

Redis 4.0及之后版本：您可以通过UNLINK命令安全地删除大Key甚至特大Key，该命令能够以非阻塞的方式，逐步地清理传入的Key。 Redis UNLINK 命令类似与 DEL 命令，表示删除指定的 key，如果指定 key 不存在，命令则忽略。 UNLINK 命令不同与 DEL
命令在于它是异步执行的，因此它不会阻塞。 UNLINK 命令是非阻塞删除，非阻塞删除简言之，就是将删除操作放到另外一个线程去处理。
Redis 4.0之前的版本：建议先通过SCAN命令读取部分数据，然后进行删除，避免一次性删除大量key导致Redis阻塞。 Redis Scan 命令用于迭代数据库中的数据库键。 SCAN 命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，
用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数，以此来延续之前的迭代过程。

压缩大key

可以采用压缩法, 考虑到使用合适的序列化框架、压缩算法：

当vaule是string时，比较难拆分，则使用序列化、压缩算法将key的大小控制在合理范围内，但是序列化和反序列化都会带来更多时间上的消耗, 如果压缩之后仍然是大key，则需要考虑进行拆分

拆分大key

将一个Big Key拆分为多个key-value这样的小Key，并确保每个key的成员数量或者大小在合理范围内，然后再进行存储，通过get不同的key或者使用mget批量获取。
当value是list/set等集合类型时，根据预估的数据规模来进行分片，不同的元素计算后分到不同的片

本地缓存（Caffeine ）

可以考虑本地缓存（Caffeine ）》Redis》数据库

Case Study
某电商平台的商品评论数据存储在 Redis 中，使用列表（List）数据结构存储每个商品的评论 ID。由于某些热门商品的评论数量高达数百万条，导致这些商品的评论列表成为大 Key，引发以下问题：

内存占用过高，导致 Redis 内存不足。
获取评论列表（LRANGE）时，响应时间过长。
持久化操作变慢，影响 Redis 的性能。

将每个商品的评论列表拆分为多个小列表

例如：将商品 A 的评论列表拆分为 product:A:comments:1、product:A:comments:2、…、product:A:comments:N，每个小列表存储 1 万条评论。
在客户端或应用层实现分页逻辑，按需获取评论列表
将评论列表从列表（List）改为有序集合（ZSet），以支持按时间排序和分页查询

限制 Key 的大小：

在写入评论时，检查评论列表的大小，如果超过阈值（如 1 万条），则创建新的小列表。

定期清理大 Key：

使用 SCAN 命令定期扫描 Redis 中的大 Key，并进行清理或拆分。

缓存 --- Redis性能瓶颈和大Key问题

缓存 --- Redis性能瓶颈和大Key问题内存瓶颈网络瓶颈CPU 瓶颈持久化瓶颈大key问题优化方案 Redis 是一个高性能的内存数据库，但在实际使用中，可能会在内存、网络、CPU、持久化、大键值对等方面遇到性能瓶颈。下面从这些方面详细分析 Redis 的性能瓶颈&a…...

编程日记 2025/8/6 7:43:37

css3新特性第三章(文本属性)

一、文本属性文本阴影文本换行文本溢出文本修饰文本描边 1.1 文本阴影在 CSS3 中，我们可以使用 text-shadow 属性给文本添加阴影。语法： text-shadow: h-shadow v-shadow blur color; 值描述h-shadow必需写，水平阴影的位置。允许负值。…...

编程日记 2025/7/31 7:18:06

Redis 缓存—处理高并发问题

Redis的布隆过滤器、单线程架构、双写一致性、比较穿透、击穿及雪崩、缓存更新方案及分布式锁。 1 布隆过滤器是一种高效的概率型数据结构，用于判断元素是否存在。主要用于防止缓存穿透，通过拦截不存在的数据查询，避免击穿数据库。原理&…...

编程日记 2025/7/31 0:39:00

嵌入式芯片中的 SRAM 内容细讲

什么是 RAM？ RAM 指的是“随机存取”，意思是存储单元都可以在相同的时间内被读写，和“顺序访问”（如磁带）相对。 RAM 不等于 DRAM，而是一类统称，包括 SRAM 和 DRAM 两种主要类型。静态随机存…...

编程日记 2025/7/29 17:30:59

实操基于MCP驱动的 Agentic RAG:智能调度向量召回或者网络检索

我们展示了一个由 MCP 驱动的 Agentic RAG，它会搜索向量数据库，当然如果有需要他会自行进行网络搜索。为了构建这个系统，我们将使用以下工具： 博查搜索用于大规模抓取网络数据。作为Faiss向量数据库。Cursor 作为 MCP 客户端。…...

编程日记 2025/7/29 17:30:57

位运算---总结

位运算基础 1. & 运算符 : 有 0 就是 0 2. | 运算符 : 有 1 就是 1 3. ^ 运算符 : 相同为0 相异为1 and 无进位相加位运算的优选级不用在意优先级,能加括号就加括号给一个数 n ,确定它的二进制位中第 x 位是 0 还是 1? 规定: 题中所说的第x位指:int 在32位机器下4个…...

编程日记 2025/7/31 5:25:56

从0开始搭建一套工具函数库,发布npm,支持commonjs模块es模块和script引入使用

文章目录文章目标技术选型工程搭建1. 初始化项目2. 安装开发依赖3. 项目结构4. 配置文件tsconfig.json.eslintrc.jseslint.config.prettierrc.jsrollup.config.cjs创建 .gitignore文件设置 Git 钩子创建示例工具函数8. 版本管理和发布9 工具函数测试方案1. 安装测试依赖2. 配…...

编程日记 2025/7/29 20:53:56

精通 Spring Cache + Redis：避坑指南与最佳实践

Spring Cache 以其优雅的注解方式，极大地简化了 Java 应用中缓存逻辑的实现。结合高性能的内存数据库 Redis，我们可以轻松构建出响应迅速、扩展性强的应用程序。然而，在享受便捷的同时，一些常见的“坑”和被忽视的最佳实践可能会悄…...

编程日记 2025/7/29 20:53:54

DSP28335入门学习——第一节：工程项目创建

写这个文章是用来学习的,记录一下我的学习过程。希望我能一直坚持下去,我只是一个小白,只是想好好学习,我知道这会很难，但我还是想去做！ 本文写于：2025.04.20 DSP28335开发板学习——第一节：工程项目创建前言开发板说明引用解答…...

编程日记 2025/7/31 4:53:19

Docker Registry（镜像仓库）

官方架构 Docker 使用客户端 - 服务器 (C/S) 架构模式，使用远程 API 来管理和创建 Docker 容器。Docker 容器通过 Docker 镜像来创建。 Docker 仓库(Registry)：Docker 仓库用来保存镜像，可以理解为代码控制中的代码仓库。Docker Hu…...

编程日记 2025/7/29 20:53:49

通过Dify快速搭建本地AI智能体开发平台

1. 安装Docker Desktop 访问 Docker官网点击Download Docker Desktop，直接按照官方要求来就可以。 # 这串命令就像魔法咒语，在黑色窗口（命令提示符）里输入就能检查安装是否成功 docker --version2.安装dify 3.运行 Ollama 大…...

编程日记 2025/8/5 10:35:20

计算机视觉与深度学习｜ Transformer原理，公式，代码，应用

Transformer 详解 Transformer 是 Google 在 2017 年提出的基于自注意力机制的深度学习模型，彻底改变了序列建模的范式，解决了 RNN 和 LSTM 在长距离依赖和并行计算上的局限性。以下是其原理、公式、代码和应用的详细解析。一、原理核心架构 Transformer 由编码器（Encod…...

编程日记 2025/7/30 21:29:23

skywalking agent 关联docker镜像

Apache SkyWalking 提供了多种方式来部署和使用 SkyWalking Agent，包括在 Docker 容器中运行的应用。虽然 SkyWalking Agent 本身不是一个独立的 Docker 镜像，但你可以通过几种方式将 SkyWalking Agent 集成到你的 Docker 应用中。方式一：手…...

编程日记 2025/8/5 20:21:45

【中间件】nginx将请求负载均衡转发给网关，网关再将请求转发给对应服务

一、场景前端将请求发送给nginx，nginx将请求再转发给网关，网关再将请求转发至对应服务。由于网关会部署在多台服务器上，因此nginx需要负载均衡给网关发请求。nginx所有配置均参照官方文档nginx开发文档，可参考负载均衡板块内容二…...

编程日记 2025/7/29 20:53:40

Milvus（1）：什么是 Milvus

Milvus 由 Zilliz 开发，并很快捐赠给了 Linux 基金会下的 LF AI & Data 基金会，现已成为世界领先的开源向量数据库项目之一。它采用 Apache 2.0 许可发布，大多数贡献者都是高性能计算（HPC）领域的专家，擅…...

编程日记 2025/7/29 20:53:38

第十六节：高频开放题-React与Vue设计哲学差异

响应式原理（Proxy vs 虚拟DOM） 组合式API vs Hooks React 与 Vue 设计哲学差异深度解析一、响应式原理的底层实现差异 1. Vue 的响应式模型（Proxy/数据劫持） Vue 的响应式系统通过数据劫持实现自动依赖追踪： • …...

编程日记 2025/7/29 20:53:36

【Hot100】 240. 搜索二维矩阵 II

目录引言搜索二维矩阵 II我的解题贪心求解解题思路详解搜索策略（以从右上角开始为例）为什么这种方法有效？ 完整代码实现复杂度分析示例演示 🙋‍♂️ 作者：海码007📜 专栏：算法专栏&#x1f4a…...

编程日记 2025/7/29 20:53:34

每日面试实录·携程·社招·JAVA

📍面试公司：携程 👜面试岗位：后端开发工程师（社招） 🕐面试时长：约 50 分钟 🔄面试轮次：第 1 轮技术面 ✨面试整体节奏： 这场携程的社招 Java 一面…...

编程日记 2025/7/29 20:53:32

Oracle--用户管理

前言：本博客仅作记录学习使用，部分图片出自网络，如有侵犯您的权益，请联系删除用户管理在 Oracle 数据库中至关重要。一个服务器通常只运行一个 Oracle 实例，而一个 Oracle 用户代表一个用户群，他们通过该用…...

编程日记 2025/8/4 14:13:09

Kubernetes相关的名词解释Metrics Server组件（7）

什么是Metrics Server？ Metrics Server 是 Kubernetes 集群中的一个关键组件，主要用于资源监控和自动扩缩容。 kubernetes 从1.8版本开始不再集成cadvisor，也废弃了heapster，使用metrics server来提供metrics。那么...... 什么…...

编程日记 2025/7/29 20:53:26

17.【.NET 8 实战--孢子记账--从单体到微服务--转向微服务】--单体转微服务--SonarQube部署与配置

在将孢子记账系统从单体架构转向微服务架构的过程中，代码质量的管理变得尤为重要。随着项目规模的扩大和团队协作的深入，我们需要一个强大的工具来帮助我们持续监控和改进代码质量。我们首选SonarQube，它能够帮助我们识别代码中的潜在问题、技…...

编程日记 2025/7/29 20:53:24

计算机是如何看待数据的？

一、计算机如何“看待”数据？ 物理层本质： 计算机的所有数据最终以二进制（0和1）在电路中表示（高电平1，低电平0）。无论你用何种进制描述数据（如十六进制 0xA1 或十进制 161&#xf…...

编程日记 2025/7/29 20:53:22

25.4.20学习总结

如何使用listView组件来做聊天界面 1. 什么是CellFactory？ 在JavaFX中，控件（比如ListView、TableView等）用Cell来显示每一条数据。 Cell：代表这个单元格（即每个列表项）中显示的内容和样式。 …...

编程日记 2025/7/29 20:53:20

1. gradle依赖新增 implementation org.springframework.boot:spring-boot-starter-data-elasticsearch implementation co.elastic.clients:elasticsearch-java:8.15.02. application.yml配置 spring:elasticsearch:uris: http://localhost:9200username: elasticpassword: …...

编程日记 2025/7/29 20:53:18

缓存 --- Redis性能瓶颈和大Key问题

内存瓶颈

网络瓶颈

CPU 瓶颈

持久化瓶颈

大key问题

优化方案

相关文章：