当前位置：首页 > news >正文

黑马redis

news 来源：原创 2025/6/30 20:23:19

Redis的多IO线程只是用来处理网络请求的，对于读写操作命令Redis仍然使用单线程来处理

Redisson分布式锁实现15问

文章目录

主线程和IO线程是如何协作的
Unix网络编程中的五种IO模型
Linux世界一切皆文件
生产上限制keys *、flushdb、flushall等危险命令
- keys * 遍历查询100W数据花费时长
- 配置禁用这些命令
BigKey案例
缓存更新策略
- Redis内存不足的缓存淘汰策略
- 先删缓存再操作数据库
- - 理想情况
  - 多线程竟态条件下
  - 多线程竟态条件下
- 先操作数据库再删除缓存【胜出】
- - 理想情况
- 总结
项目实践【黑马点评】
- 目标
- 缓存一致性
- 缓存穿透
- - 缓存穿透解决方案调研
  - 实战解决商铺信息缓存穿透
  - 总结
- 缓存雪崩
- 缓存击穿
- - 缓存击穿解决方案调研
  - 实战解决缓存击穿
  - - 互斥锁（setnx）
优惠券秒杀-单机锁
- 全局唯一ID
- - 自增ID存在的问题
  - 分布式ID的实现
- 实战优惠券秒杀
- - 总结
优惠券秒杀-分布式锁
- 自定义的分布式锁
- 将单机 synchronized 替换为自定义分布式锁
- 分布式锁误删问题🍖
- - 问题原因分析
  - 代码实现
- 判断锁标识和释放锁非原子性🥩
- 存在的问题
- - 锁不可重入
  - 不可重试
  - 超时释放
  - 主从一致性
Redis集群方案
- 主从复制—全量同步、增量同步
- - 全量同步
  - 增量同步
  - 面试题
- 哨兵模式
- - 服务状态监控
  - redis集群（哨兵模式）脑裂
  - 面试题
- 分片集群
- - 分片集群结构
  - 分片集群结构——数据读写
  - 存在的问题
  - 面试题1
  - 面试题2
Big Key
- 大key的影响
- 大key的查找
- 删除大key注意事项
- 大key的处理
- 分拆方案
- - 一、单个简单的key存储的value很大
  - 二、value中存储过多的元素
  - 方案一：使用时间戳作为附加属性
  - 方案二：通过在 `key` 拼接上基于时间分拆
  - 代码解释
  - - 方案一代码解释
    - 方案二代码解释

主线程和IO线程是如何协作的

阶段一:服务端和客户端建立Socket连接，并分配处理线程
首先，主线程负责接收建立连接请求，当有客户端请求和实例建立Socket连接时，主线程会创建和客户端的连接，并把 Socket放入全局等待队列中。紧接着，主线程通过轮询方法把Socket连接分配给IO线程
阶段二:IO线程读取并解析请求
主线程一旦把Socket分配给IO线程，就会进入阻塞状态，等待IO线程完成客户端请求读取和解析。因为有多个IO线程在并行处理，所以，这个过程很快就可以完成。
阶段三:主线程执行请求操作
等到IO线程解析完请求，主线程还是会以单线程的方式执行这些命令操作
阶段四:IO线程回写Socket和主线程清空全局队列
当主线程执行完请求操作后，会把需要返回的结果写入缓冲区，然后，主线程会阻塞等待IO线程，把这些结果回写到Socket中，并返回给客户端。和IO线程读取和解析请求一样，IO线程回写Socket时，也是有多个线程在并发执行，所以回写Socket的速度也很快。等到IO线程回写Socket完毕，主线程会清空全局队列，等待客户端的后续请求。

Unix网络编程中的五种IO模型

Blocking IO - 阻塞IO

NoneBlocking IO - 非阻塞IO

IO multiplexing - IO多路复用 ★★★

signal driven IO - 信号驱动IO（偏C）

asynchronous IO - 异步IO（偏C）

Linux世界一切皆文件

文件描述符、简称FD，句柄

FileDescriptor：
文件描述符（File descriptor）是计算机科学中的一个术语，是一个用于表述指向文件的引用的抽象化概念。文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统

I/O 的读和写本身是堵塞的，比如当 socket 中有数据时，Redis 会通过调用先将数据从内核态空间拷贝到用户态空间，再交给 Redis 调用，而这个拷贝的过程就是阻塞的，当数据量越大时拷贝所需要的时间就越多，而这些操作都是基于单线程完成的

生产上限制keys *、flushdb、flushall等危险命令

keys * 遍历查询100W数据花费时长

在这里插入图片描述

配置禁用这些命令

redis.conf 在 SECURITY 这一项中

rename-command keys ""
rename-command flushdb ""
rename-command FLUSHALL ""

BigKey案例

多大算Big
参考《阿里云Redis开发规范》

在这里插入图片描述

缓存更新策略

在这里插入图片描述

Redis内存不足的缓存淘汰策略

noeviction：当内存使用超过配置的时候会返回错误，不会驱逐任何键
allkeys-lru：加入键的时候，如果过限，首先通过LRU算法驱逐最久没有使用的键
volatile-lru：加入键的时候如果过限，首先从设置了过期时间的键集合中驱逐最久没有使用的键
allkeys-random：加入键的时候如果过限，从所有key随机删除
volatile-random：加入键的时候如果过限，从过期键的集合中随机驱逐
volatile-ttl：从配置了过期时间的键中驱逐马上就要过期的键
volatile-lfu：从所有配置了过期时间的键中驱逐使用频率最少的键 allkeys-lfu：从所有键中驱逐使用频率最少的键

先删缓存再操作数据库

理想情况

在这里插入图片描述

多线程竟态条件下

在这里插入图片描述

多线程竟态条件下

好巧不巧，缓存失效了，此时线程2要采用先更新数据库再删除缓存的策略，但由于更新数据库没有线程1查询数据库快，所以查到的还是未更新前的旧值10；
线程2更新完毕之后删除了redis缓存，线程1获取时间片后又将10写回了缓存，导致数据库缓存不一致的情况
在这里插入图片描述

先操作数据库再删除缓存【胜出】

理想情况

在这里插入图片描述

总结

给缓存设置过期时间，定期清理缓存并回写，是保证最终一致性的解决方案

我们可以对存入缓存的数据设置过期时间，所有的写操作以数据库为准，对缓存操作只是尽最大努力即可。
也就是说如果数据库写成功，缓存更新失败，那么只要到达过期时间，则后面的读请求自然会从数据库中读取新值然后回填缓存，达到一致性，切记，要以数据落库DB为准

项目实践【黑马点评】

目标

在这里插入图片描述

缓存一致性

com.sddp.service.impl.ShopServiceImpl#update
事务保证原子性，如果在微服务系统中，这两步不在一个方法当中，甚至不在一个服务当中，那么就需要mq消息通知删除缓存的服务，可以借助TCC来保证分布式事务的原子性

缓存穿透

缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。如果被恶意用户利用，对服务器会造成负载，严重会导致服务不可用
常见的解决方案有两种:

com.sddp.service.impl.ShopServiceImpl#queryById

在这里插入代码片

缓存穿透解决方案调研

在这里插入图片描述

实战解决商铺信息缓存穿透

如果提交的商铺id本身就是瞎写的，查询数据库之后必然没有数据，那此时，redis则将此id存在redis并赋值为null，下次在查询此id时直接走redis返回null即可
在这里插入图片描述

总结

在这里插入图片描述

缓存雪崩

TTL随机数分散降低机率
Redis宕机：利用集群提高服务的可用性
快速失败、拒绝服务

在这里插入图片描述

缓存击穿

缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂 （下图第 2 步比较耗时，导致多线程访问的时候短时间为写入缓存，期间的流量都打到DB上了）的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。
在这里插入图片描述

缓存击穿解决方案调研

互斥锁：CP（强一致）
逻辑过期：AP（高可用）
在这里插入图片描述

实战解决缓存击穿

多个线程同时去查询数据库的这条数据，那么我们可以在第一个查询数据的请求上使用一个 互斥锁 来锁住它。

其他的线程走到这一步拿不到锁就等着，等第一个线程查询到了数据，然后做缓存。

后面的线程进来发现已经有缓存了，就直接走缓存


/*** @auther zzyy* @create 2021-05-01 14:58*/
@Service
@Slf4j
public class UserService {public static final String CACHE_KEY_USER = "user:";@Resourceprivate UserMapper userMapper;@Resourceprivate RedisTemplate redisTemplate;/*** 业务逻辑没有写错，对于小厂中厂(QPS《=1000)可以使用，但是大厂不行* @param id* @return*/public User findUserById(Integer id){User user = null;String key = CACHE_KEY_USER+id;//1 先从redis里面查询，如果有直接返回结果，如果没有再去查询mysqluser = (User) redisTemplate.opsForValue().get(key);if(user == null){//2 redis里面无，继续查询mysqluser = userMapper.selectByPrimaryKey(id);if(user == null){//3.1 redis+mysql 都无数据//你具体细化，防止多次穿透，我们业务规定，记录下导致穿透的这个key回写redisreturn user;}else{//3.2 mysql有，需要将数据写回redis，保证下一次的缓存命中率redisTemplate.opsForValue().set(key,user);}}return user;}/*** 加强补充，避免突然key失效了，打爆mysql，做一下预防，尽量不出现击穿的情况。* @param id* @return*/public User findUserById2(Integer id){User user = null;String key = CACHE_KEY_USER+id;//1 先从redis里面查询，如果有直接返回结果，如果没有再去查询mysql，// 第1次查询redis，加锁前user = (User) redisTemplate.opsForValue().get(key);if(user == null) {//2 大厂用，对于高QPS的优化，进来就先加锁，保证一个请求操作，让外面的redis等待一下，避免击穿mysqlsynchronized (UserService.class){//第2次查询redis，加锁后user = (User) redisTemplate.opsForValue().get(key);//3 二次查redis还是null，可以去查mysql了(mysql默认有数据)if (user == null) {//4 查询mysql拿数据(mysql默认有数据)user = userMapper.selectByPrimaryKey(id);if (user == null) {return null;}else{//5 mysql里面有数据的，需要回写redis，完成数据一致性的同步工作redisTemplate.opsForValue().setIfAbsent(key,user,7L,TimeUnit.DAYS);}}}}return user;}
}

在这里插入图片描述

互斥锁（setnx）

public boolean tryLock(String key){Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);

黑马redis

Redis的多IO线程只是用来处理网络请求的，对于读写操作命令Redis仍然使用单线程来处理 Redisson分布式锁实现15问文章目录主线程和IO线程是如何协作的Unix网络编程中的五种IO模型Linux世界一切皆文件生产上限制keys *、flushdb、flushall等危险命令keys * 遍历查询100W数据花…...

编程日记 2025/6/30 20:23:19

Robust Depth Enhancement via Polarization Prompt Fusion Tuning

paper：论文地址 code：github项目地址今天给大家分享一篇2024CVPR上的文章，文章是用偏振做提示学习，做深度估计的。模型架构图如下这篇博客不是讲这篇论文的内容，感兴趣的自己去看paper，主要是分享环境&…...

编程日记 2025/7/1 14:43:12

集合框架（3）Map

Map接口现实生活与开发中，我们常会看到这样的一类集合：用户ID与账户信息、学生姓名与考试成绩、IP地址与主机名等，这种一一对应的关系，就称作映射。Java提供了专门的集合框架用来存储这种映射关系的对象，即java.util…...

编程日记 2025/7/1 18:29:50

Java反射机制—Class

Java反射机制是指在运行时动态地获取类的信息以及操作类的成员变量、方法和构造方法的能力。反射机制通过使用Class类来实现，Class类是Java中表示类的类。通过反射机制，我们可以在运行时动态地创建对象、调用方法、访问属性等。反射机制提供了一种强大…...

编程日记 2025/7/1 17:31:50

C# 新语法中的字符串内插$和{}符号用法详解

自C#6.0开始提供一个新的语法糖，即"$" 符号，配合“{}”使用，它的作用除了是对String.format的简化，还可设置其格式模板，实现了对字符串的拼接优化。语法格式： $"string {变量表达式}” 语…...

编程日记 2025/6/28 20:34:54

WordPress 独立站是否需要 CDN：深度解析及必要性分析

WordPress 是目前全球最流行的开源内容管理系统（CMS），其易用性和丰富的插件生态使得它成为搭建独立站的首选。然而，随着流量的增加以及用户体验的需求，网站的速度和可靠性变得至关重要。在这种情况下，CDN&a…...

编程日记 2025/6/28 20:36:40

dell电脑开不了机怎么回事？戴尔电脑无法开机解决方法

dell戴尔电脑开不了机，这是很多使用dell电脑用户常遇到的问题。这种故障情况是由多种原因引起，包括硬件故障、软件问题或电源问题等等。dell电脑开不了机怎么办呢？下面便为大家介绍一下相关解决修复方法，帮助用户解决戴尔电脑无法…...

编程日记 2025/6/28 21:20:29

如何解决 JavaScript 中的数组方法不生效？

在 JavaScript 中，数组方法是常用的工具，可以用来对数组进行操作。常见的数组方法包括 push(), pop(), shift(), unshift(), map(), filter(), reduce() 等。然而，有时候我们会遇到数组方法“失效”或者不按预期工作的情况。这个问题的原因…...

编程日记 2025/6/30 1:09:42

道可云人工智能元宇宙每日资讯｜全国工商联人工智能委员会成立会议在南京举办

道可云元宇宙每日简报（2024年12月5日）讯，今日元宇宙新鲜事有： 全国工商联人工智能委员会成立会议在南京举办全国工商联人工智能委员会成立会议日前在江苏省南京市举办。中央统战部副部长、全国工商联党组书记沈莹出席会议并讲话…...

编程日记 2025/7/1 16:14:38

华为HCIP-Datacom H12-821H12-831 (12月最新题库)

备考HCIP-datacom的小伙伴注意啦 !!! 2024年下半年12月份最新(H12-821和H12-831)题库带解析,有需要的小伙伴移动至文章末 H12-821: H12-831: 1.BGP 邻居建立过程的状态存在以下几种：那么建立一个成功的连接所经历的状态机顺序是 A、3-1-2-5-4 B、1-3-5-2-4 C、…...

编程日记 2025/6/28 21:21:40

模型案例：| 手机识别模型！

导读 2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领…...

编程日记 2025/6/28 21:25:54

AWS创建ec2实例并连接成功

aws创建ec2实例并连接 aws创建ec2并连接 1.ec2创建前准备首先创建一个VPC隔离云资源并且有公有子网 2.创建EC2实例 1.启动新实例或者创建实例 2.创建实例名 3.选择AMI使用linux(HVM) 4.选择实例类型 5.创建密钥对下载到本地并填入密钥对名称 6.选择自己创建的VPC和公有子网…...

编程日记 2025/7/1 3:31:35

短视频矩阵系统开发|技术源代码部署

短视频矩阵系统通过多账号运营管理、多平台视频智能分发等功能，助力企业实现视频引流、粉丝沉淀和转化。短视频矩阵系统是一种创新的营销工具，它整合了多账号管理、视频智能分发、数据可视化等多种功能，为企业在短视频领域的发展提供了强大…...

编程日记 2025/7/1 9:53:04

C# GDI绘制的小熊进度条

C# GDI小熊进度条 1、添加自定义控件winform using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Windows.Forms;…...

编程日记 2025/7/1 17:59:41

java书核心技术+卷一+4

5.4 对象包装器与自动装箱 package 反射; import java.util.AbstractList; import java.util.ArrayList; public class test {public static void main(String[] args) {int a10;ArrayList<Integer> xxnew ArrayList<>();xx.add(a); //自动装箱int bxx.get(0);//…...

编程日记 2025/6/28 21:28:06

用Python开发一个经典打砖块小游戏

Python 的 pygame 库让我们可以轻松开发经典的小游戏。今天，我们将实现一个“打砖块”小游戏，带你体验游戏开发的乐趣。一、游戏设计 1.1 游戏规则玩家通过移动滑板接住弹起的球。球撞击砖块会让砖块消失，玩家得分。如果球落地，游戏失败。1.2 技术点碰撞检测：检测球与…...

编程日记 2025/7/1 8:36:47

RTCMultiConnection 跨域问题解决

js套件地址 https://github.com/muaz-khan/RTCMultiConnection server套件地址 https://github.com/muaz-khan/RTCMultiConnection-Server 要解决的就是server代码的跨域问题原装写法： 解决写法： // 喜欢组合语法的自己组 const io new ioServer.S…...

编程日记 2025/6/28 21:35:29

使用GO--Swagger生成文档

概述在前后端分离的项目中，后端配置swagger可以很好的帮助前端人员了解后端接口参数和数据传输。go-swagger 是一个功能全面且高性能的Go语言实现工具包，用于处理Swagger 2.0（即OpenAPI 2.0）规范。它提供了丰富的工具集&#x…...

编程日记 2025/6/28 21:19:09

简易图书管理系统

javawebjspservlet 实体类 package com.ghx.entity;/*** author ：guo* date ：Created in 2024/12/6 10:13* description：* modified By：* version:*/ public class Book {private int id;private String name;private double pri…...

编程日记 2025/6/28 21:19:48

探索自然语言处理奥秘（NLP）

摘要自然语言处理（NLP）是人工智能领域的一个重要分支，它致力于使计算机能够理解、解释和生成人类语言。这项技术让机器能够阅读文本、听懂语音，并与人类进行基本的对话交流。通俗理解自然语言处理（NLP&#xff09…...

编程日记 2025/6/28 21:19:56

刘铁猛C#入门 030 泛型，partial类，枚举，结构

泛型(generic)无处不在为什么需要泛型：避免成员膨胀或者类型膨胀正交性：泛型类型(类/接口/委托/......)泛型成员(属性/方法/字段/....类型方法的参数推断泛型接口/类的类型参数不只有一个泛型与委托、lambda表达式实现泛型接口类时 ，实现…...

编程日记 2025/7/1 4:41:16

迅雷 11.2.2 | 本地会员版，不限速下载，支持云盘

迅雷 v11.2.2 是一款带网盘功能的绿色版下载工具。双击“!)绿化”文件即可在桌面生成快捷图标。该版本干净简洁，仅保留下载和云盘两项核心功能。点击左上角的【新建】按钮，可新建链接下载任务。即使在网络条件一般的情况下（如50M宽带&#xf…...

编程日记 2025/7/1 1:13:06

P3131 [USACO16JAN] Subsequences Summing to Sevens S

题目描述 Farmer Johns NN cows are standing in a row, as they have a tendency to do from time to time. Each cow is labeled with a distinct integer ID number so FJ can tell them apart. FJ would like to take a photo of a contiguous group of cows but, due to a…...

编程日记 2025/6/28 21:17:02

文章目录

主线程和IO线程是如何协作的

Unix网络编程中的五种IO模型

Linux世界一切皆文件

生产上限制keys *、flushdb、flushall等危险命令

keys * 遍历查询100W数据花费时长

配置禁用这些命令

BigKey案例

缓存更新策略

Redis内存不足的缓存淘汰策略

先删缓存再操作数据库

理想情况

多线程竟态条件下

多线程竟态条件下

先操作数据库再删除缓存【胜出】

理想情况

总结

项目实践【黑马点评】

目标

缓存一致性

缓存穿透

缓存穿透解决方案调研

实战解决商铺信息缓存穿透

总结

缓存雪崩

缓存击穿

缓存击穿解决方案调研

实战解决缓存击穿

互斥锁（setnx）

相关文章：