当前位置： 首页 > news >正文

kafka的文章

news 来源：原创 2025/8/1 10:42:52

1.面试的问题

  • 要点 至多一次、恰好一次
  • 数据一致性
  • 超时重试、幂等
  • 消息顺序
  • 消息挤压
  • 延时消息

1.1 kafaka 生产消息的过程。

在消息发送的过程中，涉及到了两个线程，一个是main 线程，一个是sender 线程。在main 线程中创建了一个双端队列 RecordAccumulator，main 线程将消息发送到 双端队列，sender 线程不断从双端队列读取 发送到 broker

1.2 消息队列的可靠性。

1.3 副本同步机制

leo: 定义：LEO 即日志末端偏移量，它表示每个副本日志中最后一条消息的下一个偏移量。
hw:高水位（HW，High Watermark）的确是 ISR（In - Sync Replicas，同步副本集合）中所有副本的最小日志末端偏移量（LEO，Log End Offset）
Kafka 的副本同步机制
Kafka 的副本同步机制是保障数据可靠性和高可用性的核心特性，下面从整体架构、同步流程、ISR 机制、相关参数等方面进行详细介绍。
整体架构

  • Kafka 中每个分区都有一个 Leader 副本和多个 Follower 副本。生产者和消费者只与 Leader 副本进行交互，Follower 副本负责从 Leader 副本同步数据。这样的设计使得 Kafka 可以在多个 Broker 上存储数据副本，提高数据的容错能力。
    同步流程
  1. 消息生产
    生产者将消息发送到 Kafka 集群时，会指定要发送到的主题和分区。Kafka 根据分区的 Leader 副本位置，将消息发送到对应的 Leader 副本所在的 Broker。
  2. Leader 副本接收消息
    Leader 副本接收到生产者发送的消息后，将消息写入本地日志，并更新自身的日志末端偏移量（LEO）。
  3. Follower 副本同步消息
    Follower 副本通过向 Leader 副本发送 Fetch 请求来同步消息。Fetch 请求中包含 Follower 副本当前的 LEO，Leader 副本根据该信息将新的消息发送给 Follower 副本。
    Follower 副本接收到消息后，将消息写入本地日志，并更新自身的 LEO。
  4. 高水位（HW）更新
    高水位（HW）是分区中所有副本都已经成功复制的消息的最大偏移量。Kafka 会根据 ISR（In - Sync Replicas，同步副本集合）中所有副本的 LEO 来更新 HW。具体来说，HW 是 ISR 中最小的 LEO。
    只有偏移量小于 HW 的消息才被认为是已经在所有同步副本中安全保存的，可以被消费者消费。
    ISR 机制
  5. ISR 定义
    ISR 是与 Leader 副本保持同步的一组副本集合。只有在 ISR 中的副本，才被认为是可靠的同步副本，能够参与 HW 的计算。
  6. ISR 动态维护
    Kafka 会定期检查 Follower 副本与 Leader 副本的同步情况，通过比较 LEO 的差距来判断 Follower 副本是否落后。如果 Follower 副本的 LEO 与 Leader 副本的 LEO 差距超过一定阈值（由 replica.lag.time.max.ms 参数控制），则该 Follower 副本会被从 ISR 中移除。
    当落后的 Follower 副本追上 Leader 副本后，它可以重新加入 ISR。
  7. ISR 的作用
    提高数据可靠性：只有 ISR 中的副本参与 HW 的计算，确保消费者只能读取到已经在多个副本中安全保存的消息。
    故障转移：当 Leader 副本出现故障时，Kafka 会从 ISR 中选举出新的 Leader 副本，保证数据的一致性和服务的连续性。
    相关参数
  8. acks 参数
    该参数用于控制生产者发送消息时的确认机制，影响副本同步策略。
    acks = 0：生产者发送消息后，不等待任何确认，相当于异步复制，性能最高但数据可靠性最低。
    acks = 1：生产者发送消息后，等待 Leader 副本确认，只要 Leader 副本写入成功就返回响应，性能和可靠性适中。
    acks = all 或 acks = -1：生产者发送消息后，等待所有 ISR 中的副本确认，相当于同步复制，数据可靠性最高但性能最低。
  9. min.insync.replicas 参数
    用于指定 ISR 中最少需要有多少个副本同步消息，才能认为消息写入成功。结合 acks = all 使用时，可以进一步增强数据的可靠性。如果 ISR 中的副本数量小于 min.insync.replicas，生产者发送消息时会收到写入失败的响应。
  10. replica.lag.time.max.ms 参数
    该参数定义了 Follower 副本与 Leader 副本之间允许的最大延迟时间。如果 Follower 副本在该时间内没有向 Leader 副本发送 Fetch 请求或者没有追上 Leader 副本的 LEO，则会被从 ISR 中移除。
    异常情况处理
  11. Leader 副本故障
    当 Leader 副本所在的 Broker 出现故障时，Kafka 会从 ISR 中选举出新的 Leader 副本。新的 Leader 副本会将 HW 作为新的起始偏移量，继续处理生产者和消费者的请求。
  12. Follower 副本故障
    如果某个 Follower 副本出现故障，它会被从 ISR 中移除。当该副本恢复正常后，会重新向 Leader 副本发送 Fetch 请求，追赶 Leader 副本的进度，当追上后可以重新加入 ISR。
    综上所述，Kafka 的副本同步机制通过 Leader - Follower 架构、ISR 机制和相关参数的配置，在保证数据可靠性和高可用性的同时，兼顾了性能和容错能力。

1.4 kafka 高性能、高吞吐原因

  • 磁盘顺序读写
    • 顺序读 会使用预读
    • 保证了消息的堆积 相比于内存。
  • 使用了零拷贝的技术
  • 分区分段 + 索引
    • 每个 分区 在磁盘上 按照segment 文件存储的。针对segment 建立.index的索引文件
  • 批量压缩 多条消息批量压缩传输，降低带宽
  • 批量读写

1.5 消息丢失的场景 解决方案

  1. ack=all,
  2. 配置 min.insync.replicas>1

1.6 消息可靠性的解决方案

消息发送

  • ack -1/all 、
  • unclean.leader.election.enable: false, 禁止选举 isr 以外的follower为leader
  • tries >1 重试次数
  • min.insync.replicas>1 同步副本数，没满足该之前，不提供 读写服务。
    综上所述，在 acks = all 且 min.insync.replicas = 3，副本总数为 5 个的情况下，至少 3 个处于 ISR 中的副本写入数据完成，Kafka 才会判定消息写入操作完成。

消费者

  • 手动提交 offset
  • broker 减少刷盘间隔
  • 事务消息

1.7 kafka reblance

  • 消费者分区策略
  1. range 范围分区 默认
  2. roundrobin 轮询
  3. sticky 策略 体现在 reblance 策略下。
  • 触发reblance 的时间
  1. 消费者组成员个数变化的时候。 有新的消费者加入、离开消费者组
  2. 订阅的topic 发生变化
  3. 订阅topic 的分区发生变化
  • coordinator 协调过程
  1. 消费者 找到消费者组中的 协调器
  2. 确定分区策略

system design interview 书

第八章 设计短链系统

kafka 笔记

尚硅谷-笔记

相关文章：

kafka的文章

1.面试的问题 要点 至多一次、恰好一次数据一致性超时重试、幂等消息顺序消息挤压延时消息 1.1 kafaka 生产消息的过程。 在消息发送的过程中，涉及到了两个线程，一个是main 线程，一个是sender 线程。在main 线程中创建了一个双端队列 Reco…...

编程日记 2025/8/1 10:42:52

Go常见问题与回答(下)

文章目录 1、通过指针变量 p 访问其成员变量 name，有哪几种方式？2、代码，说出结果3、扩容提，代码，说出结果4、指出下面这段代码的错误之处5、是否通过编译6、关于字符串连接，下面语法正确的是7、关于iota&a…...

编程日记 2025/7/28 11:39:11

vue3中如何缓存路由组件

在 Vue3 中缓存路由组件&#xff0c;主要借助<keep-alive>组件来实现&#xff0c;具体方法如下&#xff1a; 1. 全局缓存路由组件 在 App.vue 等根组件中&#xff0c;直接将<router-view>包裹在<keep-alive>标签内&#xff0c;这样所有的路由组件都会被缓存…...

编程日记 2025/7/23 14:28:10

云服务器怎么防御ddos攻击呢？

防御DDoS攻击是保障云服务器稳定运行的关键措施&#xff0c;以下是综合多种防护策略的详细方案&#xff1a; 1. 启用云服务商提供的DDoS防护服务 高防IP/流量清洗&#xff1a; 将业务流量接入云服务商的高防IP&#xff0c;由专业清洗中心过滤恶意流量&#xff0c;仅放行正常请求…...

编程日记 2025/7/28 16:39:10

Log4j2 的核心实现和源码分析

Log4j2 的核心实现和源码分析 1. 核心组件 1.1 Logger 功能：负责记录日志信息。实现：org.apache.logging.log4j.Logger 接口，org.apache.logging.log4j.core.Logger 类。1.2 Appender 功能：负责将日志信息输出到不同的目的地，如文件、控制台等。实现：org.apache.loggin…...

编程日记 2025/7/27 15:29:46

【深度学习】【目标检测】【OnnxRuntime】【C++】YOLOV3模型部署

【深度学习】【目标检测】【OnnxRuntime】【C】YOLOV3模型部署 提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论 文章目录 【深度学习】【目标检测】【OnnxRuntime】【C】YOLOV3模型部署前言Windows平台搭建依赖环境模型转换--pytorch转onnxONNXRuntime推…...

编程日记 2025/7/27 12:05:24

四种跨模态行人重识别可视化方法

1.Gradcam 2.检索可视化 3.tsne图 4.距离分布 需要的私聊&#xff0c;代码需要付费...

编程日记 2025/6/28 5:59:41

8个DeepSeek文章润色指令

今天道叔给各位文字工作者安利DeepSeek的8个神仙级润色指令(附真实案例拆解)&#xff0c;建议搭配冰美式食用更佳↓↓↓ 一、【学术黑话翻译器】 适用场景&#xff1a;给投资人看的BP/行业白皮书/专家访谈实录 指令公式&#xff1a;"将以下内容转化为通俗易懂的行业洞察…...

编程日记 2025/8/1 1:36:31

解决PowerShell下Git中文乱码问题

解决PowerShell下Git中文乱码问题 在使用Git进行版本控制时&#xff0c;许多开发者可能会遇到中文乱码的问题&#xff0c;尤其是在Windows环境下使用PowerShell时。这不仅影响代码的阅读和提交&#xff0c;还可能导致一些不可预见的错误。本文将详细探讨如何在PowerShell下解决…...

编程日记 2025/7/29 1:22:51

oracle数据库（数据库启动关闭/sqlplus登录及基本操作/设置字符集/distinct去重）

目录 1. Oracle数据库启动 2. Oracle数据库关闭 3. sqlplus登录Oracle数据库 3.1 使用sqlplus登录Oracle数据库 3.2 使用sqlplus登录Oracle数据库 3.3 远程登录 3.4 解锁用户 3.5 修改用户密码 3.6 查看当前语言环境 4. sqlplus基本操作 4.1 显示当前用户 4.2 查看当前用户…...

编程日记 2025/7/31 6:57:10

mapreduce时，客户端做哪些事

在MapReduce过程中&#xff0c;客户端&#xff08;Client&#xff09;是用户提交作业的入口&#xff0c;负责作业的初始化、配置、资源提交和作业监控。以下是客户端在整个流程中的具体职责和操作步骤&#xff1a; 1. 作业配置与参数解析 设置作业属性&#xff1a; 定义MapRed…...

编程日记 2025/7/29 21:50:53

DeepBI：重构流量逻辑，助力亚马逊广告实现高效流量增长

在日益激烈的跨境电商竞争环境中&#xff0c;广告投放早已从“粗放撒网”走向“精细化运营”。尤其是在亚马逊这样一个成熟且竞争白热化的平台&#xff0c;如何在广告预算有限的前提下实现高效曝光、精准触达、稳定转化&#xff0c;成为众多卖家和运营团队面临的核心挑战。 De…...

编程日记 2025/7/21 10:00:44

Linux内核的页面错误：原因与解决方案

当程序访问虚拟内存中的一个页面时&#xff0c;如果该页面当前不在物理内存中&#xff0c;就会触发一个称为"page fault"&#xff08;页异常&#xff09;的异常。操作系统需要处理这个异常&#xff0c;并将所需页面从磁盘加载到内存中。实现虚存管理的一个关键是page…...

编程日记 2025/7/24 1:14:09

LORA 中的 梯度外积是什么意思； 方差和协方差的实际含义：衡量变量的离散程度和变量间的线性相关性

LORA 中的 梯度外积是什么意思 目录 LORA 中的 梯度外积是什么意思**一、梯度外积的定义****二、示例说明****步骤1：计算单样本梯度****步骤2：计算梯度外积****三、梯度外积的作用****四、总结**方差和协方差的实际含义：衡量变量的离散程度和变量间的线性相关性**一、方差（…...

编程日记 2025/7/30 11:24:27

XSS复现漏洞简单前八关靶场

靶场不需要安装任意环境 链接如下&#xff1a;XSS Game - Learning XSS Made Simple! | Created by PwnFunction 目录 XSS Game 第一关&#xff1a;Ma Spaghet! 第二关&#xff1a;Jefff 第三关&#xff1a;Ugandan Knuckles 第四关&#xff1a;Ricardo Milos 第五关&am…...

编程日记 2025/7/29 15:32:02

3.24-3 接口测试断言

一.postman 断言 1.断言再test中 #状态码是否等于200 tests["Status code is 200"] responseCode.code 200; #断言响应时间小于200ms tests["Response time is less than 200ms"] responseTime < 200; #断言响应体包含内容 tests["Body…...

编程日记 2025/7/28 1:20:52

《鸿蒙携手AI：解锁智慧出行底层逻辑》

在科技飞速发展的当下&#xff0c;智慧出行成为人们对未来交通的美好期许&#xff0c;而鸿蒙系统与人工智能的深度融合&#xff0c;正为这一愿景的实现提供强大助力。从技术原理角度深入剖析&#xff0c;鸿蒙系统究竟如何支撑人工智能在智慧出行场景中的应用呢&#xff1f;这背…...

编程日记 2025/7/23 21:23:43

【AVRCP】探寻AVRCP控制互操作性：连接、命令与设备交互

目录 一、AVCTP连接管理 1.1 AVCTP连接建立 1.2 AVCTP连接释放 二、AV/C命令的操作流程 2.1 AV/C命令交换流程 2.2 AV/C命令类型 三、AVRCP特定命令 四、AVRCP浏览命令 五、OBEX连接管理 5.1 OBEX连接建立 5.2 OBEX连接释放 六、总结 七、参考资料 AVRCP对于实现设…...

编程日记 2025/7/30 14:56:43

Mybatis-Plus知识点详解

Mybatis-plus(简称MP),基于Mybatis的增强工具,保留了Mybatis的所有功能,同时增加了通用的CRUD,条件构造器,分页插件等等实用工具 特性 即拿即用:通过通用Mapper和Service,无需编写XML既可以完成单表CURE操作 Lambda支持:使用Lambda表达式构建查询条件,避免硬编码字段名,提升代…...

编程日记 2025/7/28 10:46:42

紧凑交叉引用表

嗯&#xff0c;用户问的是“compact xref table”&#xff0c;也就是紧凑型交叉引用表。我之前在回答中提到过交叉引用流&#xff08;XRef Stream&#xff09;&#xff0c;但可能需要更详细地解释两者的区别和联系。根据搜索结果中的网页1&#xff0c;传统的Xref表以文本形式存…...

编程日记 2025/7/28 23:44:20

CMake 详解：跨平台构建系统的入门与进阶

目录 一、相关知识点 1. 什么是cmake&#xff0c;为什么使用&#xff1f; 2. 构建过程 二、CMake使用流程 1. 创建 CMakeLists.txt 文件 2. 配置构建目录 3. 运行cmake 4. 运行make编译 一、相关知识点 1. 什么是cmake&#xff0c;为什么使用&#xff1f; CMake 是一个开…...

编程日记 2025/7/28 1:13:34

【架构设计】学习路径

掌握前置知识后&#xff0c;学习架构设计需要从理论认知到实践落地逐步推进。以下是系统化的学习路径&#xff0c;结合具体案例与实操建议&#xff0c;帮助你快速进阶&#xff1a; 一、构建架构思维基础 1. 理解架构设计的核心目标 关键问题驱动设计&#xff1a; 每个架构决策…...

编程日记 2025/7/28 23:01:33

14、Python 枚举与类型注解进阶

Python 枚举与类型注解进阶 文章概述 本文深入探讨Python中枚举&#xff08;Enum&#xff09;与类型注解的高级应用场景。通过剖析Enum类的核心特性、dataclass装饰器的工程实践、静态类型检查工具mypy的集成使用&#xff0c;结合状态机等实际案例&#xff0c;系统性地提升代…...

编程日记 2025/8/1 8:08:15

C语言 【实现电脑关机小游戏】非常好玩

引言 在时间限制内做出正确的回答&#xff0c;时间一到&#xff0c;电脑自动关机&#xff0c;听起来是不是很有意思&#xff0c;下面来看看怎么实现吧。 注意&#xff1a;该游戏只在windows系统下可以玩&#xff0c; 一、游戏原理&#xff1a; 在Windows系统下&#xff0c;通…...

编程日记 2025/8/1 5:46:55

【蓝桥杯速成】| 11.回溯 之 子集问题

题目一&#xff1a;子集 问题描述 78. 子集 - 力扣&#xff08;LeetCode&#xff09; 给你一个整数数组 nums &#xff0c;数组中的元素 互不相同 。返回该数组所有可能的子集&#xff08;幂集&#xff09;。 解集 不能 包含重复的子集。你可以按 任意顺序 返回解集。 示例…...

编程日记 2025/8/1 1:59:40

统计矩的高阶推广：经验还是理论推导？

矩的发展既是经验总结的结果&#xff0c;也是数学理论推导的产物。研究者们在分析数据、描述物理现象的过程中&#xff0c;发现了低阶矩与日常物理概念&#xff08;如质心、惯性&#xff09;之间的紧密联系&#xff0c;而高阶矩的应用往往出现在更复杂的数学体系中&#xff0c;…...

编程日记 2025/7/28 22:51:11

SpringBoot2集成Elasticsearch8（使用spring-boot-starter-data-elasticsearch）

写在前面 使用spring-boot-starter-data-elasticsearch集成Elasticsearch8&#xff1f; What? 官方写的不支持啊&#xff1f;让我们来看下官方给出的版本建议。 官方地址&#xff1a; https://docs.spring.io/spring-data/elasticsearch/reference/elasticsearch/versions.…...

编程日记 2025/7/28 21:44:19

Postgresql源码（142）子查询提升pull_up_sublinks

1 案例 drop table t_fun01; create table t_fun01 (image_id numeric primary key, content_id varchar(50), file_code varchar(20)); create index idx3 on t_fun01(content_id); create index idx4 on t_fun01(file_code); insert into t_fun01 select t.i, t.i%10, t.i%1…...

编程日记 2025/8/1 1:33:55

sonar代码检测研究及平台搭建

为了实现提交代码自动检测代码缺陷&#xff0c;本文介绍了一种将jenkins与gitlab集成的自动检测机制&#xff0c;如需应用于生产级开发流程&#xff0c;可在此基础上进行功能丰富和扩展,本文仅进行了原理性搭建。 一、基础环境准备 与sonar配合使用的jenkins和gitlab基础软件…...

编程日记 2025/7/26 5:31:46

清华大学：DeepSeek从入门到精通系列教程1-9讲（持续更新中）｜大礼包免费下载

导 读INTRODUCTION 今天分享由清华大学新闻与传播学院、人工智能学院双聘教授沈阳老师团队倾力打造的《DeepSeek从入门到精通系列教程1-9讲&#xff08;持续更新中&#xff09;》&#xff0c;包含&#xff1a;《DeepSeek&#xff1a;从入门到精通》《DeepSeek如何赋能职场应用》…...

编程日记 2025/7/29 17:55:45

使用Python可视化图结构：从GraphML文件生成节点关系图（lightrag 生成）

引言 在数据可视化领域&#xff0c;图结构&#xff08;Graph&#xff09;常用于展示实体间的复杂关系。例如&#xff0c;文学分析中的角色关系、社交网络中的用户互动等。本文将通过一个实际案例&#xff0c;演示如何使用 NetworkX 和 Matplotlib 从 GraphML 文件生成节点关系…...

编程日记 2025/7/24 9:38:19

排序复习_代码纯享

头文件 #pragma once #include<iostream> #include<vector> #include<utility> using std::vector; using std::cout; using std::cin; using std::endl; using std::swap;//插入排序 //1、直接插入排序&#xff08;稳定&#xff09; void InsertSort(vecto…...

编程日记 2025/7/30 19:10:02

Docker Hub Mirror 终极解决方案——0成本，超高速！

CNB Docker Mirror (cdm) CNB Docker Mirror 是一个基于 CNB 的 Docker 镜像加速工具&#xff0c;提供本地镜像加速功能。 功能特性 镜像加速&#xff1a;在本地启动连接到 CNB 环境的 Docker 镜像加速服务&#xff0c;然后通过配置 Docker 客户端实现镜像加速下载自动重连&…...

编程日记 2025/7/31 1:43:38

2000-2019年各省地方财政车船税数据

2000-2019年各省地方财政车船税数据 1、时间&#xff1a;2000-2019年 2、来源&#xff1a;国家统计局、统计年鉴 3、指标&#xff1a;行政区划代码、地区、年份、地方财政车船税 4、范围&#xff1a;31省 5、指标说明&#xff1a;车船税作为地方财政的重要组成部分&#x…...

编程日记 2025/7/30 1:08:03

c#处理算数溢出的情况

在C#中&#xff0c;算术运算的溢出处理可以通过 checked 和 unchecked 关键字控制&#xff0c;默认行为是 静默截断&#xff08;unchecked模式&#xff09;&#xff0c;但可以通过配置或代码块显式调整。以下是详细说明&#xff1a; 1. 默认行为&#xff08;unchecked模式&…...

编程日记 2025/7/20 7:35:32

Java「Deque」 方法详解：从入门到实战

Java Deque 各种方法解析&#xff1a;从入门到实战 在 Java 编程中&#xff0c;Deque&#xff08;双端队列&#xff09;是一个功能强大的数据结构&#xff0c;允许开发者从队列的两端高效地添加、删除和检查元素。作为 java.util 包中的一部分&#xff0c;Deque 接口继承自 Qu…...

编程日记 2025/8/1 1:35:49

简记_FPGA 硬件最小系统设计

一、FPGA板级设计的五要素 1.1、电源电路 核心电压&#xff1a;一般为固定值 IO电压&#xff1a;FPGA的IO分为多个bank&#xff0c;同一个bank的不同IO引脚电压相同&#xff0c;不同bank的电压可以不同 辅助电压&#xff1a;除了核心电压和IO电压&#xff0c;FPGA工作所需的…...

编程日记 2025/7/31 10:57:09

C++题目

1、内存管理 1.内存模型 栈:在执行函数时&#xff0c;函数内局部变量的存储单元都可以在栈上创建&#xff0c;函数执行结束时这些存储单元自动被释放。 堆&#xff1a;就是那些由new分配的内存块&#xff0c;其释放由程序员控制&#xff08;一个new对应一个delete&#xff09…...

编程日记 2025/7/27 14:49:50

Vulhub-jangow-01-1.0.1通关攻略

第0步&#xff1a; 打开靶机&#xff0c;按下shift&#xff0c;出现下图界面 在此页面按下e键&#xff0c;进入如下界面&#xff0c; 将ro 替换为 rw signie init/bin/bash 替换完毕后&#xff0c;按下Ctrl键X键&#xff0c;进入如下页面 ip a查看网卡信息 编辑配置文件网卡信…...

编程日记 2025/7/19 10:29:39

入剖析 Android Compose 框架的关键帧动画（keyframes、Animatable）(二十三)

深入剖析 Android Compose 框架的关键帧动画&#xff08;keyframes、Animatable&#xff09; 引言 在当今的 Android 应用开发领域&#xff0c;用户体验已成为衡量一款应用成功与否的关键因素之一。而动画作为提升用户体验的重要手段&#xff0c;能够为应用增添生动性和交互性…...

编程日记 2025/7/28 8:32:03

java中的枚举类型和c，c++的有区别吗？c，c++的枚举，结构体，联合体，三种数据有什么区别和联系

Java 枚举类型与 C、C 枚举类型的区别 1. 类型安全 Java&#xff1a;Java 的枚举类型是类型安全的。枚举常量是枚举类型的实例&#xff0c;编译器会严格检查传递的参数是否为该枚举类型的有效常量。例如&#xff1a; java Apply enum Color { RED, GREEN, BLUE } // 编译器会检…...

编程日记 2025/7/31 19:18:20

详解Redis的持久化与数据可靠性

Redis持久化与数据可靠性详解&#xff08;结合实例&#xff09; Redis作为内存数据库&#xff0c;持久化是保证数据不丢失的核心机制。它通过将内存数据保存到磁盘&#xff0c;确保服务器重启后能恢复数据。Redis提供RDB、AOF和混合持久化三种方式&#xff0c;下面通过实例和操…...

编程日记 2025/7/31 1:31:17

1、mysql基础篇--概述

关系型数据库&#xff08;RDBMS&#xff09; 概念特点&#xff1a;数据模型&#xff1a; 概念 建立在关系模型基础上&#xff0c;有多张表相互连接的二维表组成的数据库 特点&#xff1a; 1、使用表存储&#xff0c;格式统一&#xff0c;便于维护 2、使用sql语言操作&#…...

编程日记 2025/7/11 19:48:20

【Tiny RDM】Redis客户端工具

Tiny RDM Tiny RDM是一款现代化、轻量级、跨平台的Redis客户端&#xff0c;支持Mac、Windows和Linux&#xff0c;目前在Github上已有10kStar。 Github 项目地址&#xff1a; https://github.com/tiny-craft/tiny-rdm 功能特性 极度轻量&#xff0c;基于Webview2&#xff0c…...

编程日记 2025/7/28 2:30:15

常见框架漏洞攻略-Shiro篇

漏洞名称 Shiro rememberMe反序列化漏洞 漏洞简介 Apache Shiro是⼀个强⼤易⽤的Java安全框架&#xff0c;提供了认证、授权、加密和会话管理等功能。Shiro框架直观、易⽤&#xff0c;同时也能提供健壮的安全性。 漏洞原理 在Shiro框架下&#xff0c;⽤户登陆成功后会⽣成…...

编程日记 2025/7/28 3:58:43

常见框架漏洞之一：Thinkphp5x

ThinkPHP是为了简化企业级应⽤开发和敏捷WEB应⽤开发⽽诞⽣的&#xff0c;是⼀个快速、兼容⽽且简单的轻量级国产PHP开发框架&#xff0c;诞⽣于2006年初&#xff0c;原名FCS&#xff0c;2007年元旦正式更名为 ThinkPHP&#xff0c;遵循Apache2开源协议发布&#xff0c;从Stru…...

编程日记 2025/7/30 11:38:21

MORL4PDEs：基于多目标优化与强化学习的数据驱动偏微分方程发现

摘要&#xff1a;本文提出了一种结合多目标优化与强化学习的数据驱动方法MORL4PDEs&#xff0c;用于从复杂系统观测数据中发现简洁的偏微分方程&#xff08;PDE&#xff09;。该方法无需预定义候选函数库&#xff0c;通过神经网络代理生成符号表达式&#xff0c;结合遗传算法优…...

编程日记 2025/7/26 1:49:51

UniApp和微信小程序中v-switch夜间模式动画开关

UniApp兼容版 <template><view><view class"main-container" :style"{ backgroundColor: value ? #45e3f9 : #20114c,transform:scale(${size})}" tap"onClick"><view class"content" :style"{ left: val…...

编程日记 2025/7/29 1:30:05

六十天Linux从0到项目搭建第四天（通配符命令、其他命令、压缩解压工具、shell的感性理解、linux权限解析）

通配符&#xff08;Wildcard&#xff09; 是 Shell 提供的特殊字符&#xff0c;用于 匹配文件名或路径名&#xff0c;可以代替一个或多个字符&#xff0c;使得命令能批量操作文件&#xff0c;而无需手动输入每个文件名。 典型用法 * 匹配任意字符 *.txt → 匹配所有 .txt 文…...

编程日记 2025/7/25 19:53:23

RAG优化:python从零实现自适应检索增强Adaptive Retrieval

开篇：当RAG遇上“自适应大脑”，检索从此不再“一根筋”！🧠 想象一下，你的AI助手是个超级聪明的“学霸”，但有时候却像个“一根筋”的机器人——无论你问它什么，它都用同一种方式去回答。问它“什么是XAI？”它给你一堆定义；问它“AI发展太快了吗？”它还是给你一堆定…...

编程日记 2025/7/28 23:19:04