当前位置: 首页 > news >正文

缓存与数据库的高效读写流程解析

目录

  • 前言
  • 1 读取数据的流程
    • 1.1 检查缓存是否命中
    • 1.2 从数据库读取数据
    • 1.3 更新缓存
    • 1.4 返回数据
  • 2 写入数据的流程
    • 2.1 更新数据库
    • 2.2 更新或删除缓存
    • 2.3 缓存失效
  • 3 缓存与数据库的一致性问题
    • 3.1 写穿(Write-through)策略
    • 3.2 写回(Write-back)策略
    • 3.3 缓存失效策略
  • 4. 总结与实践
    • 4.1 性能提升
    • 4.2 一致性挑战
    • 4.3 实践中的注意事项
  • 结语

前言

随着互联网应用的快速发展,数据访问的效率成为了许多系统设计中的核心问题之一。在大规模分布式系统中,数据库往往成为了性能瓶颈,尤其是当应用需要频繁地读取相同的数据时。为了提升系统性能,减少数据库的压力,缓存技术应运而生。缓存通过将频繁访问的数据存储在内存中,显著降低了读取延迟,提升了响应速度。但缓存的引入也带来了数据一致性的问题,需要精心设计缓存与数据库的交互流程。

本文将深入探讨缓存和数据库的读写流程,并分析它们的协作模式,帮助开发者更好地理解如何通过合理的缓存策略来提升系统性能和稳定性。

1 读取数据的流程

在引入缓存之后,读取数据的过程通常包括检查缓存、访问数据库和更新缓存等几个关键步骤。以下是缓存读取的详细流程。
在这里插入图片描述

1.1 检查缓存是否命中

当应用程序需要读取某一数据时,首先会去检查缓存中是否存在这条数据。缓存是一个快速的内存存储系统,它比传统的硬盘数据库访问速度快得多。常见的缓存技术包括 Redis、Memcached 等。在缓存中,每一条数据通常会根据某个唯一标识符(如数据的主键或唯一 ID)存储,这样在读取时只需通过标识符即可快速定位。

缓存的命中与否直接影响到读取的效率:

  • 缓存命中:如果缓存中已经存在所需数据,那么应用直接从缓存中取出数据并返回。此时,数据库并未被访问,响应速度非常快。
  • 缓存未命中:如果缓存中没有所需数据,那么应用需要访问数据库来获取数据。

1.2 从数据库读取数据

如果缓存未命中,系统会查询数据库获取数据。此时,系统会根据请求的数据标识符向数据库发起查询。数据库查询通常会涉及 SQL 查询语句的执行,虽然数据库的查询性能相对较高,但由于其底层是硬盘存储,读写速度通常比内存缓存要慢。因此,频繁的数据库查询可能会导致系统的性能瓶颈。

1.3 更新缓存

从数据库成功读取到数据后,为了提高下次读取的效率,系统会将数据存储到缓存中。这样,下一次相同的请求就可以直接从缓存中获取,避免了再次访问数据库。缓存更新的策略可以是直接写入,也可以选择根据一定的规则对缓存进行更新。例如,可以选择为每条缓存数据设置一个过期时间,定期更新缓存中的数据。

1.4 返回数据

在数据成功读取并缓存后,系统将最终的数据返回给客户端,完成一次读取请求的处理。需要注意的是,缓存中的数据并不一定是最新的,尤其在写操作后,缓存可能会存在短时间的不一致。因此,在设计时需要特别注意缓存的一致性问题。

2 写入数据的流程

与读取数据的流程相比,写入数据的流程相对复杂,尤其在需要确保数据一致性时。写入数据时,缓存和数据库的更新必须同步进行,否则可能会出现缓存与数据库之间的数据不一致问题。写操作的主要流程可以分为以下几个步骤。
在这里插入图片描述

2.1 更新数据库

无论数据是否在缓存中,写操作的首要任务是确保数据库中的数据始终保持一致。因此,所有的数据修改都首先会写入数据库,确保数据的持久化。这是因为缓存并非持久化存储,可能会因服务器重启等原因丢失数据,而数据库通常是唯一的数据持久化存储。

2.2 更新或删除缓存

在更新完数据库之后,接下来就需要考虑如何更新缓存。对于缓存的更新,有两种常见的策略:

  • 直接更新缓存:当数据更新完成后,直接将新的数据写入缓存。这样做可以确保缓存中的数据与数据库中的数据始终保持一致,适用于那些更新频繁、需要保证高一致性的场景。
  • 删除缓存:如果不需要立即更新缓存,或者希望通过重新计算来获取最新的数据,可以选择删除缓存中的数据。这样,当下一次请求相同数据时,系统会重新从数据库中读取数据并更新缓存。这种方式在某些场景下能够减少缓存更新的复杂性。

2.3 缓存失效

另一种常见的处理方式是使用缓存过期机制。缓存中的数据通常会设置一个有效期(TTL),当数据过期后,缓存会自动失效,下一次请求时会重新从数据库中获取数据并更新缓存。这种方式在更新不频繁或对数据一致性要求不那么严格的场景下非常有效。

3 缓存与数据库的一致性问题

缓存和数据库的交互虽然能够显著提升系统性能,但在大规模应用中,缓存与数据库之间的一致性问题是不可忽视的。为了保持缓存与数据库的数据一致性,常见的解决策略有以下几种:

3.1 写穿(Write-through)策略

写穿策略是指每次数据写入时,都会同时更新数据库和缓存。这意味着,无论何时进行写操作,都会确保缓存和数据库的数据始终保持一致。写穿策略简单且易于实现,但其缺点是每次写操作都需要访问数据库,可能会导致一定的性能开销。

3.2 写回(Write-back)策略

写回策略与写穿策略不同,写回策略首先会将数据写入缓存,而数据库的更新则延迟一段时间,通常是异步的。这样,系统在高频写操作下能够提高性能,但也带来了数据一致性问题。为了确保最终一致性,通常需要定期将缓存中的数据同步到数据库,或者在数据写入后通过后台任务来更新数据库。

3.3 缓存失效策略

缓存失效策略是在数据更新时,主动将缓存中的数据标记为失效,或者删除缓存中的数据。这样,下一次请求时,数据就会重新从数据库中读取并更新缓存。这种策略相对简单,但需要保证缓存和数据库之间的数据同步和时效性。

4. 总结与实践

缓存技术在提高系统性能、减少数据库负担方面具有重要作用,但它也引入了缓存与数据库之间的一致性问题。在设计缓存和数据库的交互时,需要综合考虑性能、数据一致性、复杂度等因素。

4.1 性能提升

缓存的最大优势在于提升读取性能。通过将热点数据存储在内存中,缓存能够显著减少数据库的查询次数,从而降低延迟和响应时间,提高系统的整体吞吐量。在高并发场景下,缓存的引入能够有效分担数据库的负载,提升系统的可扩展性。

4.2 一致性挑战

尽管缓存能大幅提升性能,但缓存与数据库之间的数据一致性问题依然是不可忽视的挑战。在高并发场景中,缓存和数据库的同步更新往往是一个复杂的问题。开发者在选择缓存策略时,需要根据业务需求和实际场景做出权衡。例如,对于一些数据更新不频繁的应用,缓存失效策略可能是一个不错的选择;而对于需要高一致性的场景,写穿策略则可能更加适合。

4.3 实践中的注意事项

在实际开发中,缓存与数据库的协作是一个非常常见的场景。在实现时,开发者需要关注以下几个方面:

  • 缓存的粒度:缓存的数据粒度不宜过大,否则会导致内存浪费。应根据业务需求合理规划缓存的粒度。
  • 缓存的过期策略:合理的过期时间可以帮助保持数据的新鲜度,防止过期数据对系统性能产生负面影响。
  • 缓存与数据库的同步策略:在写操作中,如何确保缓存和数据库的数据一致性,应该根据具体的业务需求和数据更新频率来选择合适的策略。

结语

缓存与数据库的交互是一个高效系统设计的核心部分,通过合理的缓存策略可以大大提升应用的性能。然而,缓存与数据库的同步、数据一致性等问题也需要开发者在设计时仔细考虑。随着技术的发展,我们可以借助各种工具和策略来优化这一过程,确保系统在提供高性能的同时,也能保持数据的一致性和可靠性。在未来的应用开发中,缓存技术仍将发挥越来越重要的作用。

相关文章:

缓存与数据库的高效读写流程解析

目录 前言1 读取数据的流程1.1 检查缓存是否命中1.2 从数据库读取数据1.3 更新缓存1.4 返回数据 2 写入数据的流程2.1 更新数据库2.2 更新或删除缓存2.3 缓存失效 3 缓存与数据库的一致性问题3.1 写穿(Write-through)策略3.2 写回(Write-back…...

Linux中的粘滞位和开发工具和文本编辑器vim

1.粘滞位的使用的背景: 当几个普通用户需要文件共享操作时,他们就需要在同一个目录下进行操作,那么就诞生一个问题,由谁来创建这个公共的目录文件?假设是由其中的一个普通用户来创建一个默认的目录文件,这就…...

冯诺依曼结构与哈佛架构深度解析

一、冯诺依曼结构(Von Neumann Architecture) 1.1 核心定义 由约翰冯诺依曼提出,程序指令与数据共享同一存储空间和总线,通过分时复用实现存取。 存储器总带宽 指令带宽 数据带宽 即:B_mem f_clk W_data f_…...

如何提升个人情商?

引言 提升个人情商(EQ)是一个持续的自我修炼过程,涉及自我认知、情绪管理、人际沟通等多个方面。以下是一些具体且可实践的方法,帮助你逐步提升情商: 一、提升自我觉察能力 1. 记录情绪日记 每天回顾自己的情绪…...

JSON Web Token 默认密钥 身份验证安全性分析 dubbo-admin JWT硬编码身份验证绕过

引言 在web开发中,对于用户认证的问题,有很多的解决方案。其中传统的认证方式:基于session的用户身份验证便是可采用的一种。 基于session的用户身份验证验证过程: 用户在用进行验证之后,服务器保存用户信息返回sess…...

K230的ISP(图像信号处理器)通常支持多通道输出,常见配置为3个独立通道

也就是一个摄像头可以拍摄三种配置的图片,这样就可以调用三种: img_try sensor.snapshot(chnCAM_CHN_ID_0) img_try2 sensor.snapshot(chnCAM_CHN_ID_1) img_try3 sensor.snapshot(chnCAM_CHN_ID_2) 这样可以一图多用 eg: # 初始化并配…...

工程师 - 小米汽车尾部主动扩散器

关于小米SU7 Ultra的主动尾部扩散器,其设计初衷是为了平衡日常驾驶的节能需求与运动驾驶的操控性能。这一装置位于车辆尾部下方,具备自动调节功能,能够根据车速在0和32之间切换,同时也支持手动调整。 32度打开状态: 0度…...

Linux watch 命令使用详解

简介 watch 命令会以固定间隔(默认每 2 秒)重复运行给定命令,并在终端上显示其输出。它非常适合监控不断变化的输出,例如磁盘使用情况、内存使用情况、文件更改、服务状态等。 基础语法 watch [options] command常用选项 -n, -…...

RabbitMQ-基础

RabbitMQ-基础 文章目录 RabbitMQ-基础1.同步调用2.异步调用3.技术选型4.安装RabbitMQ(官方网址)https://www.rabbitmq.com/5.快速入门5.1收发消息5.1.1交换机5.1.2队列5.1.3绑定关系5.1.4发送消息 5.2数据隔离5.2.1用户管理5.2.2virtual host 6.Java客户端操作RabbitMQ6.1快速…...

第九周作业

安全专题笔记 1、文件上传 (1) 服务端白名单绕过 %00截断绕过要求虚拟机中搭建实验环境,分别实现GET、POST方法的绕过 前提条件: 1 php的版本需要在5.4以下 2 magic_quotes_gpc需要设置为off 启动phpstudy,前往php-ini将magic_quotes_gpc…...

AtCoder Beginner Contest 404 C-G(无F)题解

C. Cycle Graph? 题意 给你一个 N N N 个顶点 M M M 条边的简单(无重边、自环)无向图,第 i i i 条边连接节点 A i A_i Ai​ 和 B i B_i Bi​,判断这个图是不是一个环。 思路 首先一个图是环,要满足点数等于边…...

Python----机器学习(模型评估:准确率、损失函数值、精确度、召回率、F1分数、混淆矩阵、ROC曲线和AUC值、Top-k精度)

一、模型评估 1. 准确率(Accuracy):这是最基本的评估指标之一,表示模型在测试集上正确 分类样本的比例。对于分类任务而言,准确率是衡量模型性能的直观标准。 2. 损失函数值(Loss)&#xff1…...

开上“Python跑的车”——自动驾驶数据可视化的落地之道

开上“Python跑的车”——自动驾驶数据可视化的落地之道 一、自动驾驶离不开“看得见”的智能 在智能汽车时代,自动驾驶已然不是“炫技”标签,而是一场技术实力的全面拉锯战。而在这场战役中,有一个极其关键但常被忽略的领域,叫做: 数据可视化(Data Visualization)。 为…...

Linux内核gcov修改为模块

Linux内核gcov修改为模块 Gcov 是 GNU 项目开发的代码覆盖率分析工具,与 GCC 编译器深度集成,用于统计程序运行时代码的执行情况,帮助开发者评估测试用例的完整性和代码质量。 Gcov工作原理 ​1. 编译插桩 编译时需添加 -fprofile-arcs -…...

【安装配置教程】linux部署AList记录

之前朋友安利给自己AList,这个工具可以很方便的管理个人的网盘内容,可以随时上传下载拉取,于是心血来潮自己部署并记录一下。 一、拉取下载脚本 在AList官网,找到安装下面的一键脚本 curl -fsSL "https://alist.nn.ci/v3.sh…...

题解:AT_abc245_e [ABC245E] Wrapping Chocolate

我绝对不会告诉你我打比赛时没做出来这道题。 题目简化:给定每个巧克力和盒子的长宽,已知每个盒子只能放一块巧克力,并且必须保证巧克力能放下,求是否所有巧克力都能放入。 思路:贪心、二分、排序、STL。 首先看到这…...

Linux 入门:操作系统进程详解(上)

目录 一.冯诺依曼体系结构 一). 软件运行前为什么要先加载?程序运行之前在哪里? 二).理解数据流动 二.操作系统OS(Operator System) 一).概念 二).设计OS的目的 三).如何理解操作系统…...

5.7/Q1,GBD数据库最新文章解读

文章题目:Global, regional, and national burden and trends of rheumatoid arthritis among the elderly population: an analysis based on the 2021 Global Burden of Disease study DOI:10.3389/fimmu.2025.1547763 中文标题:全球、区域…...

[pdf,epub]292页《分析模式》漫谈合集01-59提供下载

《分析模式》漫谈合集01-59的pdf、epub文件提供下载,地址: umlchina.com/url/ap.html,或查看本账号的CSDN资源。 已排版成适合手机阅读,pdf的排版更好一些。...

Spring MVC的工作流程, DispatcherServlet 的工作流程

Spring MVC 是一种基于Java的模型-视图-控制器(MVC)Web框架,它通过清晰的角色划分简化了Web应用开发。下面是Spring MVC的工作流程以及DispatcherServlet的具体工作流程。 Spring MVC 工作流程 请求到达:客户端发起一个HTTP请求…...

【Godot】使用 Shader 实现可配置圆角效果

文章目录 效果预览实现原理完整Shader代码关键参数详解1. 半径参数(radius)2. 角开关参数(hide_*)数学原理圆形区域判定公式坐标映射性能优化使用示例编辑器操作代码控制进阶技巧1. 添加抗锯齿2. 外发光效果3. 动画效果常见问题解决方案问题1:圆角边缘锯齿问题2:圆形变形…...

【翻译、转载】MCP 提示 (Prompts)

原文地址:https://modelcontextprotocol.io/docs/concepts/prompts#python 提示 (Prompts) 创建可重用的提示模板和工作流 提示 (Prompts) 使服务器能够定义可重用的提示模板和工作流,客户端可以轻松地将其呈现给用户和 LLM。它们提供了一种强大的方式来…...

论快乐的学习和学习的快乐

目录 一、背景二、过程1.快乐的学习:理念与实践快乐学习的理念溯源快乐学习在教育实践中的体现 2.学习的快乐:内涵与价值学习的快乐的多维内涵学习的快乐对个人成长的价值 3.快乐的学习与学习的快乐的相互关系快乐的学习是学习快乐的重要前提学习的快乐是…...

Git 命令

参考文献: Git 教程 | 菜鸟教程Git 使用教程:最详细、最正宗手把手教学(万字长文)git忽略某个目录或文件不上传 文章目录 工作原理基本命令配置使用 其他命令日志分支回退标签 忽略指定文件远程仓库 工作原理 Git 是由 Linus To…...

365打卡第R6周: LSTM实现糖尿病探索与预测

🍨 本文为🔗365天深度学习训练营中的学习记录博客 🍖 原作者:K同学啊 🏡 我的环境: 语言环境:Python3.10 编译器:Jupyter Lab 深度学习环境:torch2.5.1 torchvision0…...

新能源实验室电磁兼容设计优化方案论述

摘要:本文旨在进行新能源核心部件/系统测试实验室电磁兼容情况设计及优化方案进行论述,通过系统化梳理实验室的主流设备仪器,试验搭建典型方案。识别不同设备的电磁兼容现状,实验室基于设备布局常见设计方案不足点,故障…...

计算机图形学中的深度学习

文章目录 零、前言0.课程考核1.课程大纲2.前置知识3.教材4.课程大纲5.相关课程 Relevant Courses 一、计算机图形学1.本章学习目标2.图形学的应用3.SIG Graph papers 二、基本图形生成算法1.本章学习目标2.图形API3.OpenGL(1)什么是OpenGL(2)OpenGL 的基本组件:顶点…...

RockyLinux9.3-24小时制

在 RockyLinux 9.3 中,默认时间格式为 12 小时制,调整为 24 小时制 案例一:在 RockyLinux 9.3 中,默认时间格式为 12 小时制,调整为 24 小时制案例二:时间显示英文调整为中文endl 案例一:在 Roc…...

25.2linux中外置RTC芯片的PCF8563实验(测试)_csdn

1、硬件原理图分析 知道了这些引脚我们还是按照老习惯! 配置镜像和设备树文件! 2、修改设备树 2.1、添加或者查找 PCF8563 所使用的 IO 的 pinmux 配置 打开stm32mp15-pincrtl.dtsi 文件,查找节点I2C4: 也就是中断引脚并不需要配置pinctrl…...

高性能 WEB 服务器 Nginx:多虚拟主机实现!

Nginx 配置多虚拟主机实现 多虚拟主机是指在一台 Nginx 服务器上配置多个网站 在 Nginx 中,多虚拟主机有三种实现方式: 基于IP地址实现多虚拟主机 基于端口号实现多虚拟主机 基于域名实现多虚拟主机 1 基于域名实现多虚拟主机 在 Nginx 中配置多个…...

C++ 的类型排序

0.前言 在 C 中&#xff0c;我编写了一个 tuple-like 模板&#xff0c;这个模板能容纳任意多且可重复的类型&#xff1a; template<typename... Ts> struct TypeList {};// usage: using List1 TypeList<int, double, char, double>; using List2 TypeList<…...

[计算机网络]拓扑结构

拓扑结构一般会在计网教材或课程的第一章计网的分类那里接触到&#xff0c;但实际上计网的拓扑结构并不只是第一章提到的总线型、星型、树型、网状、混合型那几种类型那么简单&#xff0c;学完了后面的数链层以后对拓扑结构会有新的体会&#xff0c;所以特别单独总结成一篇博客…...

C#方法返回值全解析:从基础语法到实战技巧

摘要&#xff1a;方法返回值是C#编程的核心概念之一。本文将带你彻底掌握返回值声明、void方法特性&#xff0c;以及如何通过返回值实现优雅的流程控制&#xff08;文末附完整示例代码&#xff09;。 返回值的基础法则 类型声明原则 有返回值&#xff1a;必须在方法名前声明…...

修复笔记:SkyReels-V2 项目中的 torch.cuda.amp.autocast 警告和错误

#工作记录 一、问题描述 在运行项目时&#xff0c;出现以下警告和错误&#xff1a; FutureWarning: torch.cuda.amp.autocast(args...) is deprecated. Please use torch.amp.autocast(cuda, args...) instead.with torch.cuda.amp.autocast(dtypepipe.transformer.dtype), …...

【TF-BERT】基于张量的融合BERT多模态情感分析

不足&#xff1a;1. 传统跨模态transformer只能处理2种模态&#xff0c;所以现有方法需要分阶段融合3模态&#xff0c;引发信息丢失。2. 直接拼接多模态特征到BERT中&#xff0c;缺乏动态互补机制&#xff0c;无法有效整合非文本模态信息 改进方法&#xff1a;1. 基于张量的跨模…...

SONiC-OTN代码详解(具体内容待续)

SONiC-OTN代码详解 &#xff08;具体内容待续&#xff09; 基于AI的源代码解析工具的产生使得代码阅读和解析变得越来越高效和简洁&#xff0c;计划通过这样的工具对SONiC在OTN领域的应用做一个全自动的解析&#xff0c;大部分内容会基于AI工具的自动解析结果。这样做的目的是…...

牛客周赛90 C题- Tk的构造数组 题解

原题链接 https://ac.nowcoder.com/acm/contest/107500/C 题目描述 解题思路 数组a是不可以动的&#xff0c;所以我们可以把a[i]*b[i]*i分成两组&#xff0c;分别为a[i]*i以及b[i] 然后策略就很明显了&#xff0c;让更大的b[i]匹配更大的a[i]*i 详细实现见代码。 代码&am…...

[ML]通过50个Python案例了解深度学习和神经网络

通过50个Python案例了解深度学习和神经网络 摘要:机器学习 (Machine Learning, ML)、深度学习 (Deep Learning, DL) 和神经网络 (Neural Networks, NN) 是人工智能领域的核心技术。Python 是学习和实践这些技术的首选语言,因为它提供了丰富的库(如 scikit-learn、Te…...

vue3 - keepAlive缓存组件

在Vue 3中&#xff0c;<keep-alive>组件用于缓存动态组件或路由组件的状态&#xff0c;避免重复渲染&#xff0c;提升性能。 我们新建两个组件&#xff0c;在每一个组件里面写一个input&#xff0c;在默认情况下当组件切换的时候&#xff0c;数据会被清空&#xff0c;但…...

自由学习记录(58)

Why you were able to complete the SpringBoot MyBatisPlus task smoothly: Clear logic flow: Database → Entity → Service → Controller → API → JSON response. Errors are explicit, results are verifiable — you know what’s broken and what’s fixed. Sta…...

短信侠 - 自建手机短信转发到电脑上并无感识别复制验证码,和找手机输验证码说再见!

自建手机短信转发到电脑上并无感识别复制验证码 一、前言 项目开发语言&#xff1a;本项目使用PythonRedisC#开发 你是否也遇到过这样的场景&#xff1a; 正在电脑上操作某个网站&#xff0c;需要输入短信验证码手机不在身边&#xff0c;或者在打字时来回切换设备很麻烦验证码…...

课程10. 聚类问题

课程10. 聚类问题 聚类此类表述的难点K 均值法让我们推广到几个集群的情况如果我们选择其他起始近似值会怎样&#xff1f; 结论在 sklearn 中的实现 如何处理已发现的问题&#xff1f;层次聚类Lance-Williams 算法Lance-Williams 公式在Scipy中实现 示例DBSCANDBSCAN 算法 聚类…...

深度学习中的数据增强:提升食物图像分类模型性能的关键策略

深度学习中的数据增强&#xff1a;提升食物图像分类模型性能的关键策略 在深度学习领域&#xff0c;数据是模型训练的基石&#xff0c;数据的数量和质量直接影响着模型的性能表现。然而&#xff0c;在实际项目中&#xff0c;获取大量高质量的数据往往面临诸多困难&#xff0c;…...

QT设计权限管理系统

Qt能够简单实现系统的权限设计 首先我们需要一个登陆界面 例如这样 然后一级权限&#xff0c;可以看到所有的内容&#xff0c;不设置菜单栏的隐藏。 然后其他权限&#xff0c;根据登陆者的身份进行菜单栏不同的展示。 菜单栏的隐藏代码如下&#xff1a; ui->actionuser-…...

从上帝视角看文件操作

1.为什么使用文件? 如果没有文件,我们写的程序中的数据是存储在电脑的内存中,当程序退出时,内存被回收后,数据就丢失了,等下次运行程序,是无法看到上次程序的数据的。(比如我们在程序中写通讯录时,联系人的相关数据都是放在内存中的,当程序退出时,这些数据也会随之消…...

【51单片机6位数码管显示时间与秒表】2022-5-8

缘由数码管 keil proteus 为什么出现这种情况呢&#xff1f;-编程语言-CSDN问答 #include "reg52.h" unsigned char code smgduan[]{0x3f,0x06,0x5b,0x4f,0x66,0x6d,0x7d,0x07,0x7f,0x6f,0x77,0x7c,0x39,0x5e,0x79,0x71,0,64}; //共阴0~F消隐减号 unsigned char cod…...

从头训练小模型: 4 lora 微调

1. LoRA (Low-Rank Adaptation) LoRA是一种高效的参数高效微调&#xff08;Parameter-Efficient Fine-Tuning, PEFT&#xff09;方法&#xff0c;原理是通过低秩分解的方式对预训练模型进行微调。 相比于全参数微调&#xff08;Full Fine-Tuning&#xff09;&#xff0c;LoRA…...

前端开发,文件在镜像服务器上不存在问题:Downloading binary from...Cannot download...

问题与处理策略 问题描述 在 Vue 项目中&#xff0c;执行 npm i 下载依赖时&#xff0c;报如下错误 Downloading binary from https://npm.taobao.org/mirrors/node-sass//v4.14.1/win32-x64-72_binding.node Cannot download "https://npm.taobao.org/mirrors/node-sa…...

Debezium Binlog协议与事件转换详解

Debezium Binlog协议与事件转换详解 1. MySQL Binlog通信机制 1.1 连接建立流程 #mermaid-svg-eE88YFqcTG9kUWaZ {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-eE88YFqcTG9kUWaZ .error-icon{fill:#552222;}#mer…...

【PostgreSQL数据分析实战:从数据清洗到可视化全流程】4.1 日期时间标准化(时区转换/格式统一)

&#x1f449; 点击关注不迷路 &#x1f449; 点击关注不迷路 &#x1f449; 点击关注不迷路 文章大纲 PostgreSQL数据分析实战&#xff1a;数据清洗之日期时间标准化&#xff08;时区转换/格式统一&#xff09;4.1 日期时间标准化&#xff1a;从混乱到有序4.1.1 数据乱象&…...