当前位置：首页 > news >正文

MySQL 高可用

news 来源：原创 2025/6/20 5:33:03

一、概述MySQL高可用

1. 什么是高可用性（High Availability, HA）？

2. MySQL 高可用常见方案

3. 高可用核心机制

4. 选型建议

注意事项

二、案例环境组成

MySQL 主主复制 + keepalived + HAProxy 的高可用负载均衡架构

三、案例架构实施搭建

1. 案例需求

2. 案例实现思路

3. 搭建架构

（1）安装 MySQL 数据库；

（2）配置主主复制，MySQL互为主从

（3）部署haproxy (2台)

（4）在haproxy代理上安装keepalived(用来检测haproxy的状态)

（5）模拟故障并验证架构效果

一、概述MySQL高可用

1. 什么是高可用性（High Availability, HA）？

定义：高可用性指系统在面临硬件故障、软件错误或维护时，仍能持续提供服务的能力，目标是尽量减少停机时间（如达到 99.99% 的可用性，即全年停机时间不超过 52.6 分钟）。
核心目标：

故障自动恢复：快速检测故障并自动切换至备用节点。
数据零丢失：确保故障切换时数据完整性。
服务连续性：用户无感知的故障转移。

2. MySQL 高可用常见方案

以下是 MySQL 实现高可用的主流方案及其特点：

方案	原理	优点	缺点
主从复制 + MHA	基于异步/半同步主从复制，通过 MHA（Master High Availability）监控主库故障并自动切换从库为新主库。	简单易用，适合异步复制环境。	依赖脚本和外部工具，半同步可能延迟。
Galera Cluster	基于同步多主复制（Synchronous Multi-Master），所有节点数据实时同步。	强一致性，读写分离灵活。	网络延迟敏感，写入性能受节点数影响。
MySQL Group Replication	MySQL 官方方案，基于 Paxos 协议实现多主集群，支持单主或多主模式。	原生支持，自动化故障转移。	配置复杂，对网络稳定性要求高。
InnoDB Cluster	基于 MySQL Group Replication + MySQL Shell + MySQL Router 的完整高可用套件。	官方集成，管理便捷。	依赖 MySQL 8.0+，资源消耗较高。
Proxy-based HA	通过中间件（如 ProxySQL、HAProxy）实现读写分离和故障转移。	对应用透明，灵活扩展。	中间件可能成为性能瓶颈。
云服务高可用	使用云厂商方案（如 AWS RDS Multi-AZ、阿里云高可用版）。	全托管，自动备份与恢复。	成本较高，依赖云平台。

3. 高可用核心机制

数据冗余：
- 主从复制（异步/半同步）保障数据多副本存储。
- 同步复制（如 Galera）确保所有节点数据强一致。
故障检测与切换：
- 心跳机制：通过定期心跳包检测节点存活状态。
- VIP/DNS 漂移：故障时虚拟 IP 或 DNS 指向新主库。
脑裂（Split-Brain）处理：
- 使用仲裁节点（如 MHA 的 Manager）或多数派投票（Paxos 协议）避免多主同时写入。
数据一致性保障：
- 半同步复制：主库提交事务前需至少一个从库确认接收。
- 并行复制：解决单线程复制延迟问题（MySQL 5.7+）

4. 选型建议

强一致性场景：选择 Galera Cluster 或 MySQL Group Replication。
简单主从架构：主从复制 + MHA 或 Keepalived。
云环境：优先使用云厂商托管方案（如 AWS RDS）。
大规模集群：结合中间件（ProxySQL）与 Group Replication。

注意事项

数据同步延迟：异步复制可能导致切换时数据丢失，需结合业务容忍度选择复制模式。
监控与告警：实时监控节点状态、复制延迟、集群健康度。
定期演练：模拟故障切换，验证高可用流程的有效性。

二、案例环境组成

MySQL 主主复制 + keepalived + HAProxy 的高可用负载均衡架构

MySQL 主主复制：两台 MySQL 实例互为主从，双向同步数据，均支持读写操作，提供冗余和扩展能力。
Keepalived：通过 VRRP 协议管理虚拟 IP（VIP），监控 MySQL 状态，故障时自动将 VIP 漂移至存活节点，确保服务地址不变。在这里用来检测HAPProxy的状态。
HAPProxy：作为反向代理和负载均衡器，将流量分发至 MySQL 节点，支持健康检查、读写分离（可选）和故障节点自动剔除。

优势

高可用性：Keepalived 实现秒级故障切换，HAPProxy 健康检查确保流量仅路由到正常节点，避免单点故障。
读写扩展：主主架构支持双节点并发写入，提升写入性能；HAPProxy 可配置读写分离，利用备节点分担读压力。
灵活扩展：可横向扩展 HAPProxy 或 MySQL 节点，支持动态调整负载均衡策略（如轮询、权重）。
运维友好：基于开源工具，无厂商锁定，社区支持丰富，适合自建数据库集群。

三、案例架构实施搭建

1. 案例需求

本案例要求通过 MHA 监控 MySQL 数据库，在故障时进行自动切换，不影响业务。

2. 案例实现思路

（1）安装 MySQL 数据库；
（2）配置 MySQL 互为主从；
（3）安装 haproxy 软件并配置复制均衡；
（4）安装 keepalived 软件并配置故障转移；
（5）模拟 master 故障切换。

3. 搭建架构

（1）安装 MySQL 数据库；

主页有关于MySQL的详细安装步骤

（2）配置主主复制，MySQL互为主从

#master1、2互为主从(操作一样)
vim /etc/my.cnf log-bin=/usr/local/mysql/data/mysql-binbinlog-format=MIXEDserver-id=1/2
--重启MySQL	
systemctl restart mysqld#创建用户，为从授权
create user 'myslave'@'%' identified by '123456';
grant replication slave on *.* to 'myslave'@'%';
alter user 'myslave'@'%' identified with mysql_native_password by '123456';注意：identified with mysql_native_password   加密模块，保护密码#刷新并查看主的状态信息
flush privileges;
show master status;  //看File和Position #两个主机互相连接主 (注意好不要填错IP和pos偏移量)
change master to master_host='192.168.10.101',master_user='myslave',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=1149;#开启从同步
start slave; 
#查看从状态信息
show slave status\G验证主主复制的同步：创建库

（3）部署haproxy (2台)

#关闭selinux和防火墙
sed -i 's/SELINUX=enforcing/SELINUX=disabled/'  /etc/selinux/config
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
#安装haproxy
dnf -y install haproxy
#编辑配置文件
vim /etc/haproxy/haproxy.cfg
globallog             127.0.0.1 local2chroot          /var/lib/haproxypidfile         /var/run/haproxy.piduser            haproxygroup           haproxydaemonmaxconn         4000defaultsmode            tcp      #改log             globaloption          tcplog	#改option          dontlognullretries         3timeout http-request 5stimeout queue   1mtimeout connect 5stimeout client  1mtimeout server  1mtimeout http-keep-alive 5stimeout check   5smaxconn         3000listen mysqlbind 0.0.0.0:3306           # 显式指定监听地址和端口balance leastconn           # 负载均衡算法server mysql1 192.168.10.101:3306 check port 3306 maxconn 300   #声明服务器节点server mysql2 192.168.10.102:3306 check port 3306 maxconn 300 #重启服务并检测文件配置
haproxy -c -f /etc/haproxy/haproxy.cfg
systemctl restart haproxy

（4）在haproxy代理上安装keepalived(用来检测haproxy的状态)

#关闭selinux和防火墙(做过不用)
sed -i 's/SELINUX=enforcing/SELINUX=disabled/'  /etc/selinux/config
setenforce 0
systemctl stop firewalld
systemctl disable firewalld#安装
dnf install -y keepalived#编辑配置文件
注意：原本的那个是模板文件，需要拷贝一下cp /etc/keepalived/keepalived.conf.sample /etc/keepalived/keepalived.confvim /etc/keepalived/keepalived.confrouter_id  r1/r2
vrrp_instance  VI_1 {state BACKUPnopreempt     //优先级高的主机设置interface ens33priority 100   //优先级}注释掉vrrp_strict，删除virtual_ipaddress:区域配置完后面的内容##2台配置不同，要注意router_id 设置不同,
vrrp_instance 实例（管理VIP的）：
要注意两台都为备BACKUP（通过优先级自动选主）；优先级修改成不同；优先高一台设置nopreempt（不抢占模式），防止优先级高的故障后还抢占另一台的主身份。
interface 网卡对应本机的网卡名；
virtual_ipaddress: 改成同网段的
注释掉vrrp_strict ：严格模式，它会阻止VIP单播通信  ######添加监控脚本（测试haproxy的状态，故障后关闭haproxy，keepalived就把VIP漂到另一台）
vim /etc/keepalived/chk.sh
#!/bin/bash
#
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; 
then/etc/init.d/keepalived stop 或 systemctl stop keepalived 
fi
#重启keepalived
systemctl restart keepalived
#查看VIP（必须是一台有，一台没有）
ip add#自动跑监控脚本
方一：创建计划任务，定期自动执行
方二：添加到keepalived的配置文件里(keepalived允许添加外部脚本到配置里)
添到示例上方：vrrp_script chk_haproxy {script "/etc/keepalived/chk.sh"interval 2}
添加到示例里面：track_script {chk_haproxy}
chmod +x  /etc/keepalived/chk.sh   //给脚本执行权限
systemctl restart keepalived#客户端验证
用Vip连接MySQL
mysql -utest -p123456 -h192.168.10.100#注意：客户端没有mysql的命令，可以用“yum -y install mysql”下载

（5）模拟故障并验证架构效果

#在服务器上创建测试账户test（只需创一次，另一台主会同步）
create user testt@'%' identified by '123456';
grant all on *.* to testt@'%';
alter user 'testt'@'%' identified with mysql_native_password by '123456';
flush privileges;模拟故障：
1.关闭master1，测试HAProxy的效果，它具备健康检测功能，会自动切换
ping master1IP  //发现已离线
mysql -utest -p123456 -h192.168.10.100   //客户端验证是否能正常登录，正常登为正确
2.关闭keepalived，查看VIP漂移的效果
ip a    // mysql还是可以访问的

MySQL 高可用

目录一、概述MySQL高可用 1. 什么是高可用性（High Availability, HA）？ 2. MySQL 高可用常见方案 3. 高可用核心机制 4. 选型建议注意事项二、案例环境组成 MySQL 主主复制 keepalived HAProxy 的高可用负载均衡架构三、案例架构…...

编程日记 2025/6/20 5:33:03

C#学习教程（附电子书资料）

概述 C#（读作"C Sharp"）是一种由微软开发的现代编程语言，结合了C的高效性和Java的简洁性，专为.NET框架设计。以下是其核心特性和应用领域的详细介绍电子书资料：https://pan.quark.cn/s/6fe772420f95 一、语…...

编程日记 2025/6/20 4:44:36

MySQL性能优化

目录一、索引优化 1、慢查询日志分析 2、EXPLAIN 执行计划分析 3、索引类型选择 4、索引使用原则 5、常见索引失效场景二、SQL语句优化 1、避免低效操作符 2、减少数据扫描量 3、子查询优化 4、其他高频优化技巧三、表设计优化 1、数据类型优化四、架构设计优…...

编程日记 2025/6/20 4:49:51

Mendix 中的XPath 令牌（XPath Tokens）详解

在 Mendix 中，XPath 令牌（XPath Tokens） 是一种特殊的动态参数化查询技术，允许你在 XPath 表达式中使用变量或上下文相关的值，从而实现更灵活的查询逻辑。 1. 什么是 XPath 令牌？ XPath 令牌是 Mendix 提…...

编程日记 2025/6/20 4:32:08

Feign异步模式丢失上下文问题

Feign异步模式丢失上下文问题问题描述当我们使用异步对我们代码进行操作优化时，代码中使用了RequestContextHolder去获取上下文的数据，当我们执行原来可以执行的业务时发现报了空指针异常或数据为空，这是为什么呢？ 原理解释 …...

编程日记 2025/5/26 9:12:45

保姆教程-----安装MySQL全过程

1.电脑从未安装过mysql的，先找到mysql官网：MySQL :: Download MySQL Community Server 然后下载完成后，找到文件，然后双击打开 2. 选择安装的产品和功能依次点开“MySQL Servers”、“MySQL Servers”、“MySQL Servers 5.7”、…...

编程日记 2025/5/26 6:16:21

BUFDS_GTE2，IBUFDS，BUFG缓冲的区别

1、IBUFDS_GTE2 这是 Xilinx FPGA 中专门为高速收发器（SerDes/GTX/GTH/GTY）参考时钟设计的差分输入缓冲器。主要功能是将外部的差分时钟信号（如LVDS、LVPECL等）转换为FPGA内部的单端时钟信号，并保证信号的完整性和高…...

编程日记 2025/6/20 4:43:33

FPGA： XILINX Kintex 7系列器件的架构

本文将详细介绍Kintex-7系列FPGA器件的架构。以下内容将涵盖Kintex-7的核心架构特性、主要组成部分以及关键技术，尽量全面且结构化，同时用简洁的语言确保清晰易懂。 Kintex-7系列FPGA架构概述 Kintex-7是Xilinx 7系列FPGA中的中高端产品线，基…...

编程日记 2025/6/20 4:02:36

c/c++的opencv的图像预处理讲解

OpenCV 图像预处理核心技术详解 (C/C) 图像预处理是计算机视觉任务中至关重要的一步。原始图像往往受到噪声、光照不均、尺寸不一等多种因素的影响，直接用于后续分析（如特征提取、目标检测、机器学习模型训练等）可能会导致性能下降或结果不准…...

编程日记 2025/6/20 4:43:33

索恩格汽车SEG Automotive EDI 需求分析

SEG Automotive（索恩格汽车）是一家全球领先的汽车电气化系统供应商，专注于为传统内燃机和新能源车辆提供高效、可持续的动力解决方案。 EDI 在汽车行业的重要性在汽车制造行业，高效的供应链是精益生产的核心。精益生产强调“按…...

编程日记 2025/6/1 10:22:44

【简单模拟实现list】

在C标准模板库（STL）中，list是一个非常强大的容器，它基于双向链表实现，支持高效的插入和删除操作。虽然我们可以直接使用STL中的list，但通过自己模拟实现一个list，可以更好地理解其背后的原理和数…...

编程日记 2025/6/1 15:50:03

深入解析ZAB协议：ZooKeeper的分布式一致性核心

引言在分布式系统中，如何高效、可靠地实现多节点间的数据一致性是核心挑战之一。ZAB协议（ZooKeeper Atomic Broadcast）作为 ZooKeeper的核心算法，被广泛应用于分布式协调服务（如Kafka、HBase、Dubbo等）。…...

编程日记 2025/5/29 11:43:56

交叉熵损失函数，KL散度， Focal loss

交叉熵损失函数（Cross-Entropy Loss） 交叉熵损失函数，涉及两个概念，一个是损失函数，一个是交叉熵。首先，对于损失函数。在机器学习中，损失函数就是用来衡量我们模型的预测结果与真实结果之间…...

编程日记 2025/5/27 7:50:35

k8s部署实战-springboot应用部署

在 Kubernetes 上部署 SpringBoot 应用实战指南前言本文将详细介绍如何将一个 SpringBoot 应用部署到 Kubernetes 集群中，包括制作镜像、编写部署文件、创建服务等完整步骤。准备工作 1. 示例 SpringBoot 应用假设我们有一个简单的 SpringBoot 应用，提供 REST API 服…...

编程日记 2025/5/27 8:30:38

快速选择算法：优化大数据中的 Top-K 问题

在处理海量数据时，经常会遇到这样的需求：找出数据中最大的前 K 个数，而不必对整个数据集进行排序。这种场景下，快速选择算法（Quickselect）就成了一个非常高效的解决方案。本文将通过一个 C 实现的快速选择算…...

编程日记 2025/5/29 15:24:43

uniapp-商城-60-后台新增商品（属性的选中和页面显示）

前面添加了属性，添加属性的子级项目。也分析了如何回显，但是在添加新的商品的时，我们也同样需要进行选择，还要能正常的显示在界面上。下面对页面的显示进行分析。 1、界面情况回顾属性显示其实是个一嵌套的数据显示。 2、选中的…...

编程日记 2025/5/28 21:26:09

利用 Amazon Bedrock Data Automation（BDA）对视频数据进行自动化处理与检索

当前点播视频平台搜索功能主要是基于视频标题的关键字检索。对于点播平台而言，我们希望可以通过优化视频搜索体验满足用户通过模糊描述查找视频的需求，从而提高用户的搜索体验。借助 Amazon Bedrock Data Automation（BDA）技术&…...

编程日记 2025/5/26 6:28:16

项目QT+ffmpeg+rtsp（一）——Qt的安装和rtsp的测试

文章目录一、Qt安装二、插件配置tool与卸载三、下载ffmpeg四、查看能否使用（视频）五、代码复现5.1 rtsp申请5.2 rtsp在线测试5.3代码修改六、结果一、Qt安装对于QT中5.12版本之后，都是使用在线版本，如果你想安装某一个的历史在线版本，一定要点击archive，不然显示不出来…...

编程日记 2025/5/22 9:56:44

高速光耦在通信行业的应用（五） | 5Mbps通信光耦的特性

针对5MBd速率光耦市场，晶台推出KL2200、KL2201和KL2202系列光耦 ,对标大部分国外品牌产品的应用；它分别由一个红外发射二极管和一个高速集成光电检测器逻辑门组成。它采用 8 引脚 DIP 封装，并提供 SMD 选项。KL2200 的检测器具有一个三态输出…...

编程日记 2025/5/23 16:10:51

#跟着若城学鸿蒙# web篇-运动和方向传感器监测

前言有些前端业务场景需要用到一些传感器，比如运动传感器和方向传感器来实现摇一摇功能。这就需要前端能够直接获取到相关数据，而不是通过 js 调用客户端代码来实现。权限还是需要在模块的module.json5文件中添加相关权限 {"name" : &qu…...

编程日记 2025/6/1 23:49:58

【匹配】Hirschberg

Hirschberg 文章目录 Hirschberg1. 算法介绍2. 公式及原理3. 伪代码 1. 算法介绍背景与目标 Hirschberg 算法由 Dan Hirschberg 于1975年提出，是对 Needleman–Wunsch 全局比对的内存优化，通过分治策略将空间复杂度从 O ( m n ) O(mn) O(mn) 降到 O (…...

编程日记 2025/5/29 9:19:50

如何在 Windows 上安装类似 Synaptic 的 Chocolatey GUI 包管理器

如果你正在寻找类似 Linux 中 APT 的 Windows 包管理器，那么没有什么比 Chocolatey 更好的了。它是 Windows 10 上可用的最佳包管理器之一，可以通过命令行界面安装所有流行的软件和工具。然而，这并不意味着如果你不喜欢命令行，你就…...

编程日记 2025/5/25 0:03:35

激活函数全解析：定义、分类与 17 种常用函数详解

一、激活函数的定义与作用定义： 激活函数是添加到人工神经网络中的函数，用于帮助网络学习数据中的复杂模式，决定神经元的输出。核心作用： 为神经网络引入非线性，增强模型表达能力。需可微分（或近似可微&…...

编程日记 2025/6/2 10:10:03

1-10 目录树

在ZIP归档文件中，保留着所有压缩文件和目录的相对路径和名称。当使用WinZIP等GUI软件打开ZIP归档文件时，可以从这些信息中重建目录的树状结构。请编写程序实现目录的树状结构的重建工作。输入格式: 输入首先给出正整数N（≤104）…...

编程日记 2025/5/29 1:37:41

Python OOP核心技巧：如何正确选择实例方法、类方法和静态方法

Python方法类型全解析：实例方法、类方法与静态方法的使用场景一、三种方法的基本区别二、访问能力对比表三、何时使用实例方法使用实例方法的核心场景：具体应用场景：1. 操作实例属性2. 对象间交互3. 实现特定实例的行为四、何时使用类方法使…...

编程日记 2025/5/30 7:00:07

RK3588 ADB使用

安卓adb操作介绍 adb（Android Debug Bridge）是一个用于与安卓设备进行通信和控制的工具。adb可以通过USB或无线网络连接安卓设备，执行各种命令，如安装和卸载应用，传输文件，查看日志，运行shell命…...

编程日记 2025/5/30 1:04:32

ubuntu环境下基于Python 打包的批量命令行可视化操作工具 GUI

文章目录一.需求：二.原理支撑：三.简单Demo四.封装成GUI1.依赖库2.代码五.打包成可执行文件六.命令行的配置七.运行效果一.需求： 作为测试工程师，为了到现场高效的调试，部署工作，需要一个可视化的工具&a…...

编程日记 2025/5/27 6:10:00

大语言模型 10 - 从0开始训练GPT 0.25B参数量补充知识之模型架构 MoE、ReLU、FFN、MixFFN

写在前面 GPT（Generative Pre-trained Transformer）是目前最广泛应用的大语言模型架构之一，其强大的自然语言理解与生成能力背后，是一个庞大而精细的训练流程。本文将从宏观到微观，系统讲解GPT的训练过程，…...

编程日记 2025/5/23 17:55:40

SkyWalking的工作原理和搭建过程

SkyWalking 是一个开源的应用性能监控系统（APM），专为云原生、微服务架构设计。其核心原理基于分布式追踪（Distributed Tracing）、指标收集（Metrics Collection） 和日志关联（Log C…...

编程日记 2025/5/30 19:38:28

CMS（plone / joomla 搭建测试）

开源选择 wordpress 用得最多也是最容易有漏洞被攻击被挂木马的 joomla （JMS多站点：商业扩展） — 多站点需付费 Drupal ProcessWire Plone因其内置的强大安全特性和较少的用户基础（相比 WordPress 和 Joomla）&#…...

编程日记 2025/5/28 16:40:03

基于 Flink 的实时推荐系统：从协同过滤到多模态语义理解

基于 Flink 的实时推荐系统：从协同过滤到多模态语义理解嘿，各位技术小伙伴们！在这个信息爆炸的时代，你是不是常常惊叹于各大平台仿佛能 “读懂你的心”，精准推送你感兴趣的内容呢？今天，小编就…...

编程日记 2025/5/30 17:41:14

Flink SQL、Hudi 、Doris在数据上的组合应用

Flink SQL、Hudi 和 Doris 是大数据领域中不同定位的技术组件，各自解决不同的问题，以下从核心定位、关键特性和典型场景三个维度展开说明： 1. Flink SQL：流批统一的实时计算引擎核心定位：Flink 是 Apache 顶级的流批…...

编程日记 2025/5/31 7:54:34

Flink运维要点

一、Flink 运维核心策略 1. 集群部署与监控资源规划按业务优先级分配资源：核心作业优先保障内存和 CPU，避免资源竞争。示例：为实时风控作业分配专用 TaskManager，配置 taskmanager.memory.process.size8g。监控体系集成 Prom…...

编程日记 2025/5/31 7:17:19

VSCode + Cline AI辅助编程完全指南

VSCode Cline AI辅助编程完全指南在当今AI快速发展的时代，程序员可以通过AI工具极大地提高工作效率。本教程将详细介绍如何使用VSCode结合Cline（Claude AI助手）进行AI辅助编程，帮助你提高开发效率，解决复杂问题。 …...

编程日记 2025/6/3 23:22:58

【源码级开发】Qwen3接入MCP，企业级智能体开发实战！

Qwen3接入MCP智能体开发实战（上） 一、MCP技术与Qwen3原生MCP能力介绍 1.智能体开发核心技术—MCP 1.1 Function calling技术回顾如何快速开发一款智能体应用，最关键的技术难点就在于如何让大模型高效稳定的接入一些外部工具。而在MCP技术…...

编程日记 2025/5/29 15:27:15

回调函数应用示例

回调函数是一种通过函数指针（或引用）调用的函数，它在特定事件或条件发生时被另一个函数调用。回调函数的核心思想是将函数作为参数传递，以便在适当的时候执行自定义逻辑，常用于异步编程、事件驱动架构等场景。业务场景…...

编程日记 2025/5/17 6:45:11

R语言如何解决导出pdf中文不显示的问题

前言以前绘图都默认英文，突然要求都改成中文，呆住。。。。。。。。。标题代码实现 ### 导入工具包 ### library(readr) library(dplyr) library(corrplot)df <- read_csv("./clinical.csv") df <- df %>% select(-id, -label)##…...

编程日记 2025/5/27 3:34:41

国产linux系统（银河麒麟，统信uos）使用 PageOffice自定义Word模版中的数据区域

PageOffice 国产版 ：支持信创系统，支持银河麒麟V10和统信UOS，支持X86（intel、兆芯、海光等）、ARM（飞腾、鲲鹏、麒麟等）、龙芯（Mips、LoogArch）芯片架构。在实际的Wor…...

编程日记 2025/5/23 17:14:09

llamafactory SFT 从断点恢复训练

背景我使用llamafactory sft 微调模型的时候。gpu停止运行了。日志文件没有任何的报错信息。显存还是占用状态。查看llamafactory的进程是下述信息： 151312 151306 91 17:42 ? 03:58:10 [llamafactory-cl] 既然如此，那就只能从断点恢复训练了。 …...

编程日记 2025/5/29 17:14:58

C#里使用Prism.Core的例子

由于使用WPF来开发应用程序，那么就会使用一些框架程序来加速开发，一般会使用Prism.Core来加速。这个应用最后运行的显示如下：第一步需要安装下面的包： <?xml version="1.0" encoding="utf-8"?> <packages><package id="Mi…...

编程日记 2025/5/27 7:45:58

【MySQL】数据库三大范式

目录一. 什么是范式二. 第一范式三. 第二范式不满足第二范式时可能出现的问题四. 第三范式一. 什么是范式在数据库中范式其实就是一组规则，在我们设计数据库的时候，需要遵守不同的规则要求，设计出合理的关系型数据库，…...

编程日记 2025/5/28 17:57:44

window 显示驱动开发-分页视频内存资源

与 Microsoft Windows 2000 显示驱动程序模型不同，Windows Vista 显示驱动程序模型允许创建比可用物理视频内存总量更多的视频内存资源，然后根据需要分页进出视频内存。换句话说，并非所有视频内存资源都同时位于视频内存中。 GPU 的管道中可…...

编程日记 2025/5/29 13:08:30

炼丹学习笔记3---ubuntu2004部署运行openpcdet记录

前言环境 cuda 11.3 python 3.8 ubuntu2004 一、cuda环境检测 ylhy:~/code_ws/OpenPCDet/tools$ nvcc -V nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2021 NVIDIA Corporation Built on Sun_Mar_21_19:15:46_PDT_2021 Cuda compilation tools, release 11.3…...

编程日记 2025/5/27 22:38:16

美创科技针对《银行保险机构数据安全管理办法》解读

在数字化浪潮席卷下，银行保险业的运营模式发生了翻天覆地的变化，数据已然成为行业发展的核心驱动力。从客户基本信息、交易记录，到业务运营的关键数据、市场分析报告，海量数据背后潜藏巨大价值。然而，数据安全风险也随…...

编程日记 2025/5/29 13:01:50

activeMq 限制用户接收topic范围

1、在conf配置文件中找到jetty-realm.properties文件，添加用户信息 2、在broker标签中加入topic限制权限信息 <plugins><simpleAuthenticationPlugin><users><authenticationUser username"admin" password"admin" group…...

编程日记 2025/5/29 17:38:44