当前位置：首页 > news >正文

MongoDB副本集搭建与核心机制

news 来源：原创 2025/6/30 9:55:36

一、节点架构解析

1.1 节点角色分工

主节点（Primary）

唯一写入口：处理所有写操作（插入/更新/删除）
Oplog生成器：记录操作日志到local.oplog.rs集合
同步中枢：向所有从节点推送oplog变更
典型场景：电商订单系统的主数据库

从节点（Secondary）

数据冗余：实时复制主节点数据
读扩展：支持配置读偏好策略分散读压力
故障转移候选者：参与主节点选举
典型应用：内容管理系统的读副本集群

仲裁节点（Arbiter）

选举裁判：不存储数据，仅参与投票
集群优化：奇数节点配置防脑裂
典型配置：双数据节点+1仲裁节点架构

1.2 节点协同机制

三节点黄金架构实现：

数据双副本存储
自动故障转移（<10秒）
读写分离负载均衡

二、副本集配置实战

2.1 关键配置模板

# mongod.conf
systemLog:destination: filepath: /data/mongodb/log/mongod.loglogAppend: truestorage:dbPath: /data/mongodb/dbjournal:enabled: truenet:port: 27017bindIp: 0.0.0.0replication:replSetName: myReplSetoplogSizeMB: 2048  # 建议存储空间5%以上

2.2 集群初始化流程

# 依次启动三个节点
mongod -f /etc/mongod1.conf
mongod -f /etc/mongod2.conf 
mongod -f /etc/mongod3.conf# 连接任意节点初始化
rs.initiate({_id: "myReplSet",members: [{ _id: 0, host: "node1:27017" },{ _id: 1, host: "node2:27018" },{ _id: 2, host: "node3:27019", arbiterOnly: true }]
})

2.3 动态节点管理


// 添加新节点
rs.add("node4:27020")// 移除故障节点
rs.remove("node3:27019")// 查看集群状态
rs.status()

三、数据同步机制剖析

3.1 同步流程

初始同步阶段
- 全量数据快照传输
- 索引重建
- Oplog追赶（catchup）
持续同步阶段
- 每秒拉取oplog
- 幂等性应用变更
- 流式复制（>=4.4版本）

3.2 心跳监测机制

参数	默认值	说明
heartbeatIntervalMillis	2000	节点间心跳频率
heartbeatTimeoutSecsheartbeatTimeoutSecs （心跳超时秒）	10	心跳超时判定时间
electionTimeoutMillis	10000	选举超时时间

四、Oplog深度解析

4.1 Oplog存储结构

{"ts" : Timestamp(1627983459, 1), // 逻辑时钟"t" : NumberLong(3),            // 选举term"h" : NumberLong("203708232285773465"), "v" : 2,"op" : "u",                     // 操作类型"ns" : "test.users",            // 命名空间"o2" : { "_id" : 123 },         // 查询条件"o" : { "$set" : { "status" : "active" } } // 修改内容
}

4.2 容量规划公式

oplog存储时长 = (oplog大小) / (每小时数据增量 × 24)
建议保留至少72小时的操作日志

4.3 运维应用场景

时间点恢复

mongodump --oplog -o /backup/
mongorestore --oplogReplay /backup/

跨集群同步


mongooplog --from mongodb://source:27017 \--to mongodb://target:27017 \--seconds 86400

操作审计


db.oplog.rs.find({"ns": /^prod/,"op": { "$in": ["i","u","d"] }
}).sort({ts:-1}).limit(100)

五、Windows环境部署指南

5.1 多实例配置示例

powershellPowerShell

# 实例1配置
mongod --dbpath D:\mongo\data1 --logpath D:\mongo\log1\mongod.log --port 27017 --replSet myReplSet --serviceName MongoDB1 --install# 实例2配置
mongod --dbpath D:\mongo\data2 --logpath D:\mongo\log2\mongod.log --port 27018 --replSet myReplSet --serviceName MongoDB2 --install# 启动服务
Start-Service MongoDB1
Start-Service MongoDB2

5.2 常见故障排查

节点无法加入集群
- 检查防火墙设置
- 验证副本集名称一致性
- 查看mongod日志中的网络错误

同步延迟过大

rs.printSlaveReplicationInfo()
// 输出示例
source: node1:27017syncedTo: Thu Aug 05 2021 10:23:47 GMT+0800 (CST)0 secs (0 hrs) behind the primary

选举失败处理
- 确认多数节点在线
- 检查节点优先级配置
- 验证时钟同步状态

最佳实践建议

生产环境配置
- 至少3个数据节点
- 专用复制网络通道
- SSD存储保障IO性能
监控指标
- 复制延迟时间
- Oplog窗口时间
- 选举次数统计
版本建议
- 推荐4.4+版本（支持可重试写入）
- 定期升级维护版本

MongoDB副本集搭建与核心机制

一、节点架构解析 1.1 节点角色分工主节点（Primary） 唯一写入口：处理所有写操作（插入/更新/删除） Oplog生成器：记录操作日志到local.oplog.rs集合同步中枢：向所有从节点推送oplog变更典型…...

编程日记 2025/6/30 9:55:36

深度学习-数值稳定性和模型初始化

到目前为止，我们实现的每个模型都是根据某个预先制定的分布来初始化模型的参数，有人会认为初始化方案时理所当然的，忽略了如何做出这些选择的细节，甚至有人可能会觉得，初始化方案的选择并不是特别重要，实际…...

编程日记 2025/6/29 12:11:55

详解Linux中的定时任务管理工具crond

在 Linux 容器环境中，/etc/cron.d/ 目录可能不存在，特别是在精简的容器镜像（如 Alpine、BusyBox 或某些定制化的镜像）中。这是因为容器通常追求轻量级，默认不包含完整的 cron 系统（如 cronie 或 vixie-cron…...

编程日记 2025/6/29 11:37:15

【element plus】解决报错error：ResizeObserver loop limit exceeded的问题

当我们在使用element plus框架时，有时会遇到屏幕突然变暗，然后来一句莫名其妙的报错ResizeObserver loop limit exceeded，其实这是因为改变屏幕大小时el-table导致的报错网上给出了几种解决方案，我试了其中两种可以实现方案一&…...

编程日记 2025/6/29 11:38:16

GD32E23x flash作为静态存储的读写操作

目录一、前言二、GD32E23x flash扇区地址划分三、GD32E23x 固件库下载四、GD32E23x falsh擦写操作函数封装五，引用示例一、前言在只有芯片没有外部存储时需要存储一些配置信息，使用flash进行存储是很好的选择了，在GD32E23x中以flash…...

编程日记 2025/6/29 9:13:38

空闲列表：回收和再利用

空闲列表：回收和再利用手动与自动内存管理手动管理：程序员需要明确地分配和释放内存。自动管理：例如使用垃圾收集器(GC)，它能够自动检测并回收未使用的对象，不需要程序员干预。对于某些数据结构如B树，…...

编程日记 2025/6/29 9:12:36

功能脑网络较新的方法[和ai讨论的方向和学习资源]

文章目录前言和回顾代码实现ai 提问大脑连通性分析方法扩展与分类指南一、现有方法的补充与分类1. 补充的其他连通性方法2. 分类框架二、近年来的新方法（2019年后）1. 相位动力学扩展2. 信息论与复杂度3. 基于图论与网络科学4. 动态系统与因果推断三、…...

编程日记 2025/6/30 9:31:24

【MongoDB + Spark】技术问题汇总与解决方案笔记

场景背景最近练手项目：Spark 结合 MongoDB 构建商品推荐系统的过程中，过程中出现多种环境配置与兼容性问题，主要涉及 MongoDB 连接、版本兼容性、Casbah 驱动使用问题等。汇总调试过程中遇到的常见错误及其解决方案，供参考复用。…...

编程日记 2025/6/30 8:21:09

给git配置SSH(github,gitee)

更多个人笔记：（仅供参考，非盈利） gitee： https://gitee.com/harryhack/it_note github： https://github.com/ZHLOVEYY/IT_note 本文基于mac，linux和win可以参考个人同时配置gitee和github的ss…...

编程日记 2025/6/29 9:12:26

Linux基础使用-笔记

1. 文件和目录操作查看当前目录：pwd 命令用于显示当前工作目录的完整路径。 pwd切换目录：cd 命令用于切换工作目录。 # 切换到指定目录 cd /home/user/Documents # 切换到上一级目录 cd .. # 切换到用户主目录 cd ~列出目录内容：ls 命令用…...

编程日记 2025/6/29 9:12:51

什么是Maven

Maven的概念 Maven是一个一键式的自动化的构建工具。Maven 是 Apache 软件基金会组织维护的一款自动化构建工具，专注服务于Java 平台的项目构建和依赖管理。Maven 这个单词的本意是：专家，内行。Maven 是目前最流行的自动化构建工具&#xff0…...

编程日记 2025/6/29 9:12:44

DNS主从同步及解析

DNS 域名解析原理域名系统的层次结构 ：DNS 采用分层树状结构，顶级域名（如.com、.org、.net 等）位于顶层，下面是二级域名、三级域名等。例如，在域名 “www.example.com” 中，“com” 是顶级域名…...

编程日记 2025/6/29 10:49:31

Git 的基本概念和使用方式

Git 是一种分布式版本控制系统，广泛用于跟踪文件的变化和协作开发项目。以下是 Git 的基本概念和使用方式：仓库（Repository）：Git 用来存储项目文件和历史记录的地方。可以是本地仓库（Local Repository）或远程仓库（Remote Repository）。工作区（Working Directory）：…...

编程日记 2025/6/29 12:22:49

【C++】二叉树进阶面试题

根据二叉树创建字符串重点是要注意括号省略问题，分为以下情况： 1.左字树为空，右子树不为空，左边括号保留 2.左右子树都为空，括号都不保留 3。左子树不为空，右子树为空，右边括号不保留如果根节…...

编程日记 2025/6/29 11:03:27

时序数据库IoTDB构建的能源电力解决方案

随着能源格局的快速变化与“双碳”战略的逐步践行，电力系统的绿色低碳转型已成为重要发展趋势。在这一背景下，数字化、智能化技术正逐步扩大在新型电力系统发电侧、电网侧、储能侧的应用，以推动传统电力发输配用向全面感知、双向互动、智能高…...

编程日记 2025/6/29 9:45:02

文章目录前言1. GitHub 核心功能(1) 代码托管（Git 仓库）存储代码版本控制代码浏览(2) 协作开发Pull RequestlssuesProjectsDiscussions(3) 自动化与 CI/CDGitHub ActionsGitHub PagesDependabot(4) 社区与开源ForkStarWatchSponsor2. GitHub 基本使用方法(1) 创建仓库（Repo…...

编程日记 2025/6/29 9:12:29

vxe-table封装表头

待补充使用说明，但是可以用一.效果二.封装MyTable.vue1.封装index.vue2.日期选择筛选3.输入筛选4.下拉筛选5.多选筛选6.远程多选筛选7.远程单选筛选三、页面使用1.具体页面使用2./utils/filter.js 注意：需要使用jsx、vxe-table、element-plus 一.效果 …...

编程日记 2025/6/29 9:12:57

力扣hot100 91-100记录

91-100 （动态规划） class Solution { public:int uniquePaths(int m, int n) {vector<vector<int>> f(m, vector<int>(n, 1));for(int i 1; i < m; i){for(int j 1; j < n; j){f[i][j] f[i-1][j] f[i][j-1];} }return f[…...

编程日记 2025/6/29 9:12:56

SpringMVC处理请求映射路径和接收参数

目录 springmvc处理请求映射路径案例：访问 OrderController类的pirntUser方法报错：java.lang.IllegalStateException：映射不明确核心错误信息 springmvc接收参数一 ，常见的字符串和数字类型的参数接收方式 1.1 请求路径的…...

编程日记 2025/6/29 12:15:25

ESP32上C语言实现JSON对象的创建和解析

在ESP32上使用C语言实现JSON对象的创建和解析，同样可以借助cJSON库。ESP-IDF（Espressif IoT Development Framework）本身已经集成了cJSON库，你可以直接使用。以下是详细的步骤和示例代码。 1. 创建一个新的ESP-IDF项目首先&…...

编程日记 2025/6/29 9:12:24

关于Qt对Html/CSS的支持

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、原生控件二、QtWebEngine总结前言最近遇到了一些问题需要使用Qt加载Html发现一些特性不能使用，估计很多人也和我一样遇到这种情况。需要说明…...

编程日记 2025/6/29 9:12:27

Python 读取 txt 文件详解 with ... open()

文章目录 1 概述1.1 注意事项1.2 模式说明1.3 文件准备 2 读文件2.1 读取整个文件2.2 逐行读取2.3 读取所有行到列表 3 写文件3.1 覆盖写入3.2 追加写入3.3 写入多行 4 实用技巧4.1 检查文件是否存在4.2 异常处理 1 概述 1.1 注意事项文件编码：建议指定编码&…...

编程日记 2025/6/29 10:14:55

[Mac] 使用homebrew安装miniconda

使用虚拟环境可以对不同项目的依赖进行隔离。可以使用venv或者conda来创建和使用虚拟环境。 venv是Python内置的虚拟环境管理模块，适合纯Python项目以及快速轻量级的开发和部署。conda具备更强大的版本管理能力，但是占用较大的磁盘空间。考虑到我基本不…...

编程日记 2025/6/29 10:54:57

如何获取适用于广告过滤增强的Chrome浏览器版本【广告净化】

不少人使用浏览器时，会遇到广告弹窗、视频前贴广告或页面跳转。这些情况会影响上网体验。想要改善，可以从选择合适版本的谷歌浏览器开始，并加上合理设置。先打开电脑上的浏览器，在搜索栏中输入“谷歌浏览器官方下载页面”。找到带…...

编程日记 2025/6/29 12:16:51

JVM（Java虚拟机）详解

目录 1 JVM执行流程 2 JVM运行时数据区（内存布局） 2.1 堆 2.2 栈 2.3 方法区 2.4 程序计数器 2.5 Java和运行时数据区相关的异常 3 JVM类加载（Class Loading） 3.1 加载Loading 3.2 连接Linking 3.2.1 验证Verification…...

编程日记 2025/6/29 11:10:52

Vue3 + TypeScript，使用provide提供只读的响应式数据的详细分析与解决方法

原始无类型写法（不报错） typescript const applySampleTableData ref<ApplySample[]>([]); const applySampleListSymbol Symbol("applySampleList"); provide(applySampleListSymbol, readonly(applySampleTableData)); 类型推断&a…...

编程日记 2025/6/29 9:13:10

深入理解 BLE PHY 模式：1M、2M 与 Coded 的演进与应用

随着蓝牙技术不断演进，BLE（Bluetooth Low Energy）在物联网、可穿戴设备、智能家居等领域的应用愈发广泛。BLE 中的 PHY（Physical Layer，物理层）是决定无线传输速率、覆盖范围和功耗的核心因素。本文将以浅显易懂的语言，结合示意图和代码示例，系统梳理 BLE 三种 PHY 模式…...

编程日记 2025/6/29 9:12:55

人工智能与机器学习：二元分类决策树构建指南

引言在人工智能与机器学习的领域里，算法犹如智慧的钥匙，开启着数据洞察的大门。决策树作为其中一颗璀璨的明珠，以其独特的非线性处理能力和可解释性备受瞩目。今天，让我们跟随作者的脚步，深入探究如何构建一个用于二…...

编程日记 2025/6/29 9:12:31

Ubuntu下软件运行常见异常退出问题汇总分析

软件在Ubuntu下运行时，可能会遇到各种异常退出情况，常见可分为以下几点： 目录一、系统资源耗尽导致退出二、权限导致无法运行三、找不到依赖的动态库四、编译可执行文件时，动态库所引用的头文件与动态库不匹配一、系统资…...

编程日记 2025/6/29 9:12:45

机器学习漏洞大汇总——利用机器学习服务

在本节中，我们将展示机器学习框架中存在的漏洞，这些漏洞会直接处理模型工件，或者通过工件存储或模型注册表的凭证来处理。利用此类漏洞，攻击者可以在企业系统内部进行非常强大的横向移动，从而劫持被利用的模型注册表中的机器学习模型。 WANDB Weave 目录遍历 - CVE-2024-…...

编程日记 2025/6/29 11:28:17

类的六个默认成员函数

如果一个类中什么成员都没有，简称为空类。空类中真的什么都没有吗？并不是，任何类在什么都不写时，编译器会自动生成以下6个默认成员函数。默认成员函数：用户没有显式实现，编译器会生成的成员函数称为默认…...

编程日记 2025/6/29 9:12:35

精益数据分析（21/126）：剖析创业增长引擎与精益画布指标

精益数据分析（21/126）：剖析创业增长引擎与精益画布指标大家好！在创业和数据分析的探索道路上，我一直希望能和大家携手共进，共同学习。今天，我们继续深入研读《精益数据分析》，剖析…...

编程日记 2025/6/28 12:40:04

SAIL-RK3588协作机器人运动控制器技术方案

一、核心能力与政策适配‌ ‌政策合规性‌ 满足工信部《智能机器人重点技术攻关指南》要求，支持 ‌EtherCAT主站协议（符合IEC 61158标准）‌，助力企业申报工业机器人研发专项补贴（最高300万元/项目）‌核心板…...

编程日记 2025/6/29 10:21:34

手搓箱图并输出异常值（MATLAB）

看下需求想要复刻这种箱图，咱们直接开始手搓 %% 可修改 % 生成模拟数据（假设5个用户群体的发帖数） data {randn(100,1)*10 30, ... % 核心用户randn(200,1)*5 10, ... % 边缘用户randn(150,1)*8 20, ... % 积极社交用户randn(8…...

编程日记 2025/6/29 9:15:07

Java：XML被自动转义

在Java中处理XML响应被自动转义的问题时，需结合XML规范及工具特性进行针对性处理。以下是常见原因及解决方案的总结： ‌一、XML自动转义的原因‌ ‌字符安全性处理‌ XML中的保留字符（如 <、>、&）会被自动转义为实体&a…...

编程日记 2025/6/29 9:13:00

Day-3 应急响应实战

应急响应实战一：Web入侵与数据泄露分析 1. Web入侵核心原理漏洞利用路径未授权访问：弱口令（如空密码/默认口令）、目录遍历漏洞代码注入攻击：JSP/ASP木马、PHP一句话木马（利用eval($_POST[cmd])&…...

编程日记 2025/6/29 9:13:04

【软件设计师】模拟题一

以下是 10道软考-软件设计师模拟试题，涵盖高频考点和易错点，附带答案和解析： 一、软件工程 1. 在软件开发生命周期中，瀑布模型的主要特点是（ ） A. 强调快速原型迭代 B. 阶段间有明…...

编程日记 2025/6/29 9:12:48

每日一练（4~24）：互质的数【省模拟赛】

算法：暴力枚举问题描述如果两个整数 a, b 除了 1 以外，没有其它的公约数，则称整数 a 与 b 互质。请问，与 2024 互质的数（包括 1）中，第 2024 小的是多少？ 答案提交这是一道结…...

编程日记 2025/6/29 9:12:23

金融软件测试有哪些注意事项?专业第三方软件测试服务机构分享

在现代金融行业中，软件系统的稳定性和安全性直接关系到资金的安全和业务的正常运转。金融软件因涉及庞大的资金流和敏感的个人及交易信息，对软件测试提出了更高的要求，那么金融软件在进行测试时有哪些注意事项呢?卓码软件测评作为专业的第三…...

编程日记 2025/6/29 11:03:18

关于QT信号、槽、槽函数的讲解

也是好久没有发帖子了，最近博主主要还是在边学QT边完成任务，所以进度很慢，但确实在这几天对于QT自身槽和信号这类特殊的机制有了一定简单的理解，所以还是想记录下来，如果有初学者看到帖子对他有一定的帮助，…...

编程日记 2025/6/29 11:21:32

算法训练营第三十天 | 动态规划（三）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、01背包问题理论基础（一）动态规划五部曲确定dp数组以及下标的含义确定递推公式初始化dp数组确定遍历顺序二、01背包问题理论基础&#…...

编程日记 2025/6/29 9:17:09

Vue开发网站会有“#”原因是前端路由使用了 Hash 模式

前言网站链接中出现 #（井号）是因为你的前端路由使用了 Hash 模式（hash mode），这是一种前端框架（如 Vue.js、React 等）中常用的路由策略。为什么有 # 比如 https://www.zimeinew.com/#/order…...

编程日记 2025/6/29 11:27:31

SpringBootTest报错

Unable to find a SpringBootConfiguration, you need to use ContextConfiguration or … 解决方案：在SpringTest注解中添加属性（classes ）填写启动类如我的启动类是MainApplication.class javax.websocket.server.ServerContainer no…...

编程日记 2025/6/29 12:11:52

【质量管理】现代TRIZ（萃智）理论概述

一、什么是TRIZ理论 TRIZ理论，即发明问题解决理论（Teoriya Resheniya Izobreatatelskikh Zadatch），是由前苏联发明家根里奇阿奇舒勒（Genrich S. Altshuller）于1946年创立的。它是一门基于知识的、面向人的发明问题解决系统化方法学。TRIZ理论通过研究大量的专利，总结出技…...

编程日记 2025/6/29 11:00:04

前端面经-JS篇（四）--回调地狱、promise异步编程、Proxy 与 Reflect 、模块化

一、回调地狱回调地狱（Callback Hell），也称为回调地狱，是指在 JavaScript 中处理多个嵌套的异步回调函数时，代码结构变得非常难以阅读和维护的现象。为什么会出现回调地狱？ 回调地狱通常出现在需要执行…...

编程日记 2025/6/29 11:58:37

【oql】spark thriftserver内存溢出，使用oql查询导致oom的sql

eclipse memory analyzer (mat)软件内的OQL实现查询内促信息。帮助信息：软件Help/Help Contents/Querying Heap Objects (OQL) 就是查询SparkExecuteStatementOperation 的statement 字段。 select objects s.statement from org.apache.spark.sql.hive.thriftser…...

编程日记 2025/6/29 9:14:31