当前位置：首页 > news >正文

怎样理解ceph?

news 来源：原创 2025/6/18 9:56:13

Ceph 是一个开源的、高度可扩展的 分布式存储系统，设计用于提供高性能、高可靠性的对象存储（Object）、块存储（Block）和文件存储（File）服务。它的核心思想是通过去中心化的架构和智能的数据分布策略（CRUSH 算法）实现横向扩展，避免单点故障。

1. Ceph 的核心概念

(1) 存储类型

Ceph 支持三种存储接口：

对象存储（RADOSGW）：兼容 S3/Swift API，适用于图片、视频等非结构化数据。
块存储（RBD）：提供虚拟磁盘（如 Kubernetes PV），适用于数据库、虚拟机等低延迟场景。
文件存储（CephFS）：提供共享文件系统，支持多节点读写（如 AI 训练共享数据集）。

(2) 核心组件

组件	作用
OSD	实际存储数据的守护进程（每个 OSD 对应一块磁盘）。
MON	集群状态管理器，维护全局视图（如 OSD 映射、PG 状态）。
MDS	仅用于 CephFS，管理文件元数据（如目录结构）。
RADOS	底层分布式对象存储系统，所有数据最终以对象形式存储。
CRUSH	数据分布算法，决定数据在 OSD 上的存放位置（无需中心化元数据服务器）。

(3) 数据分布逻辑

PG（Placement Group）：数据分片单位，一个 PG 包含多个对象。
Pool：逻辑存储池（如 rbd、cephfs_data），每个 Pool 包含多个 PG。
CRUSH Map：定义数据分布规则（如故障域：主机/机架/数据中心）。

2. Ceph 的特点

(1) 优势

去中心化：无单点故障，MON 和 OSD 均可横向扩展。
强一致性：所有写入操作需被多数 OSD 确认后才返回成功。
自动修复：数据损坏或节点故障时，自动触发恢复（通过副本或纠删码）。
灵活扩展：添加新节点后，数据会自动重新平衡。

(2) 挑战

复杂度高：部署和调优需要理解 RADOS、CRUSH、PG 等概念。
资源消耗：MON 和 OSD 对 CPU/内存有一定要求（尤其是纠删码计算）。
运维成本：需监控 PG 状态、OSD 负载等指标。

3. Ceph 的适用场景

场景	推荐存储类型	案例
Kubernetes 持久化存储	RBD（块存储）	数据库 PVC（如 MySQL）
共享文件系统	CephFS	多 Pod 共享训练数据
云原生对象存储	RADOSGW（S3 兼容）	替代 AWS S3 存储用户上传文件
备份归档	纠删码池	低成本存储冷数据

4. 对比其他存储系统

特性	Ceph	传统 SAN/NAS	云厂商存储（如 AWS EBS）
架构	去中心化，无单点故障	中心化（依赖存储控制器）	中心化（托管服务）
扩展性	线性扩展，支持上千节点	有限扩展	按需扩展，但有上限
成本	开源，硬件成本低	专有硬件成本高	按量付费，长期成本高
性能	依赖网络和配置调优	低延迟（光纤通道）	稳定但受限于云网络
管理复杂度	高（需运维集群）	中等	低（全托管）

5. 如何快速理解 Ceph 的工作原理？

类比：图书馆系统

OSD = 书架：实际存放书籍（数据）。
MON = 图书管理员：记录哪些书在哪个书架（集群状态）。
CRUSH = 图书分类法：决定某本书应放在哪个区域（如“科技类-3号书架”）。
PG = 书箱：一组书（对象）的集合，方便批量管理。
Pool = 图书馆分区（如“儿童区”“成人区”）。

当有人借书（读取数据）时：

询问管理员（MON）书的位置。
根据分类法（CRUSH）找到对应书架（OSD）。
从书箱（PG）中取出书（对象）。

6. 学习建议

动手实验：
- 使用 cephadm 或 rook 快速部署测试集群。
- 尝试创建 RBD 块设备、挂载 CephFS。

关键命令：

ceph -s              # 检查集群状态
ceph osd tree        # 查看 OSD 分布
ceph df              # 查看存储池用量

调优方向：
- 调整 PG 数量（ceph osd pool set <pool> pg_num 128）。
- 配置故障域（如机架级容灾）。

总结

Ceph 是一个功能强大但复杂的“存储瑞士军刀”，适合需要 自建云存储 或 大规模分布式存储 的场景。对于 Kubernetes 用户，通常通过 Rook 或直接集成 RBD/CephFS 来使用。理解其核心组件（OSD/MON/CRUSH）和数据流动逻辑是运维的关键。

相关文章：

怎样理解ceph?

Ceph 是一个开源的、高度可扩展的分布式存储系统，设计用于提供高性能、高可靠性的对象存储（Object）、块存储（Block）和文件存储（File）服务。它的核心思想是通过去中心化的架构和智能的数据分布策…...

编程日记 2025/6/3 17:27:17

《AI大模型趣味实战》智能Agent和MCP协议的应用实例：搭建一个能阅读DOC文件并实时显示润色改写过程的Python Flask应用

智能Agent和MCP协议的应用实例：搭建一个能阅读DOC文件并实时显示润色改写过程的Python Flask应用引言随着人工智能技术的飞速发展，智能Agent与模型上下文协议(MCP)的应用场景越来越广泛。本报告将详细介绍如何基于Python Flask框架构建一个智能应用&…...

编程日记 2025/5/31 10:31:47

Pygame字体与UI：打造游戏菜单和HUD界面

Pygame字体与UI：打造游戏菜单和HUD界面在现代游戏中，用户界面（UI）是玩家与游戏互动的重要桥梁。一个精心设计的UI不仅能够提升游戏的视觉效果，还能增强玩家的游戏体验。Pygame作为一个强大的游戏开发库，提供了丰富的工具和方法来创建和管理UI元素。本文将详细介绍如何使…...

编程日记 2025/5/30 3:46:50

游戏引擎学习第246天:将 Worker 上下文移到主线程创建

回顾并为今天的工作做准备关于GPU驱动bug的问题，目前本地机器上没有复现。如果有问题，昨天的测试就应该已经暴露出来了。当前演示的是游戏的过场动画，运行正常，使用的是硬件渲染。之前使用软件渲染时没有遇到太多问题&#xff…...

编程日记 2025/6/3 10:40:54

系统设计(2)—Redis—消息队列—数据库—熔限降

Redis 缓存设计在高并发系统中，缓存是提升性能、减轻后端负载的杀手锏。Redis 作为内存级的高性能缓存数据库，被广泛应用于各类系统设计中。利用 Redis，将热点数据存储在内存中，可以加速读写并大幅降低对后端关系型数据库的直接…...

编程日记 2025/6/3 10:40:50

第十六届蓝桥杯大赛软件赛省赛第二场 C/C++ 大学 A 组

比赛还没有开始，竟然忘记写using namespace std; //debug半天没看明白 (平时cv多了然后就是忘记那个编译参数，（好惨的开局编译参数-stdc11 以下都是赛时所写代码，赛时无聊时把思路都打上去了（除了倒数第二题&#…...

编程日记 2025/6/1 22:23:29

HiSpark Studio如何使用Trae（Marscode）插件

引言我现在非常喜欢使用编程辅助插件，用的最多的是Trae（以前叫Marscode）。以前华为的DevEco Device Tools是基于VSCode的，直接使用官方的插件市场就可以安装了。现在海思提供了自己的HiSpark Studio，比原来的Device …...

编程日记 2025/5/30 23:24:25

Netmiko连接池与长连接优化

背景与原理在网络自动化中，频繁创建和断开 SSH 连接会带来以下问题： 性能损耗：每次连接需经历 TCP 握手、SSH 协商、用户认证等流程，耗时约 1~3 秒。资源浪费：设备端可能限制并发连接数，频繁连接易触发阈…...

编程日记 2025/5/30 10:34:20

10：00面试，10:08就出来了，面试问的问题太。。。

从小厂出来，没想到在另一家公司又寄了。到这家公司开始上班，加班是每天必不可少的，看在钱给的比较多的份上，就不太计较了。没想到一纸通知，所有人不准加班，加班费不仅没有了，薪资还要降40%,这…...

编程日记 2025/6/2 10:15:53

从基础到实战的量化交易全流程学习：1.2 金融市场基础

从基础到实战的量化交易全流程学习：1.2 金融市场基础在量化交易领域，扎实的金融市场基础是策略开发与风险控制的核心支撑。本文将从交易品种、市场机制、监管合规三方面展开，结合市场特性、真实数据案例及实践要点进行系统化解析&#xff0c…...

编程日记 2025/6/1 7:12:40

游戏状态管理：用Pygame实现场景切换与暂停功能

游戏状态管理：用Pygame实现场景切换与暂停功能在开发游戏时，管理游戏的不同状态（如主菜单、游戏进行中、暂停等）是非常重要的。这不仅有助于提升玩家的游戏体验，还能使代码结构更加清晰。本文将通过一个简单的示例，展示如何使用Pygame库来实现游戏中的场景切换和暂停功…...

编程日记 2025/5/30 6:50:12

数据资产价值及其实现路径-简答题回顾

1. 简述数据资产的定义及其特征。答案：数据资产是指企业或组织所拥有的、具有经济价值的数据资源。它具有以下特征：可复制性（数据可以多次使用）、价值潜力（数据经过处理、分析可以创造经济价值）、流动性&…...

编程日记 2025/5/30 22:49:01

Docker化HBase排错实录：从Master hflush启动失败到Snappy算法未支持解决

前言在容器化时代，使用 Docker 部署像 HBase 这样复杂的分布式系统也比较方便。社区也提供了许多方便的 HBase Docker 镜像，没有找到官方的 apache的，但有包含许多大数据工具的 harisekhon/hbase 或用于学习目的的 bigdatauniversity/hbase…...

编程日记 2025/6/1 8:09:19

端到端自动驾驶的数据规模化定律

25年4月来自Nvidia、多伦多大学、NYU和斯坦福大学的论文“Data Scaling Laws for End-to-End Autonomous Driving”。自动驾驶汽车 (AV) 栈传统上依赖于分解方法，使用单独的模块处理感知、预测和规划。然而，这种设计在模块间通信期间会引入信息丢失&am…...

编程日记 2025/6/4 16:31:19

桌面端开发技术栈选型：开启高效开发之旅

在数字化浪潮中，桌面端应用依然占据重要地位，而选择合适的技术栈是打造优质桌面端应用的关键一步。以下是多种主流桌面端开发技术栈的介绍与对比，希望能为大家提供有价值的参考。基于 Web 技术的跨平台框架 • Electron： • 特…...

编程日记 2025/6/4 9:57:57

C++模拟Java C#的 finally

在 Java 和 C# 中，finally 是一个与异常处理（try-catch）配合使用的关键字，用于确保一段代码无论是否发生异常都会被执行。它通常用于释放资源（如文件句柄、数据库连接、锁等），避免内存泄漏或状态…...

编程日记 2025/6/3 10:40:54

Spring Boot安装指南

🔖 Spring Boot安装指南 🌱 Spring Boot支持两种使用方式： 1️⃣ 可作为常规Java开发工具使用 2️⃣ 可作为命令行工具安装 ⚠️ 安装前提： 📌 系统需安装 Java SDK 17 或更高版本 🔍 建议先运行检查命令…...

编程日记 2025/6/1 20:12:20

zephyr架构下Bluetooth advertising接口

目录概述 1 函数接口 2 主要函数介绍 2.1 bt_le_adv_start函数 2.1.1 函数功能介绍 2.1.2 典型使用示例 2.1.3 广播间隔 2.1.4 注意事项 2.2 bt_le_adv_stop 函数 2.2.1 函数功能 2.2.2 使用方法介绍 2.2.3 实际应用示例 2.2.4 关键注意事项 2.2.5 常见问题解决 …...

编程日记 2025/6/2 13:54:54

Oracle官宣 MySQL+APEX+AI三认证限时免费

1 MySQL8 OCP 考试代码 1Z0-908 免费时间：2025年4月20日至7月31日 https://education.oracle.com/mysql-promo 2 APEX云开发专家考试代码 1Z0-771 免费时间：2025年5月15日截止！ https://mylearn.oracle.com/ou/learning-path/become…...

编程日记 2025/5/31 4:11:34

深入理解N皇后问题：从DFS到对角线优化

N皇后问题是一个经典的算法问题，要求在NN的棋盘上放置N个皇后，使得它们互不攻击。本文将全面解析该问题的解法，特别聚焦于DFS算法和对角线优化的数学原理。问题描述在NN的国际象棋棋盘上放置N个皇后，要求： 任意两个…...

编程日记 2025/6/1 19:55:29

1软考系统架构设计师：第一章系统架构概述 - 超简记忆要点、知识体系全解、考点深度解析、真题训练附答案及解析

超简记忆要点一、考试大纲目标：架构设计能力（需求→架构）能力：技术/方法/行业科目：综合（选择）、案例（问答）、论文（论述） 二、架构核心定义…...

编程日记 2025/6/1 17:31:59

MuJoCo 关节角速度记录与可视化，监控机械臂运动状态

视频讲解： MuJoCo 关节角速度记录与可视化，监控机械臂运动状态代码仓库：GitHub - LitchiCheng/mujoco-learning 关节空间的轨迹优化，实际上是对于角速度起到加减速规划的控制，故一般来说具有该效果的速度变化会显得丝…...

编程日记 2025/6/3 17:20:22

如何打包python程序为可执行文件

将 Python 程序打包为可执行文件是一个常见需求，尤其是在希望将应用程序分享给不具备 Python 环境的用户时。以下是使用 PyInstaller 工具将 Python 程序打包为可执行文件的步骤。步骤 1：安装 PyInstaller 如果您还没有安装 PyInstaller，请…...

编程日记 2025/6/2 2:13:18

产销协同是什么？产销协同流程有哪些？

目录一、产销协同是什么 1.从市场需求的角度来看 2.企业内部运营的角度来看 3.从供应链的角度来看二、实现产销协同的八大步骤 1. 市场需求预测 2. 销售计划制定 3. 生产能力评估 4. 生产计划制定 5. 库存管理 6. 信息共享与沟通 7. 订单执行与跟踪 8. 绩效评估…...

编程日记 2025/5/30 6:29:24

SQL 查询进阶：WHERE 子句与连接查询详解

SQL（Structured Query Language）是管理关系型数据库的核心语言，熟练掌握其查询功能对于数据处理至关重要。本文将深入探讨 SQL 中的两个关键概念：WHERE 子句和连接查询。我们将详细讲解 WHERE 子句中的模糊查询、IS NULL、IS NOT …...

编程日记 2025/6/3 18:50:42

【计算机视觉】CV实战项目- DFace: 基于深度学习的高性能人脸识别

图：MTCNN的三阶段网络结构（P-Net、R-Net、O-Net） DFace深度解析：基于深度学习的高性能人脸识别深度解析DFace：基于PyTorch的实时人脸检测与识别系统技术背景与项目概述核心功能与特点实战部署指南环境准备硬件要求软…...

编程日记 2025/5/29 6:15:27

基于Docker、Kubernetes和Jenkins的百节点部署架构图及信息流描述

以下是基于Docker、Kubernetes和Jenkins的百节点部署架构图及信息流描述，使用文本和Mermaid语法表示：架构图（Mermaid语法） #mermaid-svg-WWCAqL1oWjvRywVJ {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-WWCAq…...

编程日记 2025/5/25 9:24:17

百度搜索AI开放计划：让应用连接精准流量的秘诀

引言在人工智能技术深刻改变各行各业的今天，每天都有许多AI应用诞生。然而无论是开发者还是用户依然会感到自己的应用鲜有人使用或是需求没有被充分满足。这种情况正说明了为什么我们需要SEO流量，而一个能够与AI应用直接相关的SEO平台更是呼之欲出。百度…...

编程日记 2025/6/4 7:33:05

Redis数据结构SDS,IntSet,Dict

1.字符串：SDS SDS的底层是C语言编写的构建的一种简单动态字符串简称SDS，是redis比较常见的数据结构。由于以下几种缺点，Redis并没有直接采用C语言的字符串。 1.获取长度需要计算 2.非二进制安全 ：中间不能有 \0，…...

编程日记 2025/6/3 3:21:45

leetcode201.数字范围按位与

找到公共前缀部分，然后后面的部分全0 class Solution {public int rangeBitwiseAnd(int left, int right) {int offset 0;while (left ! right) {offset;left left >> 1;right right >> 1;}return right << offset;} }...

编程日记 2025/5/26 19:57:26

云服务器 —— 公有 IP 与私有 IP

云服务器的公有 IP 和私有 IP 在网络架构中扮演不同的角色，具体用途和区别如下： 目录 1. 公有 IP（Public IP） 作用： 特点： 示例场景： 2. 私有 IP（Private IP） 作用…...

编程日记 2025/6/1 22:45:34

北斗导航｜ Transformer增强BiLSTM网络的GNSS伪距观测量误差探测

在GNSS（全球导航卫星系统）定位中，伪距观测量的误差直接影响定位精度。结合Transformer和LSTM的优势，可以设计一种混合模型以提升误差探测能力。以下是具体的技术实现方案： 1. 模型架构设计 1.1 输入特征设计原始GNSS观测数据：伪距观测值（C/A码、P码）、载波相位、多普…...

编程日记 2025/6/1 14:55:14

0803分页_加载更多-网络ajax请求2-react-仿低代码平台项目

文章目录 1 分页1.1 url与分页参数1.2 分页组件与url1.3 列表页引用分页组件 2 加载更多2.1 状态2.2 触发时机2.3 加载数据2.4优化结语 1 分页 1.1 url与分页参数查询问卷列表接口，添加分页参数： page：当前页码（第几页&#…...

编程日记 2025/6/2 11:26:02

React 与 Vue 的区别：你会选择哪个框架呢

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》、《2024面试高频手撕题》、《前端求职突破计划》 🍚 蓝桥云课签约作者、…...

编程日记 2025/5/12 1:40:12

Jmeter如何取JDBC request响应参数作为下一个接口的值？

1、功能参数说明 Variable Name：数据库连接池的名字，需要与JDBC Connection Configuration的Variable Name Bound Pool名字保持一致 Query：填写的sql语句未尾不要加“;” Parameter valus：参数值,对查询条件进行参数化 Paramete…...

编程日记 2025/5/29 1:35:27

【C++】14.容器适配器 | stack | queue | 仿函数 | priority_queue

1. 容器适配器什么是适配器适配器是一种设计模式(设计模式是一套被反复使用的、多数人知晓的、经过分类编目的、代码设计经验的总结)，该种模式是将一个类的接口转换成客户希望的另外一个接口。在C中，容器适配器（Container Adapters&…...

编程日记 2025/5/28 3:47:20

论文阅读：2025 arxiv Aligning to What? Limits to RLHF Based Alignment

Aligning to What? Limits to RLHF Based Alignment https://arxiv.org/pdf/2503.09025 https://www.doubao.com/chat/3871529075012866 速览这篇论文主要探讨了强化学习从人类反馈（RLHF）在对齐大型语言模型（LLMs）时的局限性…...

编程日记 2025/6/1 22:30:31

利用Arcgis自己绘制shp文件

1.选择自己想要创建的shp文件的位置我是直接创建在连接文件夹中 2.右键-新建-shp 3.设置名称、要素类型、空间参考 4、点击创建要素 5、右侧选择图层、创建面 6、开始绘制，双击任意位置结束绘制之后可以改一下shp文件的名字...

编程日记 2025/6/4 6:35:43

路由器重分发（OSPF+静态路由）

路由器重分发（OSPF静态路由） 静态路由充当不了翻译官 OSPF路由 OSPF路由需要宣告自己的ip， Router(config)#router ospf 1 Router(config-router)#network 10.10.10.0 0.0.0.255 area 0还要帮静态路由的也宣告一下 Router(config)#ip route…...

编程日记 2025/5/29 6:40:38

KTT入门

Kinetic tournament tree 简称 KTT 下文中全部简写。 KTT 用于解决类以下问题：已知 N N N 条一次函数，求解一段区间内函数最大值。支持修改操作可以修改 x i x_i xi 或者 b i b_i bi 的值。具体做法：我们考虑线段树来维护一个类似 Δ \Delta Δ 的东西，我们令当…...

编程日记 2025/5/29 17:23:31

WPF 上位机开发模板

WPF 上位机开发模板 WPF上位机开发模板，集成了基础操作菜单、海康视觉实时图像界面、串口通讯、网口通讯、主流PLC通讯、数据存储、图片存储、参数配置、权限管理、第三方webapi接口接入、数据追溯与查询等功能。一、项目结构 WpfSupervisor/ ├── Models/ …...

编程日记 2025/6/4 1:31:12

理想星环OS选择NuttX作为MCU侧OS的核心原因分析

文章目录引言一、POSIX兼容性：降低汽车软件迁移成本二、轻量级与模块化：适配MCU资源约束三、硬实时性能：保障车辆控制确定性四、多芯片适配：加速车企供应链灵活性五、安全与可靠性：构建纵深防御体系六、社区与生态&am…...

编程日记 2025/5/31 15:34:06

IP数据报发送和转发的过程

1. 发送端准备数据应用程序（比如浏览器）要发送数据，比如访问一个网站。应用层（HTTP） → 传输层（TCP/UDP） → 网络层（IP）。 IP层负责把数据包打包，加上必要…...

编程日记 2025/5/29 14:10:25

Pinia 详细解析：Vue3 的状态管理利器

一、Pinia 概述 Pinia 是 Vue 3 的官方推荐状态管理库，由 Vue 核心团队维护。它是对 Vuex 的改进和简化，提供了更简洁的 API 和更好的 TypeScript 支持。 Pinia 的核心优势更简单的 API：相比 Vuex 减少了概念和模板代码完美的 TypeScript…...

编程日记 2025/6/3 3:38:01

pytorch python常用指令

一、常用的conda指令创建新的python环境 conda create -n env_name python3.x 查看已有的python环境 conda env list 进入已有的python环境 conda activate env_name 退出当前的python环境 conda deactivate 二、常用的pip指令 pip install -r requirements.txt 根据…...

编程日记 2025/5/29 2:16:50

ubantu18.04（Hadoop3.1.3）之Spark安装和编程实践

说明：本文图片较多，耐心等待加载。（建议用电脑） 注意所有打开的文件都要记得保存。第一步：准备工作本文是在之前Hadoop搭建完集群环境后继续进行的，因此需要读者完成我之前教程的所有操作。以下所有操…...

编程日记 2025/5/29 17:13:53

Ubuntu下安装vsode+qt搭建开发框架(二)

Ubuntu下安装vsode+qt搭建开发框架(二) 上一节介绍了vsode下搭建qt环境，采用的项目构建方式是使用qt官方的qmake工具。然而从qt6之后，官方已经开始推荐使用cmake来构建项目；并且许多项目都是cmake直接构建的，用cmake来构建项目具有可以更方便的融合其他开源项目。一、vs…...

编程日记 2025/6/4 3:22:40

获取房源信息并完成可视化——网络爬虫实战1

房源信息爬虫与可视化分析程序个人程序全网一手，盗卖必究项目介绍本项目是一个基于Python的房源信息爬虫与可视化分析工具，可以爬取链家网的二手房源信息，并对数据进行清洗、分析和可视化展示。通过本工具，用户可以快速了解特…...

编程日记 2025/6/1 10:49:22

css word

介绍 CSS word-spacing 属性，用于指定段字之间的空间，例如： p {word-spacing:30px; }word-spacing属性增加或减少字与字之间的空白。注意： 负值是允许的。浏览器支持表格中的数字表示支持该属性的第一个浏览器版本号。属…...

编程日记 2025/5/29 13:01:33

[mysql]约束(上)

约束道德约束,法律约束,这个约束在表里面是狭义的. 约束广义的,比如数值型你就不能录入’abc’.字符,定义了varchar(15)范围不能超过数量15. 我们这个章节要说的约束是狭义的,是具体的我们设定的约束, 为什么我们需要约束呢我们是为了数据的精确性和可靠性,我们了为了防…...

编程日记 2025/5/31 0:39:21