当前位置：首页 > news >正文

ceph文件系统

news 来源：原创 2025/7/7 1:06:26

ceph文件系统：

使用设备：4台机器

高度可扩展，分布式的存储文件系统，旨在提供高性能，高可靠性和高可用的对象存储，块存储，文件系统的存储

使用分布式的算法保证数据的高可用和一致性

ceph的架构：

1、ceph minitor
MON：负责存储和维护整个ceph集群的状态信息，主要是集群的成员的信息，存储状态和配置数据等等

确保集群的一致性，处理选举和状态的更新，集群内部成员的通信，包括故障转移

ceph当中mon至少要有3个节点，确保高可用

2、OSD (object storage daemon)
ceph存储系统的核心组件，负责存储数据，处理读写请求，数据复制，数据恢复

每个OSD节点管理一个或者多个硬盘驱动

存储实际的数据和副本

处理对象级别的数据操作，读，写，删

在节点付账时，进行数据恢复

3、ceph mds metadata server
对ceph的文件系统的元数据进行管理，文件和目录的结构，文件的权限，mds提供元数据服务

管理集群的元数据信息

处理客户端对文件系统的请求

ceph集群中至少要有一个mds节点

4、存储池和pg：

存储池（pool）：ceph存储数据对象的容器每个存储池可以定义数据冗余的策略（副本数，默认都是3）crush映射规则等等

存储池是一个逻辑上的概念

管理和组织数据的对象

定义数据的冗余方式，只要是开副本 ----- 3个

配置crush映射，数据如何在OSD之间分布

pg：placement group

pg也是ceph当中的一个逻辑概念，用于数据分布的基本单位，创建存储池，定义好pg的数量

pg是由一组对象（object）组成的逻辑集合，每个对象都会映射到一个或者多个pg

数据分布：数据写入集群，映射到存储池中的一个pg，crush算法决定将pg分布到哪些OSD

在ceph当中，pg的数量和OSD的数量是相关的，设置一个合理的pg数，有助于提高集群的性能

以3个OSD为例
pg数量 = （OSD 数量 * 100）/ 存储池的副本数300/3 =100
pg的数量应该是2的幂值pg的数量一般都是OSD数量的一百倍左右

存储池，pg和OSD之间的关系：

1、存储池（pool），管理数据的基本单位，组成和配置数据的存储和冗余的方式
2、pg存储池中的数据被划分成多个pg，每个pg是数据分布的最小单位，pg负责对象存储的位置，通过crush的算法把数据分布到OSD上
3、OSD是负责存储数据的基于物理设备的虚拟概念

在这里插入图片描述

crush算法，ceph自带的一种算法：
数据分布的算法，把对象分配到集群的OSD节点当中

crush算法使用hash算法来决定数据的存储位置，确保数据是均匀的分布在集群的OSD上

在这里插入图片描述

对象存储，云平台存储，基于apt接口，通过http（s）来对目标发起请求的方式获取数据

块存储 RBD：
文件系统 cephfs

集群的架构：

test1 192.168.31.10 mon osd admin
test2 192.168.31.11 mon osd
test3 192.168.31.12 mon osd
test4 192.168.31.13 客户端

ceph 17版本：2024 17.2.4 新版依赖于docker 和 python3 ------- Ubuntu自带，lvm2

cephadm bootstrap --mon-ip 192.168.233.10 --cluster-network 192.168.233.0/24 --allow-fqdn-hostname

–mon-ip 指定mon进程的节点地址，先指定admin节点

–cluster-network: 集群网络的范围，ceph节点内部通信

集群和客户端之间进行免密登录
↓
添加OSD
ceph orch host add test2 / test3
↓
Ceph Dashboard is now available at:
URL: https://test1:8443/
User: admin
Password: 47cqqsv839

作为Ceph集群的底层的硬盘必须满足两个条件:1、容量必须大于5G2、不能对硬盘做任何分区和文件系统

ceph的RBD模式

RBD：rados block device
用于虚拟化环境，openstack，kvm

数据库：性能高，延迟低的块存储方式

优点:
1、支持动态扩展
2、支持快照和克隆

缺点：
1、RBD的方式必须要先创建文件系统
使用方式：在云计算平台当中使用，尤其是大规模存储和高性能存储场景

ceph osd pool create rbd1 128 128 #创建存储池的命令ceph osd pool rbd1 这是存储池的名称
128 128
128 pg_num pg的数量
128 pgp_num 的数量rbd create myrbd1 -size 2G --pool rbd1 创建镜像的命令:
镜像RBD存储的基本单位，他是一个虚拟的磁盘
镜像提供了一个虚拟的块设备的接口，可以挂载的方式进行使用

创建RBD镜像，实际上就是类似磁盘的一个分区

root@test4:/etc/ceph# rbd create myrbd1 --size 2G --pool rbd1
创建镜像root@test4:/etc/ceph# rbd map myrbd1 --pool rbd1
映射之后，会虚拟出一个逻辑上的硬盘，要创建文件系统，然后挂载才可以使用

2、cephfs的存储方式：

分件系统分布式存储方式，基于内核实现共享文件的存储方式

大数据存储，文件服务器（文件共享，企业的镜像服务源）

优点：内核兼容，NFS方式也可以实现，部署速度比较快，跨节点实现

缺点：配置比RBD复杂，在大集群当中比较复杂

ceph需要两个存储池

数据池：cephfs.data，用来存储数据，根据OSD的数量和总空间的大小，创建cephfs时，系统自动分配给cephfs文件系统的大小，按照一般情况是总大小的3分之1左右
元数据池：保存数据的元信息，cephfs.meta

ceph fs volunme create cephfs：创建ceph文件系统

NFS方式：

在这里插入图片描述

3、ceph object storge 对象存储

云计算的后台的存储方式一般都是用对象存储

对象存储：高扩展，处理文件的级别可以达到PB级别

ceph需要使用分布式文件系统的企业一般都是需要存储海量数据，以及保证数据的高可用非常严禁的场景

ceph的存储方式的数据流向

存储池 pg osd

创建存储池，分配pg
数据按照对象分配给pg
pg再把数据分配到osd

ceph文件系统

ceph文件系统： 使用设备：4台机器高度可扩展，分布式的存储文件系统，旨在提供高性能，高可靠性和高可用的对象存储，块存储，文件系统的存储使用分布式的算法保证数据的高可用和一致性 ceph的架…...

编程日记 2025/7/7 1:06:26

模型创新、论文复现、科研辅导、论文代码定制

建模先锋团队长期致力于为用户提供优质的代码定制服务。团队提供全网最低价格的服务，同时保证高性价比和高质量的代码交付，为您提供个性化定制的服务。以下是定制服务范围： 通过深度学习和信号处理技术，我们能够针对不同行业和场…...

编程日记 2025/7/7 0:52:46

【flink-cdc】flink-cdc 3版本debug启动pipeline任务，mysql-doris

官方文档 github仓库地址 Flink cdc debug调试动态变更表结构经过测试使用，在启动任务配置Modify classpath添加jar的方式，容易出错classNotFoundException等等。一、build project flink-cdc版本：3.2.1 mvn clean package "-Dma…...

编程日记 2025/7/6 23:42:19

mybatisX插件的使用，以及打包成配置

装mybatisX插件； idea连接数据库； 点击mybatisx-generator，设置自己装mybatisX插件； idea连接数据库； 点击mybatisx-generator，设置自己要的包和类； 如果要把自己的配置设置成一个自定义模板&a…...

编程日记 2025/7/4 0:24:19

报错： ERROR: Could not install packages due to an OSError: HTTPSConnectionPool(host‘files.pythonhosted.org’, port443): Max retries exceeded with url: /packages/8a/c2/ae7227e4b089c6a8210920db9d5ac59186b0a84eb1e6d96b9218916cdaf1/taming_transform…...

编程日记 2025/7/3 7:29:25

Linux下查看文件和文件夹占用空间大小

使用Linux命令，查看文件磁盘所占的空间大小，下面可以通过以下命令进行操作 df 可以查看一级文件夹大小、使用比例、档案系统及其挂入点，但对文件束手无策du 查看文件和文件夹的磁盘使用空间在使用中，一般是df命令和du命令一起联…...

编程日记 2025/7/4 0:24:14

【论文+源码】基于Spring和Spring MVC的汉服文化宣传网站

为了实现一个基于Spring和Spring MVC的汉服文化宣传网站，我们需要创建一个简单的Web应用程序来展示汉服文化和相关信息。这个系统将包括以下几个部分：数据库表设计：定义文章、用户和评论的相关表。实体类：表示数据库中的数据。DAO层接口及MyBatis映射文件：用于与数据库交…...

编程日记 2025/7/4 0:24:12

C++语言的学习路线

C语言的学习路线 C是一门复杂而强大的编程语言，由于其高性能和灵活性，受到了许多开发者和企业的青睐。无论是系统软件、嵌入式系统还是游戏开发，C都有非常广泛的应用。要掌握C这门语言，需要合理制定学习路线，并结合实…...

编程日记 2025/7/6 23:40:27

【OpenCV】使用Python和OpenCV实现火焰检测

1、项目源码和结构（转） https://github.com/mushfiq1998/fire-detection-python-opencv 2、运行环境 # 安装playsound：用于播放报警声音 pip install playsound # 安装opencv-python：cv2用于图像和视频处理，特别是…...

编程日记 2025/7/7 0:26:02

【ArcGISPro/GeoScenePro】解决常见的空间参考和投影问题

修复空间参考缺失的图像数据 https://arcgis.com/sharing/rest/content/items/535efce0e3a04c8790ed7cc7ea96d02d/data 查看属性坐标查看属性范围范围值并不是零或接近于零。这意味着栅格具有范围，因此其已正确进行...

编程日记 2025/7/6 23:27:05

Ruby语言的语法

Ruby语言的语法之美 Ruby是一种动态、开放源代码的编程语言，由日本的松本行弘（Yukihiro Matsumoto）于1995年首次发布。Ruby语言以其简洁、优雅和易于阅读的语法而闻名。它不仅适合初学者，还被广泛应用于Web开发、数据分析和其他领…...

编程日记 2025/7/7 0:56:43

概述（讲讲python基本语法和第三方库)

我是北子，这是我自己写的python教程，主要是记录自己的学习成果方便自己日后复习， 我先学了C/C，所以这套教程中可能会将很多概念和C/C去对比，所以该教程大概不适合零基础的人。 it seems that python nowadays 只在人工…...

编程日记 2025/7/4 0:24:02

程序包org.springframework.boot不存在

springBoot项目启动报错程序包org.springframework.boot不存在 1、检查依赖首先检查pom文件判断依赖是否存在 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId><version>2.4.5…...

编程日记 2025/7/6 20:55:10

.NET Core FluentAPI

目录约定配置主要规则两种配置方式 Data Annotation Fluent API Fluent API配置 Fluent API众多方法选择约定配置主要规则表名采用DbContext中的对应的DbSet的属性名。数据表列的名字采用实体类属性的名字，列的数据类型采用和实体类属性类型最兼容…...

编程日记 2025/7/4 2:24:47

浙江省自然资源厅：基于“浙里办”的自然资源移动政务服务创新实践——“浙里自然资源”

摘　要：本文基于浙江省自然资源移动政务服务的创新实践，设计和实现“浙里自然资源”应用，依托浙江省省域空间治理数字化平台特有的架构基础，在提升功能性和可用性、加强运营力度、丰富服务内容等方面采取了管理举措和技术创新。通…...

编程日记 2025/7/3 7:40:25

【Astro】如何在Astro上借助Cloudflare D1和Drizzle ORM打造全栈应用？一文带你搞定！

如何在Astro上借助Cloudflare D1和Drizzle ORM打造全栈应用？一文带你搞定！ 文章目录如何在Astro上借助Cloudflare D1和Drizzle ORM打造全栈应用？一文带你搞定！前言一、Astro简介与优势二、Cloudflare D1简介三、Drizzle ORM简介四…...

编程日记 2025/7/6 23:37:48

【Axios使用手册】如何使用axios向后端发送请求并进行数据交互

axios 是一个基于 Promise 的 HTTP 客户端，用于浏览器和 Node.js。它支持请求和响应拦截、取消请求、自动转换 JSON 数据等功能，非常适合在现代 JavaScript 应用中进行网络请求。以下是对 axios 的详细讲解，包括安装、基本用法、高级功能等。…...

编程日记 2025/7/7 0:32:58

边缘计算应用十大领域

边缘计算解决了互联网的网速问题，作为实现边缘计算的基础，那边缘计算是5G与产业互联网、物联网时代的重要技术支撑，也正迎来广阔的增长空间。那么现在我们生活中有哪些领域正在使用边缘计算呢？今天我们来盘点一下我们身边正在使用…...

编程日记 2025/7/7 0:28:57

CSS 学习之 padding 与图形绘制

padding 属性和 background-clip 属性配合，可以在有限的标签下实现一些 CSS 图形绘制效果，我这里举两个小例子，重在展示可行性。例 1:不使用伪元素，仅一层标签实现大队长的“三道杠”分类图标效果。此效果在移动端比较常见&…...

编程日记 2025/7/4 2:24:36

熔断器模式如何进入半开状态的

熔断器模式在进入打开状态并经过一段冷却时间后，会自动进入半开状态。这个过程是熔断器模式自我恢复机制的一部分，旨在测试下游服务是否已经恢复正常，从而决定是否重新允许请求通过。 1. 进入打开状态： • 当服务调用失败次数达到…...

编程日记 2025/7/6 10:25:45

数据结构：双向循环链表

双向循环链表（Doubly Circular Linked List） 双向循环链表是双向链表的一种变体，其特点是链表的头节点和尾节点相连，形成一个闭环。这种结构允许在链表中进行无缝的双向遍历，并且由于循环特性，可以从任何节…...

编程日记 2025/7/4 2:24:32

宝安湾区之光附近的钓鱼点

工作日的午休我经常在公司附近骑行，有时候也会骑行到宝安的湾区之光。但是我最感兴趣的除了湾区之光摩天轮，还有雷打不动的快乐钓鱼佬。上图红框区域的河岸每天都会出现零零散散的快乐钓鱼佬，他们好像都有自己的钓鱼窝点。我发现来这里钓鱼也…...

编程日记 2025/7/4 2:24:30

【计算机网络】什么是AC和AP？

在现代的无线网络中，AC（Access Controller，接入控制器）和AP（Access Point，无线接入点）是两个至关重要的设备，它们在网络的管理、连接和优化中扮演着重要角色。理解它们的功能和区别&…...

编程日记 2025/7/4 2:24:28

python 词法分析

词法分析（Lexical Analysis）是编译器的第一步，它的任务是将源代码文本分割成一系列有意义的单元（称为“词法单元”或“Token”）。这些词法单元通常包括关键字、标识符、常量、运算符、分隔符等。 import re# 定义词法单…...

编程日记 2025/7/3 7:06:41

JUC--CAS原理（以Atomic报下类的实现来了解CAS的原理）

以Atomic来了解CAS的原理六、无锁6.1CAS（Compare-And-Swap）原理6.2CAS与synchronized6.3Atomic（原子类）原理分析 6.4ABA问题6.4unsafe 六、无锁 6.1CAS（Compare-And-Swap）原理 CAS原理：CAS是…...

编程日记 2025/7/6 22:36:31

对比显式启用-u_printf_float和-u_scanf_float前后的代码内存体量实验

本文的嵌入式编译器基于GCC for ARM，构建文件基于Makefile。 main.c不编写任何代码，保证实验的其他变量统一。源文件main.c： 优化等级固定为 -Og ： syscalls.c 系统调用库函数文件参考：基于GCC for ARM交叉编译工具链…...

编程日记 2025/7/4 2:24:22

嵌入式 Linux LED 驱动开发实验

一、Linux 下 LED 灯驱动原理 a）地址映射在编写驱动之前，我们需要先简单了解一下 MMU 这个神器， MMU 全称叫做 Memory Manage Unit，也就是内存管理单元。在老版本的 Linux 中要求处理器必须有 MMU，但是现在 Linux 内核已经支持无 MMU 的处理器了。 MMU 主要完成的功能如…...

编程日记 2025/7/5 21:51:54

qml PathView详解

1、概述 PathView 是 Qt Quick 中一个非常强大的视图组件，它基于一个 Path 来展示视图项（如 Item、Rectangle 等）。PathView 可以让你按照定义的路径动态地显示多个元素，并且支持动画、滑动等功能。这个视图控件的最大特点是能够…...

编程日记 2025/7/5 17:56:00

Spring源码分析之事件机制——观察者模式（一）

目录事件基类定义事件监听器接口事件发布者接口及实现事件广播器实现小小总结 Spring源码分析之事件机制——观察者模式（一）-CSDN博客 Spring源码分析之事件机制——观察者模式（二）-CSDN博客 Spring源码分析之事件机制…...

编程日记 2025/7/4 2:24:16

安卓14无法安装应用解决历程

客户手机基本情况： 安卓14，对应的 targetSdkVersion 34 前天遇到了安卓14适配问题，客户发来的截图是这样的描述：无法安装我们公司的B应用。型号：三星google美版解决步骤： 1、寻找其他安卓14手机测试…...

编程日记 2025/7/5 13:08:45

BGP（Border Gateway Protocol）路由收集器

全球 BGP（边界网关协议）路由收集器的分布情况以及相关数据。以下是主要的信息解读： 地图标记： 每个绿色点代表一个路由收集器的位置。路由收集器分布在全球不同的地区，覆盖了五大区域： ARIN（美…...

编程日记 2025/7/4 2:24:12

Vue.js与其他框架有哪些兼容性？

Vue.js的兼容性主要体现在几个方面，包括浏览器支持、运行环境适应性、与其他库和框架的集成能力等。以下是更详细的解释： 浏览器兼容性现代浏览器：Vue.js广泛支持所有主流的现代浏览器，如Google Chrome, Firefox, Safari, Edge…...

编程日记 2025/7/4 2:24:10

深度解析与实践：HTTP 协议

一、引言 HTTP（HyperText Transfer Protocol，超文本传输协议）是 Web 应用程序、API、微服务以及几乎所有互联网通信的核心协议。虽然它是我们日常使用的基础技术，但要深刻理解其高效使用、优化以及如何避免性能瓶颈，我…...

编程日记 2025/7/4 2:24:08

MyBatis 配置文件全解析

一、MyBatis 配置文件为何至关重要？ 在 Java 后端开发领域，MyBatis 作为一款广受欢迎的持久层框架，极大地简化了数据库操作。而 MyBatis 配置文件，恰似整个框架的 “神经中枢”，掌控着其运行的方方面面，对…...

编程日记 2025/7/4 2:24:06

redis Redis内存缓存过期机制

起因：随着项目的进一步推广，数据量的增大，直接访问mysql数据库获取数据所使用的时间越来越长，为解决当前主要矛盾，决定引入redis非关系型数据库作为缓存层，使得数据并不能直接命中数据库，减少访…...

编程日记 2025/7/4 2:24:05

游戏关卡设计的常用模式

游戏关卡分为很多种，但常用的有固定套路，分为若干种类型。关卡是主角与怪物、敌方战斗的场所，包括装饰物、通道。单人游戏的关卡较小，偏线性； 联机/MMO的关卡较大，通道多，自由度高&#xf…...

编程日记 2025/7/3 8:37:00

计算机网络常见面试题及解答

以下是计算机网络中常见的面试题及解答，按主题分类： --- ## **一、基础概念** ### **1. OSI 七层模型和 TCP/IP 模型的区别是什么？** **答：** - **OSI 七层模型：** - 应用层、表示层、会话层、传输层、网络层、数…...

编程日记 2025/7/4 2:24:01

SUB输入5V升压充电16.8V芯片HU5912

HU5912芯片，作为航誉微电子有限公司推出的一款高性能升压充电管理IC，自其面世以来，便以其出色的性能和广泛的应用领域，受到了业界的高度关注和赞誉。本文将详细介绍HU5912芯片的技术特点、应用优势、市场定位以及其在各类电子设备…...

编程日记 2025/7/4 2:23:59

基于Informer网络实现电力负荷时序预测——cross validation交叉验证与Hyperopt超参数调优

前言系列专栏:【深度学习：算法项目实战】✨︎ 涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域，讨论了各种复杂的深度神经网络思想，如卷积神经网络、循环神经网络、生成对…...

编程日记 2025/7/4 2:23:58

linux ubantu重启桌面

在 Ubuntu 系统中，重启桌面环境通常有几种方法，具体取决于你所使用的桌面环境（如 GNOME、KDE 等）。下面是几种常用的重启桌面的方法： 重启 GNOME 桌面环境如果你使用的是 GNOME 桌面环境（Ubuntu 默认桌面…...

编程日记 2025/7/3 9:59:45

C++Primer const限定符

欢迎阅读我的【CPrimer】专栏专栏简介：本专栏主要面向C初学者，解释C的一些基本概念和基础语言特性，涉及C标准库的用法，面向对象特性，泛型特性高级用法。通过使用标准库中定义的抽象设施，使你更加适应高级…...

编程日记 2025/7/3 13:04:49

【机器学习】机器学习的基本分类-自监督学习（Self-supervised Learning）

自监督学习是一种机器学习方法，介于监督学习和无监督学习之间。它通过数据本身生成标签，创建训练任务，从而学习数据的表征，而不需要人工标注的标签。这种方法在减少标注数据依赖、提高模型通用性等方面具有重要意义。自监督学习的…...

编程日记 2025/7/6 19:33:08

python基础案例

#一个年份如果能被4整除但不能被 100整除，或能被 400整除，那么这个年份就是闰年。 year int(input(请输入年份：)) if (year %40 and year %100!0) or year %4000:print("这个年份就是闰年") else:print("这个年份不是闰…...

编程日记 2025/7/6 2:09:21

ARP（地址解析协议）攻击；TCP SYN Flood（SYN洪流）攻击

ARP（地址解析协议）攻击是一种网络攻击类型，攻击者利用ARP协议的缺陷对目标网络实施攻击。ARP协议用于在局域网（LAN）中将IP地址解析为MAC地址，它是无认证机制的，这为攻击者提供了可利用的机会。…...

编程日记 2025/7/5 5:24:55

基于大数据爬虫+Python+数据可视化大屏的慧游数据爬虫与推荐分析系统(源码+论文+PPT+部署文档教程等)

博主介绍：**CSDN毕设辅导第一人、**全网粉丝50W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流 **技术范围：**S…...

编程日记 2025/7/4 2:23:45

Linux系统安装es详细教程

一、下载es及插件从下面的网址进行对应es版本的下载https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz ，想要不同版本的es只需更换对应的版本号即可。插件下载地址（ik分词器、pinyin等）es…...

编程日记 2025/7/5 18:41:01

分布式搜索引擎之elasticsearch基本使用3

分布式搜索引擎之elasticsearch基本使用3 1.部署单点es 1.1.创建网络因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络： docker network create es-net1.2.加载镜像这里我们采用elasticsearch的7.12.1版本的镜像&…...

编程日记 2025/7/6 19:15:23