当前位置：首页 > news >正文

Ceph块存储

news 来源：原创 2025/8/29 4:02:30

#### 一、Ceph块存储

##### 镜像快照管理

> 实现数据备份、恢复和测试等操作，而不影响原始数据，提高系统的可靠性和可用性。

```shell
# 创建镜像
rbd create img1 --size 10G
# 映射镜像到本地并格式化挂载
rbd map img1
mkfs -t xfs /dev/rbd0
mount /dev/rbd0 /mnt/
# 创建快照
rbd snap create img1 --snap img1-sn1 #创建快照
rbd snap ls img1 #查看img1镜像已有快照

# 测试快照回滚数据
在创建快照前添加文件，再创建快照，删除文件模拟误操作
回滚前需要卸载设备并取消映射关系
umount -a;rbd unmap img1
rbd snap rollback img1 --snap img1-sn1 #回滚到指定快照
映射img1镜像到本地，挂载镜像，找到之前添加的文件确认数据能够恢复

# 保护快照防止误删除
rbd snap protect img1 --snap img1-sn1 #保护指定快照
验证保护开启删除快照

# 删除快照和镜像
rbd snap unprotect img1 --snap img1-sn1 #取消快照保护模式
删除镜像前需要删除快照
rbd snap rm img1 --snap img1-sn1 #删除指定快照
umount /dev/rbd0 #卸载设备
rbd unmap img1 #取消映射关系
rbd remove img1 #删除镜像
```

##### 镜像快照克隆

> 单个镜像同时被挂载到多个节点，会损坏数据。使用快照克隆不直接对镜像克隆，只有受保护的快照才能实现克隆，克隆流程：创建镜像——创建快照——保护快照——克隆镜像。快速创建克隆镜像、支持多个克隆镜像和支持快照克隆链是它的主要作用。克隆链指在一个克隆镜像的基础上再次创建克隆镜像，形成克隆链

```shell
# 创建镜像
rbd create img2 --size 10G

# 映射镜像后格式化挂载并添加一些文件
rbd map img2
mkfs.xfs /dev/rbd0
mount /dev/rbd0 /mnt
随便加入一些文件做案例
umount /mnt
rbd unmap img2

# 创建快照并保护快照
rbd snap create img2 --snap img2-sn1
rbd snap protect img2 --snap img2-sn1

# clone镜像
rbd clone img2 --snap img2-sn1 img2-sn1-1
rbd clone img2 --snap img2-sn1 img2-sn1-2

# 客户端映射测试镜像
rbd map img2-sn1-1
因为快照克隆镜像有数据所以不需要格式化
挂载镜像1，并查看镜像1中的数据
挂载镜像2，并查看镜像2中的数据，会报错
blikd查看两块rbd的UUID一样，系统无法分辨，只能挂载一块

# 查看快照/克隆镜像信息
rbd info img2 --snap img2-sn1
rbd info img2 --snap img2-sn1-1
rbd info img2 --snap img2-sn1-2

# 合并父子镜像
rbd flatten img2-sn1-2
rbd info img2-sn1-2 #该镜像无parent信息

# 清理镜像/快照
卸载rbd设备
取消映射关系：rbd unmap img2-sn1-1
删除克隆镜像：rbd rm img2-sn1-1
取消快照保护：rbd snap unprotect img2 --snap img2-sn1
删除快照：rbd snap rm img2 --snap img2-sn1
删除镜像：rbd rm img2
```

##### 镜像开机自动挂载

```shell
## 配置rbd设备开机自动挂载

# 创建测试镜像
rbd create img1 --size 10G
rbd map img1
mkfs.xfs /dev/rbd0

# 配置开机自动映射镜像
vim /etc/ceph/rbdmap
rbd/img1 id=admin,keyring=/etc/ceph/ceph.client.admin.keyring
systemctl enable --now rbdmap
# id和keyring在文件下查看：cat /etc/ceph/ceph.client.admin.keyring

# 配置rbd设备开机自动挂载
vim /etc/fstab
/dev/rbd/rbd/img1 /mnt xfs noauto 0 0
/设备/rbd设备/存储池名/镜像名
# 重启，测试开机自动映射并挂载rbd设备
df-Th | grep mnt
```

#### 二、Ceph文件存储

> 明确存储设备或分区上文件的方法和数据结构
>
> 显示文件的状态信息：stat [/路径/文件]
>
> ##### 数据(data)与元数据(metadata)
>
> - 数据是文件的主要内容
> - 元数据则是描述这些数据的附加信息，如属主、属组、权限等

##### CephFS配置及使用

```shell
## CephFS中数据与元数据独立存储于不同的存储池

# 创建存储池(一个元数据池可以对应多个数据池)
ceph osd pool create data01 128 #创建数据池
ceph osd pool create metadata01 128 #创建元数据池

# 创建文件系统
ceph fs new myfs01 metadata01 data01 #元数据池在前，数据池在后
ceph fs ls #查看创建的文件系统

# 启用MDS组建，文件系统需要mds组建
ceph orch apply mds myfs01 --placement='3 ceph1 ceph2 ceph3'
# 获取MDS状态
ceph mds stat
# 列出当前Ceph集群中所有MDS(Metadata Server)守护进程的状态信息
ceph orch ps --daemon-type=mds
```

##### 客户端使用CephFS文件系统

```shell
# id和keyring在文件下查看：cat /etc/ceph/ceph.client.admin.keyring
[client.admin]                                               #用户名
key = AQAO87JnKpFcGxAAXoZhYMrKchlfhVYiPoMBUg==       #密码
       ...

mkdir /mydata
# 挂载在目录下：
mount -t ceph 192.168.88.11:/ /mydata -o name=admin,secret=AQAO87JnKpFcGxAAXoZhYMrKchlfhVYiPoMBUg==
df -hT | grep ceph
```

##### 多文件系统挂载

```shell
## 测试多文件系统挂载

# 创建新的文件系统
ceph osd pool create data02 64
ceph osd pool create metadata02 64
ceph fs new myfs02 metadata02 data02
ceph fs ls

# 客户端测试
mount -t ceph 192.168.88.11:/ /mydata -o name=admin,secret=AQAVfwtmJmI/CRAAKg1mVOsRIHcTvQckllYZsA==,fs=myfs01
cp /etc/hosts /mydata/
umount /mydata

mount -t ceph 192.168.88.11:/ /mydata -o name=admin,secret=AQAVfwtmJmI/CRAAKg1mVOsRIHcTvQckllYZsA==,fs=myfs02
cp /etc/passwd /mydata/
umount /mydata
```

#### 三、Ceph对象存储

> 对象存储是用于存储大量非结构化数据的架构模型，使用简单的http或https协议访问文件，而不是传统的文件系统API。相比于传统文件系统存储在目标或文件夹，对象存储是将数据存储为独立的数据对象，包括数据、元数据、唯一标识
>
> RGW(RADOWS GATEWAY)是Ceph对象存储的网关，用于向客户端应用呈现存储界面，提供RESTful API访问接口

##### Ceph-RGW配置及使用

```shell
## 启动RGW服务
# 集群配置RGW网关
ceph orch apply rgw myrgw --placement="3 ceph1 ceph2 ceph3" --port 8080
作用是：在ceph[1..3]三台主机上，各部署一个RGW实例，每个RGW实例将监听8080端口。总共部署3个RGW实例。部署的RGW是Ceph的对象存储网关，提供与Amazon S3和OpenStack Swift兼容的API。
# 列出当前Ceph集群中所有RGW(RADOS Gateway)守护进程的状态信息
ceph orch ps --daemon-type=rgw
```

##### 客户端使用rgw

> ceph对象存储了与Amazon S3兼容的接口，对象被存储在bucket的器皿中。

```shell

## 客户端使用s3cmd或者awscli工具

# 创建对象存储用户
radosgw-admin user create --uid=testuser --display-name="Test User" --email=test@tedu.cn --access-key=12345 --secret-key=67890
radosgw-admin user info --uid=testuser
或者使用https://192.168.88.12:8443/ceph提供的网页端创建pools、user和buckets

# 安装Amazon S3 cli工具
yum -y install awscli

# 配置s3 cli工具
aws configure --profile=ceph #输入access_key和secret_key
查看两个文件：/root/.aws/config和credentials

# 创建桶
aws --profile=ceph --endpoint=http://ceph1:8080 s3 mb s3://testbucket

# 测试文件上传下载
aws --profile=ceph --endpoint=http://ceph1:8080 --acl=public-read-write s3 cp /etc/hosts s3://testbucket/hosts.txt
# 查看上传文件
aws --profile=ceph --endpoint=http://ceph1:8080 s3 ls s3://testbucket/
# 访问上传文件
curl http://ceph1:8080/testbucket/hosts.txt

# 下载文件
wget -O ceph_download.txt http://ceph1:8080/testbucket/hosts.txt
```

##### Ceph对象存储应用(扩展内容)

```shell
## 使用Ceph存储图片
在client准备一个上传文件
# 将文件上传至bucket
aws --profile=ceph --endpoint=http://ceph1:8080 --acl=public-read-write s3 cp /root/desktop.jpg s3://testbucket/

# 测试步骤
安装nginx并启动服务
修改nginx的主页面替换成下列内容 /usr/share/nginx/html/index.html
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<title>我的简单页面</title>
</head>
<body>
<h1>测试Ceph对象存储</h1>
<img src="http://192.168.88.11:8080/testbucket/desktop.jpg">
</body>
</html>

相关文章：