自动化备份全网服务器数据平台

1.项目说明

1.1概述

• 该项目共分为2个子项目，由环境搭建和实施备份两部分组成

• 该项目旨在复习巩固系统服务部署使用、shell编程等知识，旨在让学生增加知识面，提高项目实习经历，充实简历

1.2项目组织方式及时间

• 时间：建议一周内完成所有的项目搭建、压力测试、问题总结

• 方式：通过VmWare17虚拟机实现平台搭建

• 人数：3人小组

2.项目背景知识

2.1总体需求

• 某企业里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复

• 要求如下：

  • 每天00点整在Web服务器上按日期打包备份系统配置文件、网站程序目录及访问日志文件

  • 通过rsync命令推送到备份服务器上保存

  • 备份服务器定时清除旧记录

  • 搭建邮件告警平台

2.2备份需求

• 所有服务器的备份目录必须都为/backup。

• 要备份的系统配置文件包括但不限于：

  • 定时任务服务的配置文件（/var/spool/cron/root） （适合Web和NFS服务器）。

  • 开机自启动的配置文件（/etc/rc.local） （适合Web和NFS服务器）。

  • 日常脚本的目录 （/server/scripts）。

• Web服务器要求

  • Web站点目录假定为/var/html/www，如果没有，可以先模拟创建。

  • Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。

  • Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。

• 备份服务器要求

  • 保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。

  • 要按照备份数据服务器内网IP为目录名称，备份的文件按照时间、名称为文件名称。

  • 需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。

  • 备份服务器每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

服务器说明	备份目录	目录说明	备注
all server	/backup	备份目录	统一服务器本地备份目录，便于管理
all server	/var/spool/cron/root	定时任务服务配置文件	系统配置文件
all server	/etc/rc.local	开机自启动配置文件	系统配置文件
all server	/server/scripts	日常脚本目录	统一服务器本地脚本目录，便于管理
Web server	/var/www/html	web服务器站点目录	mkdir -p /var/www/html
Web server	/app/logs	web服务器访问日志路径	mkdir -p /app/logs

3.Rsync概述

3.1作用：

• rsync：remote sync(远程同步)，是一个在 Linux 和其他 Unix-like 系统上一个非常强大的命令行工具，用于计算机之间进行数据同步，可以当做文件复制工具，替代cp和mv命令，主页：https://rsync.samba.org/

3.2特点

• 同步速度快：由于使用sync算法，其只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

• 可以镜像保存整个目录树和文件系统

• 可以很容易做到保持原来文件的权限、时间、软硬链接等

• 无须特殊权限即可安装

• 优化的流程，文件传输效率高

• 可以使用rsh、ssh等方式来传输文件，当然也可以通过直接的socket连接

• 支持匿名传输。

语法

   标准结构

rsync [选项] 源目录/文件 目标目录/文件-a, --archive：归档模式，保留所有文件属性。
-v, --verbose：详细输出。
-r, --recursive：递归地同步目录。
-z, --compress：使用压缩传输数据，可以减少网络带宽。
-e, --rsh=COMMAND：指定远程 shell 程序（例如 SSH）。
--delete：删除目标中不在源中的文件。
--exclude=PATTERN：排除符合指定模式的文件或目录。

本地同步

rsync -a source destination# -a包含-r的递归功能同时可以同步修改时间、权限等元信息，常用

远程同步

# 默认使用ssh协议传输rsync  -av  source/  username@remote_host:destination # 本地内容同步到远程即推送rsync  -av  username@remote_host:source/  destination # 远程内容同步到本地即拉取

# 若两端都有rsync进程，可以使用rsync协议传输
rsync  -av  source/  192.168.122.32::module/destination      # 有2个冒号

增量备份

# 只复制变动的内容rsync  -a  --delete  --link-dest  /compare/path  /source/path  /target/path# 分析# --link-dest参数指定基准目录/compare/path# 源目录/source/path跟基准目录进行比较# 之后找出变动的文件，将其拷贝到目标目录/target/path，未变动的文件会生成硬链接。# 该命令的第一次备份时为全量备份，之后为增量备份

3.项目环境

3.1项目拓扑结构

3.2软硬件环境清单

• 已知3台服务器主机名分别为web01、backup、nfs01，主机信息建下表。

主机名	IP地址	硬件	软件
web01	192.168.208.200	cpu:1颗2核 内 存：2GB HDD：20GB 网 络：NAT	VmWare17 Centos7.9 nginx1.20 rsync3.1.2
nfs01	192.168.208.201	cpu:1颗2核 内 存：2GB HDD：20GB 网 络：NAT	VmWare17 Centos7.9 nfs rpcbind rsync3.1.2
backup	192.168.208.202	cpu:1颗2核 内 存：2GB HDD：20GB 网 络：NAT	VmWare17 Centos7.9 mailx12.5 rsync3.1.2

Centos7.9的iso下载链接：https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2207-02.iso

4.任务清单

4.1项目环境搭建

• 可以使用iventoy网启安装3台centos7.9服务器

• 按照规划，最小化部署系统，关闭防火墙，禁用SELinux，确保能够联网。

4.2服务器部署

4.2.1Web服务器搭建部署

• 验证Rsync服务能否推送成功。

• 开发脚本实现打包备份、推送、校验、删除。

• 配置定时任务每天0点定时推送（0时是时间的一个分割点）。

4.2.2NFS服务器搭建部署

• 验证Rsync服务能否推送成功。

• 开发脚本实现打包备份、推送、校验、删除。

• 配置定时任务每天0点定时推送（0时是时间的一个分隔点）。

• 配置脚本和web服务器类似，过程略。

4.2.3搭建备份服务器

• rsync服务器搭建部署。

• 开发脚本实现校验、删除、报警。

• 配置实时任务每天6点实时执行。

• 配置告警邮件发送平台

5.实施步骤

5.1环境搭建

5.1.1web01服务器环境搭建

• 安装Centos7.9系统，替换yum源，连接xshell

• 关闭防火墙和selinux，设置主机名

[root@localhost~]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# ls
[root@localhost yum.repos.d]# cd ..
[root@localhost etc]# rm -rf yum.repos.d
[root@localhost etc]#mkdir /etc/yum.repos.d
[root@localhost etc]#cd yum.repos.d/
进入之后用xftp传送一个新的Centos-7.repo
[root@localhost yum.repos.d]#vi /etc/selinux/config
在里面把这个修改成SELINUX=disabled
[root@localhost ~]# vi /etc/selinux/config
SELINUX=disabled
[root@localhost ~]# hostnamectl set-hostname web01
[root@localhost ~]# reboot

 5.1.2设置静态ip

[root@web01 ~]#vi  /etc/sysconfig/network-scripts/ifcfg-ens32

[root@web01 ~]# systemctl restart network# 安装所有软件
[root@web01 ~]# yum install vim  tree tar net-tools rsync nfs-utils -y

 5.1.3部署网站示例

[root@web01 ~]# wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
[root@web01 ~]# yum  ma
[root@web01 ~]# yum  install  nginx  -y
[root@web01 ~]# mkdir  -p  /www/sczl
[root@web01 ~]# cd  /www/sczl
# 使用xftp将web源文件上传至/www/sczl，如图：

# 修改nginx配置文件[root@web01 ~]# vim  /etc/nginx/nginx.conf     # 修改第42行之后的路径
42         root         /www/sczl;
[root@web01 ~]# systemctl start nginx 
[root@web01 ~]# systemctl enable nginx # 测试：打开windows端浏览器输入服务端IP地址

5.2nfs服务器环境搭建

• 安装Centos7.9系统，替换yum源，连接xshell，和web01修改不同

• 关闭防火墙和selinux，设置主机名

• [root@localhost ~]# systemctl stop firewalld
  [root@localhost ~]# systemctl disable firewalld
  [root@localhost ~]# vi /etc/selinux/config
  SELINUX=disabled
  [root@localhost ~]# hostnamectl set-hostname nfs01
  [root@localhost ~]# reboot

  5.2.1设置静态ip

[root@nfs01 ~]# vi  /etc/sysconfig/network-scripts/ifcfg-ens32
[root@nfs01 ~]# systemctl restart network[root@nfs01 ~]# yum install vim  tree tar net-tools rsync -y

5.2.2 部署共享存储，nfs01为服务端，web01为客户端

# nfs01服务端操作
[root@nfs01 ~]# yum  install  rpcbind  -y
[root@nfs01 ~]# yum  install  nfs-utils  -y
[root@nfs01 ~]# mkdir  /nfsfile
[root@nfs01 ~]# echo  "welcome to www.openlab.com" > /nfsfile/readme
[root@nfs01 ~]# chmod  -Rf  777  /nfsfile
[root@nfs01 ~]# vim  /etc/exports    # 编辑nfs配置文件，添加如下内容
/nfsfile        192.168.208.0/24(rw,sync,all_squash)[root@nfs01 ~]# systemctl start  rpcbind
[root@nfs01 ~]# systemctl enable  rpcbind
[root@nfs01 ~]# systemctl start  nfs-server
[root@nfs01 ~]# systemctl enable  nfs-server
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.

 

# web01客户端操作：[root@web01 ~]# showmount  -e  192.168.208.201
Export list for 192.168.208.201:
/nfsfile 192.168.208.0/24
[root@web01 ~]# mkdir  /web_nfs01
[root@web01 ~]# mount -t nfs  192.168.208.201:/nfsfile  /web_nfs
[root@web01 ~]# cd  /web_nfs01
[root@web01 web_nfs01]# ls
readme
[root@web01 web_nfs01]# cd  ~
[root@web01 web_nfs01]# vim  /etc/fstab       # 永久挂载
192.168.208.201:/nfsfile   /web_nfs   nfs    defaults    0    0[root@web01 web_nfs01]# mount  -a
[root@web01 web_nfs01]# df  -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 900M     0  900M   0% /dev
tmpfs                    910M     0  910M   0% /dev/shm
tmpfs                    910M  9.4M  901M   2% /run
tmpfs                    910M     0  910M   0% /sys/fs/cgroup
/dev/sda3                 17G  1.9G   16G  12% /
/dev/sda1               1014M  144M  871M  15% /boot
tmpfs                    182M     0  182M   0% /run/user/0
192.168.208.201:/nfsfile   17G  1.6G   16G   9% /web_nfs01

5.3backup服务器环境搭建

• 安装Centos7.9系统，替换yum源，连接xshell，跟web01一样

• 关闭防火墙和selinux，设置主机名

• [root@localhost ~]# systemctl stop firewalld
  [root@localhost ~]# systemctl disable firewalld
  [root@localhost ~]# vi /etc/selinux/config
  SELINUX=disabled
  [root@localhost ~]# hostnamectl set-hostname backup
  [root@localhost ~]# reboot

 5.3.1设置静态ip

[root@backup ~]# vi  /etc/sysconfig/network-scripts/ifcfg-ens32

[root@backup ~]# systemctl restart network[root@backup ~]# yum install vim  tree tar net-tools rsync mailx -y

5.3.2修改rsync配置文件

# 注意：配置文件中下列注释要删除 
[root@backup ~]# vim /etc/rsyncd.conf

5.3.3 根据配置文件设置

# 创建rsync账户及共享目录并修改目录属主为rsync
[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync /backup# 开机并启动服务
[root@backup ~]# systemctl enable --now rsyncd
[root@backup ~]# ps -ef | grep rsync
root        661      1  0 10:49 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
root       1473   1435  0 11:22 pts/0    00:00:00 grep --color=auto rsync# 创建rsync虚拟账户名和密码,并赋予密码文件600权限
[root@backup ~]# echo "rsync:rsync123" > /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password

5.4配置备份脚本

5.4.1配置web01客户端本地备份脚本

web01客户端主机需要打包备份的内容：

[root@web01 ~]#  cd  /www/sczl
[root@web01 sczl]# cd
[root@web01 ~]#  tree  /var/log/nginx
/var/log/nginx
├── access.log
└── error.log0 directories, 2 files
[root@web01 ~]# tree /www  
/www
└── sczl├── css│   ├── animate.min.css│   ├── common.min.css│   ├── font-awesome.css│   ├── fonts│   │   ├── FontAwesome.otf│   │   ├── fontawesome-webfont.eot│   │   ├── fontawesome-webfont.svg│   │   ├── fontawesome-webfont.ttf│   │   └── fontawesome-webfont.woff│   ├── style.css│   └── swiper-3.3.1.min.css├── dingban.mp4├── img│   ├── 1.jpg│   ├── aperture.png│   ├── bg11.png│   ├── bg1.png│   ├── bg22.png│   ├── bg2.jpg│   ├── bg2.png│   ├── bg33.png│   ├── bg3.jpg│   ├── bg3.png│   ├── bg44.png│   ├── bg4.jpg│   ├── bg4.png│   ├── bg55.png│   ├── bg5.jpg│   ├── bg5.png│   ├── bg6.jpg│   ├── bg7.jpg│   ├── flag.gif│   ├── logo.png│   ├── page2_1_1.jpg│   ├── page2_1_2.jpg│   ├── page2_1_3.jpg│   ├── page2_1_4.jpg│   ├── page2_1_5.jpg│   ├── page2_1bg.jpg│   ├── page2_1.png│   ├── page2_2bg.jpg│   ├── page2_2.jpg│   ├── page3left_bg.png│   ├── page3lefttop.png│   ├── page3right_1.png│   ├── page3right_2.png│   ├── page3right_3.png│   ├── page3right_4.png│   ├── page3right_bg.png│   ├── page4_1.jpg│   ├── page4_2.jpg│   ├── page4_3.jpg│   ├── page4_4.jpg│   ├── page4_5.jpg│   ├── page4_6.jpg│   ├── page4_7.jpg│   ├── page4_8.jpg│   ├── page5_right.png│   ├── page5_title.png│   ├── page6_right.png│   ├── page7_middle.png│   ├── shade.png│   ├── shubiao.png│   ├── title1.png│   ├── title2d.png│   ├── title2pbg.png│   ├── title2.png│   ├── title3.png│   └── title4.png├── index.html├── js│   ├── fullpage_js.js│   ├── jquery-1.10.1.min.js│   ├── swiper-3.3.1.jquery.min.js│   └── swiper.animate1.0.2.min.js└── temp└── index.html6 directories, 73 files
# 以及定时任务和备份脚本源文件 ：/var/spool/cron/root、/etc/rc.local、/server/scripts

5.4.2 编写备份web01服务器的脚本

[root@web01 ~]# mkdir  /backup
[root@web01 ~]# mkdir -p  /server/scripts
[root@web01 ~]# vim  /server/scripts/backup.sh

[root@web01 ~]# vim /etc/rsync.password     # 客户端建立认证的文件密码如下：
rsync123                                    # 注意：只写密码[root@web01 ~]# chmod 600 /etc/rsync.password   # 密码认证文件必须为600

5.4.3测试

[root@web01 ~]#  bash  /server/scripts/backup.sh 
2025-04-11_Week05 192.168.208.200 start backup ......
Local backup successful, the backup files have been pushed to the backup server
[root@backup ~]# ls  /backup/192.168.208.200/
2025-04-10_Week04.flag  nginx_logs_2025-04-10_Week04_tar.gz  sys_file_bak_2025-04-10_Week04_tar.gz  www_2025-04-10_Week04_tar.gz
2025-04-11_Week05.flag  nginx_logs_2025-04-11_Week05_tar.gz  sys_file_bak_2025-04-11_Week05_tar.gz  www_2025-04-11_Week05_tar.gz

5.5配置nfs01客户端本地备份脚本

• 5.5.1nfs01客户端主机需要打包备份的内容：

• [root@nfs01 ~]# tree  /nfsfile/
  /nfsfile/
  └── readme0 directories, 1 file
  # 以及/var/log/message文件、mount  -l  挂载信息

  5.5.2编写备份nfs01服务器的脚本

• [root@nfs01 ~]# mkdir  /backup
  [root@nfs01 ~]# mkdir -p  /server/scripts

  [root@nfs01 ~]# vim  /server/scripts/backup.sh

  

[root@nfs01 ~]# vim /etc/rsync.password     # 客户端建立认证的文件密码如下：
rsync123                                    # 注意：只写密码[root@nfs01 ~]# chmod 600 /etc/rsync.password   # 密码认证文件必须为600
[root@nfs01 ~]# ls -ld  /etc/rsync.password 
-rw-r--r-- 1 root root 9 Apr 10 09:13 /etc/rsync.password

5.5.3测试

[root@nfs01 ~]# bash  /server/scripts/backup.sh 
2025-04-11_Week05 192.168.208.201 start backup ......
Local backup successful, the backup files have been pushed to the backup server
# 在backup服务器中可以看到推送的数据
[root@backup ~]# ls  /backup/
192.168.208.200  192.168.208.201

5.6配置定时任务

5.6.1web01服务器编辑定时任务，实现每天00:00定时备份本地数据，并推送到Rsync服务器上

[root@web01 ~]# systemctl status  crond
● crond.service - Command SchedulerLoaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled)Active: active (running) since Fri 2025-04-11 10:49:27 EDT; 47min agoMain PID: 704 (crond)CGroup: /system.slice/crond.service└─704 /usr/sbin/crond -nApr 11 10:49:27 web01 systemd[1]: Started Command Scheduler.
Apr 11 10:49:27 web01 crond[704]: (CRON) INFO (RANDOM_DELAY will be scaled with factor 34% if used.)
Apr 11 10:49:27 web01 crond[704]: (CRON) INFO (running with inotify support)
# 注意若未安装可执行：
[root@web01 ~]# yum  install  crontabs

# 编辑定时任务[root@web01 ~]# crontab  -e    				# 添加:

• 5.7nfs01服务器过程同上

• 5.7.1backup服务器编写脚本，实现删除180天前的所有备份数据，但保存每周一的

[root@backup ~]# mkdir -p /server/scripts
[root@backup ~]# cd /server/scripts/
[root@backup scripts]# vim /server/scripts/del_bak_data.sh

5.7.2 backup服务器配置定时任务，实现服务端180天前数据自动删除

[root@backup ~]# crontab -e

5.8数据传输完整性验证与监控告警

5.8.1验证数据完整性

• backup服务端针对客户端备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证。

• [root@backup scripts]# vim send_mail.sh 

• 

5.8.2配置邮件告警

• 安装邮件服务

• [root@backup ~]# yum  install  mailx  -y

  配置qq邮箱ssl证书

• [root@backup ~]# mkdir -p /root/.certs
  [root@backup ~]# cd  /root/.certs[root@backup .certs]# echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust SSL CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust Global CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt
  Notice: Trust flag u is set automatically if the private key is present.

  配置邮件服务

• [root@backup .certs]# vim  /etc/mail.rc
  # 最后一行后添加以下内容：
  set from=yourmail@qq.com
  set smtp=smtps://smtp.qq.com:465         
  set smtp-auth-user=yourmail@qq.com
  set smtp-auth-password=uebrl****eodhff
  set smtp-auth=login
  set nss-config-dir=/root/.certs/
  set ssl-verify=ignore
  

  测试邮件服务

• [root@backup ~]# echo  "testmail"  |  mail  -s  "testmail"  yourmail@qq.com[root@backup ~]# bash /server/scripts/send_mail.sh