【Project】基于Prometheus监控docker平台

一、设计背景

1.1项目简介

本项目旨在创建一个全面的容器化应用程序监控解决方案，基于Prometheus监控Docker平台上的各种服务。在当今的软件开发环境中，容器化技术已成为一种关键的工具，使应用程序能够更快速、可靠地交付和扩展。然而，随着容器数量的增加和复杂性的提高，监控这些容器化服务的性能和健康状态变得至关重要。通过这个项目，我们的目标是提供一个完善的监控解决方案，帮助开发人员、系统管理员和运维团队更好地理解和管理他们的容器化应用程序。这将有助于提高应用程序的稳定性、可用性和性能，从而促进更快速、高效的软件开发和部署。

1.2课题目标

随着信息技术的不断发展，容器化技术已经成为现代应用程序开发和部署的主要趋势之一。Docker等容器平台的出现为应用程序的快速交付和部署提供了便利，然而，随之而来的挑战是如何有效地监控和管理这些容器化服务。在这个背景下，本毕业设计项目选择了基于Prometheus监控Docker平台作为研究课题。Prometheus作为一种开源的监控和警报工具，已经在容器环境中得到广泛应用，但如何将其有效地集成到Docker平台中，以确保容器化应用的性能、可用性和可伸缩性，仍然是一个具有挑战性的问题。因此，本项目旨在研究和实现一个可靠的监控解决方案，以满足容器化应用的监控需求。

二、设计思路

2.1 开发环境与工具

使用到的工具为：

VMware Workstation：VMware Workstation是一款虚拟机软件，可以用于创建和管理虚拟机。它提供了一个可视化界面，使用户可以在单个物理主机上同时运行多个虚拟机，以便在不同的操作系统环境中进行开发、测试或演示。

Centos7.9.2009：Centos7.9.2009是一种基于Linux的操作系统，它被广泛用作服务器操作系统。Centos提供了稳定、安全和可靠的基础系统，可以作为Docker平台的基础环境。

Docker：Docker是一种开源的容器化平台，它使得应用程序和其依赖项可以打包成轻量级、可移植的容器。通过使用Docker，开发人员可以更方便地构建、部署和管理应用程序，实现快速交付和跨平台运行。

Grafana Enterprise：Grafana Enterprise是一款功能强大的数据可视化工具。它提供了丰富的图表、面板和仪表盘，可以将来自各种数据源的指标数据进行可视化展示和交互式探索，帮助用户更好地理解和分析数据。

Alertmanager：Alertmanager是一种用于处理和管理告警的服务。它可以接收来自监控系统（如Prometheus）的告警通知，并根据预定义的规则进行分组、去重、静默或发送给相应的接收者，以便及时响应和解决问题。

Node Exporter：Node Exporter是用于收集主机指标数据的一个Prometheus导出器。它可以在主机上运行，定期采集主机的硬件和操作系统指标，并将其暴露给Prometheus进行监控和存储。

Prometheus：Prometheus是一款开源的监控和警报工具。它提供了强大的时间序列数据采集、存储和查询功能，能够监控多种数据源的指标，并支持设定灵活的告警规则。Prometheus还与Grafana等工具紧密集成，实现数据的可视化和分析。

表 2-1 开发环境

工具	作用
VMware Workstation	创建虚拟机
Centos7.9.2009	作为平台基础系统
Docker	容器平台
grafana-enterprise	数据可视化
alertmanager	告警服务
node_exporter	收集数据服务
prometheus	监控和警报工具

2.2 系统版本

以下是当前工具和系统使用的版本信息。

表 2-2 系统版本

系统	版本
VMware Workstation pro	16
Centos7	7.9.2009
docker	18.06.3
grafana-enterprise	9.4.3
alertmanager	0.25.
node_exporter	1.5.0
prometheus	2.37.6

2.3 系统设计

这个系统设计旨在实现全面的监控，包括自身、Docker平台、以及Docker上运行的Nginx和MySQL，并将监控数据可视化通过Grafana展现。系统架构包括Prometheus服务器作为核心组件，负责数据采集和存储，Node Exporter用于监控宿主机系统性能，Docker监控通过cAdvisor或Docker自身的指标监测容器，Nginx Exporter用于收集Nginx服务器的性能数据，而MySQL Exporter则从MySQL数据库中提取性能指标。监控数据汇总后通过Grafana连接到Prometheus数据源，实现实时监控和创建仪表板。监控数据的采集和存储通过Prometheus进行，它定期从各个目标中收集性能数据，并存储在其内部数据库中，提供强大的查询和检索功能。最终，Grafana用于创建自定义仪表板，可视化展示监控数据，帮助实时监测系统和应用程序的性能，以及分析历史趋势。整个系统设计旨在提供全面的监控解决方案，以便有效地管理和优化运行中的自身、Docker平台、Nginx和MySQL等组件。

三、需求分析

3.1 项目平台要求

Docker平台搭建和管理需求：用户应能够轻松地搭建和管理Docker容器平台，包括容器编排和集群管理平台应支持多种操作系统和云环境，以满足不同用户的需求。

Prometheus集成和配置需求：用户应能够方便地配置Prometheus以监控Docker平台上的容器和服务，支持多个Prometheus实例的集成，以适应不同的监控需求。支持数据收集和存储的灵活性，以满足各种监控数据的需求。

监控规则和告警需求：用户应能够定义自定义监控规则，以检测容器和服务的性能问题，应支持告警规则的设置，以及多种告警通知渠道，如邮件、短信等。用户应能够灵活地调整告警阈值和策略，以适应不同应用的需求。

可视化和仪表板需求：系统应提供直观的仪表板和可视化工具，以帮助用户监控容器化应用程序的性能和状态。仪表板应支持自定义配置，以满足不同用户的可视化需求。用户应能够生成和导出有用的监控报告，以便进行性能分析和决策支持。

安全性和权限需求：系统应具有强大的安全性措施，包括身份验证、授权和数据加密，以保护监控数据的完整性和保密性，应支持多级权限管理，以确保不同用户具有适当的访问权限。

可扩展性和性能需求：系统应具备良好的可扩展性，以适应不断增长的容器数量和监控需求，应能够高效处理大量的监控数据，以保持系统的性能稳定。

文档和培训需求：系统应提供清晰的文档和培训材料，以帮助用户快速上手和有效使用监控工具。

3.2 监控需求分析

节点监控：监控Docker主机的硬件资源利用率，包括CPU、内存、磁盘和网络等指标。这可以通过Prometheus的节点导出器（例如node_exporter）实现。

容器监控：监控Docker容器的运行状态和资源消耗情况，包括CPU使用率、内存使用量、网络流量和磁盘I/O等指标。可以使用cAdvisor或者Docker自身的监控API获取容器的指标，并由Prometheus进行采集和存储。

服务健康监测：监控Docker中运行的服务的可用性和性能。可以使用Prometheus的黑盒监测（Blackbox Exporter）对服务进行定期的HTTP或TCP健康检查，并记录响应时间、状态码等指标。

日志监控：集成日志收集工具（如ELK/EFK）以监控Docker容器的日志输出。可以使用Filebeat将容器日志发送到Logstash/Elasticsearch/Fluentd等进行处理和存储，并通过Prometheus的日志导出器进行查询和分析。

告警与警报：设置告警规则，当某个指标超过阈值或触发特定条件时，发送警报给运维人员或团队。Prometheus具有灵活的告警管理机制，可以根据业务需求设置告警规则，并通过邮件、短信、Slack等方式发送警报。

可视化与报表：使用Grafana等工具构建监控仪表盘，将采集到的指标进行可视化展示，以便查看和分析。可以创建图表、面板和报表来监控Docker平台的整体状态和趋势。

五、系统实现

5.1 部署prometheus

5.1.1 服务器物理配置规划

服务器的硬件配置如下。

表 5-1 配置规划

角色	系统架构	内存大小	核心数量
prometheus	Centos7.9.2009	4G	4cpu
docker	Centos7.9.2009	8G	8cpu

5.1.2 IP地址、主机名称规划

服务器的IP地址规划如下。

表 5-2 主机ip地址

**IP **地址	主机名	角色
网卡1：192.168.100.250 nat模式	Prometheus	监控服务器
网卡1：192.168.100.251 nat模式	Docker	容器服务器

5.1.3 环境准备

修改服务器名称，关闭防火墙，并创建用于运行Prometheus的用户。

Prometheus节点

#修改服务器名称
hostnamectl set-hostname Prometheus
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i "s/SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config
#创建prometheus工作目录
mkdir -p /opt/prometheus/
#创建运行Prometheus服务的用户
useradd -M -s /usr/sbin/nologin prometheus

5.1.4 软件包下载

去各组件的官方网站下载项目对应的软件包。

Prometheus节点

#Prometheus下载
wget [https://ghproxy.com/https://github.com/prometheus/prometheus/releases/download/v2.37.6/prometheus-2.37.6.linux-amd64.tar.gz](https://ghproxy.com/https://github.com/prometheus/prometheus/releases/download/v2.37.6/prometheus-2.37.6.linux-amd64.tar.gz)
#alertmanager下载
wget [https://ghproxy.com/https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz](https://ghproxy.com/https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz)
#node_exporter下载
wget [https://ghproxy.com/https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz](https://ghproxy.com/https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz)
#grafana下载
wget [https://dl.grafana.com/enterprise/release/grafana-enterprise-9.4.3.linux-amd64.tar.gz](https://dl.grafana.com/enterprise/release/grafana-enterprise-9.4.3.linux-amd64.tar.gz)

5.1.5 解压软件包

解压下载的软件包。

#解压所有软件包
tar -zxvf alertmanager-0.25.0.linux-amd64.tar.gz -C /opt/prometheus/
tar -zxvf grafana-enterprise-9.4.3.linux-amd64.tar.gz -C /opt/prometheus/
tar -zxvf prometheus-2.37.6.linux-amd64.tar.gz -C /opt/prometheus/
tar -zxvf node_exporter-1.5.0.linux-amd64.tar.gz -C /opt/prometheus/
#重新命名软件包
mv /opt/prometheus/node_exporter-1.5.0.linux-amd64/ /opt/prometheus/node_exporter
mv /opt/prometheus/alertmanager-0.25.0.linux-amd64/  /opt/prometheus/alertmanager
mv /opt/prometheus/grafana-9.4.3/  /opt/prometheus/grafana
mv /opt/prometheus/prometheus-2.37.6.linux-amd64/  /opt/prometheus/prometheus

5.1.6 部署node_exporter服务

开始部署node_exporter服务，用于当前服务器的数据采集。

Prometheus节点

#编写systemd文件cat >> /usr/lib/systemd/system/node_exporter.service << EOF[Unit]Description=node_exporterDocumentation=https://prometheus.io/After=network.target[Service]User=prometheusGroup=prometheusExecStart=/opt/prometheus/node_exporter/node_exporterRestart=on-failure[Install]WantedBy=multi-user.targetEOF#递归的将用户和组改为prometheuschown -R prometheus:prometheus /opt/prometheus#重载systemd配置，并启动node_exporter服务systemctl daemon-reloadsystemctl start node_exportersystemctl enable node_exporter

查看node_exporter状态，浏览器访问http://prometheus_ip:9100/metrics查看node_exporter服务数据。

查看node_exporter状态

2 查看node_exporter网页数据

5.1.7 部署alertmanager服务

部署告警服务器。

Prometheus节点

#编写systemd文件cat >> /usr/lib/systemd/system/alertmanager.service << EOF[Unit]Description=Alert ManagerWants=network-online.targetAfter=network-online.target[Service]Type=simpleUser=prometheusGroup=prometheusExecStart=/opt/prometheus/alertmanager/alertmanager \--config.file=/opt/prometheus/alertmanager/alertmanager.yml \--storage.path=/opt/prometheus/alertmanager/dataRestart=always[Install]WantedBy=multi-user.targetEOF#递归的将用户和组改为prometheuschown -R prometheus:prometheus /opt/prometheus#重载systemd配置，并启动alertmanager服务systemctl daemon-reloadsystemctl start alertmanagersystemctl enable alertmanager

查看alertmanager状态，浏览器访问http://prometheus_ip: 9093/#/status查看alertmanager服务状态。

查看alertmanager状态

图5-4 alertmanager服务状态

5.1.8 部署prometheus服务

部署普罗米修斯服务，修改对应的配置文件，正式启动监控服务。

Prometheus节点

#编写systemd文件cat >> /usr/lib/systemd/system/prometheus.service << EOF[Unit]Description=Prometheus ServerDocumentation=https://prometheus.io/docs/introduction/overview/After=network-online.target[Service]Type=simpleUser=prometheusGroup=prometheusRestart=on-failureExecStart=/opt/prometheus/prometheus/prometheus \--config.file=/opt/prometheus/prometheus/prometheus.yml \--storage.tsdb.path=/opt/prometheus/prometheus/data \--storage.tsdb.retention.time=60d \--web.enable-lifecycle[Install]WantedBy=multi-user.targetEOF#配置告警规则cat >> /opt/prometheus/prometheus/alert.yml << EOFgroups:- name: Prometheus alertrules:# 对任何实例超过30s无法联系的情况发出警报- alert: 服务告警expr: up == 0for: 30slabels:severity: criticalannotations:instance: "{{ $labels.instance }}"description: "{{ $labels.job }} 服务已关闭"EOF#修改prometheus.yml配置cat > /opt/prometheus/prometheus/prometheus.yml << EOF# my global configglobal:scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.# scrape_timeout is set to the global default (10s).# Alertmanager configurationalerting:alertmanagers:- static_configs:- targets:- localhost:9093# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.rule_files:- "alert.yml"# - "second_rules.yml"# A scrape configuration containing exactly one endpoint to scrape:# Here it's Prometheus itself.scrape_configs:# The job name is added as a label  to any timeseries scraped from this config.- job_name: "prometheus"# metrics_path defaults to '/metrics'# scheme defaults to 'http'.static_configs:- targets: ["localhost:9090"]- job_name: 'alertmanager'scrape_interval: 15sstatic_configs:- targets: ['localhost:9093']- job_name: 'node-exporter'scrape_interval: 15sstatic_configs:- targets: ['localhost:9100']labels:instance: Prometheus服务器EOF#递归的将用户和组改为prometheuschown -R prometheus:prometheus /opt/prometheus#重载systemd配置，并启动prometheus服务systemctl daemon-reloadsystemctl start prometheussystemctl enable prometheus

查看prometheus状态，浏览器访问http://prometheus_ip: 9090查看三个服务状态是否正常。

5 查看prometheus状态

6查看三个服务状态

5.1.9 部署grafana服务

部署grafana实现数据的可视化，对接普罗米修斯。

Prometheus节点

#编写systemd文件cat >> /usr/lib/systemd/system/grafana-server.service << EOF[Unit]Description=Grafana serverDocumentation=http://docs.grafana.org[Service]Type=simpleUser=prometheusGroup=prometheusRestart=on-failureExecStart=/opt/prometheus/grafana/bin/grafana-server \--config=/opt/prometheus/grafana/conf/defaults.ini \--homepath=/opt/prometheus/grafana[Install]WantedBy=multi-user.targetEOF#递归的将用户和组改为prometheuschown -R prometheus:prometheus /opt/prometheus#重载systemd配置，并启动grafana服务systemctl daemon-reloadsystemctl start grafana-serversystemctl enable grafana-server

查看grafana状态，浏览器访问http://prometheus_ip:3000可以看到grafana的登录页面。

图5-7 查看grafana状态

图5-8 grafana的登录页面

5.1.10 配置grafana对接Prometheus

浏览器访问http://prometheus_ip:3000登录grafana,账号密码默认为admin/admin，登录后提示修改密码。

图5-9 登录配置

修改完密码后，我们配置grafana的数据源为Prometheus，点击左下角“设置图标”点击Data sources 点击Prometheus。

0 配置数据源

设置Prometheus服务地址，这里两个服务都在同一台主机可以直接使用localhost，点击save&test保存测试能否成功。

1 配置Prometheus地址

2 保存测试数据源

设置好数据源后，我们需要设置node_exporter的dashboard方便我们观察到监控数据。

3 进入配置dashboard界面

4 配置dashboard-json

关于配置dashboard的方法有两种，一种是上传json文件，一种是以id的方式配置，获取id和json文件的方式需要访问https://grafana.com/grafana/dashboards/因为网络原因，我们此次使用提前准备的json文件配置。

5 node_exporter-dashboard配置

6 可以复制id或者下载json文件

上传json文件后，进行基本的设置，设置完成后点击import，即可配置完毕，查看到本机linux服务器数据仪表盘。

基本配置

Linux服务器数据dashboard

5.2 部署docker

5.2.1 基本环境配置

配置docker主机的主机名，和基本的环境配置，关闭防火墙等。

#docker节点执行#修改主机名hostnamectl set-hostname docker-server#关闭防火墙systemctl stop firewalldsystemctl disable firewalldsetenforce 0sed -i "s/SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config

5.2.2 部署docker服务

使用docker提供的网络源安装docker服务器，并且配置阿里云镜像加速器。

docker节点执行

#安装必要的一些系统工具sudo yum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo [http://download.docker.com/linux/centos/docker-ce.repo](http://download.docker.com/linux/centos/docker-ce.repo)#加载元数据sudo yum makecache fast#安装dockeryum -y install docker-ce-18.06.3.ce-3.el7yum -y install docker-composemkdir -p /etc/dockercat >> /etc/docker/daemon.json <<EOF{"registry-mirrors":["https://fem5eo07.mirror.aliyuncs.com"]}EOF#启动dockersystemctl start dockersystemctl enable docker

5.2.3 部署cadvisor容器

部署docker的数据采集容器。

#docker节点执行#拉取镜像文件docker pull google/cadvisor#编写docker-compose.yaml文件cat >> docker-compose.yaml << EOFversion: "3.0"services:monitor:container_name: cadvisorimage: google/cadvisorrestart: alwaysvolumes:- /:/rootfs:ro- /var/run:/var/run:rw- /sys:/sys:ro- /var/lib/docker/:/var/lib/docker:roports:- 8080:8080EOF#启动容器docker-compose up -d#查看状态[root@docker-server ~]# docker-compose psName                Command               State           Ports--------------------------------------------------------------------------cadvisor   /usr/bin/cadvisor -logtostderr   Up      0.0.0.0:8080->8080/tcp.

使用浏览器访问cadvisor服务http://192.168.100.251:8080/metrics，查看metrics数据。

metrics数据

5.2.4 配置Prometheus获取cadvisor服务数据

Cadvisor容器获取了docker容器平台的大部分数据，并且数据格式符合Prometheus的规范，Prometheus可以直接获取数据。

#Prometheus节点执行cat >>/opt/prometheus/prometheus/prometheus.yml<< EOF- job_name: 'Docker'scrape_interval: 15sstatic_configs:- targets: ['192.168.100.251:8080']labels:instance: Docker服务器EOF#热加载配置curl -X POST http://localhost:9090/-/reload

访问http://192.168.100.250:9090/targets?search=查看Prometheus是否成功添加了docker平台数据，

0 查看状态

5.2.5 配置docker监控的dashboard

访问grafana的dashboard-import，导入docker-dashboard的dashboard-ID号11600。

1添加docker-dashboard JSON文件

2 查看dashboard

5.2.6 配置docker的告警配置文件

修改普罗米修斯的配置文件，编写一个告警规则。

#Prometheus节点执行#创建文件夹mkdir -p /opt/prometheus/prometheus/rules/#编辑prometheus.ymlvi prometheus.yml#添加红色配置rule_files:- "alert.yml"<font style="color:red;">  - "rules/*.yml"</font>#编写告警配置文件cat >> /opt/prometheus/prometheus/rules/docker.yml << EOFgroups:- name: DockerContainersrules:- alert: Containerkilledexpr: time() - container_last_seen > 60for: 0mlabels:severity: warningannotations:isummary: "Docker容器被杀死 容器: $labels.instance"description: "{{ $value }}个容器消失了"- alert: ContainerAbsentexpr: absent(container_last_seen)for: 5mlabels:severity: warningannotations:summary: "无容器 容器: $labels.instance"description: "5分钟检查容器不存在，值为: {{ $value }}"EOF#重新加载配置chown -R prometheus:prometheus /opt/Prometheuscurl -X POST http://localhost:9090/-/reload

访问Prometheus查看是否成功。

docker告警

5.3 监控docker平台服务

5.3.1 监控docker-nginx容器

5.3.1.1部署nginx容器

部署用于测试的nginx容器。

#docker节点#创建目录mkdir -p /root/nginx/conf.d#编写nginx配置文件cat >> /root/nginx/conf.d/server.conf << EOFserver {listen       80;server_name  localhost;location / {root   /usr/share/nginx/html;index  index.html index.htm;}error_page   500 502 503 504  /50x.html;location = /50x.html {root   /usr/share/nginx/html;
}
}
EOF#编写nginx的docker-compose.yamlcat >>/root/nginx/docker-compose.yaml<< EOF
version: "3.0"
services:nginx:image: nginxcontainer_name: nginxports:- 80:80volumes:- /root/nginx/conf.d/:/etc/nginx/conf.d/- /root/nginx/html:/usr/share/nginx/html- /root/nginx/log:/var/log/nginx
EOF
#检查是否安装with-http_stub_status_module模块
docker-compose exec  nginx  nginx -V |grep -o with-http_stub_status_module
with-http_stub_status_module
#开启stub_status配置
cat > /root/nginx/conf.d/server.conf << EOF
server {listen       80;server_name  localhost;location /stub_status {stub_status on;access_log off;#allow nginx_exporter的ip;allow 0.0.0.0/0;deny all;}location / {root   /usr/share/nginx/html;index  index.html index.htm;}error_page   500 502 503 504  /50x.html;location = /50x.html {root   /usr/share/nginx/html;
}
}
EOF#nginx重新加载配置文件docker exec -it nginx nginx -s reload#检查是否正常开启[root@docker-server nginx]# curl 192.168.100.251/stub_statusActive connections: 1server accepts handled requests1 1 1Reading: 0 Writing: 1 Waiting: 0

5.3.1.2部署nginx-exporter

部署用于收集nginx数据的exporter

#docker节点#创建目录mkdir -p /root/nginx/mon#编写nginx-exporter的docker-compose.yamlcat >>/root/nginx/mon/docker-compose.yaml<< EOFversion: '3.0'services:nginx_exporter:image: nginx/nginx-prometheus-exporter:0.11container_name: nginx_exporterhostname: nginx_exportercommand:- '-nginx.scrape-uri=http://192.168.100.251/stub_status'restart: alwaysports:- "9113:9113"EOF#启动nginx_exporterdocker-compose up -d#检查状态[root@docker-server mon]# docker-compose psName                   Command               State           Ports--------------------------------------------------------------------------------nginx_exporter   /usr/bin/nginx-prometheus- ...   Up      0.0.0.0:9113->9113/tcp添加到prometheus配置。#prometheus节点#加入以下配置vi /opt/prometheus/prometheus/prometheus.yml- job_name: 'Docker-nginx'scrape_interval: 15sstatic_configs:- targets: ['192.168.100.251:9113']labels:instance: Docker服务器nginx#热加载配置curl -X POST http://localhost:9090/-/reload

访问grafana的dashboard-import，导入nginx-dashboard-ID号12708，即可添加nginx的dashboard。

4 nginx-dashboard

5.3.1.3配置nginx的告警设置

配置nginx的邮箱告警规则。

#prometheus节点#编写告警配置文件cat >>/opt/prometheus/prometheus/rules/nginx.yml<< EOFgroups:- name: Nginxrules:- alert: NginxDownexpr: nginx_up == 0for: 30slabels:severity: criticalannotations:isummary: "nginx异常,实例:{{ $labels.instance }}"description: "{{ $labels.job }} nginx已关闭"EOF#重新加载配置chown -R prometheus:prometheus /opt/prometheuscurl -X POST http://localhost:9090/-/reload

访问Prometheus查看是否成功。

mysql告警

5.3.2 监控docker-mysql容器

5.3.2.1部署mysql容器

部署mysql测试容器。

#docker节点#创建目录mkdir /root/mysql#编写docker-compose.yamlcat >> docker-compose.yaml<< EOFversion: '3.0'services:db:image: mysqlrestart: alwayscontainer_name: mysqlports:- 3306:3306environment:MYSQL_DATABASE: prometheusMYSQL_USER: user1MYSQL_PASSWORD: '000000'MYSQL_RANDOM_ROOT_PASSWORD: '000000'EOF#部署mysqldocker-compose up -d#查看状态docker-compose ps[root@docker-server mysql]# docker-compose psName              Command             State                 Ports-------------------------------------------------------------------------------mysql   docker-entrypoint.sh mysqld   Up      0.0.0.0:3306->3306/tcp, 33060/tcp

5.3.2.2部署mysqld-exporter‘

部署用于采集mysql容器数据的exporter。

#docker节点执行#创建工作目录mkdir /root/mysql/mon#编写docker-compose.yamlcat >> docker-compose.yaml<< EOFversion: '3.0'services:mysql-exporter:image: prom/mysqld-exportercontainer_name: mysqld-exporterrestart: alwayscommand:- '--collect.info_schema.processlist'- '--collect.info_schema.innodb_metrics'- '--collect.info_schema.tablestats'- '--collect.info_schema.tables'- '--collect.info_schema.userstats'- '--collect.engine_innodb_status'environment:- DATA_SOURCE_NAME=prometheus:000000@(192.168.100.251:3306)/ports:- 9104:9104EOF#部署mysqld-exporterdocker-compose up -d#查看状态[root@docker-server mon]# docker-compose psName                    Command               State           Ports---------------------------------------------------------------------------------mysqld-exporter   /bin/mysqld_exporter --col ...   Up      0.0.0.0:9104->9104/tcp添加到prometheus配置。#prometheus节点#加入以下配置vi /opt/prometheus/prometheus/prometheus.yml- job_name: 'Docker-mysql'scrape_interval: 15sstatic_configs:- targets: ['192.168.100.251:9104']labels:instance: Docker服务器mysql#热加载配置
curl -X POST http://localhost:9090/-/reload

访问grafana的dashboard-import，导入7362和9625，分别为mysql数据库，和mysql数据表的dashboard-ID号。

6 数据库dashboard

27数据表dashboard

5.3.2.3配置mysql的告警设置

配置mysql的邮箱告警配置文件。

#prometheus节点#编写告警配置文件cat >>/opt/prometheus/prometheus/rules/mysql.yml<< EOFgroups:- name: DockerContainersrules:- alert: Containerkilledexpr: time() - container_last_seen > 60for: 0mlabels:severity: warningannotations:isummary: "Docker容器被杀死 容器: {{ $labels.instance }}"description: "{{ $value }}个容器消失了"- alert: ContainerAbsentexpr: absent(container_last_seen)for: 5mlabels:severity: warningannotations:summary: "无容器 容器: {{ $labels.instance }}"description: "5分钟检查容器不存在，值为: {{ $value }}"EOF#重新加载配置chown -R prometheus:prometheus /opt/Prometheuscurl -X POST http://localhost:9090/-/reload

访问Prometheus查看是否成功。

8 mysql告警

5.4 alertmanager配置163邮箱告警

5.4.1 配置163邮箱

登录配置163邮箱开启POP3/SMTP服务。

9配置开启服务

0 开启服务

开启后会获得一个授权码，后续我们将使用这个授权码配置alertmanager.yml文件对接我们的163邮箱。

5.4.2 修改alertmanager配置

修改alertmanager配置文件，将我们的邮箱添加到alertmanager。

#Prometheus节点执行cat  >>alertmanager.yml<< EOFglobal:
#配置告警邮箱smtp_smarthost: 'smtp.163.com:465'
#163服务器smtp_from: 'a351719672@163.com'
#发邮件的邮箱smtp_auth_username: 'a351719672@163.com'
#发邮件的邮箱用户名smtp_auth_password: 'xxxxx'
#发邮件的邮箱密码smtp_require_tls: false
#进行tls验证
route:group_by: ['alertname']group_wait: 30sgroup_interval: 5mrepeat_interval: 1hreceiver: 'email'
#全局报警组，这个参数必选receivers:- name: 'email'email_configs:- to: '351719672@qq.com'#收邮件的邮箱inhibit_rules:- source_match:severity: 'critical'target_match:severity: 'warning'equal: ['alertname', 'dev', 'instance']EOF#热加载配置curl -X POST http://localhost:9093/-/reload

5.4.3 测试告警服务

测试各个告警配置是否能成功生效

5.4.3.1 Nginx告警测试

停止nginx,测试nginx存活检测是否正常.

#docker节点执行

#测试nginx存活检测是否正常

[root@docker-server ~]# docker stop nginx

nginx

实例转为pending，进而变而FIRING。

nginx状态pending

nginx状态firing

可以看到邮箱正常接收到了nginx的告警。

邮箱nginx告警

5.4.3.2 Mysql告警测试

测试mysql存活检测是否正常

#docker节点执行

[root@docker-server ~]# docker stop mysql

Mysql

实例转为pending，进而变而FIRING。

4 mysql状态pending

5 mysql状态firing

可以看到邮箱正常接收到了mysql的告警。

邮箱mysql告警

5.4.3.3 docker容器告警测试

测试docker检测是否正常

#docker节点执行

#测试docker检测是否正常

[root@docker-server cadvisor]# docker stop cadvisor

cadvisor

实例转为pending进而变而FIRING。

docker状态pending

docker状态firing

可以看到邮箱正常接收到了docker的告警。

邮箱docker告警