当前位置：首页 > news >正文

【Prometheus01】可观测性系统之Prometheus简介、优缺点对比、组件介绍、数据采集流程、TSDB简介

news 来源：原创 2025/8/14 4:45:11

监控工具对比、黑盒监控与盒白盒监控、Kubernetes监控简介

监控简介：

监控的价值：

长期趋势分析：通过对监控样本数据的持续收集和统计，对监控指标进行长期趋势分析。例如，通过对磁盘空间增长率的判断，我们可以提前预测在未来什么时间节点上需要对资源进行扩容。
对照分析：两个版本的系统运行资源使用情况的差异如何？在不同容量情况下系统的并发和负载变化如何？通过监控能够方便的对系统进行跟踪和比较。
告警：当系统出现或者即将出现故障时，监控系统需要迅速反应并通知管理员，从而能够对问题进行快速的处理或者提前预防问题的发生，避免出现对业务的影响。
故障分析与定位：当问题发生后，需要对问题进行调查和处理。通过对不同监控监控以及历史数据的分析，能够找到并解决根源问题。
数据可视化：通过可视化仪表盘能够直接获取系统的运行状态、资源使用情况、以及服务运行状态等直观的信息。

监控的类型：

通过业务监控系统，全面掌握业务环境的运行状态，通过黑盒监控能够第一时间发现业务故障并通过告警通告运维人员进行紧急恢复，通过白盒监控能够提前预知业务瓶颈，从而将业务影响降到最低。
- 黑盒监控，关注的是时时的状态，一般都是正在发生的事件，比如nginx web界面打开的是界面报错503、API接口超时、磁盘IO异常等，即黑盒监控重点在于能对当前正在发生的故障进行发现及发送通知告警。
- 白盒监控，关注的是原因，也就是系统内部暴露的一些指标数据，比如nginx 后端服务器的响应时长、磁盘的I/O负载值等。
监控系统需要能够有效的支持白盒监控和黑盒监控，通过白盒能够了解其内部的实际运行状态，以及对监控指标的观察能够预判可能出现的潜在问题，从而对潜在的不确定因素进行提前优化并避免问题的发生，而通过黑盒监控，比如常见的如HTTP探针、TCP探针等，可以在系统或者服务在发生故障时能够快速通知相关的人员进行处理。

常见的监控工具：

Cacti：基于基于LAMP平台展现的网络流量监测及分析工具,https://www.cacti.net

Nagios:用来监视系统和网络的开源应用软件，利用其众多的插件实现对本机和远端服务的监控,https://www.nagios.org

Open-falcon: 小米公司开源出来的监控软件open-falcon(猎鹰)，监控能力和性能较强,https://www.open-falcon.org

Nightingale：夜莺，由滴滴基于open-falcon二次开发后开源出来的分布式监控系统，https://n9e.github.io

Zabbix：老牌的开源监控软件，可横向扩展、自定义监控项、支持多种监控方式、可监控网络与各种服务等，Zabbix：企业级开源监控解决方案

prometheus简介：CNCF毕业的云原生监控系统，对k8s的容器有良好的兼容性，https://prometheus简介.io

商业监控：

监控宝：https://www.jiankongbao.com
听云：https://www.tingyun.com

prometheus简介简介、优缺点对比、组件介绍；

prometheus简介简介

prometheus简介是基于go语言开发的一套开源的监控、报警和时间序列数据库的组合，是由SoundCloud公司开发(2012年)的开源监控系统，prometheus简介于2016年加入CNCF（Cloud Native Computing Foundation,云原生计算基金会）,2018年8月9日prometheus简介成为CNCF继kubernetes之后毕业的第二个项目，prometheus简介在容器和微服务领域中得到了广泛的应用，其主要优缺点如下：

使用key-value的多维度(多个角度，多个层面，多个方面)格式保存数据
数据不使用MySQL这样的传统数据库，而是使用时序数据库，目前是使用的TSDB
支持第三方dashboard实现更绚丽的图形界面，如grafana(Grafana 2.5.0版本及以上)
组件模块化
不需要依赖存储，数据可以本地保存也可以远程保存
平均每个采样点仅占3.5 bytes，且一个prometheus简介 server可以处理数百万级别的的metrics指标数据。 支持服务自动化发现(基于consul等方式动态发现被监控的目标服务)
强大的数据查询语句功(PromQL,prometheus简介 Query Language)
数据可以直接进行算术运算
易于横向伸缩
众多官方和第三方的exporter(“数据”导出器)实现不同的指标数据收集

prometheus简介架构图：

prometheus简介 server：主服务，接受外部http请求、收集指标数据、存储指标数据与查询指标数据等。
prometheus简介 targets: 静态发现目标后执行指标数据抓取。
service discovery：动态发现目标后执行数据抓取。
prometheus简介 alerting：调用alertmanager组件实现报警通知。
push gateway：数据收集代理服务器(类似于zabbix proxy但仅限于client主动push数据至push gateway)。
data visualization and export：数据可视化与数据导出(浏览器或其它client)。

kubernetes监控简介

容器监控的实现方对比虚拟机或者物理机来说比大的区别，比如容器在k8s环境中可以任意横向扩容与缩容，那么就需要监控服务能够自动对新创建的容器进行监控，当容器删除后又能够及时的从监控服务中删除，而传统的zabbix的监控方式需要在每一个容器中安装启动agent，并且在容器自动发现注册及模板关联方面并没有比较好的实现方式。

数据采集流程、TSDB简介

prometheus简介数据采集流程

基于静态配置文件或动态发现获取目标

向目标URL发起http/https请求
目标接受请求并返回指标数据
prometheus简介 server接受并数据并对比告警规则，如果触发告警则进一步执行告警动作并存储数据，不触发告警则只进行数据存储
grafana进行数据可视化

TSDB简介及特点

TSDB：Time Series Database , 简称 TSDB，存放时间序列数据的数据库

时间序列数据具有不变性、唯一性和按照时间排序的特性。
持续周期性写入数据、高并发吞吐：每间隔一段时间，就会写入成千上万的节点的指标数据。
写多读少：prometheus简介每间隔15s就会采集数十万或更多指标数据，但通常只查看最近比较重要的指标数据。
数据按照时间排列：每次收集的指标数据，写入时都是按照当前时间往后进行写入，不会覆盖历史数据。
数据量大：历史数据会有数百G甚至数百T或更多。
时效性：只保留最近一段时间的数据，超出时效的数据会被删除。
冷热数据分明：通常只查看最近的热数据，以往的冷数据很少查看。

TSDB简介：

prometheus简介有着非常高效的时间序列数据存储方法，每个采样数据仅仅占用3.5byte左右空间，上百万条时间序列，30秒间隔，保留60天，大概200多G空间（引用官方资料）。
阿里云时序时空数据库TSDB_工业互联网_OpenTSDB_influxDB_物联网监控_工业监控_SIS_APM-阿里云 #阿里云的商业T时序数据库产品

默认情况下，prometheus简介将采集到的数据存储在本地的TSDB数据库中，路径默认为prometheus简介安装目录的data目录，数据写入过程为先把数据写入wal日志并放在内存，然后2小时后将内存数据保存至一个新的block块，同时再把新采集的数据写入内存并在2小时后再保存至一个新的block块，以此类推。
prometheus简介先将采集的指标数据保存到内存的chunk中，chunk是prometheus简介存储数据的最基本单元。
每间隔两个小时，将当前内存的多个chunk统一保存至一个block中并进行数据合并、压缩、并生成元数据文件index、meta.json和tombstones

TSDB-block特性

block会压缩、合并历史数据块，以及删除过期的块，随着压缩、合并，block的数量会减少，在压缩过程中会发生三件事：定期执行压缩、合并小的block到大的block、清理过期的块，每个块有4部分组成：

~# tree /apps/prometheus简介/data/01FQNCYZ0BPFA8AQDDZM1C5PRN/
/apps/prometheus简介/data/01FQNCYZ0BPFA8AQDDZM1C5PRN/
├── chunks
│ └── 000001 #数据目录,每个大小为512MB超过会被切分为多个
├── index #索引文件，记录存储的数据的索引信息，通过文件内的几个表来查找时序数据
├── meta.json #block元数据信息，包含了样本数、采集数据数据的起始时间、压缩历史
└── tombstones #逻辑数据，主要记载删除记录和标记要删除的内容，删除标记，可在查询块时排除样本。

TSDB-block简介

每个block为一个data目录中以01开头的存储目录，如下：

~# ls -l /apps/prometheus简介/data/
total 4
drwxr-xr-x 3 root root 68 Dec 24 05:00 01FQNCYZ0BPFA8AQDDZM1C5PRN #block
drwxr-xr-x 3 root root 68 Dec 27 09:10 01FQXJESTQXVBEPM857SF9XBX7 #block
drwxr-xr-x 3 root root 68 Dec 28 07:20 01FQZYJJ605MEQ7KHBBM09PBVH #block
drwxr-xr-x 3 root root 68 Dec 28 07:20 01FQZYJJABE4JGM85TXJ25WESQ
#block