当前位置：首页 > news >正文

linux如何判断进程对磁盘是随机写入还是顺序写入？

news 来源：原创 2025/8/25 3:25:04

模拟工具&性能测试工具：fio

fio参数说明：

filename=/dev/sdb1：测试文件名称，通常选择需要测试的盘的data目录。
direct=1：是否使用directIO，测试过程绕过OS自带的buffer，使测试磁盘的结果更真实。（Linux读写的时候，内核维护了缓存，数据先写到缓存，后面再后台写到SSD。读的时候也优先读缓存里的数据。这样速度可以加快，但是一旦掉电缓存里的数据就没了。所以有一种模式叫做DirectIO，跳过缓存，直接读写SSD。）
rw=randwrite：测试随机写的I/O
rw=randrw：测试随机写和读的I/O
bs=16k：单次io的块文件大小为16k
bsrange=512-2048 同上，提定数据块的大小范围
size=5G：每个线程读写的数据量是5GB。
numjobs=1：每个job（任务）开1个线程，这里用了几，后面每个用-name指定的任务就开几个线程测试。所以最终线程数=任务数（几个name=jobx）* numjobs。
name=job1：一个任务的名字，重复了也没关系。如果fio -name=job1 -name=job2，建立了两个任务，共享-name=job1之前的参数。-name之后的就是job2任务独有的参数。
thread：使用pthread_create创建线程，另一种是fork创建进程，进程的开销比线程要大，一般都采用thread测试。
runtime=1000：测试时间为1000秒，如果不写则一直将5g文件分4k每次写完为止。
ioengine=libaio：指定io引擎使用libaio方式。libaio：Linux本地异步I/O。请注意，Linux可能只支持具有非缓冲I/O的排队行为（设置为“direct=1”或“buffered=0”）；rbd：通过librbd直接访问CEPH Rados。
iodepth=16：队列的深度为16。在异步模式下，CPU不能一直无限的发命令到SSD。比如SSD执行读写如果发生了卡顿，那有可能系统会一直不停的发命令，几千个，甚至几万个，这样一方面SSD扛不住，另一方面这么多命令会很占内存，系统也要挂掉了。这样，就带来一个参数叫做队列深度。
rwmixwrite=30：在混合读写的模式下，写占30%
group_reporting：关于显示结果的，汇总每个进程的信息。
lockmem=1g：只使用1g内存进行测试。
zero_buffers：用0初始化系统buffer。
nrfiles=8：每个进程生成文件的数量。
磁盘读写常用测试点：
1. Read=100% Ramdon=100% rw=randread (100%随机读)
2. Read=100% Sequence=100% rw=read （100%顺序读）
3. Write=100% Sequence=100% rw=write （100%顺序写）
4. Write=100% Ramdon=100% rw=randwrite （100%随机写）
5. Read=70% Sequence=100% rw=rw, rwmixread=70, rwmixwrite=30
（70%顺序读，30%顺序写）
6. Read=70% Ramdon=100% rw=randrw, rwmixread=70, rwmixwrite=30
(70%随机读，30%随机写)

模拟随机写入：

fio --name=randwrite --rw=randwrite --bs=4k --size=1G --numjobs=1 --iodepth=1 --randrepeat=0 --ioengine=libaio --direct=1 --filename=/path/to/testfile

模拟顺序写入：

fio --name=seqwrite --rw=write --bs=4k --size=1G --numjobs=1 --iodepth=32 --ioengine=libaio --direct=1 --filename=/path/to/testfile

磁盘观测工具：blktrace

安装：

yum install blktrace

挂载debugfs：

# mount –t debugfs debugfs /sys/kernel/debug

观测并输出到控制台：

blktrace -d /dev/sda -o - | blkparse -i -

观测并写入到文件然后用btt解析文件：

blktrace -d /dev/sda -o - | blkparse -i - -d disk-trace.bin
btt -i disk-trace.bin -o /tmp/disk-trace

blktrace输出内容解析：（blktrace(8) - Linux manual page）

如观测随机写入：

如观测顺序写入：

磁盘观测工具：biosnoop

安装：

yum install bcc-tools

观测并输出到控制台：

/usr/share/bcc/tools/biosnoop -Q

如观测随机写入：

如观测顺序写入：

系统调用跟踪工具：strace

比如观测fio进程的io_submit系统调用：

strace -e 'trace=io_submit' `ps aux | grep fio | grep -v 'grep' | awk '{print "-p " $2}' | xargs echo`

如观测随机写入：

如观测顺序写入：

--end--

linux如何判断进程对磁盘是随机写入还是顺序写入？

模拟工具&性能测试工具：fio fio参数说明： filename/dev/sdb1：测试文件名称，通常选择需要测试的盘的data目录。 direct1：是否使用directIO，测试过程绕过OS自带的buffer，使测试磁盘的结果更真…...

编程日记 2025/8/25 3:25:04

实现静态网络爬虫（入门篇）

一、了解基本概念以及信息 1.什么是爬虫爬虫是一段自动抓取互联网信息的程序，可以从一个URL出发，访问它所关联的URL，提取我们所需要的数据。也就是说爬虫是自动访问互联网并提取数据的程序。它可以将互联网上的数据为我所用，…...

编程日记 2025/8/25 3:20:36

[Web]get请求和post请求

Get get请求的特点是： 1.所有的参数都通过URL进行传递。其中传输的参数的书写的格式为?key1value1&key2value2。具体示例：https://example.com/search?qapple&limit10。访问的时候，先写/xxx，确定本次请求要访问的资源u…...

编程日记 2025/8/25 3:21:27

【落羽的落羽 C++】C++入门基础：引用，内联，nullptr

文章目录一、引用1. 引用的概念2. 引用的特点3. 引用的使用4. const引用5. 引用和指针二、inline内联三、nullptr 一、引用 1. 引用的概念引用是C中的一个较为重要的概念。它是给已存在变量取的“别名”，编译器不会为引用变量开辟内存空间，它和它引…...

编程日记 2025/8/20 13:05:19

RabbitMQ应用问题大全（精心整理版）

前言其实这部分知识我是整理在语雀上了，这里是直接复制粘贴过来的。不是很好阅读，可以直接点下方链接去语雀看，那个看的会舒服很多。 https://www.yuque.com/g/ngioig/upbg6b/fkarhyo8fpgrtyq8/collaborator/join?tokenGvlO0di8KaIfO8aF&am…...

编程日记 2025/8/20 4:14:56

【人工智能】卷积神经网络的奥秘：深度学习的视觉革命

卷积神经网络（CNN）是深度学习中处理图像、视频等高维数据的主流模型，因其局部特征提取和参数共享特性而效率高且效果优异。本文深入探讨了CNN的理论基础，包括卷积操作、池化层、激活函数和全连接层的数学原理，并通过LaTeX公式推导其前向传播和反向传播过程。接着，我们提供…...

编程日记 2025/8/22 5:21:42

掌握MiniQMT：程序化下单与撤单的高效实现

掌握MiniQMT：程序化下单与撤单的高效实现 🚀量化软件开通 🚀量化实战教程在量化交易领域，程序化下单与撤单是实现自动化交易策略的关键环节。通过MiniQMT平台，我们可以高效地执行这些操作，从而快速响应…...

编程日记 2025/8/20 21:02:22

【高级篇】大疆Pocket 3加ENC编码器实现无线RTMP转HDMI进导播台

【高级篇】大疆Pocket 3加ENC编码器实现无线RTMP转HDMI进导播台文章目录准备工作连接设备RTMP概念ENCSHV2推流地址设置大疆Pocket 3直播设置总结老铁们好！ 很久没写软文了，今天给大家带了一个干货，如上图，大疆Pocket 3加ENC编…...

编程日记 2025/8/21 2:19:08

Nacos学习笔记-占位符读取其他命名空间内容

Nacos当前命名空间下的配置文件需要跨命名空间读取其他配置文件的内容。可以先通过Nacos提供的API接口获取配置文件内容，然后解析数据将其放入环境的PropertySource中。相关依赖包  <dependency><groupId>com.alibaba.clo…...

编程日记 2025/8/23 7:12:01

每天五分钟深度学习框架PyTorch：使用残差块快速搭建ResNet网络

本文重点前面我们使用pytorch搭建了残差块，本文我们更进一步，我们使用残差块搭建ResNet网络，当学会如何搭建残差块之后，搭建ResNet就会非常简单了，因为ResNet就是由多个残差块组成的。残差块残差块我们前面已经介…...

编程日记 2025/8/21 16:11:15

python操作java文件的一种方法

对于python操作java代码的场景来说，比较多的可能就是涉及加密的场景，尤其涉及到登录的场景，对于输入的账号密码可能会涉及到加密，如果开发告诉我们如何加密，那么，OK，我们可以直接通过代码去实现…...

编程日记 2025/8/23 10:22:09

自然语言处理：最大期望值算法

介绍大家好，博主又来给大家分享知识了，今天给大家分享的内容是自然语言处理中的最大期望值算法。那么什么是最大期望值算法呢？ 最大期望值算法，英文简称为EM算法，它的核心思想非常巧妙。它把求解模型参数的过程分成…...

编程日记 2025/8/16 10:05:29

leetcode-sql数据库面试题冲刺（高频SQL五十题）

题目： 197.上升的温度表： Weather ---------------------- | Column Name | Type | ---------------------- | id | int | | recordDate | date | | temperature | int | ---------------------- id 是该表具有唯一值的列。没有具有相同 recordDate …...

编程日记 2025/8/19 20:26:10

开发者社区测试报告(功能测试+性能测试)

功能测试测试相关用例开发者社区功能背景在当今数字化时代，编程已经成为一项核心技能，越来越多的人开始学习编程，以适应快速变化的科技环境。基于这一需求，我设计开发了一个类似博客的论坛系统，专注于方便程序员…...

编程日记 2025/8/20 14:48:21

环形链表问题的探究与代码实现

在数据结构与算法的学习中，环形链表是一个经典的问题。它不仅考察对链表这种数据结构的理解，还涉及到指针操作和逻辑推理。本文将结合代码和图文，深入分析如何判断链表中是否有环以及如何找到环的入口点。目录一、判断链表中是否有环 …...

编程日记 2025/8/25 2:40:20

【C++】vector(下)：vector类的模拟实现（含迭代器失效问题）

文章目录前言一、vector类的常用接口的模拟实现1.头文件（my vector.h）整体框架2.模拟实现vector类对象的常见构造3.模拟实现vector iterator4.模拟实现vector类对象的容量操作5.模拟实现vector类对象的访问6.模拟实现vector类对象的修改操作二、vector…...

编程日记 2025/8/22 7:19:24

NLTK和jieba

NLTK与jieba概述自然语言处理（NLP）领域是计算机科学领域与人工智能领域中的一个重要方向，主要研究方向是实现人与计算机之间用自然语言进行有效通信的各种理论和方法。在自然语言处理领域中，文本类型的数据占据着很大的市场&a…...

编程日记 2025/8/21 20:25:49

Java后端高频面经——计算机网络

TCP/IP四层模型？输入一个网址后发生了什么，以百度为例？（美团） （1）四层模型应用层：支持 HTTP、SMTP 等最终用户进程传输层：处理主机到主机的通信（TCP、UDP&am…...

编程日记 2025/8/24 15:40:07

CSDN博客：Markdown编辑语法教程总结教程（中）

❤个人主页：折枝寄北的博客 Markdown编辑语法教程总结前言1. 列表1.1 无序列表1.2 有序列表1.3 待办事项列表1.4 自定义列表 2. 图片2.1 直接插入图片2.2 插入带尺寸的图片2.3 插入宽度确定，高度等比例的图片2.4 插入高度确定宽度等比例的图片2.5 插入居…...

编程日记 2025/8/16 10:05:08

Springboot redis bitMap实现用户签到以及统计，保姆级教程

项目架构，这是作为demo展示使用： Redis config： package com.zy.config;import com.fasterxml.jackson.annotation.JsonAutoDetect; import com.fasterxml.jackson.annotation.PropertyAccessor; import com.fasterxml.jackson.databind.Ob…...

编程日记 2025/8/20 2:34:33

AI Agent系列(一) - Agent概述

AI Agent系列【一】前言一、AI代理的特点二、 AI Agent的技术框架三、开源自主代理前言 AI Agent，即人工智能代理，一般直接叫做智能体百度百科给AI Agent定义为： “以大语言模型为大脑驱动的系统，具备自主理解、感知、规划、…...

编程日记 2025/8/16 10:16:41

Scala 中trait的线性化规则（Linearization Rule）和 super 的调用行为

在 Scala 中，特质（Trait）是一种强大的工具，用于实现代码的复用和组合。当一个类混入（with）多个特质时，可能会出现方法冲突的情况。为了解决这种冲突，Scala 引入了最右优先原则&#…...

编程日记 2025/8/19 17:53:50

【Linux系统编程】初识系统编程

目录一、什么是系统编程1. 系统编程的定义2. 系统编程的特点3. 系统编程的应用领域4. 系统编程的核心概念5. 系统编程的工具和技术二、操作系统四大基本功能1. 进程管理（Process Management）2. 内存管理（Memory Management）3. 文…...

编程日记 2025/8/21 23:41:15

Unsloth - 动态 4 bit 量化

文章目录 💔 量化可能会破坏模型🦙 Llama 3.2 Vision 细节Pixtral (12B) 视觉🦙 Llama 3.2 (90B) 视觉指令本文翻译自：Unsloth - Dynamic 4-bit Quantization （2024年12月4日 Daniel & Michael https://unsloth.…...

编程日记 2025/8/23 2:14:38

技术领域，有许多优秀的博客和网站

在技术领域，有许多优秀的博客和网站为开发者、工程师和技术爱好者提供了丰富的学习资源和行业动态。以下是一些常用的技术博客和网站，涵盖了编程、软件开发、数据科学、人工智能、网络安全等多个领域： 1. 综合技术博客 1.1 Medium 网址: ht…...

编程日记 2025/8/21 5:43:48

黑金风格人像静物户外旅拍Lr调色教程，手机滤镜PS+Lightroom预设下载！

调色教程针对人像、静物以及户外旅拍照片，运用 Lightroom 软件进行风格化调色工作。旨在通过软件中的多种工具，如基本参数调整、HSL（色相、饱和度、明亮度）调整、曲线工具等改变照片原本的色彩、明度、对比度等属性，将…...

编程日记 2025/8/21 11:02:50

Manus 与鸿蒙 Next 深度融合：构建下一代空间计算生态

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/north 文章目录一、技术融合背景与意义1.1 技术栈协同优势1.2 典型应用场景二、系统架构设计2.1 整体架构图…...

编程日记 2025/8/23 12:29:49

并查集模板

注意理解路径压缩 static class UnionFind {int[] fa;public UnionFind(int n) {fa new int[n];for (int i 0; i < n; i) {fa[i] i;}}public int find(int i) {if (fa[i] ! i) {fa[i] find(fa[i]);}return fa[i];}public void union(int i, int j) {int fai find(i);in…...

编程日记 2025/8/21 15:24:16

推流项目的ffmpeg配置和流程重点总结一下

ffmpeg的初始化配置，在合成工作都是根据这个ffmpeg的配置来做的，是和成ts流还是flv，是推动远端还是保存到本地， FFmpeg 的核心数据结构，负责协调编码、封装和写入操作。它相当于推流的“总指挥”。先来看一下ffmpeg的…...

编程日记 2025/8/23 7:57:15

使用 Python 开发的简单招聘信息采集系统

以下是一个使用 Python 开发的简单招聘信息采集系统，它包含用户登录、招聘信息收集和前后端交互的基本功能。我们将使用 Flask 作为后端框架，HTML 作为前端页面。项目结构 recruitment_system/ ├── app.py ├── templates/ │ ├── login.html │ ├── index…...

编程日记 2025/8/20 2:34:36

Selenium库打开指定端口（9222、9333等）浏览器【已解决！！！】

就是在写动态爬虫爬取数据的过程中，如果用selenium的话，有一个缺点，就是当我们去测试一个网站能不能爬取，它都会重新换端口打开一个浏览器，不会使用上一次使用的浏览器，在实际使用过程中这样调试很烦&#…...

编程日记 2025/8/24 20:40:32

Android MVI架构模式详解

MVI概念 MVI（Model-View-Intent）是一种Android应用架构模式，旨在通过单向数据流和不可变性来简化应用的状态管理。MVI的核心思想是将用户操作、状态更新和界面渲染分离，确保应用的状态可预测且易于调试。 MVI的核心组件 Model&a…...

编程日记 2025/8/20 4:29:10

低代码开发直聘管理系统

低代码 DeepSeek 组合的方式开发直聘管理系统，兼职是开挂的存在。整个管理后台系统小程序端接口的输出，只花了两个星期不到。一、技术栈后端：SpringBoot mybatis MySQL Redis 前端：Vue elementui 二、整体效果三、表结…...

编程日记 2025/8/20 18:54:44

LVGL开发说明

准备工作 LVGL图形化工具：Gui-Guider-Setup-1.8.0-GA.exeLVGL库：lvgl-release-v8.3屏幕触摸驱动：CST816屏幕驱动：ST7789屏幕尺寸：320 * 170 触发事件按键的点击事件添加点击事件触摸屏点击对应的按键后就会触发回…...

编程日记 2025/8/19 17:52:23

代码随想录刷题day41|（二叉树篇）二叉树的最大深度（递归）

目录一、二叉树理论基础二、二叉树的深度和高度三、递归和迭代思路 3.1 递归法 3.2 迭代法四、相关算法题目五、总结一、二叉树理论基础详见：代码随想录刷题day34|（二叉树篇）二叉树的递归遍历-CSDN博客二、二叉树的深度和高…...

编程日记 2025/8/22 5:21:29

向量内积（点乘）和外积（叉乘）

文章目录 1. 向量的内积（点积）1.1 定义1.2 几何意义表征两个向量的投影关系计算向量夹角的余弦值 1.3 重要性质1.4 应用场景 2. 向量的外积（叉积）2.1 定义（仅适用于三维空间）2.2 几何意义2.3 重要性质2.4 应…...

编程日记 2025/8/19 3:06:05

PDF转JPG（并去除多余的白边）

首先，手动下载一个软件（poppler for Windows），下载地址：https://github.com/oschwartz10612/poppler-windows/releases/tag/v24.08.0-0 否则会出现以下错误： PDFInfoNotInstalledError: Unable to get pag…...

编程日记 2025/8/22 4:58:13

【无人机路径规划】基于麻雀搜索算法（SSA）的无人机路径规划（Matlab）

效果一览代码获取私信博主基于麻雀搜索算法（SSA）的无人机路径规划（Matlab） 一、算法背景与核心思想麻雀搜索算法（Sparrow Search Algorithm, SSA）是一种受麻雀群体觅食行为启发的元启发式算法&#xff0…...

编程日记 2025/8/16 5:46:07

2020CVPR-SiamBAN：用于视觉跟踪的Siamese框自适应网络

原文标题：Siamese Box Adaptive Network for Visual Tracking 中文标题：用于视觉跟踪的Siamese框自适应网络代码地址： GitHub - hqucv/siamban: Siamese Box Adaptive Network for Visual Tracking Abstract 大多数现有的跟踪器通常依靠多尺…...

编程日记 2025/8/24 17:21:57

带你从入门到精通——自然语言处理（五. 自注意力机制和transformer的输入部分）

建议先阅读我之前的博客，掌握一定的自然语言处理前置知识后再阅读本文，链接如下： 带你从入门到精通——自然语言处理（一. 文本的基本预处理方法和张量表示）-CSDN博客带你从入门到精通——自然语言处理（二…...

编程日记 2025/8/24 1:24:53

MySql自动安装脚本

一、脚本安装流程 1. 添加MySQL的Repository 使用wget命令从MySQL官方网站下载Yum Repository的RPM包。使用rpm -ivh命令安装下载的RPM包，以添加MySQL的Yum Repository。 2. 安装mysql-community-server 使用yum install -y mysql-community-server --nogpgchec…...

编程日记 2025/8/25 1:05:32

3.9【Q】csd

在计算机存储领域，CSD是什么？ 基于CXL™-Type3 实现内存池化 CPU访问内存的瓶颈是什么？具体矛盾是什么？ 计算型存储-2：标准、API实现 NUMA是什么？详细解释一下它的核心思想？...

编程日记 2025/8/16 10:06:15

Qt常用控件之表格QTableWidget

表格QTableWidget QTableWidget 是一个表格控件，行和列交汇形成的每个单元格，是一个 QTableWidgetItem 对象。 1. QTableWidget属性 QTableWidget 的属性只有两个： 属性说明rowCount当前行的个数。columnCount当前列的个数。 2. QTableW…...

编程日记 2025/8/18 1:58:06

数据库批处理

数据库批处理是一种处理数据的方法，通常用于对大量数据进行一次性操作。批处理可以有效地减少数据库操作的次数，提高数据处理的效率。在数据库中，批处理通常通过编写批处理脚本或使用相应的工具来实现。一般情况下，数据库批处理…...

编程日记 2025/8/23 19:41:43

Flask 框架简介

Flask 框架简介 Flask 框架简介 Flask 框架简介 Flask 是一个 Python 微型网页开发框架。微型指明了 Flash 的核心是轻量级的，但是可以灵活扩展。下面的简单的例子要和一个数据库系统交互。Django附带了与最常见的数据库交互所需的库。另一方面，Flask允…...

编程日记 2025/8/21 21:27:36

KMP 算法的 C 语言实现

# include <stdio.h> # include <stdlib.h> # include <string.h>// 打印 KMP 匹配结果. void ColorPrint(char *T, int *result, int result_size, int m) {int green_size strlen("\x1b[31m");int reset_size strlen("\x1b[0m");cha…...

编程日记 2025/8/23 5:33:19