当前位置: 首页 > news >正文

如何优化 Linux 服务器的磁盘 I/O 性能

# 优化 Linux 服务器磁盘 I/O 性能的全面指南

## 1. 识别 I/O 瓶颈

首先确定是否存在 I/O 瓶颈以及瓶颈位置:

```bash
# 使用 iostat 查看磁盘 I/O 统计
iostat -x 1

# 使用 iotop 查看进程级 I/O 使用情况
iotop

# 使用 vmstat 查看系统整体 I/O 情况
vmstat 1
```

关键指标:
- `%util` (iostat):设备利用率,接近100%表示饱和
- `await` (iostat):平均 I/O 等待时间
- `svctm` (iostat):平均服务时间

## 2. 文件系统优化

### 选择合适的文件系统
- **XFS**:适合大文件和高并发
- **EXT4**:通用场景,稳定性好
- **Btrfs**:需要高级特性如快照、压缩时

### 挂载选项优化
在 `/etc/fstab` 中调整挂载选项:

```bash
# 对于SSD或高速存储
noatime,nodiratime,discard,data=writeback,barrier=0

# 对于HDD或需要数据安全的场景
noatime,nodiratime,data=ordered
```

常用选项说明:
- `noatime/nodiratime`:减少访问时间更新
- `discard`:启用TRIM(SSD专用)
- `data=writeback/ordered/journal`:控制日志行为
- `barrier`:控制写入屏障

## 3. I/O 调度器优化

### 查看当前调度器
```bash
cat /sys/block/sdX/queue/scheduler
```

### 设置调度器
```bash
# 对于SSD/NVMe
echo kyber > /sys/block/sdX/queue/scheduler
# 或
echo none > /sys/block/sdX/queue/scheduler

# 对于HDD
echo mq-deadline > /sys/block/sdX/queue/scheduler
```

调度器选择建议:
- **none/mq-deadline**:SSD/NVMe
- **kyber**:中等负载SSD
- **bfq**:桌面环境或需要公平调度
- **mq-deadline**:传统HDD

## 4. 内核参数优化

编辑 `/etc/sysctl.conf`:

```bash
# 增加脏页回写阈值
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10

# 调整虚拟内存行为
vm.swappiness = 1

# 文件系统缓存
vm.vfs_cache_pressure = 50

# 增加文件描述符限制
fs.file-max = 1000000

# 网络相关(如果应用涉及网络I/O)
net.core.somaxconn = 4096
net.ipv4.tcp_max_syn_backlog = 4096
```

应用设置:
```bash
sysctl -p
```

## 5. 硬件级优化

### RAID 配置
- **RAID 10**:最佳性能+冗余
- **RAID 5/6**:容量优先但写入性能较低
- 考虑使用带电池的RAID控制器

### SSD 优化
```bash
# 确保TRIM启用
fstrim -av

# 检查SSD对齐
parted /dev/sdX align-check optimal 1

# 调整调度器(见上文)
```

## 6. 应用层优化

### 数据库优化
- MySQL: 调整 `innodb_io_capacity`, `innodb_flush_method`
- PostgreSQL: 调整 `shared_buffers`, `effective_cache_size`

### 使用直接I/O
对于知道自己在做什么的应用,可以使用O_DIRECT标志绕过页面缓存

### 异步I/O
```bash
# 检查是否支持AIO
cat /proc/sys/fs/aio-max-nr

# 增加AIO限制
echo 65536 > /proc/sys/fs/aio-max-nr
```

## 7. 高级技术

### 使用LVM缓存
```bash
# 创建缓存池
lvcreate -L 10G -n cachepool vg /dev/fast_ssd

# 将缓存附加到慢速卷
lvconvert --type cache --cachepool vg/cachepool vg/slow_volume
```

### 使用bcache (块层缓存)
```bash
# 创建bcache设备
make-bcache -B /dev/slow_hdd -C /dev/fast_ssd
```

## 8. 监控与维护

```bash
# 定期检查I/O性能
iostat -xmt 1

# 检查磁盘健康(SMART)
smartctl -a /dev/sdX

# 清理不需要的文件
logrotate -f /etc/logrotate.conf
```

通过综合应用这些优化技术,可以显著提升Linux服务器的磁盘I/O性能。建议每次只修改一个参数并测试效果,以确定最佳配置。

相关文章:

如何优化 Linux 服务器的磁盘 I/O 性能

# 优化 Linux 服务器磁盘 I/O 性能的全面指南 ## 1. 识别 I/O 瓶颈 首先确定是否存在 I/O 瓶颈以及瓶颈位置: bash # 使用 iostat 查看磁盘 I/O 统计 iostat -x 1 # 使用 iotop 查看进程级 I/O 使用情况 iotop # 使用 vmstat 查看系统整体 I/O 情况 vmstat 1 …...

Python基础学习-Day23

目录 基础概念转换器(transformer)估计器(estimator)管道(pipeline) 实例pipeline 基础概念 pipeline在机器学习领域可以翻译为“管道”,也可以翻译为“流水线”,是机器学习中一个重…...

【Ubuntu】扩充磁盘大小

sudo apt-get install gparted 安装完成后,搜索gparted软件,打开gparted 参考...

数据治理域——日志数据采集设计

摘要 本文主要介绍了Web页面端日志采集的设计。首先阐述了页面浏览日志采集,包括客户端日志采集的实现方式、采集内容及技术亮点。接着介绍了无线客户端端日志采集,包括UserTrack的核心设计、移动端与浏览器端采集差异以及典型应用场景崩溃分析。最后探…...

Dinky 安装部署并配置提交 Flink Yarn 任务

官方文档 https://www.dinky.org.cn/docs/1.1/deploy_guide/normal_deploy 版本 dinky 1.1.0、1.2.3 当前最新发布版本为 1.2.3 ,但是官方文档最新稳定版为 1.1 ,所以先选择 1.1.0,验证通过后,再尝试 1.2.3 ,发现 1…...

杰理-701-手表sdk无法电脑连接经典蓝牙

杰理-701-手表sdk无法电脑连接经典蓝牙 只有手机可以连接经典蓝牙播放音乐,电脑无法连接,需要关闭emitter功能 交流q群:187115320...

Timsort 算法

文章目录 1 基础理解1.1 定义和原理1.2 工作原理 2 算法实现2.1 Python 代码实现2.1.1 代码2.1.2 核心逻辑计算最小运行长度(calc_min_run(n))插入排序(insertion_sort(arr, left, right)) 2.2 Java 代码实现2.3 C 代码实现 3 逻辑…...

Go构建高并发权重抽奖系统:从设计到优化全流程指南

引言:为何需要专业抽奖系统? 在现代互联网应用中,抽奖系统被广泛用于营销活动、用户激励等场景。一个好的抽奖系统需要满足: 公平性:确保概率分布准确高性能:支持高并发抽奖请求安全性:防止作…...

深度学习计算

深度学习的飞速发展离不开强大的计算能力支撑。从张量计算到 GPU 加速,从自动微分到分布式计算,深度学习计算的每一项技术都如同精密仪器中的关键齿轮,推动着模型性能的不断提升。本文深入剖析深度学习计算的核心技术、优化策略以及前沿趋势&…...

【Bluedroid】蓝牙 HID DEVICE 初始化流程源码解析

本文深入剖析Android蓝牙协议栈中HID设备(BT-HD)服务的初始化与启用流程,从接口初始化、服务掩码管理、服务请求路由到属性回调通知,完整展现蓝牙HID服务激活的技术路径。通过代码逻辑梳理,揭示服务启用的核心机制&…...

Kotlin 中的 Unit 类型的作用以及 Java 中 Void 的区别

在 Kotlin 中,Unit 类型和 Java 中的 void 关键字都用于表示“没有返回值”的函数,但它们在设计理念、类型系统和实际使用中有显著的区别。 1 Kotlin 中的 Unit 类型 表示无返回值: 当函数不返回有意义的值时,Kotlin 使用 Unit …...

Gemini 2.5 推动视频理解进入新时代

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…...

Spark Streaming 内部运行机制详解

核心思想:将实时数据流切割为“微批次”,利用 Spark Core 的批处理能力进行准实时计算。 1. 核心流程拆解 数据接收(Input Data Stream) 输入源:Kafka、Flume、Socket 等实时数据流。 接收器(Receiver&…...

Feign+Resilience4j实现微服务熔断机制:原理与实战

引言:为什么需要熔断器? 在微服务架构中,服务间的依赖调用变得非常普遍。想象一下这样的场景:订单服务依赖支付服务,支付服务又依赖银行网关服务。如果银行网关服务出现故障,故障会向上蔓延,导…...

什么是SparkONYarn模式

1. 什么是 Spark on YARN? Spark on YARN 是 Apache Spark 的一种部署模式,允许 Spark 应用程序在 Hadoop YARN 集群上运行,充分利用 YARN 的资源管理和调度能力。这种模式将 Spark 与 Hadoop 生态深度集成,使企业能够在同一集群…...

鸿蒙北向应用开发: deveco5.0 创建开源鸿蒙项目

本地已经安装deveco5.0 使用5.0创建开源鸿蒙项目 文件->新建->新建项目 直接创建空项目,一路默认 next 直接编译项目 直接连接开源鸿蒙5.0开发板编译会提示 compatibleSdkVersion and releaseType of the app do not match the apiVersion and releaseType on the dev…...

操作系统:内存管理

目录 1、主要目标 2、核心概念和技术 2.1 物理内存与虚拟内存 2.2 内存分页机制 2.3 页面置换算法 3、监控与性能优化 3.1 查看物理内存 3.2 查看虚拟内存 3.3 性能问题 1> 内存不足(OOM) 2> 内存泄漏 3> 内存碎片 3.4 性能优化策…...

腾讯优化DeepSeek的DeepEP通信框架:开启AI大模型训练新时代

事件背景 在人工智能(AI)技术迅猛发展的当下,大规模AI模型训练的需求与日俱增。高效的数据通信成为了提升AI模型训练效率的关键环节。混合专家模型(MoE)作为一种高效的大模型架构,通过动态分配专家网络处理…...

CSP-J普及组第一轮真题单选题专项训练(二)

CSP-J普及组第一轮真题单选题专项训练(二) (共15题,每2分,共30分;每题有且有一个正确选项) 1、一个 32 位整型变量占用()个字节。 A. 32 B. 128 C. 4 D. 8 2、在内存储器中每个存储单元都被赋予一个唯一的序号,称为 A、下标 B、序号 C、地址 D、编号 3、编译器的主要…...

Android加固工具测评:易盾、顶象、360加固哪款更好用?

应用安全已经成为每个开发者和企业关注的核心问题。随着黑客技术的不断升级,单一的安全措施已经无法有效应对各种复杂的攻击威胁。Android加固工具应运而生,成为了提升应用安全的关键利器。这些加固工具通过代码混淆、加密、防篡改等技术手段&#xff0c…...

C++ 字符格式化输出

文章目录 一、简介二、实现代码三、实现效果 一、简介 这里使用std标准库简单实现一个字符格式化输出&#xff0c;方便后续的使用&#xff0c;它有点类似Qt中的QString操作。 二、实现代码 FMTString.hpp #pragma once#include <cmath> #include <cstdio> #include…...

内存中的“BANK”

一、BANK的定义与物理结构 基本概念 BANK&#xff08;存储体&#xff09; 是内存芯片内部的一个逻辑或物理分区&#xff0c;每个BANK由存储单元阵列、地址解码电路和缓冲器组成&#xff0c;用于分块管理内存操作。 作用&#xff1a;通过并行操作减少访问冲突&#xff0c;提升内…...

D-Pointer(Pimpl)设计模式(指向实现的指针)

Qt 的 D-Pointer&#xff08;Pimpl&#xff09;设计模式 1. Pimpl 模式简介 Pimpl&#xff08;Pointer to Implementation&#xff09;是一种设计模式&#xff0c;用于将类的接口与实现分离&#xff0c;从而隐藏实现细节&#xff0c;降低编译依赖&#xff0c;提高代码的可维护…...

XA协议和Tcc

基于 XA 协议的两阶段提交 (2PC)。这是一种分布式事务协议&#xff0c;旨在保证在多个参与者&#xff08;通常是不同的数据库或资源管理器&#xff09;共同参与的事务中&#xff0c;所有参与者要么都提交事务&#xff0c;要么都回滚事务&#xff0c;从而维护数据的一致性。 你…...

我们该如何使用DeepSeek帮我们减负?

在当今信息爆炸的时代&#xff0c;如何快速获取、筛选和分析信息已经成为各行各业的重要能力。而DeepSeek作为一种先进的智能搜索和信息挖掘工具&#xff0c;能够帮助用户快速找到所需的信息&#xff0c;并从海量数据中提取出有用的洞见。在这篇博文中&#xff0c;我们将深入探…...

25.5.13

感觉很久没有写算法题了&#xff0c;先来个滑动队列模板题试试水&#xff0c;就是用双端队列来实现会很方便&#xff0c;拿结构体来记录是第几个数和数的值即可&#xff0c;再定义两个双端队列&#xff0c;一个使他的值单调递增一个使他的值单调递减 使队头元素为最大值或者是最…...

软件测试——面试八股文(入门篇)

今天给大家分享软件测试面试题入门篇&#xff0c;看看大家能答对几题 一、 请你说一说测试用例的边界 参考回答&#xff1a; 边界值分析法就是对输入或输出的边界值进行测试的一种黑盒测试方法。通常边界值分析法是作为对等价类划分法的补充&#xff0c;这种情况下&#xff…...

脑机接口技术:开启人类与机器融合的新时代

摘要 脑机接口&#xff08;BCI&#xff09;技术作为一项前沿科技&#xff0c;正在逐步打破人类与机器之间的沟通障碍&#xff0c;为医疗、娱乐、教育等多个领域带来前所未有的变革。本文将详细介绍脑机接口技术的基本原理、发展现状、应用场景以及面临的挑战和未来发展趋势&…...

当三维地理信息遇上气象预警:电网安全如何实现“先知先觉”?

极端天气频发的当下&#xff0c;一场台风、一次暴雨就可能让电力系统陷入瘫痪。但你知道吗&#xff1f;如今的电网已能通过三维地理信息与气象数据的深度融合&#xff0c;在灾害来临前精准锁定风险&#xff0c;甚至将停电事故减少七成以上。这背后&#xff0c;正是国网电力空间…...

C++ string数据查找、string数据替换、string子串获取

string查找示例见下&#xff0c;代码见下&#xff0c;以及对应运行结果见下&#xff1a; #include<iostream>using namespace std;int main() {// 1string s1 "hellooooworld";cout << s1.find("oooo") << endl;// 2cout << (in…...

2025.5.13山东大学软件学院计算机图形学期末考试回忆版本

2025.5.13山东大学软件学院计图期末考试回忆版本 学院&#xff1a;软件学院 老师&#xff1a;周元峰、魏广顺 一、简述题&#xff08;2024原题一&#xff09; 1.图形绘制流水线的组成和作用 2.双缓冲机制是什么&#xff0c;有什么作用&#xff1f; 3.Delaunay三角化的四条…...

思极地图使用

思极地图api文档&#xff1a;思极地图开放平台 | 思极地图API SDK 思极地图SDK: <script src"https://map.sgcc.com.cn/maps?v3.0.0"></script> <script src"https://map.sgcc.com.cn/products/js-sdk/v3/assets/js/jquery-1.11.1.min.js&quo…...

Fiori学习专题四十一:表单控件

上节课我们学习了一些单一控件的使用&#xff0c;但是我们发现在页面内每个控件都占用了一行&#xff0c;这样子就显得不太好看&#xff0c;这节课我们引入一个表单控件来美化一下这个页面。 1.学习表单控件FORM之前我们先了解下哪些情况会使用到表单控件&#xff0c;最常见的场…...

基于STM32、HAL库的TDA7719TR音频接口芯片驱动程序设计

一、简介: TDA7719TR 是 NXP Semiconductors 推出的高性能音频处理芯片,专为汽车音响系统设计。它集成了 AM/FM 收音机调谐器、音频处理和音量控制功能,支持 I2C 控制接口,非常适合与 STM32 微控制器配合使用。 二、硬件接口: 典型的 STM32L4 与 TDA7719TR 硬件连接如下…...

Baklib智能云平台加速企业数据治理

Baklib数据治理核心优势 Baklib作为新一代企业级知识中台&#xff0c;其数据治理能力建立在全资产统一管理与智能化处理框架的双重基础之上。通过构建知识中台的核心架构&#xff0c;平台实现了图文、音视频等多模态数据的标准化存储与动态标签体系&#xff0c;有效解决传统管…...

面试中被问到谈谈你对threadlocal的理解

ThreadLocal 的核心理解 1. 基本概念 ThreadLocal 是 Java 提供的线程局部变量机制&#xff0c;用于在多线程环境中为每个线程维护独立的变量副本&#xff0c;实现线程隔离。其核心思想是空间换时间&#xff0c;通过避免共享变量带来的同步开销&#xff0c;提升并发性能。 2…...

Spring Boot 应用中实现基本的 SSE 功能

SSE 技术简介 SSE&#xff08;Server-Sent Events&#xff09;是一种允许服务器主动向客户端推送数据的技术。它基于 HTTP 长连接&#xff0c;使用简单&#xff0c;特别适合实时数据更新场景&#xff0c;如股票行情、新闻推送等。与 WebSocket 相比&#xff0c;SSE 更轻量级&a…...

【2025最新】Windows系统装VSCode搭建C/C++开发环境(附带所有安装包)

文章目录 为什么选择VSCode作为C/C开发工具&#xff1f;一、VSCode安装过程&#xff08;超简单&#xff01;&#xff09;二、VSCode中文界面设置&#xff08;再也不用对着英文发愁&#xff01;&#xff09;三、安装C/C插件&#xff08;编程必备神器&#xff01;&#xff09;四、…...

【MyBatis-8】MyBatis对象关联查询详解:高效处理复杂关系映射

在实际业务开发中&#xff0c;我们经常需要处理对象之间的关联关系&#xff0c;如一对一、一对多、多对多等。MyBatis作为一款优秀的持久层框架&#xff0c;提供了强大的对象关联查询能力。本文将深入探讨MyBatis中各种关联查询的实现方式、适用场景及最佳实践。 1. MyBatis关…...

Java基础(IO)

所有操作都在内存&#xff0c;不能长时间保存&#xff0c;IO主要在硬盘&#xff0c;可以长时间保存。 一、File类 File类被定义为文件和目录路径名的抽象表示形式&#xff0c;这是因为 File 类既可以表示文件也可以表示目录&#xff0c;他们都通过对应的路径来描述。 提供构…...

Trae IDE:AI深度集成的智能开发环境

&#xff08;以高效人机协作重塑编程体验&#xff09; 概述 Trae IDE&#xff08;发音 /treɪ/&#xff09;是一款深度集成AI能力的现代化开发工具&#xff0c;结合传统IDE的完备功能与前沿AI技术&#xff0c;提供智能问答、代码自动补全、跨文件编程及AI Agent驱动的自动化开…...

网站开发过程中样式忽然不显示问题

老规矩&#xff0c;先听故事&#xff1a;今天我开发网站时候遇到一个问题&#xff0c;就开发的这个网站在默认127.0.0.1运行样式有bug显示不出来&#xff0c;之前都可以&#xff0c;就完全一样的代码&#xff0c;之前可以正常运行显示&#xff0c;今天忽然就不行了&#xff0c;…...

双种群进化算法:动态约束处理与资源分配解决约束多目标优化问题

双种群进化算法&#xff1a;动态约束处理与资源分配解决约束多目标优化问题 一、引言 约束多目标优化问题&#xff08;CMOPs&#xff09;在工程设计、资源分配等领域广泛存在&#xff0c;其核心是在满足多个约束条件的同时优化多个目标函数。传统方法往往难以平衡约束满足与目…...

如何在 CentOS 7 虚拟机上配置静态 IP 地址并保持重启后 SSH 连接

在使用 CentOS 7 的虚拟机时&#xff0c;我们通常需要配置静态 IP 地址&#xff0c;以确保在每次虚拟机重启后能够通过 SSH 连接。本文将介绍如何在 CentOS 7 系统中配置静态 IP 地址&#xff0c;并确保配置在系统重启后依然生效。 步骤 1&#xff1a;检查虚拟机网络接口 首先…...

整数和浮点数转换时的精度损失

文章目录 int和float转换时的精度损失float组成解析&#xff08;1&#xff09; 32位浮点数的结构&#xff08;2&#xff09;示例&#xff1a;解析一个浮点数&#xff08;3&#xff09;偏置值的作用&#xff08;4&#xff09; 偏置值为什么是127&#xff1f;&#xff08;5&#…...

Protobuf工具

#region 知识点一 什么是 Protobuf //Protobuf 全称是 protocol - buffers&#xff08;协议缓冲区&#xff09; // 是谷歌提供给开发者的一个开源的协议生成工具 // 它的主要工作原理和我们之前做的自定义协议工具类似 // 只不过它更加的完善&…...

闭包原理与常见陷阱

引言 JavaScript闭包是前端开发中既强大又神秘的概念&#xff0c;它不仅是面试的必考题&#xff0c;更是解决复杂问题的利器。闭包让函数能够记住并访问其创建时的作用域&#xff0c;即使在该函数在其定义环境之外执行。 然而&#xff0c;正如许多强大的工具一样&#xff0c;…...

用 VS Code / PyCharm 编写你的第一个 Python 程序

用ChatGPT做软件测试 编写你的第一个 Python 程序——不只是“Hello, World”&#xff0c;而是构建认知、习惯与未来的起点 “第一行代码&#xff0c;是一个开发者认知世界的方式。” 编程的入门&#xff0c;不只是运行一个字符串输出&#xff0c;更是开始用计算机思维来理解、…...

Linux学习心得问题整理(一)

day01 运维初识 理解云计算运维目的是什么&#xff1f; 搭建云计算更有利于我们在公网环境下方便访问我们服务 节省时间的成本&#xff0c;能随时随地方便调度硬件资源&#xff0c;更容易搭建软件服务 安全可靠&#xff0c;售后期间支持技术支持维护 什么是运维&#xff1f…...

在scala中sparkSQL连接masql并添加新数据

以下是 Scala 中使用 Spark SQL 连接 MySQL 并添加数据的完整代码示例&#xff08;纯文本&#xff09;&#xff1a; 1. 准备连接参数&#xff08;需替换实际信息&#xff09; scala val jdbcUrl "jdbc:mysql://localhost:3306/test_db?useUnicodetrue&characterEnc…...