当前位置：首页 > news >正文

HDFS 为什么不适合处理小文件？

news 来源：原创 2025/8/29 9:59:28

目录

一、HDFS 是什么？

1. 核心目标

2. 基本架构

二、HDFS 为什么不适合处理小文件？

1. 元数据管理问题

2. 存储效率低下

3. 访问性能问题

4. 计算框架效率问题

5. 其他限制

一、HDFS 是什么？

HDFS（Hadoop 分布式文件系统）是一个专为海量数据存储设计的分布式系统，核心特点如下：

1. 核心目标

（1）存得下：能在普通服务器集群中存储 TB/PB 级的超大型文件（如日志、视频、科学数据）。

（2）存得稳：自动备份数据（默认 3 份副本），某台机器故障不影响数据安全。

（3）跑得快：优化大文件的顺序读取，适合数据分析类任务（如统计、挖掘）。

2. 基本架构

（1）NameNode（管理中心）：

记录所有文件的 “位置地图”（如文件分几块、每块在哪台机器），但不存实际数据。

（2）DataNode（存储节点）：

实际存储数据块（默认 128MB / 块），分布在多台机器上。

（3）Client（用户端）：

读写数据时先问 NameNode 要 “地图”，再直接找 DataNode 取数据。

二、HDFS 为什么不适合处理小文件？

HDFS 不适合处理小文件的原因可以从其设计目标、架构特性和资源管理等多个角度进行分析，以下是全面的解释：

1. 元数据管理问题

（1）内存占用高：

HDFS 的元数据（如文件路径、块位置、副本信息等）由 NameNode 集中管理，存储在内存中。

每个文件、目录和块都会占用一定的内存空间（例如，每个文件约占 150 字节）。

如果存在大量小文件（如数百万个 1MB 文件），NameNode 的内存会被元数据耗尽，导致性能下降甚至服务崩溃。

（2）元数据操作延迟：

访问小文件时，NameNode 需要频繁查询和更新元数据，导致响应延迟增加。

例如，读取一个小文件需要多次 RPC 调用获取块位置，这在处理海量小文件时会成为瓶颈。

2. 存储效率低下

（1）块空间浪费：

HDFS 默认块大小为 128MB（可配置），小文件会被分割成多个块。

例如，一个 1MB 的文件会占用一个 128MB 的块，导致 99% 的空间被浪费。当小文件数量极大时，存储空间利用率会显著降低。

（2）副本机制冗余：

HDFS 默认每个块存储 3 份副本。小文件的每个块都会被复制，导致存储成本进一步增加。

例如，1MB 文件的 3 个副本占用 3×128MB=384MB 空间。

3. 访问性能问题

（1）高延迟：

HDFS 设计用于大文件的流式访问，对随机访问和低延迟场景优化不足。

小文件需要频繁与 NameNode 交互，导致延迟累积，无法发挥 HDFS 的吞吐量优势。

（2）网络开销大：

每个文件的访问需要建立网络连接（如从 DataNode 读取块）。

处理大量小文件时，频繁的连接建立和断开会消耗网络资源，降低整体吞吐量。

4. 计算框架效率问题

（1）MapReduce 任务开销：

MapReduce 默认每个块启动一个 Map 任务。

若存在大量小文件，任务数量会剧增（例如，1000 个 1MB 文件对应 1000 个任务），导致任务调度、资源分配和结果汇总的开销远超数据处理本身，严重降低作业效率。

（2）任务并行度失衡：

小文件的处理时间通常较短，可能导致部分节点空闲，而其他节点仍在处理大文件，造成资源分配不均。

5. 其他限制

（1）客户端资源消耗：

HDFS 客户端处理大量小文件时，需要维护大量文件句柄，可能导致客户端内存不足或线程池耗尽。

（2）归档与压缩困难：

小文件难以有效利用压缩技术（如 Gzip、Bzip2），且归档工具（如 HDFS Archive）的使用会增加额外复杂度。

相关文章：

HDFS 为什么不适合处理小文件？

目录一、HDFS 是什么？ 1. 核心目标 2. 基本架构二、HDFS 为什么不适合处理小文件？ 1. 元数据管理问题 2. 存储效率低下 3. 访问性能问题 4. 计算框架效率问题 5. 其他限制一、HDFS 是什么？ HDFS（Hadoop 分布式文件系统…...

编程日记 2025/8/29 9:59:28

网络空间安全（14）编辑器漏洞

一、概述网页在线编辑器允许用户在网页上进行文本的编辑，并设置字体样式、段落行间距等，类似于使用Word进行编辑。然而，由于编辑器在处理用户输入、文件上传、权限控制等方面可能存在安全缺陷，因此容易成为攻击者利用的目标。二…...

编程日记 2025/8/28 15:00:24

SpringMvc与Struts2

一、Spring MVC 1.1 概述 Spring MVC 是 Spring 框架的一部分，是一个基于 MVC 设计模式的轻量级 Web 框架。它提供了灵活的配置和强大的扩展能力，适合构建复杂的 Web 应用程序。 1.2 特点轻量级：与 Spring 框架无缝集成，依赖…...

编程日记 2025/8/29 23:27:04

Avalonia 打包成deb

参考 https://www.cnblogs.com/Fengyinyong/p/13346642.html 安装工具 dotnet tool install --global dotnet-deb 还原包 dotnet restore -r linux-x64 dotnet deb install 打包，其中/p:SelfContainedtrue是独立运行 dotnet msbuild XXXCore.csproj /t:Creat…...

编程日记 2025/8/29 20:36:57

服务器数据恢复—raid5阵列中硬盘掉线导致上层应用不可用的数据恢复案例

服务器数据恢复环境&故障： 某公司一台服务器，服务器上有一组由8块硬盘组建的raid5磁盘阵列。磁盘阵列中2块硬盘的指示灯显示异常，其他硬盘指示灯显示正常。上层应用不可用。服务器数据恢复过程： 1、将服务器中所有硬盘编号…...

编程日记 2025/8/30 5:32:21

除了合并接口，还有哪些优化 Flask API 的方法？

除了合并接口，还有许多其他方法可以优化 Flask API，以下从性能优化、代码结构优化、安全性优化、错误处理优化等方面详细介绍： 性能优化 1. 使用缓存内存缓存：可以使用 Flask-Caching 扩展来实现内存缓存，减少对数…...

编程日记 2025/8/29 13:04:15

制服小程序的“滑手”：禁用页面左右滑动全攻略

哈哈，看来你已经很聪明地发现了小程序中左右滑动的“顽皮”行为！😄 没错，我们可以通过设置 disableScroll 属性来“管教”它，同时结合 CSS 样式让页面既禁得住横向“乱跑”，又能顺畅地上下滚动。你的方案已…...

编程日记 2025/8/29 1:35:36

学习日记-250305

阅读论文：Leveraging Pedagogical Theories to Understand Student Learning Process with Graph-based Reasonable Knowledge Tracing ps:代码逻辑最后一点还没理顺，明天继续 4.2 Knowledge Memory & Knowledge Tracing 代码研究： 一般…...

编程日记 2025/8/30 5:32:21

DeepSeek R1模型医疗机构本地化部署评估分析（Discuss V1版上）

为了确保医疗机构在部署和应用DeepSeek R1模型时的成功，可以根据各个步骤设计一套综合的评估和评测体系。该体系将帮助医疗机构在实施过程中持续跟踪效果、识别潜在问题并进行优化调整。以下是对各步骤的详细评估和评测体系设计。 1. 确定模型需求在医疗机构上线DeepSeek R…...

编程日记 2025/8/28 21:06:30

java 查找连个集合的交集部分数据

利用了Java 8的Stream API，代码简洁且效率高 import java.util.stream.Collectors; import java.util.List; import java.util.HashSet; import java.util.Set;public class ListIntersection {public static List<Long> findIntersection(List<Long> …...

编程日记 2025/8/29 6:28:38

Hadoop管理页看不到任务的问题

这个yarn分配任务了但是为空在$HADOOP_HOME/conf/mapred-site.xml 原来的配置文件基础之上添加： <property><name>mapreduce.framework.name</name><value>yarn</value></property> 重启之后就好了...

编程日记 2025/8/30 5:32:20

cmake、CMakeLists.txt、make、ninja

文章目录一、概念0.cmake官网1.什么是cmake2.为什么使用cmake3.CMakeLists.txt 二、CMakeLists.txt语法：如何编写CMakeLists.txt，语法详解(0)语法基本原则(1)project关键字(2)set关键字(3)message关键字(4)add_executable关键字(5)add_subdirectory关键…...

编程日记 2025/8/30 0:39:45

PHP之Cookie和Session

在你有别的编程语言的基础下，你想学习PHP，可能要了解的一些关于cookie和session的信息。 Cookie 参数信息 setcookie(name,value,expire, path, domain); name : Cookie的名称。 value : Cookie的值。 expire : Cookie的过期时间，可以是一…...

编程日记 2025/8/28 16:13:16

学习记录-用例设计编写

黑马测试视频记录目录一、软件测试流程二、测试用例编写格式 1、等价类法 2、边界值分析法 3、判定表法 4、场景法编辑 5、错误推荐法一、软件测试流程二、测试用例编写格式 1、等价类法 2、边界值分析法 3、判定表法 4、场景法 5、错误推荐法时间紧任务重…...

编程日记 2025/8/29 14:16:26

【Docker】容器安全之非root用户运行

【Docker】容器安全之非root用户运行 1. 场景2. 原 Dockerfile 内容3. 整改结果4. 非 root 用户带来的潜在问题4.1 文件夹读写权限异常4.2 验证文件夹权限 1. 场景最近有个项目要交付，第三方测试对项目源码扫描后发现一个问题，服务的 Dockerfile 都未指…...

编程日记 2025/8/28 19:41:15

CVE-2025-0392：JeeWMS graphReportController.do接口SQL注入漏洞复现

文章目录 CVE-2025-0392：JeeWMS graphReportController.do接口SQL注入漏洞复现0x01 前言0x02 漏洞描述0x03 影响版本0x04 漏洞环境0x05 漏洞复现1.构造POC2.复现CVE-2025-0392：JeeWMS graphReportController.do接口SQL注入漏洞复现 0x01 前言免责声明：请勿利用文章内的相…...

编程日记 2025/8/27 18:50:30

如何使用 Python+Flask+win32print 实现简易网络打印服务1

Python 实现网络打印机：Flask win32print 在工作场景中，我们可能需要一个简单的网页接口，供他人上传文档并自动打印到指定打印机。本文将演示如何使用 Python Flask win32print 库来实现这一需求。代码详见：https://github.…...

编程日记 2025/8/29 17:02:38

Ubuntu20.04双系统安装及软件安装（十一）：向日葵远程软件

Ubuntu20.04双系统安装及软件安装（十一）：向日葵远程软件打开向日葵远程官网，下载图形版本： 在下载目录下打开终端，执行： sudo dpkg -i SunloginClient(按tab键自动补全)出现报错： …...

编程日记 2025/8/27 23:28:12

鸿蒙启动页开发

鸿蒙启动页开发 1.1 更改应用名称和图标 1.更改应用图标找到moudle.json5文件，找到应用启动的EntryAbility下面的icon,将原来的图标改成自己设置的即可 2.更改应用名称 3.效果展示 2.1 广告页面开发 3.1 详细介绍 3.1.1 启动页面 import { PrivacyDialog } fr…...

编程日记 2025/8/29 3:45:43

认知动力学视角下的生命优化系统：多模态机器学习框架的哲学重构

认知动力学视角下的生命优化系统：多模态机器学习框架的哲学重构一、信息熵与生命系统的耗散结构在热力学第二定律框架下，生命系统可视为负熵流的耗散结构： d S d i S d e S dS d_iS d_eS dSdiSdeS 其中 d i S d_iS diS为内部熵…...

编程日记 2025/8/28 17:43:07

【Python编程】高性能Python Web服务部署架构解析

一、FastAPI 与 Uvicorn/Gunicorn 的协同 1. 开发环境：Uvicorn 直接驱动作用：Uvicorn 作为 ASGI 服务器，原生支持 FastAPI 的异步特性，提供热重载（--reload）和高效异步请求处理。启动命令： u…...

编程日记 2025/8/28 9:32:37

仿mudou库one thread oneloop式并发服务器

项目gitee：仿muduo: 仿muduo 一：项目目的 1.1项目简介通过咱们实现的⾼并发服务器组件，可以简洁快速的完成⼀个⾼性能的服务器搭建。并且，通过组件内提供的不同应⽤层协议⽀持，也可以快速完成⼀个⾼性能应⽤服务器…...

编程日记 2025/8/28 14:26:51

AI推理模型竞赛：从DeepSeek R1到Claude 3.7的关键进展

摘要在Reasoning Model首轮竞赛中，从R1到Sonnet 3.7，AI领域取得了显著进展。DeepSeek R1的发布激发了推理模型的竞争。过去一个月内，顶尖AI实验室相继推出了三款最新的SOTA推理模型：OpenAI的o3-mini和deep research，x…...

编程日记 2025/8/29 0:27:59

AORO P9000 PRO三防平板携手RTK高精度定位，电力巡检效率倍增

电网系统覆盖幅员辽阔，每年因设备故障导致的巡检耗时超过百万工日。传统巡检模式受限于定位误差、设备防护不足和作业效率低下三大核心痛点，亟需智能化工具的突破性革新。为了满足这一需求，遨游通讯推出AORO P9000 PRO三防平板，以…...

编程日记 2025/8/29 8:56:01

【Linux———信号精讲】

你是怎么做到的，给了她想要的爱............................................................................................ 文章目录前言一、【信号入门】 1.1、【生活角度的信号】 1.2、【ctrl c与z】 1.3、【信号的发送与记录】 1.4、【信号处理常见方式…...

编程日记 2025/8/28 19:17:32

Unity 文字高度自适应

期望文字有字号限制，输入文字文字后先判断高度是否适用于限制字号，若处于最小字号时高度任不适用，则调整RectTransform 的高度。核心代码每次输入文字时先将字号设定为原始字号。 comp.fontSize fontSize; comp.text content; 拓展T…...

编程日记 2025/8/29 13:54:21

鸿蒙通过用户首选项实现数据持久化

鸿蒙通过用户首选项实现数据持久化 1.1 场景介绍用户首选项为应用提供Key-Value键值型的数据处理能力，支持应用持久化轻量级数据，并对其修改和查询。当用户希望有一个全局唯一存储的地方，可以采用用户首选项来进行存储。Preferences会将该…...

编程日记 2025/8/29 2:34:00

数字图像相关(DIC)技术用于生物力学和生物材料测试

生物医学工程是一个跨学科科学领域，旨在改善人类健康和医疗护理。从工程的角度来看，生物材料、力生物学和生物制造与目标生物系统的相互作用，以实现各种医学治疗目的。数字图像相关(DIC)技术，作为一种非接触、精准高效、无损的全场…...

编程日记 2025/8/27 13:40:01

java8中young gc的垃圾回收器选型，您了解嘛

在 Java 8 的 Young GC（新生代垃圾回收）场景中，对于 ToC的场景，即需要尽可能减少垃圾回收停顿时间以满足业务响应要求的场景，以下几种收集器各有特点，通常 Parnew和 G1 young表现较为出色，下面详…...

编程日记 2025/8/30 4:08:51

【五.LangChain技术与应用】【13.LangChain与智普大模型接入：行业领先的AI整合】

当LangChain遇到智普大模型：拆解一个AI整合的超级方案最近半年，我一直在跟几个创业团队合作搞AI落地项目，发现一个特别有意思的现象：现在企业想用大模型干点实事，最大的痛点反而不是模型本身的能力，而是怎么把模型"塞"进现有系统里，还要塞得优雅、塞得高效。…...

编程日记 2025/8/27 18:20:48

【＜一＞炼丹初探：JavaWeb 的起源与基础】之 Servlet 与 JSP 的协作：MVC 模式的雏形

<前文回顾> 点击此处查看合集 https://blog.csdn.net/foyodesigner/category_12907601.html?fromshareblogcolumn&sharetypeblogcolumn&sharerId12907601&sharereferPC&sharesourceFoyoDesigner&sharefromfrom_link <今日更新> 一、Servl…...

编程日记 2025/8/28 17:15:47

NO1.C++语言基础|四种智能指针|内存分配情况|指针传擦和引用传参|const和static|c和c++的区别

1. 说⼀下你理解的 C 中的四种智能指针智能指针的作用是管理指针，可以避免内存泄漏的发生。智能指针就是一个类，当超出了类的作用域时，就会调用析构函数，这时就会自动释放资源。所以智能指针作用的原理就是在函数结束时自动释…...

编程日记 2025/8/29 13:20:03

【第14节】C++设计模式(行为模式)-Strategy (策略)模式

一、问题的提出 Strategy 模式：算法实现与抽象接口的解耦 Strategy 模式和 Template 模式要解决的问题是相似的，都是为了将业务逻辑（算法）的具体实现与抽象接口解耦。Strategy 模式通过将算法封装到一个类（Context&am…...

编程日记 2025/8/29 18:33:48

《挑战你的控制力！开源小游戏“保持平衡”开发解析：用HTML+JS+CSS实现物理平衡挑战》

📌 大家好，我是智界工具库，致力于分享好用实用且智能的软件以及在JAVA语言开发中遇到的问题，如果本篇文章对你有所帮助请帮我点个小赞小收藏吧，谢谢喲！😘😘😘 博主声…...

编程日记 2025/8/27 13:31:27

计算机数据库三级刷题总结（博主89分已过，总结的内容分享）

计算机数据库三级刷题总结（博主89分已过，总结的内容分享） 文章目录计算机数据库三级刷题总结（博主89分已过，总结的内容分享）一、数据库设计阶段二、事务相关三、数据库设计顺序四、数据库三级模式与二层映…...

编程日记 2025/8/30 4:41:32

鸿蒙HarmonyOS-Navagation基本用法

Navagation基本用法 Navigation组件是路由导航的根视图容器，一般作为Page页面的根容器使用，其内部默认包含了标题栏，内容栏和公工具栏，其中内容区默认首页显示导航内容（Navigation的子组件）或非首页显示&am…...

编程日记 2025/8/28 21:22:52

AD学习-最小系统板，双层

第一章简单电阻容模型的创建捕捉栅格在摆放器件时，一般设置成 10mil。移动器件时一般设置成100mil。比如绘制电容的原理图库，直接就是两根线条竖着成电容， 按Tab键进行颜色变更，按shift键拖动会复制一个出来。 …...

编程日记 2025/8/29 12:39:59

【一.大模型认知与核心原理篇】【3. GPT解密：大模型背后的核心技术】

各位科技爱好者，今天咱们要干一票大的——把GPT这个AI界的当红顶流扒个底朝天。你以为ChatGPT会聊天就是它的全部能耐？Too young！这货肚子里藏的可是价值百亿美金的黑科技。咱们不整那些虚头巴脑的概念，直接上手拆解它的技术内脏，让你看看这个每天被调戏的聊天机器人，到底…...

编程日记 2025/8/29 11:40:26

说一下SpringBoot3新特新和JDK17新特性

JDK1.8（Java8）新特性 stream流式编程流处理 Stream API 提供了对集合数据进行操作的一种高效、简洁的方式。它支持顺序和并行的聚合操作如：过滤（filter）、排序（sort）、映射（map&…...

编程日记 2025/8/28 17:08:01

二、Visual Studio2022配置OpenGL环境

文章目录一、OpenGL库的下载二、OpenGL环境配置三、测试代码演示一、OpenGL库的下载 OpenGL配置的库是GLFWGLAD ，GLFW 主要用于创建 OpenGL 窗口和管理输入；GLAD 主要用于加载 OpenGL 函数 GLFW下载地址下载Windows的32bit版本即可。下载完成解压如…...

编程日记 2025/8/29 6:40:20

可视化编辑器选择

可视化页面编辑器选择最近要开发一个低代码项目，一个低代码项目技术难点都在可视化编辑器上面，由于没有充足的时间，也没有可视化页面编辑器开发技术能力，因此找到一个靠谱的可视化编辑器，基本就成功了一半。需求 …...

编程日记 2025/8/29 1:45:16

tomcat的安装与配置（包含在idea中配置tomcat）

Tomcat 是由 Apache 软件基金会开发的开源 Java Web 应用服务器，主要用于运行 Servlet 和 JSP（JavaServer Pages）程序。它属于轻量级应用服务器，适用于中小型系统及开发调试场景，尤其在处理动态内容（如 Jav…...

编程日记 2025/8/28 10:20:03

【编写UI自动化测试集】Appium+Python+Unittest+HTMLRunner

简介获取AppPackage和AppActivity 定位UI控件的工具脚本结构 PageObject分层管理 HTMLTestRunner生成测试报告启动appium server服务以python文件模式执行脚本生成测试报告下载与安装下载需要自动化测试的App并安装到手机获取AppPackage和AppActivity 方法一有源码的…...

编程日记 2025/8/30 3:24:24

递归入手三维动态规划

一和零 https://leetcode.cn/problems/ones-and-zeroes/description/ 题目解析由递归入手, 就是一颗选和不选的树, 我们很好通过 dfs 来写出递归题目解析 public class 一和零 {public static int zeros;public static int ones;public int findMaxForm(String[] strs, …...

编程日记 2025/8/29 19:30:44

Vue中实现大文件的切片并发下载和下载进度展示

Vue中实现大文件的切片下载切片下载需要后端提供两个接口，第一个接口用来获取当前下载文件的总切片数，第二个接口用来获取具体某一个切片的内容。界面展示数据流展示代码接口 // 切片下载-获取文件的总切片数 export function getChunkDownload…...

编程日记 2025/8/29 7:22:52

行为模式---命令模式

概念命令模式是一种行为设计模式，它的核心思想就是将请求封装为一个对象，此对象包含与请求相关的所有信息。可以用不同的请求对客户进行参数化。命令模式通过将请求的发送者和接收者解耦，支持请求的排队、记录、撤销等操作。使用场景 1、…...

编程日记 2025/8/27 15:18:23

GNU Binutils 全工具指南：从编译到逆向的完整生态

1. GNU Binutils 全工具指南：从编译到逆向的完整生态 1. GNU Binutils 全工具指南：从编译到逆向的完整生态 1.1. 引言1.2. 工具分类速查表1.3. 核心工具详解 1.3.1. 编译与汇编工具 1.3.1.1. as（汇编器）1.3.1.2. gcc（…...

编程日记 2025/8/29 23:49:11

【手撕算法】支持向量机（SVM）从入门到实战：数学推导与核技巧揭秘

摘要支持向量机（SVM）是机器学习中的经典算法！本文将深入解析最大间隔分类原理，手撕对偶问题推导过程，并实战实现非线性分类与图像识别。文中附《统计学习公式手册》及SVM调参指南，助力你掌握这一核心算法…...

编程日记 2025/8/29 20:12:45

［QT］开发全解析：从概念到实战

文章目录 Qt 框架入门与应用开发指南一、Qt 框架概述1.1 什么是 Qt1.2 Qt 的发展史1.3 Qt 支持的平台1.4 Qt 版本1.5 Qt 的优点1.6 Qt 的应用场景1.7 Qt 的成功案例二、Qt 的开发工具概述Qt CreatorVisual StudioEclipse 三、认识 Qt Creator3.1 Qt Creator 概览3.2 使用 Qt C…...

编程日记 2025/8/28 11:35:07

进程控制 ─── linux第15课

目录进程控制 1.进程创建 (fork前面讲过了) 写时拷贝进程终止进程退出场景退出码进程终止方法进程控制 1.进程创建 (fork前面讲过了) 在linux中fork函数时非常重要的函数，它从已存在进程中创建一个新进程。新进程为子进程，而原进程为父…...

编程日记 2025/8/30 1:13:43