当前位置： 首页 > news >正文

【Hadoop入门】Hadoop生态之HDFS

news 来源：原创 2025/9/20 10:20:32

1 HDFS核心设计原理

HDFS（Hadoop Distributed File System）是专为大规模数据存储设计的分布式文件系统，其核心设计基于以下原则：
数据分块与分布式存储：
  • 分块机制：文件被切分为固定大小的数据块（默认128MB或256MB），分散存储在集群节点中
  • 冗余备份：每个数据块默认存储3个副本，确保高容错性
主从架构：
  • NameNode（主节点）：管理文件系统命名空间，维护数据块与DataNode的映射关系
  • DataNode（从节点）：实际存储数据块，定期向NameNode汇报状态
高容错性：
  • 数据冗余：通过多副本机制防止单点故障
  • 自动恢复：DataNode宕机时，NameNode会调度其他节点重建副本

2 HDFS的关键特性

高吞吐量：
  • 专为顺序读写优化，适合批量处理场景（如日志分析、数据仓库）
  • 传统文件系统（如NFS）在并发小文件读写时性能更优，但HDFS在大文件场景下吞吐量更高
可扩展性：
  • 支持PB级数据存储，集群规模可动态扩展至数千节点
低成本硬件支持：
  • 可在廉价商用硬件上运行，通过软件层面实现高可靠性
  • 降低硬件采购成本，适合预算有限的企业
流式数据访问：
  • 优化一次写入、多次读取模式，不支持随机修改
  • 适用场景：视频流、日志文件等顺序访问数据

3 HDFS的局限性

延迟较高：
  • 不适合低延迟应用（如实时数据库、在线交易）
  • 原因：数据块分布导致访问需跨网络节点
小文件问题
  • 大量小文件会占用过多NameNode内存，降低系统效率
  • 解决方案：合并小文件（如使用HAR或SequenceFile）
不支持并发写入
  • 同一文件只能由一个写入者修改，适合追加写入模式
  • 替代方案：HBase等NoSQL数据库支持并发写入

4 HDFS典型应用场景

大数据处理：
  • 作为Hadoop生态的存储基石，支撑MapReduce、Spark等计算框架
数据仓库：
  • 存储结构化数据，供Hive、Impala等工具查询分析
内容存储与分发：
  • 存储视频、音频等多媒体文件，供流媒体服务使用
日志与备份：
  • 集中存储服务器日志、系统备份数据
  • 优势：低成本、高容错性，适合长期归档

5 总结

HDFS作为大数据时代的基石技术，以其高吞吐量、可扩展性和容错性，在离线存储与分析领域占据核心地位。然而，其设计初衷决定了其在实时性、小文件处理等方面的具有一定的局限性。

相关文章：

【Hadoop入门】Hadoop生态之HDFS

1 HDFS核心设计原理 HDFS（Hadoop Distributed File System）是专为大规模数据存储设计的分布式文件系统，其核心设计基于以下原则： 数据分块与分布式存储： 分块机制：文件被切分为固定大小的数据块&#xff08…...

编程日记 2025/9/20 10:20:32

试剂SYBR 14核酸染料在染色时的操作步骤（说明）

化学试剂的基本内容||试剂参数 ---中文名：SYBR 14核酸染料 ---英文名：SYBR 14 Nucleic Acid Stain ---浓度：通常以5mM的DMSO储存液形式提供。 ---吸收波长：488nm ---发射波长：518nm ---出厂商：西安强…...

编程日记 2025/9/20 10:17:09

Spring Boot 国际化配置项详解

Spring Boot 国际化配置项详解 1. 核心配置项分类 将配置项分为以下类别，便于快速定位： 1.1 消息源配置（MessageSource 相关） 控制属性文件的加载、编码、缓存等行为。 配置项作用默认值示例说明spring.messages.basename指定属…...

编程日记 2025/9/11 8:47:31

Python之禅：深入理解Python设计哲学

Python之禅(The Zen of Python)是Python语言的核心设计哲学，由Python创始人Guido van Rossum和Tim Peters共同制定。理解Python之禅不仅能帮助我们写出更"Pythonic"的代码，还能深入把握Python语言的设计理念。 Python之禅的由来 Python之禅最…...

编程日记 2025/9/9 18:02:36

Rancher 全面介绍

目录 Rancher 全面介绍1. **Rancher 的定义与核心功能**2. **Rancher 的应用场景**3. **Rancher 的生态系统**4. **Rancher 的优势**5. **总结** Rancher 全面介绍 1. Rancher 的定义与核心功能 Rancher 是一个开源的企业级多集群 Kubernetes 管理平台，旨在简化容…...

编程日记 2025/9/19 23:08:15

Docker常用命令

镜像命令 搜索镜像 docker search nginx 拉取镜像 docker pull nginx，默认拉取最新镜像 docker pull nginx:1.25.3，拉取指定版本 查看镜像 docker images 删除镜像 docker rmi nginx:1.25.3 docker rmi -f $(docker images -aq)，删除全…...

编程日记 2025/9/20 10:18:55

项目中如何防止超卖

什么是超卖？假如只剩下一个库存，却被多个订单买到了，简单理解就是库存不够了还能正常下单。 方案1：数据库行级锁 1. 实体类 Data TableName("product") public class Product {TableId(type IdType.AUTO)private Lon…...

编程日记 2025/9/11 0:16:45

龙虎榜——20250408

行情如下 根据2025年4月8日的龙虎榜的行业分析如下： 一、农业种植与乡村振兴 • 政策催化：推进种业自主创新、农机装备升级等目标，叠加中美关税反制逻辑。 • 市场表现： • 农业种植：种子类企业因国产替代预期受资…...

编程日记 2025/9/18 17:26:22

快速上手Vue3国际化 (i18n)

文章目录 一、背景介绍二、页面效果三、使用步骤四、代码1.src/App.vue2.src/main.js3.src/locales/index.js4.src/views/login/_request.js5.src/locales/en.json6.src/locales/zh.json7.SystemParam.vue8.I18NController.java9.DataServiceConfigValue.java10.ConfigValue.ja…...

编程日记 2025/9/18 15:22:42

Mistral OCR：重新定义文档理解的下一代 OCR 技术

引言 在数字化时代，文档处理和理解是企业、科研机构以及个人工作流程中的重要环节。然而，传统的光学字符识别（OCR）技术往往难以应对复杂文档中的多语言、多模态内容。近日，法国 AI 明星创企 Mistral AI 推出了一款名为 Mistral OCR 的光学字符识别 API，以其卓越的性能和…...

编程日记 2025/9/11 8:49:14

前端面试核心知识点整理：从 JavaScript 到 Vue 全解析

一、JavaScript 异步编程核心：Promise 与 async/await 1. Promise 深度解析 定义：Promise 是处理异步操作的对象，代表一个异步操作的最终状态（成功 / 失败）。三种状态： pending（进行中）：初始状态，异步操作未完成。fulfilled（已成功）：异步操作成功，调用 resolve …...

编程日记 2025/9/20 5:53:40

npm fund 命令的作用

运行别人的项目遇到这个问题： npm fund 命令的作用 npm fund 是 npm 提供的命令，用于显示项目依赖中哪些包需要资金支持。这些信息来自包的 package.json 中定义的 funding 字段，目的是帮助开发者了解如何支持开源维护者。 典型场景示例 假…...

编程日记 2025/9/16 4:16:51

LeetCode344反转字符串

思路&#xff1a; 交换即可 void reverseString(char* s, int sSize) {int jsSize-1;for(int i0;i<sSize/2;i){int tmps[i];s[i]s[j];s[j]tmp;j--;} }...

编程日记 2025/8/17 21:58:39

[Python] 企业内部应用接入钉钉登录，端内免登录+浏览器授权登录

[Python] 为企业网站应用接入钉钉鉴权&#xff0c;实现钉钉客户端内自动免登授权&#xff0c;浏览器中手动钉钉授权登录两种逻辑。 操作步骤 企业内部获得 开发者权限&#xff0c;没有的话先申请。 访问 钉钉开放平台-应用开发 创建一个 企业内部应用-钉钉应用。 打开应用…...

编程日记 2025/9/10 21:13:11

设计模式-单例设计模式

目录 什么是单例设计模式&#xff1f; 为什么要使用单例模式&#xff1f; 资源方面 数据一致方面 系统性能方面 代码维护方面 如何设计单例类&#xff1f; 在说模式之前&#xff0c;我们需要先知道怎么设计才可以让一个类只能有一个实例化对象呢&#xff1f; 饿汉模式…...

编程日记 2025/9/18 20:30:09

Nextjs15 实战 - React Notes CURD 实现

本专栏内容均可在Github&#xff1a;notes_04 找到 完整项目使用技术栈&#xff1a; Nextjs15 MySQL Redis Auth Prisma i18n strapi Docker vercel 一、本节目标 本篇我们来实现右侧笔记CURD部分。 一、效果 当点击 New 按钮的时候进入编辑界面&#xff1a; 当点击…...

编程日记 2025/9/9 4:53:57

【KWDB 创作者计划】架构设计与AIoT场景实践

产品定位与核心价值主张 架构设计与技术实现 分布式架构设计 多模存储引擎实现 云边端协同机制 核心技术创新解析 就地计算技术 自适应时序引擎 混合事务处理 性能优化技术体系 高效存储机制 查询加速策略 资源管理与隔离 行业解决方案与典型应用 工业物联网平台…...

编程日记 2025/9/10 7:54:46

DeepSeek底层揭秘——《推理时Scaling方法》技术对比浅析

4月初&#xff0c;DeepSeek 提交到 arXiv 上的最新论文正在 AI 社区逐渐升温。 笔者尝试对比了“关于推理时Scaling”与现有技术&#xff0c;粗浅分析如下&#xff1a; 与LoRA的对比 区别&#xff1a; 应用场景&#xff1a;LoRA是一种参数高效微调方法&#xff0c;主要用于在…...

编程日记 2025/9/18 14:22:41

Spring MVC与Spring Boot文件上传配置差异对比及文件上传关键类详细说明与对比

一、Spring MVC与Spring Boot文件上传配置差异对比 1. 配置方式差异 框架配置方式依赖管理自动配置Spring MVC需手动配置MultipartResolver&#xff08;如StandardServletMultipartResolver&#xff09;需自行引入commons-fileupload等依赖无&#xff0c;默认不启用文件上传支…...

编程日记 2025/9/10 11:51:58

Linux网络配置与测试

目录 一.与网络配置相关的命令 1.1ifconfig命令 1.1.1作用 1.1.2网络接口的信息 接口信息的组成 1.1.3显示所有网卡包括没有启动的网卡 1.1.4查看指定网络接口 1.1.5开启或关闭网卡 1.1.6设置临时虚拟网卡 1.1.7网络通讯情况 ​编辑 1.1.8临时修改网卡属性 1.2hos…...

编程日记 2025/9/8 9:41:02

游戏赛季和数据处理

问题 游戏从无赛季到赛季机制会涉及哪些问题&#xff1a; 如何改动&#xff0c;增加赛季机制&#xff0c;涉及要修改的代码量最少如何改动&#xff0c;账号、角色部分数据继承问题&#xff0c;涉及要修改的代码量最少账号下角色的永久服共享或是永久服独立&#xff0c;需要做…...

编程日记 2025/9/8 12:00:25

京东店铺托管7*16小时全时护航

内容概要 京东店铺托管服务的*716小时全时护航模式&#xff0c;相当于给商家配了个全年无休的"运营管家"。专业团队每天从早7点到晚11点实时盯着运营数据和商品排名&#xff0c;连半夜流量波动都能通过智能系统秒级预警。这种全天候服务可不是单纯拼人力——系统自动…...

编程日记 2025/9/11 6:31:16

HTTP的Keep-Alive是什么?TCP 的 Keepalive 和 HTTP 的 Keep-Alive 是一个东西吗?

HTTP的Keep-Alive&#xff1a; HTTP Keep-Alive 是一种机制&#xff0c;允许客户端和服务器在单个 TCP 连接 上发送多个 HTTP 请求 和 响应&#xff0c;而不是每次请求和响应后都关闭连接。它的主要目的是提高性能&#xff0c;减少连接的开销&#xff0c;优化通信效率。 工作…...

编程日记 2025/9/12 1:38:54

使用scoop一键下载jdk和实现版本切换

安装 在 PowerShell 中输入下面内容&#xff0c;保证允许本地脚本的执行&#xff1a; set-executionpolicy remotesigned -scope currentuser然后执行下面的命令安装 Scoop&#xff1a; iwr -useb get.scoop.sh | iex国内用户可以使用镜像源安装&#xff1a;powershell iwr -us…...

编程日记 2025/9/15 1:39:39

PPIO × UI-TARS：用自然语言操控电脑，AI Agent 的极致体验

Manus的爆火预示着AI 正在从单纯的文本生成和图像识别迈向更复杂的交互场景。字节跳动近期推出的开源项目 UI-TARS Desktop 为我们展示了一种全新的可能性&#xff1a;能够通过自然语言理解和处理来控制计算机界面。这款工具代表了人工智能与人机交互领域的重大突破&#xff0c…...

编程日记 2025/9/19 4:31:45

PG：incorrect prev-link

目录 WAL日志中"incorrect prev-link"错误解决方案错误原因分析解决步骤典型修复案例 WAL日志中"incorrect prev-link"错误解决方案 错误原因分析 WAL日志的prev-link字段用于确保日志记录的连续性。当出现incorrect prev-link 2/754ECB0 at 2/8000028错…...

编程日记 2025/9/19 1:47:53

SQL Server 数据库邮件配置失败：SMTP 连接与权限问题

问题现象&#xff1a; 配置数据库邮件时&#xff0c;发送测试邮件失败&#xff0c;提示 “邮件无法发送到 SMTP 服务器&#xff0c;操作超时”&#xff08;错误 14661&#xff09;或 “服务器拒绝发件人地址”&#xff08;错误 15009&#xff09;。 快速诊断 检查数据库邮件配置…...

编程日记 2025/9/20 5:18:31

深入浅出动态规划：从基础到蓝桥杯实战（Java版）

引言&#xff1a;为什么你需要掌握动态规划&#xff1f; 动态规划&#xff08;DP&#xff09;是算法竞赛和面试中的常客&#xff0c;不仅能大幅提升解题效率&#xff08;时间复杂度通常为O(n)或O(n)&#xff09;[4]&#xff0c;更是解决复杂优化问题的利器。统计显示&#xff…...

编程日记 2025/9/16 1:59:32

获取cookie的chrome插件：Get cookies.txt LOCALLY

接上一篇&#xff0c;在下载视频的时候需要网站的cookie&#xff0c;下面介绍一款可以获取网站cookie的chrome插件 https://chromewebstore.google.com/detail/get-cookiestxt-locally/cclelndahbckbenkjhflpdbgdldlbecc?utm_sourceitem-share-cb 备注需要科学上网 【使用方…...

编程日记 2025/9/20 0:57:35

opencv无法设置禁用RGB转换问题

树莓派连接摄像头,摄像头输出格式为YUYV(YUV422)。 通过执行 v4l2-ctl --list-formats --device/dev/video0 可以看的具体的摄像头的数据格式。 使用opencv获取视频流&#xff0c;通过cap.set(cv2.CAP_PROP_CONVERT_RGB, 0)设置禁用自动转换RGB格式&#xff0c;但是打印输出…...

编程日记 2025/8/17 22:00:33

Ansible：roles角色

文章目录 Roles角色Ansible Roles目录编排Roles各目录作用创建 roleplaybook调用角色调用角色方法1&#xff1a;调用角色方法2&#xff1a;调用角色方法3&#xff1a; roles 中 tags 使用实战案例 Roles角色 角色是ansible自1.2版本引入的新特性&#xff0c;用于层次性、结构化…...

编程日记 2025/9/19 13:34:04

SAP系统采购信息记录失效

问题&#xff1a;采购信息记录失效 现象&#xff1a;最初主数据导入完成之后&#xff0c;单元测试的时采购信息记录是有效的&#xff0c;中间经过配置的变化&#xff0c;集成测试初期发现采购信息记录全部失效。 原因&#xff1a; 单元测试时发现采购订单里面的条件类型…...

编程日记 2025/9/7 8:09:10

JavaWeb 课堂笔记 —— 04 Ajax

本系列为笔者学习JavaWeb的课堂笔记&#xff0c;视频资源为B站黑马程序员出品的《黑马程序员JavaWeb开发教程&#xff0c;实现javaweb企业开发全流程&#xff08;涵盖SpringMyBatisSpringMVCSpringBoot等&#xff09;》&#xff0c;章节分布参考视频教程&#xff0c;为同样学习…...

编程日记 2025/9/10 18:33:28

Pandas 库

Pandas 是一个开源的数据分析和数据处理库&#xff0c;它是基于 Python 编程语言的。 Pandas 提供了易于使用的数据结构和数据分析工具&#xff0c;特别适用于处理结构化数据&#xff0c;如表格型数据 Pandas 是数据科学和分析领域中常用的工具之一&#xff0c;它使得用户能够…...

编程日记 2025/9/18 22:18:48

4.8学习总结

完成摆动序列的算法题&#xff08;比较难&#xff0c;想不出方法&#xff09; 学习了HashMap,TreeMap 的源码&#xff08;看完一遍对其理解没有太清楚&#xff0c;还需再多刷几遍理解源码及其底层逻辑的概念&#xff09; 学习了可变参数和Collections工具类...

编程日记 2025/8/17 21:58:30

C语言之九九乘法表

一、代码展示 二、运行结果 三、代码分析 首先->是外层循环是小于等于9的 然后->是内层循环是小于等于外层循环的 最后->就是\n让九九乘法表的格式更加美观(当然 电脑不同 有可能%2d 也有可能%3d) 四、与以下素数题目逻辑相似 五、运行结果...

编程日记 2025/8/17 21:57:20

【Linux操作系统】：信号

Linux操作系统下的信号 一、引言 首先我们可以简单理解一下信号的概念&#xff0c;信号&#xff0c;顾名思义&#xff0c;就是我们操作系统发送给进程的消息。举个简单的例子&#xff0c;我们在写C/C程序的时候&#xff0c;当执行a / 0类似的操作的时候&#xff0c;程序直接就挂…...

编程日记 2025/9/16 1:59:36

skynet.call使用详解

目录 skynet.call 详细解析1. 函数签名与参数2. 内部实现机制3. 会话ID与协程调度4. 超时与错误处理5. 返回值处理6. 协议类型的影响7. skynet.call vs skynet.send8. 示例代码分析9. 最佳实践10. 总结 skynet.call 详细解析 1. 函数签名与参数 函数签名&#xff1a; skynet…...

编程日记 2025/9/18 11:27:39

uniapp 打包 H5 向 打包的APP 使用 @dcloudio/uni-webview-js 传值

1.安装 dcloudio/uni-webview-js npm install dcloudio/uni-webview-js -save 这个模块的 uni. 会与H5的uniapp的 uni. 冲突,所以需要改下名称,一共需要改3处 2.引入并使用 import uniWeb from dcloudio/uni-webview-js;uniWeb.postMessage({data: {action: message,content…...

编程日记 2025/9/12 15:20:28

c语言 文件操作

c语言 文件操作 one 打开/usr/dev.txt文件&#xff0c;在第1行 覆盖写入 "MAC1q23456789" #include <fcntl.h> #include <unistd.h> #include <string.h> int main() { const char *line_1 "MAC1q23456789\n"; // 要写入的内容…...

编程日记 2025/9/4 3:33:59

企业电子招投标采购系统——功能模块功能描述+数字化采购管理 采购招投标

​功能描述 1、门户管理&#xff1a;所有用户可在门户页面查看所有的公告信息及相关的通知信息。主要板块包含&#xff1a;招标公告、非招标公告、系统通知、政策法规。 2、立项管理&#xff1a;企业用户可对需要采购的项目进行立项申请&#xff0c;并提交审批&#xff0c;查看…...

编程日记 2025/9/18 11:25:41

Python 序列构成的数组(序列的增量赋值)

序列的增量赋值 增量赋值运算符 和 * 的表现取决于它们的第一个操作对象。简单起 见&#xff0c;我们把讨论集中在增量加法&#xff08;&#xff09;上&#xff0c;但是这些概念对 * 和其他 增量运算符来说都是一样的。 背后的特殊方法是 iadd &#xff08;用于“就地加法”&…...

编程日记 2025/8/25 1:18:18

力扣hot100【链表】

160.相交链表 题目 我的思路&#xff1a;两个链表一长一短&#xff0c;先把长的提前遍历使两个链表的长度相等&#xff0c;然后同时遍历&#xff0c;如果遍历的节点相等时说明相交&#xff0c;否则不相交。 /*** Definition for singly-linked list.* struct ListNode {* …...

编程日记 2025/9/10 4:23:29

PyTorch 生态迎来新成员：SGLang 高效推理引擎解析

SGLang 现已正式融入 PyTorch 生态系统&#xff01;此次集成确保了 SGLang 符合 PyTorch 的技术标准与最佳实践&#xff0c;为开发者提供了一个可靠且社区支持的框架&#xff0c;助力大规模语言模型&#xff08;LLM&#xff09;实现高效且灵活的推理。 如需深入了解 PyTorch…...

编程日记 2025/9/19 10:39:42

C++ Primer Plus 编程练习题 第六章 分支语句和逻辑运算符

1.大小写转换 使用cctype库里的函数进行大小写转换,但要注意使用toupper或tolower时要进行强制类型转换&#xff0c;否则会输出ASCII值 #include <iostream> #include<cctype> using namespace std;int main() {cout << "请输入字符串&#xff08;大…...

编程日记 2025/9/10 22:32:56

一文详解OpenGL环境搭建：Windows使用CLion配置OpenGL开发环境

在计算机图形学的广阔领域中，OpenGL作为行业标准的图形库，为开发者提供了强大的工具集来创建从简单的2D图形到复杂的3D世界。然而，对于初学者和经验丰富的开发者而言，选择一个合适的开发环境是迈向成功的第一步。尤其是在Windows平台上，配置一个既支持现代C++编程实践又能…...

编程日记 2025/9/14 14:11:27

一次奇怪的enq: TX - row lock contention锁问题处理

某天上午客户告知数据库库有锁导致数据库卡死&#xff0c;需排查出问题的原因&#xff0c;从根本上解决问题。 按正常步骤&#xff0c;查询V$SESSION中BLOCKING_SESSION列不为空的&#xff0c;发现没有进程互相阻塞的情况&#xff1b;而查询ACTIVE会话&#xff0c;则有大量进程…...

编程日记 2025/9/12 6:13:17

STL常用容器整理

STL常用容器操作整理 STL常用容器操作整理&#xff08;string/vector/set/map&#xff09;一、string&#xff08;字符串&#xff09;构造函数元素访问修改操作容量操作子串与查找 二、vector&#xff08;动态数组&#xff09;构造函数元素访问修改操作容量操作 三、set&#x…...

编程日记 2025/8/17 22:09:03

深入 PostgreSQL 内部：5 个关键阶段拆解查询处理全流程

引言 当您向 PostgreSQL 发送查询时&#xff0c;后端会经历多个处理阶段。每个阶段承担着不同的职责&#xff0c;以确保您能在最短时间内获得准确响应。虽然这些阶段可能庞大而复杂&#xff0c;但理解它们在查询处理中的角色对 PostgreSQL 开发者至关重要。本文将概述每个查询…...

编程日记 2025/9/18 14:19:09

解析 LILIkoi 光纤力传感器：FBG 原理铸就耐高温抗干扰优势

LILIkoi光纤力传感器通过光纤光栅&#xff08;FBG&#xff09;技术实现高精度力测量。其核心原理基于光纤内光栅栅距的微小变化&#xff0c;用以感知外界施加的力。该传感器在高温、强辐射等恶劣环境中表现出色&#xff0c;能够有效抵抗电磁干扰和温度漂移。凭借卓越的性能&…...

编程日记 2025/9/12 11:32:54