hadoop3.x 新特性
hadoop3.x 新特性
| Features | Hadoop 2.x | Hadoop 3.x |
|---|---|---|
| Minimum Required Java Version | JDK 6 and above. | JDK 8 is the minimum runtime version of JAVA required to run Hadoop 3.x as many dependency library files have been used from JDK 8. |
| Fault Tolerance | Fault Tolerance is handled through replication leading to storage and network bandwidth overhead.(3个副本) | Support for Erasure Coding（纠错码） in HDFS improves fault tolerance （0.5纠错码+1数据 = 1.5倍磁盘占用） |
| Storage Scheme | Follows a 3x Replication Scheme for data recovery leading to 200% storage overhead. For instance, if there are 8 data blocks then a total of 24 blocks will occupy the storage space because of the 3x replication scheme. | Storage overhead in Hadoop 3.0 is reduced to 50% with support for Erasure Coding. In this case, if here are 8 data blocks then a total of only 12 blocks will occupy the storage space. |
| Change in Port Numbers | Hadoop HDFS NameNode -8020 Hadoop HDFS DataNode -50010 Secondary NameNode HTTP -50091 | Hadoop HDFS NameNode -9820 Hadoop HDFS DataNode -9866 Secondary NameNode HTTP -9869 |
| YARN Timeline Service | YARN timeline service introduced in Hadoop 2.0 has some scalability issues. | YARN Timeline service has been enhanced with ATS v2 which improves the scalability and reliability. |
| Intra DataNode Balancing | HDFS Balancer in Hadoop 2.0 caused skew within a DataNode because of addition or replacement of disks. | Intra DataNode Balancing has been introduced in Hadoop 3.0 to address the intra-DataNode skews which occur when disks are added or replaced. |
| Number of NameNodes | Hadoop 2.0 introduced a secondary namenode as standby.(一主一备) | Hadoop 3.0 supports 2 or more NameNodes.（一主多备） |
| Heap Size | In Hadoop 2.0 , for Java and Hadoop tasks, the heap size needs to be set through two similar properties mapreduce.{map,reduce}.java. Opts and mapreduce.{map,reduce}.memory.mb | In Hadoop 3.0, heap size or mapreduce.*.memory.mb is derived automatically. |
hdfs HA 逻辑
- 增加用于主备之间信息共享推送的
JournalNode
JournalNode是 hadoop 根据 paxos 协议实现的日志服务 - 增加用于选主决策的 zookeeper 集群：
ha.zookeeper.quorum配置 - 增加用于监控同机器上的 namenode，试图选举，切换本地 namenode 的 active,standby 状态的zookeeper failover controller（zkfc）进程：
QuorumPeerMain
相关文章：
hadoop3.x 新特性
hadoop3.x 新特性 FeaturesHadoop 2.xHadoop 3.xMinimum Required Java VersionJDK 6 and above.JDK 8 is the minimum runtime version of JAVA required to run Hadoop 3.x as many dependency library files have been used from JDK 8.Fault ToleranceFault Tolerance is …...
单片机智能家居火灾环境安全检测-分享
目录 前言 一、本设计主要实现哪些很“开门”功能？ 二、电路设计原理图 电路图采用Altium Designer进行设计： 三、实物设计图 四、程序源代码设计 五、获取资料内容 前言 传统的火灾报警系统大多依赖于简单的烟雾探测器或温度传感器，…...
241117学习日志——[CSDIY] [ByteDance] 后端训练营 [05]
CSDIY：这是一个非科班学生的努力之路，从今天开始这个系列会长期更新，（最好做到日更），我会慢慢把自己目前对CS的努力逐一上传，帮助那些和我一样有着梦想的玩家取得胜利！！&…...
Oracle 19C 安装RAC磁盘投票失败
ORACLE 19C 安装RAC第二个节点报错，没有找到足够的 voting 文件（投票磁盘） 1、磁盘投票失败分析 1.1、02节点报错日志 CRS-4123: Starting Oracle High Availability Services-managed resources CRS-2672: Attempting to start ora.mdnsd…...
vulfocus在线靶场：骑士cms_cve_2020_35339:latest 速通手册
目录 一、启动环境，访问页面，ip:端口号/index.php?madmin,进入后台管理页面，账号密码都是adminadmin 二、进入之后，根据图片所示，地址后追加一下代码，保存修改 三、新开标签页访问：①ip:端…...
【Linux内核深度解析】TCP协议栈之tcp_recvmsg
tcp_recvmsg 是 Linux 内核中用于处理 TCP 套接字接收数据的核心函数。它的主要任务是从接收队列中读取数据并将其复制到用户空间。 函数原型 int tcp_recvmsg(struct kiocb *iocb, struct sock *sk, struct msghdr *msg, size_t len, int nonblock, int flags, int *addr_le…...
android-studio-4.2下载 、启动
下载 分享一个国内的android studio网站，可以下载SDK和一些Android studio开发工具 https://www.androiddevtools.cn/ 启动 JAVA_HOME/app/zulu17.48.15-ca-jdk17.0.10-linux_x64/ /app5/android-studio-home/android-studio-ide-201.6568795-linux-4.2C1/bin/s…...
)
Excel——宏教程(2)
Excel——宏教程(2) 一)、处理单元格 1、直接赋值与引用 将变量、常量值直接赋给单元格、或将单元格的值直接赋给变量、常量，这是在excel中最简单的单元格赋值及引用方法。 如下例将工作表"Sheet1"A1单元格的值赋给Integer变量I，并将I1的值…...
React Native 全栈开发实战班 - 性能与调试之打包与发布
在完成 React Native 应用的开发与性能优化后，下一步就是将应用打包并发布到各大应用市场，如 Apple App Store 和 Google Play Store。本章节将详细介绍 React Native 应用的打包与发布流程，包括 Android 和 iOS 平台的打包步骤、签名配置、发…...
)
C# 5000 转16进制 字节(激光器串口通讯生成指定格式命令)
最近在做一个与激光器用串口进行通讯的程序文档中要求将频率参数以3个字节的方式进行发送。这里记录一下过程。以便以后再有类似问题时可以快速解决。 /// <summary>/// 设置频率/// </summary>/// <param name"sender"></param>/// <par…...
Win11下载和配置VSCode（详细讲解）
配置VSCode需要的工具： 一、MinGW-w64 二、Visual Studio Code 一、MinGW-w64下载 1、下载 MinGW官网地址： Downloads - MinGW-w64 直链下载： 下载 mingw-w64-install.exe （MinGW-w64 - 适用于 32 位和 64 位 Windows&#…...
基于Multisim的多路智力竞赛抢答器设计与仿真
(1)设计一个8路智力竞赛抢答器,主持人可控制系统的清零和抢答的开始,控制电路可实现最快抢答选手按键抢答的判别和锁定功能，并禁止后续其他选手抢答。 (2)抢答选手确定后给出一声音响的提示和选手编号的显示，抢答选手的编号显示保持到系统被清零为止。 …...
Three.js 闪电效果
闪电shader const shader new THREE.ShaderMaterial({uniforms: {iTime: this.iTime,color: { value: new THREE.Color("#D2F8FE") },},vertexShader: /* glsl */ varying vec2 vUv;varying float normalizeY;void main() {// vUv (uv * 2. - 2.) * vec2(0.3,2.);…...
高效序列化工具（1）-----Protobuf
目录 1.Protobuf Protobuf 的特点 工作原理 Protobuf 与 JSON、XML 的对比 2.protobuf语法 1.数据类型 2.消息 3.枚举 4.嵌套消息 5.重复字段 6.默认值 7.其他类型 1.oneof类型 2.any类型 8.文件组织 3.protobuf命令 1.常见命令 选项： 1. --proto_…...
湛江市社保卡申领指南：手机获取电子照片回执单号
在湛江市，社保卡的申领流程已经实现了数字化，为市民带来了极大的便利。特别是通过手机获取数码照片回执单号，这一环节更是简化了申领过程。今天，我们将详细介绍如何不去照相馆，利用手机来获取数码照片回执单号…...
)
HTML5实现剪刀石头布小游戏(附源码)
文章目录 1.设计来源1.1 主界面1.2 皮肤风格1.2 游戏中界面 2.效果和源码源码下载万套模板，程序开发，在线开发，在线沟通 作者：xcLeigh 文章地址：https://blog.csdn.net/weixin_43151418/article/details/143798520 HTM…...
TypeScript之常见类型
常见类型（Everyday Types） 本章我们会讲解 JavaScript 中最常见的一些类型，以及对应的描述方式。注意本章内容并不详尽，后续的章节会讲解更多命名和使用类型的方式。 类型可以出现在很多地方，不仅仅是在类型注解 (type annotations)中。我们不仅要学习类型本身，也要学习…...
MacOS java多版本安装与管理-sdkman
安装sdkman curl -s "https://get.sdkman.io" | bashsource "$HOME/.sdkman/bin/sdkman-init.sh"sdk version正常出现sdkman版本号就安装成功了 # 安装java # 安装java8 sdk install java 8.0.412.fx-zulu建议和上述一样安装 fx-zulu 的jdk，…...
NLP论文速读（多伦多大学）|利用人类偏好校准来调整机器翻译的元指标
论文速读|MetaMetrics-MT: Tuning Meta-Metrics for Machine Translation via Human Preference Calibration 论文信息： 简介： 本文的背景是机器翻译（MT）任务的评估。在机器翻译领域，由于不同场景和语言对的需求差异&a…...
20241121 android中树结构列表（使用recyclerView实现）
1、adapter-item的布局 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"wrap_content&…...
达索系统亮相第三十一届中国汽车工程学会年会暨展览会
伴随着改革开放以及中国入世WTO，三十多年来，中国汽车产销已经成为世界最大的单一市场而独占鳌头。近十年来，另辟蹊径的中国汽车产业人在新能源汽车赛道上引领了一波又一波令全球惊艳的创新成就，成为最为靓丽的新出口三大件的头牌。…...
Python网络爬虫实践案例：爬取猫眼电影Top100
以下是一个Python网络爬虫的实践案例，该案例将演示如何使用Python爬取猫眼电影Top100的电影名称、主演和上映时间等信息，并将这些信息保存到TXT文件中。此案例使用了requests库来发送HTTP请求，使用re库进行正则表达式匹配，并包含详…...
ROSSERIAL与Arduino IDE交叉开发（UBUNTU环境，包含ESP32、arduino nano）
ROSSERIAL与Arduino IDE交叉开发 一、简介二、安装1、Ubuntu下的Arduino IDE安装 **针对ESP32报错问题原因溯源和修改**三、运行结点 一、简介 这个教程展示在ubuntu环境下如何利用Arduino IDE配合rosserial开发机器人部件。通过Arduino IDErosserial实现arduino/esp32开发板通…...
爬虫开发工具与环境搭建——使用Postman和浏览器开发者工具
第三节：使用Postman和浏览器开发者工具 在网络爬虫开发过程中，我们经常需要对HTTP请求进行测试、分析和调试。Postman和浏览器开发者工具（特别是Network面板和Console面板）是两种最常用的工具，能够帮助开发者有效地捕…...
ceph 18.2.4二次开发，docker镜像制作
编译环境要求 #需要ubuntu 22.04版本 参考https://docs.ceph.com/en/reef/start/os-recommendations/ #磁盘空间最好大于200GB #内存如果小于100GB 会有OOM的情况发生,需要重跑 目前遇到内存占用最高为92GB替换阿里云ubuntu 22.04源 将下面内容写入/etc/apt/sources.list 文件…...
游戏引擎学习第19天
介绍 这段内容描述了开发者在进行游戏开发时，对于音频同步和平台层的理解和调整的过程。以下是更详细的复述： 开发者表达了他希望今天继续进行的工作内容。他提到，昨天他讲解了一些关于音频的内容，今天他想稍微深入讲解一下他正…...
简单实现vue2响应式原理
vue2 在实现响应式时，是根据 object.defineProperty() 这个实现的，vue3 是通过 Proxy 对象实现，但是实现思路是差不多的，响应式其实就是让 函数和数据产生关联，在我们对数据进行修改的时候，可以执行相关的副…...
TypeScript 中扩展现有模块的用法
declare module 是 TypeScript 中用于扩展现有模块的特性。它允许开发者在已有模块的基础上，添加新的功能（比如扩展接口、添加类型声明等）。通过 declare module，可以将额外的声明合并到原模块中。以下是用法详解： 用…...