当前位置：首页 > news >正文

Hadoop第2课（伪分布式集群的搭建）

news 来源：原创 2025/9/12 22:29:32

jdk和hadoop安装包：

hadoop-2.9.2.t......等2个文件官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘

1、用XFTP发送hadoop安装包和jdk到/home/hadoop/目录下（hadoop用户的主目录）

2、解压jdk安装包到~目录

卸载jdk的命令：rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

cd /home/hadoop
tar -zxvf /home/hadoop/jdk-8u311-linux-x64.tar.gz

3、配置bashrc

vim ~/.bashrc

export JAVA_HOME=/home/hadoop/jdk1.8.0_311
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME

保存后输入source ~/.bashrc

4、继续解压hadoop安装包到~目录
tar –zxvf hadoop-2.9.2.tar.gz

5、配置bashrc

vim .bashrc
export HADOOP_HOME=/home/hadoop/hadoop-2.9.2
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source .bashrc

6、配置Hadoop配置文件，实现伪分布式；

Hadoop 配置文件很多，都位于 $HADOOP_HOME/etc/hadoop 下。

下面简单的描述一下几个重要的配置文件：

hadoop-env.sh：运行 Hadoop 要用的环境变量。

core-site.xml：核心配置项，包括 HDFS、MapReduce 和 YARN 常用的 I/O 设置等。

hdfs-site.xml：HDFS相关进程的配置项，包括 NameNode、SecondaryNameNode、DataNode等。

yarn-site.xml：YARN 相关进程的配置项，包括 ResourceManager、NodeManager 等。

mapred-site.xml：MapReduce 相关进程的配置项。

slaves：从节点配置文件，通常每行 1 个从节点主机名。

log4j.properties：系统日志、NameNode 审计日志、JVM 进程日志的配置项。

Hadoop伪分布式配置：

所有配置文件都在hadoop安装目录下的/etc/hadoop/里，所以先cd进去：

cd ~/hadoop-2.9.2/etc/hadoop

1.vim ./hadoop-env.sh

设置一项java安装目录即可：

export JAVA_HOME=/home/hadoop/jdk1.8.0_311

2.vim ./core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name><value>hdfs://master:9000</value>
<!--配置hdfs NameNode的地址，9000是RPC通信的端口-->
</property>
<property><name>hadoop.tmp.dir</name><value>/home/hadoop/data/tmp</value>
<!--hadoop运行时产生的临时文件的存放目录-->
</property>
</configuration>

3.vim hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/dfs/name</value>
<!--配置namenode节点存储fsimage的目录位置-->
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<!--配置hdfs副本数量-->
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<!--关闭hdfs的权限检查-->
</property>
<!--配置datanode 节点存储block的目录位置-->
</configuration>

4. vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<!--指定运行mapreduce的环境为YARN-->
</property>
</configuration>

5.vim yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<!--配置NodeManager执行MapReduce任务的方式为Shuffle混洗-->
</property>
</configuration>

6.vim slaves

该文件主要配置datanode角色的主机，目前我们属于伪分布式，因此只填写本机作为从节点即可

改为：master

7.创建三个用来存放文件

mkdir -p /home/hadoop/data/tmp

mkdir -p /home/hadoop/data/dfs/name

mkdir -p /home/hadoop/data/dfs/data

8. 启动Hadoop伪分布式集群并测试：

（1）格式化NameNode

hdfs namenode -format

（2）启动集群

start-all.sh

查看进程
jps
查看HDFS
浏览器输入网址：http://master:50070/

查看YARN
浏览器输入网址：http://master:8088/

测试集群：见课本

Hadoop第2课（伪分布式集群的搭建）

jdk和hadoop安装包： hadoop-2.9.2.t......等2个文件官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘 1、用XFTP发送hadoop安装包和jdk到/home/hadoop/目录下（hadoop用户的主目录） 2、解压jdk安装包到~目录卸载jdk的命令：r…...

编程日记 2025/9/12 22:29:32

Linux——进程池

前言：大佬写博客给别人看，菜鸟写博客给自己看，我是菜鸟。 1.实现思路思路：通过创建匿名管道，来实现父子进程之间的通信注1：父写，子读注2：匿名管道只能用来进行具有血管关系的进程…...

编程日记 2025/9/11 8:41:44

JavaScript 简单类型与复杂类型-简单类型的内存分配

深入理解JavaScript中的简单类型（基本数据类型）和复杂类型（引用数据类型）如何在内存中存储对于编写高效、无误的代码至关重要。本文将专注于探讨简单类型的内存分配机制，即栈（Stack）内存&#x…...

编程日记 2025/9/13 16:02:14

深度生成模型（一）——具身智能综述与算法分类简介

具身智能对于机器人的控制可以分为端到端模型和非端到端模型： 端到端模型：具身模型（如 ACT 和 DP）将视觉感知（Vision）与动作生成（Action）整合为单一神经网络，直接实现从…...

编程日记 2025/9/10 20:34:27

Vue 中，使用模板（Template）和 Render 函数编写组件的区别

在 Vue 2 中，模板（Template） 和 Render 函数是两种不同的组件编写方式，它们各有特点和适用场景。以下是它们的核心区别和实际应用场景分析： 1. 基本区别特性模板（Template）Render 函数语法形…...

编程日记 2025/9/12 16:39:50

【笔记】论文阅读方法（AI大模型）

1 为什么读论文构建知识体系：通过Related Works快速了解该方向研究现状，追踪经典论文紧跟前沿技术：了解领域内新技术及效果，快速借鉴到自身项目培养科研逻辑：熟悉论文体系，了解如何创造新事物&#x…...

编程日记 2025/9/13 16:04:03

令牌刷新优化方案的详细实现步骤： 1. 令牌服务层改造 1.1 JWT工具类增强 // JwtUtils.java 新增方法 public class JwtUtils {// 生成带动态过期时间的令牌public static String createToken(String subject, String userId, String username, long expirationMi…...

编程日记 2025/9/9 19:03:25

安全面试5

文章目录 sql的二次注入在linux下，现在有一个拥有大量ip地址的txt文本文档，但是里面有很多重复的，如何快速去重？在内网渗透中，通过钓鱼邮件获取到主机权限，但是发现内网拦截了tcp的出网流量，聊一…...

编程日记 2025/9/13 16:02:15

vim临时文件泄露

##解题思路感觉ctfshow的题目都挺有意思的，大家可以去做做首先题目提示vim临时文件泄露，一般在vim编辑的时候，会有个swp的中间文件生成，根据这个特性，从而可以猜测，我们可以通过访问一个swp文件路径&am…...

编程日记 2025/8/28 0:10:06

使用Docker将ros1自定义消息通过rosjava_bootstrap生成jar包

文章目录预准备环境rosjava_bootstrap坏消息好消息环境安装docker安装rosjava_bootstrap仓库rosjava_center仓库修改rosjava_bootstrap代码拉取docker镜像放置自己的自定义消息启动docker编译预准备环境 rosjava_bootstrap rosjava_bootstrap是将自定义的ROS消息生成java…...

编程日记 2025/9/10 1:41:34

本地快速搭建一套AI人脸识别技术研究学习的实验环境

如果你想在本地搭建一套学习和研究AI人脸识别技术的框架，建议使用开源工具和框架进行实验，因为它们通常提供了较为丰富的文档和社区支持，能够帮助你深入理解人脸识别的核心原理。以下是一套可行性强且综合性的方案，涵盖了人脸检测…...

编程日记 2025/9/13 16:02:11

SpringBoot项目连接Oracle视图报错整理

在若依框架中增加连接Oracle视图报错工具测试连接通过使用plsql连接数据库测试，连接成功 1. 相关配置内容连接配置 url: jdbc:oracle:thin:192.168.0.210:1521:HIS username: portal_his password: XXXXXX driver-class-name: oracle.jdbc.driver.OracleDr…...

编程日记 2025/9/13 0:14:13

【我的 PWN 学习手札】House of Husk

House of Husk House of Husk是利用格式化输出函数如printf、vprintf在打印输出时，会解析格式化字符如%x、%lld从而调用不同的格式化打印方法（函数）。同时C语言还提供了注册自定义格式化字符的方法。注册自定义格式化字符串输出方法&#xf…...

编程日记 2025/9/7 21:48:21

面试-JVM：JVM的组成及作用

JVM包含两个子系统和两个组件： 两个子系统： 类加载子系统（ClassLoader Subsystem） 作用：根据给定的全限定类名（如：java.long.Object）来装载class文件至运行时数据区的方法区。核心…...

编程日记 2025/9/13 16:04:00

Node.js项目启动流程以及各个模块执行顺序详解

Node.js项目启动流程以及各个模块执行顺序的问题。首先，我需要仔细阅读并理解我搜索到的资料，从中提取关键信息，然后综合这些信息组织成一个结构化的回答。首先，根据我搜索到的资料都详细描述了Node.js的启动流程，涉及…...

编程日记 2025/9/13 1:43:01

obj离线加载（vue+threejs）+apk方式浏览

demo需求：移动端，实现obj本地离线浏览结合需求，利用（vue2threejs173）进行obj的加载，然后采用apk方式（hbuilderX打包发布）移动端浏览； https://github.com/bianbian886/…...

编程日记 2025/9/12 13:01:56

【Python 语法】Python 数据结构

线性结构（Linear Structures）1. 顺序存储列表（List）元组（Tuple）字符串（String） 2. 线性存储栈（Stack）队列（Queue）双端队列&#xff08…...

编程日记 2025/9/11 4:37:33

Flutter - 布局Widget

Flutter的布局主要分为单子组件和多子组件两大类： Container、Padding、Align这些属于单子组件，而Row、Column、ListView这些则是多子组件。单子组件 Align组件 Align 是一个用于控制子组件位置的单子布局组件。它通过指定对齐方式&#xff08…...

编程日记 2025/9/11 12:17:41

AD从原理图到PCB超详细教程

AD超详细教程前言一、建立一个工程模板二、原理图1.设计原理图。2.使用AD自带库和网上开源原理图库3.画原理图库4.编译原理图三、PCB1.确定元器件尺寸大小2.绘制PCB Library①使用元器件向导绘制元件库②原理图与PCB的映射3.绘制PCB①更新PCB②调整元件位置③布线④漏线检查⑤…...

编程日记 2025/9/7 15:54:22

视频级虚拟试衣技术在淘宝的产品化实践

作为一种新的商品表现形态，内容几乎存在于手淘用户动线全流程，例如信息流种草内容、搜索消费决策内容、详情页种草内容等。通过低成本、高时效的AIGC内容生成能力，能够从供给端缓解内容生产成本高的问题，通过源源不断的低成本供给…...

编程日记 2025/9/13 7:26:22

Redis安装及其AnotherRedisDesktopManagera安装使用

一、Redis安装 1. 下载Redis安装包通过网盘分享的文件：Redis 链接: https://pan.baidu.com/s/1elAT8mk3EIoYQQ3WoVVoNg?pwd7yrz 提取码: 7yrz 2. 解压Redis安装包下载完成后，将Redis安装包解压到一个指定的目录，例如：C:\Re…...

编程日记 2025/9/10 3:56:21

2025系统架构师（一考就过）：案例之四：架构复用、架构评估、特定架构（DSSA）、架构开发方法（ABSD）

二、软件架构复用 ◆软件产品线是指一组软件密集型系统，它们共享一个公共的、可管理的特性集，满足某个特定市场或任务的具体需要，是以规定的方式用公共的核心资产集成开发出来的。即围绕核心资产库进行管理复用、集成新的系统。 ◆软件架构…...

编程日记 2025/9/9 3:45:54

软件工程应试复习（考试折磨版）

针对学校软件工程考试，参考教材《软件工程导论（第6版）》1-8章学习的艺术：不断地尝试，我一定会找到高效用的方法，让学习变成一门艺术，从应试备考中解救出我的时间同胞们。好嘞！既然…...

编程日记 2025/9/12 14:36:15

Kafka可视化工具EFAK(Kafka-eagle)安装部署

Kafka Eagle是什么？ Kafka Eagle是一款用于监控和管理Apache Kafka的开源系统，它提供了完善的管理页面，例如Broker详情、性能指标趋势、Topic集合、消费者信息等。源代码地址：https://github.com/smartloli/kafka-eagle 前置条件…...

编程日记 2025/9/12 23:06:02

本地部署SenseVoice（包括离线设备操作）

Anaconda3 Anaconda Installers and Packages SenseVoice 魔搭社区 FFmpeg FFmpeg 安装Anaconda3（Windows） 下载完成后，自定义路径后安装。在开始菜单中出现Anaconda Prompt说明安装成功。安装Anaconda3（Linux&#xff…...

编程日记 2025/9/13 3:24:26

sql server 复制从备份初始化数据

参考 ： 从备份初始化订阅（事务） - SQL Server | Microsoft Learn sql server 复制默认是用快照初始化数据的，也支持从备份初始化数据，参考如上...

编程日记 2025/8/25 20:39:24

MySQL 复合索引

MySQL 复合索引详解引言在实际业务场景中，多条件组合查询是最常见的操作之一。例如，根据“用户ID 时间范围”查询订单，或根据“商品分类价格区间”筛选商品。此时，单列索引可能无法满足性能需求，而**复合索引&am…...

编程日记 2025/9/12 11:16:07

蓝桥杯备赛（C/C++组）

README： 本笔记是自己的备考笔记，按照官网提纲进行复习！适合有基础，复习用。一、总考点试题考查选手解决实际问题的能力，对于结果填空题，选手可以使用手算、软件、编程等方法解决，对于编程大…...

编程日记 2025/9/6 15:34:22

人类驾驶的人脑两种判断模式（反射和预判）--＞自动驾驶两种AI模式

一种模式是直觉模式，判断是基于条件反射，视觉感知触发到直接条件反射（从经历中沉淀形成的神经信息闭环），类似现在自动驾驶技术的传统AI模式。另一种模式是物理时空图式推理模式，判断是基于预判预测&…...

编程日记 2025/9/11 11:05:58

C语言机试编程题

编写版本：vc2022 1.求最大/小值 #include<stdio.h> int main(){int a[50],n;int max, min;printf("请输入您要输入几个数");scanf_s("%d", &n);printf("请输入您要比较的%d个数\n",n);for (int i 0; i<n; i) {scanf_…...

编程日记 2025/9/11 13:59:19

SmartMediakit之音视频直播技术的极致体验与广泛应用

引言在数字化时代，音视频直播技术已经深入到各个行业和领域，成为信息传递和交流的重要手段。视沃科技自2015年成立以来，一直致力于为传统行业提供极致体验的音视频直播技术解决方案，其旗下的大牛直播SDK凭借强大的功能和卓越的性…...

编程日记 2025/9/8 21:36:22

NVIDIA GEFORCE GTX1050显卡如何搭建AI人脸识别技术环境

NVIDIA GEFORCE GTX1050显卡如何搭建AI人脸识别技术环境！实际上，这个显卡虽然是入门级的，但是依然可以满足你的入门学习要求。你的显卡是 NVIDIA GTX 1050，显存为 2GB，虽然它的性能不如高端显卡（如RTX 3060、3090等），但对于学习和研究人脸识别技术，尤其是进行基础的…...

编程日记 2025/9/11 21:48:31

华为数通Datacom认证体系详解：从HCIA到HCIE的进阶路径

华为数通Datacom（Data Communication）课程是华为认证体系中的核心方向之一，聚焦企业网络通信与数据通信技术，适合从事网络规划、部署和运维的人员。一、数通Datacom课程体系华为数通Datacom认证分为三个级别，逐级递…...

编程日记 2025/9/13 4:32:05

【运维】内网服务器借助通过某台可上外网的服务器实现公网访问

背景： 内网服务器无法连接公网,但是办公电脑可以连接内网服务器又可以连接公网。安装软件 1、frp 2、ccproxy 配置 1、内网服务器 # 内网服务器启动frp服务配置文件参考vi frps.ini# frps.ini [common] bind_port 7000# 备注: bind_port端口可以随意配置。配置完…...

编程日记 2025/9/10 18:46:45

Spring之Bean的生命周期过程中调用的方法

1。这个部分除了6,9都在这了 package com.example.springbootdemo3.lifebeean;import org.springframework.beans.BeansException; import org.springframework.beans.factory.*; import org.springframework.beans.factory.annotation.Value; import org.springframework.con…...

编程日记 2025/9/9 15:50:26

Vue 中动态实现进度条

在 Vue 中动态实现进度条，基本上有两种常见的方法：直接通过 Vue 数据绑定控制样式，或者利用外部库来实现更复杂的功能。我们会深入探讨这两种方式，并且详细说明每种方法的实现步骤、优缺点以及使用场景。 1. 使用 Vue 数据绑定来…...

编程日记 2025/9/8 21:12:44

Qt互斥锁(QMutex)的使用、QMutexLocker的使用

Qt互斥锁【QMutex】的使用、QMutexLocker的使用 Chapter1 Qt互斥锁(QMutex)的使用、QMutexLocker的使用一、QMutexLocker和QMutex实现示例图二、QMutex和QMutexLocker的关系（个人理解）三、QMutex使用和QMutexLocker使用1.QMutex的使用2.QMutexLocker的使…...

编程日记 2025/9/10 6:18:19

Python开发 Flask框架面试题及参考答案

目录 Flask 的核心设计理念是什么？与 Django 相比有哪些显著差异？解释 Flask 框架的核心理念及其作为 “微框架” 的优缺点 Flask 的依赖库有哪些？简述 Werkzeug 和 Jinja2 的作用什么是 WSGI？Flask 如何基于 WSGI 实现服务端与应用的交互解释 RESTful API 的设计原…...

编程日记 2025/9/11 3:23:50

DeepSeek模型昇腾部署优秀实践

2024年12月26日，DeepSeek-V3横空出世，以其卓越性能备受瞩目。该模型发布即支持昇腾，用户可在昇腾硬件和MindIE推理引擎上实现高效推理，但在实际操作中，部署流程与常见问题困扰着不少开发者。本文将为你详细阐述昇腾 De…...

编程日记 2025/9/10 23:56:25

【cv】vs2022配置opencv

release下配置包含目录和库目录 E:\sdk\sdk_cuda12.3\opencv490\include E:\sdk\sdk_cuda12.3\opencv490\include\opencv2 E:\sdk\sdk_cuda12.3\opencv490\lib release下配置包含链接器输入的依附依赖项 opencv_world490.lib release编译文件夹下需手动复制opencv_world49…...

编程日记 2025/9/13 0:48:04

RabbitMQ系列（五）基本概念之Queue

在 RabbitMQ 中，Queue（队列） 是存储消息的容器，也是消息传递的核心载体。以下是其核心特性与作用的全方位解析： 一、Queue 的定义与核心作用消息存储容器 Queue 是 RabbitMQ 中实际存储消息的实体，生产者…...

编程日记 2025/9/13 5:02:16

从二维随机变量到多维随机变量

二维随机变量设 X X X和 Y Y Y是定义在同一样本空间 Ω \varOmega Ω上的两个随机变量，称由它们组成的向量 ( X , Y ) (X, Y) (X,Y)为二维随机变量，亦称为二维随机向量，其中称 X X X和 Y Y Y是二维随机变量的分量。采用多个随机变量去描述…...

编程日记 2025/9/10 3:40:49

IP-----动态路由OSPF

这只是IP的其中一块内容，IP还有更多内容可以查看IP专栏，前一章内容为GRE和MGRE ，可通过以下路径查看IP-------GRE和MGRE-CSDN博客,欢迎指正注意！！！本部分内容较多所以分成了两部分在下一章 5.动态路由OS…...

编程日记 2025/9/12 0:18:02

RabbitMQ操作实战

1.RabbitMQ安装 RabbitMQ Windows 安装、配置、使用 - 小白教程-腾讯云开发者社区-腾讯云下载erlang：http://www.erlang.org/downloads/https://cloud.tencent.com/developer/article/2192340 Windows 10安装RabbitMQ及延时消息插件rabbitmq_delayed_message_exch…...

编程日记 2025/9/11 0:59:36

python-leetcode-不同路径

62. 不同路径 - 力扣（LeetCode） class Solution:def uniquePaths(self, m: int, n: int) -> int:dp [1] * n # 仅保留一行for i in range(1, m):for j in range(1, n):dp[j] dp[j-1]return dp[-1]...

编程日记 2025/9/12 20:25:23

【react】快速上手基础教程

目录一、React 简介 1.什么是 React 2.React 核心特性二、环境搭建 1. 创建 React 项目 2.关键配置三、核心概念 1. JSX 语法表达式嵌入样式处理 2. 组件 (Component) 3. 状态 (State) 与属性 (Props) 4. 事件处理合成事件（SyntheticEvent) 5. …...

编程日记 2025/9/12 3:45:59

【愚公系列】《Python网络爬虫从入门到精通》033-DataFrame的数据排序

标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度…...

编程日记 2025/9/12 5:04:54

一周一个Unity小游戏2D反弹球游戏 - 移动的弹板（触屏版）

前言上文中实现了用鼠标移动控制弹板的移动，本文将实现手指触屏时弹板跟随手指移动的功能，并通过使用Unity自带的Device Simulator Devices Package来验证和模拟触屏设备的使用场景。安装Device Simulator Devices Package 打开Unity Package Manager&…...

编程日记 2025/9/9 18:16:29

深度学习-11.用于自然语言处理的循环神经网络

Deep Learning - Lecture 11 Recurrent Networks for Natural Language Processing 介绍文本表示用数字表示单词词嵌入(word embedding) 机械翻译编码器 - 解码器循环模型（Encoder-decoder recurrent models）双向循环网络注意力机制（方法&am…...

编程日记 2025/9/12 7:25:31

2025年软考报名费用是多少?全国费用汇总!

软考报名时间终于确定了！想要参加2025年软考的同学们注意啦！特别是那些一年只有一次考试机会的科目，千万不要错过哦！这里为大家整理了各地的报名时间、科目、费用等信息，快来看看吧！ 一、2025年软考时间安…...

编程日记 2025/9/8 19:54:58