当前位置：首页 > news >正文

大数据开发 hadoop集群 3.Hadoop运行环境搭建

news 来源：原创 2025/7/2 12:26:16

一、配置虚拟机

1.1 下载VMware虚拟机

1.下载地址：VMware Workstation下载_VMware Workstation官方免费下载_2024最新版_华军软件园

1.2 创建虚拟机

简易安装信息

1.3. 命名虚拟机

标题一

指定磁盘容量大小（推荐大小）

1.4. 语言和时区设置

1.5. 设置虚拟机名字、密码

1.6*.更改网络设置，给虚拟机联网

打开设置找到网络（network）

填入上面的DNS

点击修改

1.7*.配置无密码登录

安装SSH

将hadoop用户设置sudo权限

注销更换用户登录

安装后，可以使用ssh localhost登陆环境

二、更新apt和设置无密码登录

2.1 更新apt

sudo apt

2.2 将ssh连接到本地

2.3* 配置无密码登录

ssh-keygen -t rsa

三、安装Java环境

3.1 我们安装java环境，首先cd返回主目录

cd ~

3.2 安装jdk-8

JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下：

ls

sudo apt-get install openjdk-8-jdk

3.3 查看Java版本

java -version

3.4 配置java环境

11.可以看到，在/usr/lib/jvm目录下有个jdk1.8.0_162目录。
下面继续执行如下命令，设置环境变量：

gedit ~/.bashrc

在文件最前面添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

使环境变量生效

source ~/. bashrc

查看设置的环境变量是否生效

echo $JAVA_HOME

查看是否是自己安装的java路径和版本

java -version

whereis java

以上环境安装和配置好后，就可以安装Hadoop了

四、配置Hadoop环境

4.2 下载Hadoop

方案一：

hadoop的安装包从Ubuntu自带的火狐浏览器直接下载

链接：

https://hadoop.apache.org/releases.html

直接复制粘贴在浏览器打开，勾选合适的选项进行下载

方案二：共享文件夹下载

方案三

用国内的镜像下载（Ubuntu自带的火狐浏览器）

镜像地址：

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/

下载好了以后使用如下命令解压到/usr/local:

sudo tar -zxf /home/hadoop/下载/hadoop-3.3.5.tar.gz -C /usr/local

修改权限：

sudo chown -R hadoop ./hadoop

查看刚才解压的Hadoop是否可用：

cd /usr/local/hadoop
./bin/hadoop version

Hadoop伪分布式配置

接下来是Hadoop伪分布式配置需要修改两个配置文件：

①修改core-site.xml文件：

cd /usr/local/hadoop
gedit ./etc/hadoop/core-site.xml

在configration里添加如下内容：

	<property><name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value><description>Abase for other
temporary directories.</description></property><property><name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value></property>

修改完以后保存退出。

②修改hdfs-site.xml文件：

gedit ./etc/hadoop/hdfs-site.xml

在configration里添加如下内容：

	<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>

修改完保存退出。

执行namenode的格式化,如果有提示输入Y/N时一定要输入大写的Y：

./bin/hdfs namenode -format

开启NameNode和DataNode的守护进程

./sbin/start-dfs.sh

可以通过jps命令查看是否启动成功：

jps

在hdfs上创建一个count目录：

/usr/local/hadoop/bin/hdfs dfs -mkdir /count

显示刚才创建的文件：

usr/local/hadoop/bin/hdfs dfs -ls /

上传一个test3.txt文件到count目录中：

/usr/local/hadoop/bin/hadoop fs -put /home/gufei/test3.txt /count

查看刚才上传的test3.txt文件：

/usr/local/hadoop/bin/hadoop fs -ls /count

Hadoop伪分布式配置

分布式系统

大数据开发 hadoop集群 3.Hadoop运行环境搭建

一、配置虚拟机 1.1 下载VMware虚拟机 1.下载地址：VMware Workstation下载_VMware Workstation官方免费下载_2024最新版_华军软件园 1.2 创建虚拟机简易安装信息 1.3. 命名虚拟机标题一指定磁盘容量大小（推荐大小） 1.4. 语言和时区设…...

编程日记 2025/7/2 12:26:16

【HTTPS基础概念与原理】HTTPS vs HTTP：为什么现代网站必须用HTTPS？

以下是关于 HTTPS vs HTTP 的详细对比分析，涵盖安全性、性能差异及SEO影响，帮助您全面理解为何现代网站必须采用HTTPS： 一、安全性对比：HTTPS 如何解决 HTTP 的致命缺陷 1. HTTP 的安全隐患 • 明文传输：HTTP 数据以明…...

编程日记 2025/6/28 23:00:40

【springcloud学习(dalston.sr1)】Eureka单个服务端的搭建（含源代码）（三）

该系列项目整体介绍及源代码请参照前面写的一篇文章【springcloud学习(dalston.sr1)】项目整体介绍（含源代码）（一） 这篇文章主要介绍单个eureka服务端的集群环境是如何搭建的。通过前面的文章【springcloud学习(dalston.sr1)】…...

编程日记 2025/6/28 23:28:16

榕壹云打车系统：基于Spring Boot+MySQL+UniApp的开源网约车解决方案

传统出租车行业的数字化痛点与破局近年来，随着网约车市场的爆发式增长，传统出租车企业面临数字化转型的迫切需求。传统出租车行业存在以下核心痛点： 1. 运营效率低下：手工调度、纸质单据导致资源浪费。 2. 乘客体验不足：无法实时查看车辆位置、支付不便。 3. 安全监管…...

编程日记 2025/7/2 12:26:14

第5章运算符、表达式和语句

目录 5.1 循环简介5.2 基本运算符5.3 其他运算符5.4 表达式和语句5.5 类型转换5.6 带有参数的函数5.7 一个实例程序5.11 编程练习 5.1 循环简介 5.2 基本运算符赋值运算符： 几个术语：数据对象、左值、右值和操作数数据对象：泛指数据存储区…...

编程日记 2025/6/29 1:15:18

全流量解析：让安全防御从“被动挨打”升级为“主动狩猎”

在网络安全领域，攻击者就像“隐形小偷”，总想悄无声息地入侵你的网络。而全流量解析，就是一套能“看清每一辆网络货车里装了什么”的技术。它通过采集并分析网络中的全部原始流量数据，帮助安全团队发现威胁、溯源攻击，…...

编程日记 2025/6/28 23:45:11

bfs-最小步数问题

最小步长模型特征： 主要是解决权值为1且状态为字符串类型的最短路问题，实质上是有向图的最短路问题，可以简化为bfs求最短路问题。代表题目： acwing 845 八数码问题： 八数码题中由于每次交换的状态是由x进行上下左右…...

编程日记 2025/6/29 0:17:29

机器学习 Day17 朴素贝叶斯算法-----概率论知识

1.简介朴素贝叶斯（Naive Bayes）是一类基于贝叶斯定理（之后讲）并假设特征之间相互独立的概率分类算法 ，是机器学习中应用广泛的分类模型。以下为您详细介绍： 核心原理贝叶斯定理：描述后验概…...

编程日记 2025/6/28 23:00:49

Selenium-Java版（环境安装）

Selenium自动化环境安装前言安装安装客户端库安装Chrome浏览器安装Chrome浏览器驱动安装Edge浏览器驱动配置环境变量示例前言参考教材：Python Selenium Web自动化 2024版 - 自动化测试爬虫_哔哩哔哩_bilibili 安装安装客户端库 <dep…...

编程日记 2025/6/29 1:08:15

【华为HCIP | 华为数通工程师】821—多选解析—第二十四页

980、以下关于BGP路由等价负载分担的描述，正确的是哪些项? A、公网中到达同一目的地的IBGP和EBGP路由不能形成负载分担。 B、在设备上使能BGP负载分担功能后，只有满足条件的多条BGP路由才会成为等价路由，进行负载分担。 C、默认情况下设备只会对AS Path长度相同的路由进…...

编程日记 2025/6/29 0:29:23

如何用Jsoup库提取商品名称和价格？

使用 Jsoup 库提取商品名称和价格是一个常见的任务，尤其是在爬取电商网站的商品详情时。Jsoup 是一个非常强大的 HTML 解析库，可以方便地从 HTML 文档中提取数据。以下是如何使用 Jsoup 提取商品名称和价格的详细步骤和代码示例。一、环境准备确保你…...

编程日记 2025/6/28 22:57:37

一文掌握六个空转数据库

写在前面在实际的空转分析，尤其是细胞注释环节中，我们需要依赖大量的文献/数据库来对结果进行参考、校验，此时空间转录数据库能够快速帮助我们找到合适的参考数据集/信息。此外，现存的很多空转数据库收集了大量可供挖掘的数据&a…...

编程日记 2025/6/28 23:09:24

基于Qt的OSG三维建模

以下是一个基于Qt和OpenSceneGraph（OSG）实现三维模型交互的示例代码，包含模型高亮、文本标注等功能。代码采用Qt5和OSG 3.6版本开发。一、核心类设计（C） 1. 主窗口类（继承QMainWindow） #inc…...

编程日记 2025/6/28 23:54:28

Spring Cloud：构建云原生微服务架构的最佳工具和实践

🌥️ 1. 引言一、背景介绍：为什么需要微服务？ 随着互联网技术的发展，企业级应用的功能日益复杂，传统的单体架构（Monolithic Architecture）逐渐暴露出一系列问题： 项目庞大&#…...

编程日记 2025/6/28 23:01:21

云图库和黑马点评的项目学习经验

捷优商超我这个项目我主要实现了三个点，第一个是博主推送，就是用户进行消息的推送，拱用户进行商品的评价。第二个就是用户的签到。第三个就是优惠券秒杀了。首先是博主推送，我们获取到前端信息以后直接把消息放到数据库里面&…...

编程日记 2025/6/29 1:22:28

苍穹外卖 - Day02 学习笔记

一、核心功能：新增员工在实现新增员工功能时，有几个关键的技术点和设计考量需要我们掌握。 1.1 数据传输对象 (DTO) 的应用核心概念： 数据传输对象（Data Transfer Object, DTO）是在应用程序不同分层之间传递数据的…...

编程日记 2025/6/29 1:18:33

设计模式（9）——创建型模式之工厂方法

设计模式（9）——创建型模式之工厂方法工厂方法作用结构伪代码适用场景工厂方法作用工厂方法是一种创建型设计模式，其在父类中提供一个创建对象的方法，允许子类决定实例化对象的类型。结构产品（Product）将会对接口进行声明。对于所有由创建者及其子类构建的对象，…...

编程日记 2025/6/28 23:43:40

机器学习基础课程-6-课程实验

目录 6.1 实验介绍实验准备贷款审批结果预测 6.2 数据读取 6.3 数据处理 6.4 特征处理有序型特征处理类别型特征处理数值型特征归一化 6.5 建立机器学习模型建立测试模型结果可视化 6.1 实验介绍贷款审批结果预测银行的放贷审批，核心要素为风险控制。因此&…...

编程日记 2025/6/29 0:04:46

IP SSL怎么签发使用

IP证书的签发首先是需要有一个可供绑定的IP地址，作为常用数字证书之一，IP证书也因为其广泛的应用范围而深得用户的青睐和喜欢。部署IP证书后，可以实现该IP地址的https访问，过程和域名证书相差不多。 IP证书和域名证书的区别很…...

编程日记 2025/6/28 23:01:45

QMK键盘编码器（Encoder）（理论部分）

QMK键盘编码器（Encoder）（理论部分）前言作为一名深耕机械键盘DIY多年的老司机，我发现很多键盘爱好者对QMK编码器的配置总是一知半解。今天我就把多年积累的经验毫无保留地分享给大家，从硬件接线到软件配置，从基础应用到高阶玩法，一文全搞定！保证看完就能让你的编码…...

编程日记 2025/6/28 23:01:12

AI编程：使用Trae + Claude生成原型图，提示词分享

最近在学习AI编程相关的东西，看到了有人分享的提示词，做了两个APP原型图，分享给大家。成果第一个是依据B站的探索者-子默的视频，照着生成的AI改写原型图第二个是我修改了一下提示词让AI生成做视频解析链接的APP原型图。整体…...

编程日记 2025/6/28 23:01:42

计算机操作系统（七）详细讲解进程的组成与特性，状态与转换

计算机操作系统（七）进程的组成与特性，状态与转换前言一、进程的组成1. 什么是“进程”？2. 进程的三个核心组成部分2.1 PCB（进程控制块）—— 进程的“身份证户口本”2.2 程序段—— 进程的“任务清单”2.3 …...

编程日记 2025/6/30 16:51:20

【2025.5.12】Vision Language Models (Better, Faster, Stronger)： https://huggingface.co/blog/vlms-2025 【2024.4.11】Vision Language Models Explained【先了解视觉语言模型是什么】： https://huggingface.co/blog/vlms nanoVLM: https://github.…...

编程日记 2025/6/29 0:04:34

数据清洗ETL

ETL介绍 “ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL一词较常用在数据仓库&#xff0c…...

编程日记 2025/6/29 0:58:41

STM32 实时时钟（RTC）详解

一、RTC 简介 RTC（Real Time Clock）即实时时钟，本质上是一个 32 位的秒级计数器： 最大计数值为 4294967295 秒，约合 136 年： 复制编辑 4294967295 / 60 / 60 / 24 / 365 ≈ 136 年 RTC 初始化时&#x…...

编程日记 2025/6/28 23:51:09

Java中的异常机制

目录 Error（错误） Exception（异常） 受检异常（Checked Exception） 非受检异常（Unchecked Exception） 图示总结： 异常处理机制 try-catch-finally throws关键字图…...

编程日记 2025/6/28 23:36:22

计算机网络：怎么理解调制解调器的数字调制技术？

数字调制技术详解数字调制技术是将数字比特流转换为适合在物理信道（如电缆、光纤、无线信道）传输的模拟信号的核心技术。通过改变载波（通常是正弦波）的幅度、频率或相位（或组合），将二进制数据映射到模拟波形上。其目标是高效利用频谱资源、提升抗干扰能力，并适应不同…...

编程日记 2025/6/29 8:35:37

【MySQL】自适应哈希详解：作用、配置以及如何查看

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/6/29 8:29:58

【sql】按照数据的日期/天，对入库数据做数量分类

我今天写SQL，发现我的时间的写法是“年-月-日时:分:秒 ”， 我想要按照“年-月-日”分类，看看我每一天的入库数据量是多少，然后做出一个报表出来。 sql对时间的处理： SELECT DATE(update_time) AS date_only,COUNT(*…...

编程日记 2025/6/28 23:32:24

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】附录-A. PostgreSQL常用函数速查表

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲 PostgreSQL常用函数速查表：从数据清洗到分析的全场景工具集引言一、字符串处理函数1.1 基础操作函数1.2 模式匹配函数（正则表达式） 二、数…...

编程日记 2025/6/28 23:01:27

【软件测试】：推荐一些接口与自动化测试学习练习网站（API测试与自动化学习全攻略）

一、API测试练习平台 Postman Learning Center （https://learning.postman.com/） 特点：Postman官方学习中心，提供API测试完整教程（含视频、文档、沙盒环境） 练习场景：请求构造、环境变量、自动…...

编程日记 2025/6/29 0:40:48

iOS Safari调试教程

iOS Safari调试本教程将指导您如何使用WebDebugX调试iOS设备上的Safari浏览器。通过本教程，您将学习如何连接iOS设备、调试Safari中的网页、分析性能问题以及解决常见的调试挑战。准备工作在开始调试iOS Safari之前，请确保您已经： 安装…...

编程日记 2025/6/28 23:52:35

Java 大视界——Java 大数据在智慧交通智能停车诱导系统中的数据融合与实时更新

面对城市停车资源错配导致的30%以上交通拥堵问题，本文以某新一线城市智慧交通项目为蓝本，深度解析Java大数据技术如何实现多源停车数据融合、动态路径规划与诱导策略优化。通过构建“感知-计算-决策”全链路系统，实现车位状态更新延迟<200…...

编程日记 2025/6/29 0:53:16

KUKA库卡焊接机器人智能气阀

在工业焊接的大舞台上，成本把控与环保考量愈发重要。KUKA 库卡焊接机器人智能气阀，作为前沿科技结晶，成为实现库卡焊接机器人节气的关键 “利器”，助力企业在降本增效与绿色发展之路上大步迈进。智能气阀融合先进传感与智能调…...

编程日记 2025/6/29 1:12:59

react中安装依赖时的问题【集合】

目录依赖升级/更新 1、 npm install --save-dev 与 npm install 的区别 1. ‌安装位置（依赖类型）‌ 2. ‌package.json 中的区别‌ 3. ‌示例 4. ‌何时使用哪种方式‌ 2、npm install 和 yarn add 有什么不一样吗 ‌命令语法‌： …...

编程日记 2025/6/29 1:04:02

【网络实验】-BGP-EBGP的基本配置

实验拓扑实验要求： 使用两种方式建立不同AS号的BGP邻居，不同AS号路由器之间建立的邻居称为EBGP邻居实验目的： 熟悉使用物理口和环回口建立邻居的方式 IP地址规划： 路由器接口IP地址AR1G0/0/012.1.1.1/24AR1Loopback 01.1.1…...

编程日记 2025/6/28 23:44:57

【嵌入式开发-按键扫描】

嵌入式开发-按键扫描 ■ 1. 按键■ 按键队列发送后在读取队列处理■ 定时器30ms扫描一次，并通过MsgAdd(msg); 发送出去。 ■ 2. 触摸屏处理■■ ■ 1. 按键 ■ 按键队列发送后在读取队列处理 // key queue #define KEY_QUEUE_MAX 5typedef enum {KEY_TYPE_IR 0,K…...

编程日记 2025/6/28 23:49:52

NineData 社区版 V4.1.0 正式发布，新增 4 条迁移链路，本地化数据管理能力再升级

NineData 社区版 V4.1.0 正式更新发布。本次通过新增 4 条迁移链路扩展、国产数据库深度适配、敏感数据保护增强‌等升级，进一步巩固了其作为高效、安全、易用的数据管理工具的定位。无论是开发测试、数据迁移，还是多环境的数据管理，NineData…...

编程日记 2025/6/28 23:44:47

TypeScript装饰器：从入门到精通

TypeScript装饰器：从入门到精通什么是装饰器？ 装饰器（Decorator）是TypeScript中一个非常酷的特性，它允许我们在不修改原有代码的情况下，给类、方法、属性等添加额外的功能。想象一下装饰器就像给你的代码…...

编程日记 2025/6/30 21:10:00

R语言学习--Day02--实战经验反馈

最近在做需要用R语言做数据清洗的项目，在网上看再多的技巧与语法，都不如在项目中实战学习的快，下面是我通过实战得来的经验。判断Rstudio是否卡死很多时候，我们在运行R语言代码时，即使只是运行框选的几行代码&#…...

编程日记 2025/6/28 22:58:16

《AI驱动的智能推荐系统：原理、应用与未来》

一、引言在当今信息爆炸的时代，用户面临着海量的信息选择，从购物平台上的商品推荐到流媒体服务中的影视推荐，智能推荐系统已经成为我们日常生活中不可或缺的一部分。AI驱动的智能推荐系统通过分析用户的行为和偏好，为用户提供个性…...

编程日记 2025/6/28 22:58:26

AR禁毒：科技赋能，筑牢防毒新防线

过去，传统禁毒宣传教育方式对普及禁毒知识、提高禁毒意识意义重大。但随着时代和社会环境变化，其困境逐渐显现。传统宣传方式单一，主要依靠讲座、发传单、办展览。讲座形式枯燥，对青少年吸引力不足；发传单易被丢弃&…...

编程日记 2025/6/28 22:57:57

Ubuntu摄像头打开失败

如果遇见上面Ubuntu连接摄像头但无法打开如以上先安装cheese apt install cheese 打开终端控制台，输入以下命令 ls /dev/video* 出现以上有设备的情况，我们采用以下解决 ： 1、点击虚拟机->点击设置 2、进入设置界面点击USB控制器&a…...

编程日记 2025/6/29 1:02:33

Ascend的aclgraph（七）AclConcreteGraph：capture_begin

1 回顾在上一章Ascend的aclgraph（六）AclConcreteGraph中提到了capture_begin和capture_end两个函数，这2个函数是pybind形式，调用到torch_npu中去执行。大概流程图如下: def __enter__(self):# Free as much memory as we can…...

编程日记 2025/6/28 23:25:44

JT/T 808 各版本协议字段级别对比与解析适配建议

文章目录一、概述二、字段级对比表（以核心消息为例）三、版本文档结构差异分析四、Java 协议解析适配建议4.1、协议版本识别策略：4.2、可扩展消息体结构设计：4.3、字段兼容处理建议：4.4、推荐使用解析库或框架&#xf…...

编程日记 2025/6/28 22:57:59

Kafka 消费者组进度监控方法解析

#作者：张桐瑞文章目录前言一、使用 Kafka 自带命令行工具 kafka-consumer-groups 脚本二、使用 Kafka Java Consumer API 编程三、使用 Kafka 自带的 JMX 监控指标前言在 Kafka 消息队列系统中，对于 Kafka 消费者而言，监控其消费进度&a…...

编程日记 2025/7/1 9:56:35

国产大模型 “五强争霸”，决战 AGI

中国 AI 大模型市场正经历一场史无前例的洗牌！曾经 “百模混战” 的局面已落幕，字节、阿里、阶跃星辰、智谱和 DeepSeek 五大巨头强势崛起，形成 “基模五强” 新格局。这场竞争不仅是技术实力的较量，更是资源、人才与生态的全面博…...

编程日记 2025/6/28 22:57:56

lesson01-PyTorch初见（理论+代码实战）

一、初识PyTorch 二、同类框架 PyTorchVSTensorFlow 三、参数对比四、PyTorch生态四、常用的网络层五、代码分析 import torch from torch import autogradx torch.tensor(1.) a torch.tensor(1., requires_gradTrue) b torch.tensor(2., requires_gradTrue) c tor…...

编程日记 2025/6/28 23:28:51

几种运放典型应用电路

运算放大器简称：OP、OPA、OPAMP、运放。一、电压跟随器电压跟随器顾名思义运放的输入端电压与运放的输出电压相等这个电路一般应用目的是增加电压驱动能力：比如说有个3V电源，借一个负载，随着负载电流变大，3V就会变小说明3V电源带负载能力小，驱动能力弱，这个时候…...

编程日记 2025/6/28 22:57:58

Mybatis——动态sql

<if> 实现方式动态标签 <if> 条件判断，进行sql语句拼接成立则拼接 <where> 进行条件子句拼接，防止and重复 if案例 crtl alt L 格式化 <foreach>——用于批量操作（删除） <include>...

编程日记 2025/6/29 0:43:45

一、配置虚拟机

1.1 下载VMware虚拟机

1.2 创建虚拟机

1.3. 命名虚拟机

1.4. 语言和时区设置

1.5. 设置虚拟机名字、密码

1.6*.更改网络设置，给虚拟机联网

打开设置找到网络（network）

填入上面的DNS

点击修改

1.7*.配置无密码登录

安装SSH

将hadoop用户设置sudo权限

注销 更换用户登录

安装后，可以使用ssh localhost登陆环境

二、更新apt和设置无密码登录

2.1 更新apt

2.2 将ssh连接到本地

2.3* 配置无密码登录

三、安装Java环境

3.1 我们安装java环境，首先cd返回主目录

3.2 安装jdk-8

3.3 查看Java版本

3.4 配置java环境

四、配置Hadoop环境

4.2 下载Hadoop

Hadoop伪分布式配置

分布式系统

相关文章：

注销更换用户登录