当前位置：首页 > news >正文

ubantu18.04（Hadoop3.1.3）之MapReduce编程

news 来源：原创 2025/8/16 20:53:06

说明：本文图片较多，耐心等待加载。（建议用电脑）

注意所有打开的文件都要记得保存。

第一步：准备工作

本文是在之前Hadoop搭建完集群环境后继续进行的，因此需要读者完成我之前教程的所有操作。

第二步：我们先将Hadoop集群启动（上篇都讲过）

1.将两台虚拟机都启动。

2.进去Master终端，（右键-》打开终端），启动，并用jps检查是否成功启动

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

第三步：准备工作

首先，在Linux系统本地创建两个文件，即文件wordfile1.txt和wordfile2.txt。

echo -e "I love Spark\nI love Hadoop" > wordfile1.txt
echo -e "Hadoop is good\nSpark is fast" > wordfile2.txt

可以用 cat 命令确认内容：

cat wordfile1.txt
cat wordfile2.txt

为了后续区分，我们之前有好多文件都弄到一个目录里了，这里我们新创建 HDFS 目标目录

创建 HDFS 目标目录（如果未创建）

hdfs dfs -mkdir -p /user/hadoop/input

将本地文件上传到 HDFS

hdfs dfs -put wordfile1.txt /user/hadoop/input/
hdfs dfs -put wordfile2.txt /user/hadoop/input/

第四步：Eclipse编写代码

执行如下命令启动Eclipse：

cd /usr/local/eclipse
./eclipse

出现这个界面即为启动成功。我们直接点击launch。

补充知识点：

如果打开发现Eclipse左侧的目录文件夹消失了。可以这样解决

下面框住的这一部分消失了

解决办法

然后点击Finsh，就出现了。

1.在Eclipse中创建项目：

继续

2. 为项目添加需要用到的JAR包

然后继续选中classpath,点击Add_External_JARS,下面的操作和上面的都是重复操作，就是选中jar包，然后引入。

然后点击Finsh

输入WordCount，点击Finsh

将内容改为下面的代码

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;public class WordCount {public WordCount() {}public static void main(String[] args) throws Exception {Configuration conf = new Configuration();String[] otherArgs = (new GenericOptionsParser(conf, args)).getRemainingArgs();if(otherArgs.length < 2) {System.err.println("Usage: wordcount <in> [<in>...] <out>");System.exit(2);}Job job = Job.getInstance(conf, "word count");job.setJarByClass(WordCount.class);job.setMapperClass(WordCount.TokenizerMapper.class);job.setCombinerClass(WordCount.IntSumReducer.class);job.setReducerClass(WordCount.IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class); for(int i = 0; i < otherArgs.length - 1; ++i) {FileInputFormat.addInputPath(job, new Path(otherArgs[i]));}FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));System.exit(job.waitForCompletion(true)?0:1);}public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {private static final IntWritable one = new IntWritable(1);private Text word = new Text();public TokenizerMapper() {}public void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString()); while(itr.hasMoreTokens()) {this.word.set(itr.nextToken());context.write(this.word, one);}}}public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {private IntWritable result = new IntWritable();public IntSumReducer() {}public void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {int sum = 0;IntWritable val;for(Iterator i$ = values.iterator(); i$.hasNext(); sum += val.get()) {val = (IntWritable)i$.next();}this.result.set(sum);context.write(key, this.result);}}
}

3.编译打包程序

我们直接点击运行按钮，然后点击ok

出现下面的内容极为成功

现在可以把词频统计程序放在“/usr/local/hadoop/myapp”目录下。如果该目录不存在，可以使用如下命令创建：（之前如果做过HDFS编程实践的话就不用了，）

这里需要在打开一个终端，把之前打开的都小化就行。

cd /usr/local/hadoop
mkdir myapp

然后继续在Eclipse

点击Next或者直接双击Runnable.....

/usr/local/hadoop/myapp/WordCount.jar

之后出现的两个界面全部点击ok

然后来到新建的终端

cd /usr/local/hadoop/myapp
ls

4.运行程序

在运行程序之前，需要启动Hadoop，（第二步我们提前已经做过了）

我们继续输入以下命令：

cd /usr/local/hadoop

./bin/hadoop jar ./myapp/WordCount.jar /user/hadoop/input /user/hadoop/output

./bin/hdfs dfs -cat /user/hadoop/output/*

出现如上界面即为成功。

结语：整体的操作步我都给大家写出来，并且截图了，大家只需要无脑粘贴就好了，具体的讲解可以看我的资料里的文档解释更加详细，这个实验就结束了。

上面内容制作不易，喜欢的点个赞和收藏支持一下吧！！

后期会持续更新更多大数据内容，如果想共同学习，就点点关注把（

ubantu18.04（Hadoop3.1.3）之MapReduce编程

说明：本文图片较多，耐心等待加载。（建议用电脑） 注意所有打开的文件都要记得保存。第一步：准备工作本文是在之前Hadoop搭建完集群环境后继续进行的，因此需要读者完成我之前教程的所有操作。第二步&…...

编程日记 2025/8/16 20:53:06

PoCL环境搭建

PoCL环境搭建 **一.关键功能与优势****二.设计目的****三.测试步骤**1.创建容器2.安装依赖3.编译安装pocl4.运行OpenCL测试程序 Portable Computing Language (PoCL) 简介 Portable Computing Language (PoCL) 是一个开源的、符合标准的异构计算框架，旨在为 OpenCL…...

编程日记 2025/8/16 1:26:43

关于hadoop和yarn的问题

1.hadoop的三大结构及各自的作用？ HDFS（Hadoop Distributed File System）：分布式文件系统，负责海量数据的存储，具有高容错性和高吞吐量。 MapReduce：分布式计算框架，用于并行处理大…...

编程日记 2025/8/12 5:14:34

软件工程中数据一致性的探讨

软件工程中数据一致性的探讨引言数据一致性：软件工程中的业务正确性与性能的权衡数据一致性为何重要业务正确性：事务的原子性与一致性ACID原则的基石分布式事务的挑战一致性级别：从强一致到最终一致实践中的一致性权衡金融系统：…...

编程日记 2025/8/15 23:51:06

在服务器上安装redis

1.安装所需插件gcc 查看gcc版本 gcc -v 没有安装的话,安装命令如下 yum -y install gcc 2.安装下载安装包 https://download.redis.io/releases/ 将安装包上传到/opt/software目录下解压安装包 cd /opt/software tar -zxvf redis-6.2.6.tar.gz 编译并安装redis到指…...

编程日记 2025/8/13 9:29:01

如何选择适合您的过程控制器？

在现代工业中，过程控制器是确保生产效率、质量和安全性的关键设备。它们可以精准监测温度、湿度等变量，优化制造流程，减少人工干预，从而降低错误率和运营成本。但您是否清楚，哪种过程控制器更适合您的企业？…...

编程日记 2025/8/14 16:35:21

C#/.NET/.NET Core拾遗补漏合集（25年4月更新）

前言在这个快速发展的技术世界中，时常会有一些重要的知识点、信息或细节被忽略或遗漏。《C#/.NET/.NET Core拾遗补漏》专栏我们将探讨一些可能被忽略或遗漏的重要知识点、信息或细节，以帮助大家更全面地了解这些技术栈的特性和发展方向。 ✍C#/.NET/.N…...

编程日记 2025/8/14 4:55:14

闲来无事，用HTML+CSS+JS打造一个84键机械键盘模拟器

今天闲来无聊，突发奇想要用前端技术模拟一个机械键盘。说干就干，花了点时间搞出来了这么一个有模有样的84键机械键盘模拟器。来看看效果吧！ 升级版的模拟器屏幕录制 2025-04-18 155308 是不是挺像那么回事的？哈哈！ 它…...

编程日记 2025/8/16 17:59:03

极狐GitLab 项目导入导出设置介绍？

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网导入导出设置 (BASIC SELF) 导入和导出相关功能的设置。配置允许的导入源在从其他系统导入项目之前，必须为该…...

编程日记 2025/8/14 8:38:18

极狐GitLab 项目 API 的速率限制如何设置？

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网项目 API 的速率限制 (BASIC SELF) 引入于 15.10 版本，功能标志为rate_limit_for_unauthenticated_projects_api_…...

编程日记 2025/8/15 21:20:56

electron 渲染进程按钮创建新window，报BrowserWindow is not a constructor错误；

在 Electron 中，有主进程和渲染进程主进程：在Node.js环境中运行—意味着能够使用require模块并使用所有Node.js API 渲染进程：每个electron应用都会为每个打开的BrowserWindow（与每个网页嵌入）生成一个单独的渲染器进…...

编程日记 2025/8/16 7:51:55

【前沿】成像“跨界”测量——扫焦光场成像

01 背景眼睛是人类认识世界的重要“窗口”，而相机作为眼睛的“延伸”，已经成为生产生活中最常见的工具之一，广泛应用于工业检测、医疗诊断与影音娱乐等领域。传统相机通常以“所见即所得”的方式记录场景，传感器捕捉到的二维图像…...

编程日记 2025/8/10 22:01:49

基于C++（MFC）图形编辑界面工具

MFC 图形编辑界面工具一、背景喔，五天的实训终于结束了，学校安排的这次实训课名称叫高级程序设计实训，但在我看来，主要是学习了 Visual C .NET 所提供的 MFC（Microsoft Foundation Class)库所提供的类及其功能函数…...

编程日记 2025/8/13 17:28:09

Linux网络通信核心机制解析与层级架构探秘

作为现代操作系统的神经网络，Linux网络通信系统通过多层协作架构实现高效的数据传输机制。本文将从模块化设计、报文处理路径、核心组件交互等多个维度，解析Linux网络通信系统的实现原理与优化策略，并结合内核源码示例与性能调优实践&#xf…...

编程日记 2025/8/14 20:27:16

Tensorflow实现用接口调用模型训练和停止训练功能

语言：Python 框架：Flask、Tensorflow 功能描述：存在两个接口，一个接口实现开始训练模型的功能，一个接口实现停止训练的功能。实现：用一个全局变量存储在训练中的模型。 # 存储所有训练任务 training_task…...

编程日记 2025/8/9 19:28:53

HTTP测试智能化升级：动态变量管理实战与效能跃迁

在Web应用、API接口测试等领域，测试场景的动态性和复杂性对测试数据的灵活管理提出了极高要求。传统的静态测试数据难以满足多用户并发、参数化请求及响应内容验证等需求。例如，在电商系统性能测试中，若无法动态生成用户ID、订单号或实时提取…...

编程日记 2025/8/15 14:29:31

PyTorch 浮点数精度全景：从 float16/bfloat16 到 float64 及混合精度实战

PyTorch 在深度学习中提供了多种 IEEE 754 二进制浮点格式的支持，包括半精度（float16）、Brain‑float（bfloat16）、单精度（float32）和双精度（float64），并通过统…...

编程日记 2025/8/14 23:04:45

《软件设计师》复习笔记（14.2）——统一建模语言UML、事务关系图

目录 1. UML概述 2. UML构造块 (1) 事物（Things） (2) 关系（Relationships） 真题示例： 3. UML图分类 (1) 结构图（静态） (2) 行为图（动态） 4. 核心UML图详解 5.…...

编程日记 2025/8/13 8:13:29

基于C++（MFC）的细胞识别程序

基于 mfc 的细胞识别程序一、图像处理课程设计目标 1.1 课题与技术指标课题：利用图像处理技术设计细胞识别程序。技术指标： 实验 VS2019 MFC 开发平台待识别图像为 24bit 的真彩色细胞图像进行处理要求识别出细胞，并且保证准确度情况下…...

编程日记 2025/8/13 5:52:29

【前端HTML生成二维码——MQ】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档前端HTML生成二维码——MQ 前言本文将介绍前端HTML如何更具用户输入的内容生成对应的二维码，附页面代码、实现函数、js脚本。一、自定义显示页面1、效果图二、使用步骤1、引入库2、实现函数3、页面及函数代…...

编程日记 2025/8/12 1:24:06

Spring Boot自动配置原理深度解析：从条件注解到spring.factories

大家好！今天我们来深入探讨Spring Boot最神奇的特性之一——自动配置(Auto-configuration)。这个功能让Spring Boot如此受欢迎，因为它大大简化了我们的开发工作。让我们一起来揭开它的神秘面纱吧！👀 🌟 什么是自动配置…...

编程日记 2025/8/14 5:10:27

【unity实战】Animator启用root motion根运动动画，实现完美的动画动作匹配

文章目录前言1、动画分类2、如何使用根位移动画？ 一、根位移动画的具体使用1、导入人形模型2、导入动画3、配置动画参数4、配置角色Animator动画状态机5、使用代码控制人物前进后退二、问题分析三、Humanoid动画中的Root Motion机制及相关配置1、Humanoid动画中的…...

编程日记 2025/8/13 6:09:51

（51单片机）LCD显示数据存储（DS1302时钟模块教学）（LCD1602教程）（独立按键教程）（延时函数教程）（I2C总线认识）（AT24C02认识）

目录演示视频： 源代码 main.c LCD1602.c LCD1602.h AT24C02.c AT24C02.h Key.c Key.h I2C.c I2C.h Delay.c Delay.h 代码解析与教程： Dealy模块 LCD1602模块 Key模块 I2C总线模块 AT24C02模块 /E2PROM模块 main模块演示视频： &…...

编程日记 2025/8/16 1:58:34

2d深度预测

Depth anything v1 相对深度估计，要用绝对深度估计需要微调概要： 1 使用大量的未标注图像信息 2 采用优化策略—数据增强工具(作用在未标注图像) 3 进行辅助监督—继承语义分割知识（作用在未标注图像） 数据层面： …...

编程日记 2025/8/11 18:36:07

Android12 ServiceManager::addService源码解读

源码 Status ServiceManager::addService(const std::string& name, const sp<IBinder>& binder, bool allowIsolated, int32_t dumpPriority) {auto ctx mAccess->getCallingContext();// apps cannot add servicesif (multiuser_get_app_id(ctx.uid) >…...

编程日记 2025/8/10 14:50:56

【HDFS入门】HDFS性能调优实战：从基准测试到优化策略

目录引言 1 HDFS性能评估体系 1.1 性能评估体系架构 1.2 基准测试工具对比 2 TestDFSIO基准测试实战 2.1 TestDFSIO工作原理 2.2 测试执行步骤 2.3 结果分析指标 3 TeraSort基准测试实战 3.1 TeraSort测试流程 3.2 测试执行命令 3.3 关键性能指标 4 HDFS性能调优…...

编程日记 2025/8/15 13:08:14

Linux 内核开发/测试工具对比 Windows 驱动验证工具 (Driver Verifier)

Windows 的 Driver Verifier 是一个用于测试和验证驱动程序的强大工具。在 Linux 内核开发中，虽然没有一个完全等价的单一工具，但有多种工具和框架可以提供类似或更专业的功能。 Linux 内核开发和测试工具 1. KASAN (Kernel Address Sanitizer) 功能&…...

编程日记 2025/8/13 6:55:02

通信算法之269 ： OFDM信号的循环自相关特性用于无人机图传信号识别

OFDM信号的循环自相关特性是其循环平稳性的核心体现，如下： [相关仿真代码，联系，提供] 一、循环自相关特性来源 ‌循环前缀引入周期性‌ OFDM符号通过添加循环前缀（CP）形成符号周期结构，导致信号具有循环平稳性‌26。每个符号的CP与尾部数据重复，在时延等于FFT长度（N…...

编程日记 2025/8/15 14:37:46

【无人机】电子速度控制器（ESC）驱动电机，常见的电调协议，PWM协议，Oneshot协议，DShot协议

目录 1、ESCs & 电机 #1.1、ESC 协议 --ESC Protocols #1.1.1、PWM协议，需要校准 #1.1.2、One Shot 125协议，速率更快 #1.1.3、DShot ，减少延迟，无需校准 #1.1.4、无人机CAN 2、PWM 伺服系统和 ESC（电机控…...

编程日记 2025/8/11 2:58:38

LeadeRobot具身智能应用标杆：无人机X柔韧具身智能，空中精准作业游刃有余

当前,具身智能已成为全球科技领域的前沿焦点,更受到国家战略级重视,吸引科技产业巨头抢滩布局。但同时,具身智能的商业化路径、规模化应用场景、技术成本等难题也开始在资本界与产业圈引起广泛讨论。目前,万勋科技基于Pliabot 柔韧技术已推出多款具身智能柔韧机器人产品,在柔…...

编程日记 2025/8/13 15:28:31

WebSocket：实现实时双向通信的技术

WebSocket是一种网络通信协议，它在单个TCP连接上提供全双工通信。WebSocket协议在2011年被IETF（互联网工程任务组）标准化为RFC 6455，并由W3C（万维网联盟）制定了WebSocket API标准，使得客户端&am…...

编程日记 2025/8/13 2:23:55

探索 HumanoidBench：类人机器人学习的新平台

在科技飞速发展的当下，类人机器人逐渐走进我们的视野，它们有着和人类相似的外形，看起来能像人类一样在各种环境里完成复杂任务，潜力巨大。但实际上，让类人机器人真正发挥出实力，还面临着重重挑战。这篇文…...

编程日记 2025/8/15 4:25:55

「数据可视化 D3系列」入门第十一章：力导向图深度解析与实现

D3.js 力导向图深度解析与实现力导向图核心概念力导向图是一种通过物理模拟来展示复杂关系网络的图表类型，特别适合表现社交网络、知识图谱、系统拓扑等关系型数据。其核心原理是通过模拟粒子间的物理作用力（电荷斥力、弹簧引力等）自动计…...

编程日记 2025/8/13 1:34:17

「数据可视化 D3系列」入门第八章：动画效果详解（让图表动起来）

动画效果详解一、D3.js动画核心API1. d3.transition()2. transition.duration()3. transition.delay()4. 其他重要API 二、动画实现原理三、完整动画示例解析1. 柱状图生长动画2. 文本跟随动画四、动画效果优化技巧1. 缓动函数选择：2. 组合动画：3. 动画…...

编程日记 2025/8/14 1:25:39

index: 自动化浏览器智能体

GitHub：https://github.com/lmnr-ai/index 更多AI开源软件：https://www.aiinn.cn/ 在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以…...

编程日记 2025/8/14 5:26:30

网页端调用本地应用打开本地文件(PDF、Word、excel、PPT)

一、背景原因根据浏览器的安全策略，在网页端无法直接打开本地文件，所以需要开发者曲线救国。二、实现步骤前期准备： 确保已安装好可以打开文件的应用软件，如，WPS； 把要打开的文件统一放在一个文件夹&am…...

编程日记 2025/8/9 22:20:05

如何批量在多个 Word 文档末尾添加广告页面

Word是我们日常使用非常频繁的文档编辑软件，凭借其强大的文本处理功能，如文字输入、格式设置、段落排版、图片插入等，可以帮助我们轻松创建专业且美观的文档。不过呢当我们需要将这些文档分享给他人时，往往需要在每个文档的末尾添…...

编程日记 2025/8/14 22:50:34

JavaScript原生实现简单虚拟列表

旧笔记，最近使用时做了点新优化，之前只发在了个人博客上地址：JavaScript原生实现简单虚拟列表背景在公司项目中，需要给商品配置大量的属性值，可能其中一个属性的值数量就有成百上千条。一个商品会有很多属性&…...

编程日记 2025/8/9 1:27:57

安心联车辆管理平台应用前景分析

安心联车辆管理平台凭借其技术创新与行业适配能力，展现出广阔的应用前景。以下从技术驱动、行业覆盖、实际效益、市场策略及未来潜力五个维度进行分析： 一、技术驱动的核心竞争力高精度定位与多传感器融合安心联采用北斗/GPS双模定位技术，实…...

编程日记 2025/8/12 4:24:32

力扣每日打卡 2176. 统计数组中相等且可以被整除的数对(简单)

力扣 2176. 统计数组中相等且可以被整除的数对简单前言一、题目内容二、解题方法1. 暴力解法2.官方题解官方也是暴力解法前言这是刷算法题的第十三天，用到的语言是JS 题目：力扣 2176. 统计数组中相等且可以被整除的数对(简单) 一、题目内容给你一…...

编程日记 2025/8/16 14:11:37

OpenStack Yoga版安装笔记（22）Swift笔记20250418

一、官方文档 https://docs.openstack.org/swift/yoga/admin/objectstorage-components.html#https://docs.openstack.org/swift/yoga/admin/objectstorage-components.html# 二、对象存储简介（Introduction to Object Storage） OpenStack 对象存储&a…...

编程日记 2025/8/12 17:05:55

Linux 线程互斥

目录 Linux线程互斥进程线程间的互斥相关背景概念互斥量的接口初始化互斥量互斥量加锁和解锁锁的封装编辑互斥量加锁的非阻塞版本互斥量实现原理探究可重入VS线程安全概念常见的线程不安全的情况常见的线程安全的情况常见的不可重入的情况常见的…...

编程日记 2025/8/14 6:06:47

webgl入门实例-12WebGL 投影矩阵 (Projection Matrix)基本概念

WebGL 投影矩阵 (Projection Matrix) 投影矩阵是将3D场景从视图空间(相机空间)转换到裁剪空间的关键矩阵，它决定了3D物体如何投影到2D屏幕上。投影矩阵的作用定义3D空间到2D平面的映射方式确定视景体(view frustum)的形状和范围实现透视效果(近大远小)或正交投…...

编程日记 2025/8/13 14:24:59