当前位置：首页 > news >正文

大数据学习栈记——MapReduce技术

news 来源：原创 2025/8/3 13:13:58

本文介绍hadoop中的MapReduce技术的应用，使用java API。操作系统：Ubuntu24.04。

MapReduce概述

MapReduce概念

MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

MapReduce核心思想

分布式的运算程序往往需要分成至少2个阶段。

第一个阶段的MapTask并发实例，完全并行运行，互不相干。

第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。

MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。

MapReduce 进程

MrAppMaster：负责整个程序的过程调度及状态调度

MapTask：负责 Map 阶段的整个数据处理流程

ReduceTask：负责 Reduce 阶段的整个数据处理流程

创建软件包

新建一个MapReduce软件包

编写Mapper类

Mapper类将单词文本进行切割，切割成一个个的单词，写入到上下文中

（1）按行读取，通过split函数进行切割，将切割出来的一个个单词放到数组words中

（2）遍历数组words，将存在的单词数据存储到word中，然后将word写入到context上下文（使Redcue程序能访问到数据）

核心代码：

package MapReduce;import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {// 输出Text k = new Text();IntWritable v = new IntWritable(1);@Overrideprotected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {// 1 获取一行String line = value.toString();// 2 切割String[] words = line.split(" ");// 3 输出for (String word : words) {k.set(word);context.write(k, v);}}
}

编写Reducer类

Reducer类

（1）将每个单词统计次数结果进行求和合并

（2）把统计结果依次写入到context上下文中

核心代码：

package MapReduce;import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;public class WordCountReducer extends Reducer<Text, IntWritable, Text, LongWritable> {@Overrideprotected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {// 声明变量 用于存储聚合完的结果long count = 0;// 遍历相同的 key 获取对应的所有 valuefor (IntWritable value : values) {count += value.get();}// 将聚合完的结果写到 MapReduce 框架context.write(key, new LongWritable(count));}
}

编写Driver类

Driver类中，需要进行以下操作：

获取job 设置jar包路径

关联Mapper、Reducer

设置map输出的k,v类型

最终输出的k,v类型

设置输入路径和输出路径

提交job

核心代码：

package MapReduce;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.io.IOException;public class WordCountDriver {public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {// 0. 自定义配置对象Configuration conf = new Configuration();// 1. 创建 Job 对象，参数可取消Job job = Job.getInstance(conf);// 2. 给 Job 对象添加 Mapper 类的 Classjob.setMapperClass(WordCountMapper.class);// 3. 给 Job 对象添加 Reduce 类的 Classjob.setReducerClass(WordCountReducer.class);// 4. 给 Job 对象添加 Driver 类的 Classjob.setJarByClass(WordCountDriver.class);// 5. 设置 Mapper 输出的数据的 key 类型job.setMapOutputKeyClass(Text.class);// 6. 设置 Mapper 输出的数据的 value 类型job.setMapOutputValueClass(IntWritable.class);// 7. 设置 Reduce 输出的数据的 key 类型job.setOutputKeyClass(Text.class);// 8. 设置 Reduce 输出的数据的 value 类型job.setOutputValueClass(LongWritable.class);// 定义uri字符串// String uri = "hdfs://master:9000";// 9. 设置 MapReduce 任务的输入路径FileInputFormat.setInputPaths(job, new Path(args[0]));// 10.设置 MapReduce 任务的输出路径FileOutputFormat.setOutputPath(job, new Path(args[1]));// 11.提交任务boolean result = job.waitForCompletion(true);// 12.退出返回System.exit(result ? 0 : 1);}
}

打包

在IDEA中，选择最右边的“Maven”选项卡，展开旁边的” Lifecycle → package”，双击，在最左边的Project面板中，找到” src → target”，就能发现生成了一个jar文件，我这里是“Spark-1.0-SNAPSHOT.jar”。

找到这个文件，在文件资源管理器打开，上传这个文件。可以修改成一个简单的名字，如“mr.jar”，然后放到一个你容易找到的地方，例如桌面上。利用XShell把这个文件上传到hadoop集群中

在hadoop集群中执行MapReduce程序

先准备好需要统计词频的文件，用浏览器打开hadoop的Web UI，输入地址：

http://hadoop101:9870/

然后选择“Utilities”菜单下的“Browser the file system”，我创建了一个文件夹“wordcount”

进入“wordcount”文件夹，我继续创建了一个文件夹“input”。继续进入“input”文件夹，我上传了两个文件“”file01.txt 和“file02.txt”，内容分别为：

Hello MapReduce Bye MapReduce

Hello Hadoop Goodbye Hadoop

进入主机master，打开命令行窗口，输入下列命令来执行上传的MapReduce程序：

cd /home/youka

hadoop jar mr.jar mr.WordCountDriver /wordcount/input /wordcount/output

系统执行后，报错了

Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster：

这里给出的报错信息非常明确，就是mapreduce配置文件没有配好，先打开hadoop中mapreduce配置文件：

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

在configuration中增加一下配置：

<property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

重新执行，成功

在“wordcount”中增加了一个”output”文件夹

打开后多了两个文件

“part-r-00000”文件显示了统计结果

大数据学习栈记——MapReduce技术

本文介绍hadoop中的MapReduce技术的应用，使用java API。操作系统：Ubuntu24.04。 MapReduce概述 MapReduce概念 MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序…...

编程日记 2025/8/3 13:13:58

GO语言入门：常用数学函数2

14.6 大型数值 math/big 包中公开了一些实用 API，用于表示大型整数值和浮点数值。当基础类型无法容纳要使用的数值时，应改用 big 包中提供的新类型。例如 Int、Float 等。 14.6.1 大型整数值之间的运算若希望让下面两个整数值完成加、减法运算&#…...

编程日记 2025/8/3 13:13:32

Django 使用教程

Django 使用教程 Django 是一个高级的 Python Web 框架，采用了 MTV（Model-Template-View）设计模式，旨在帮助开发者快速构建高效、可维护的 Web 应用。它有着非常丰富的功能，包括 ORM、用户认证、表单处理、管理后台等…...

编程日记 2025/8/3 13:13:33

deepseek + kimi制作PPT

目录一、kimi简介二、deepseek生成内容三、生成PPT四、编辑PPT 一、kimi简介 kimi是一款只能ppt生成器，擅长将文本内容生成PPT。在这里，DeepSeek 负责内容生成与逻辑梳理，Kimi 优化表达与提供设计建议。二、deepseek生…...

编程日记 2025/8/3 1:19:11

C++学习：六个月从基础到就业——内存管理：RAII原则

C学习：六个月从基础到就业——内存管理：RAII原则本文是我C学习之旅系列的第十九篇技术文章，也是第二阶段"C进阶特性"的第四篇，主要介绍C中的RAII原则及其在资源管理中的应用。查看完整系列目录了解更多内容。引言在…...

编程日记 2025/8/2 23:00:28

量子计算与经典计算融合：开启计算新时代

一、引言随着科技的飞速发展，计算技术正迎来一场前所未有的变革。量子计算作为前沿技术，以其强大的并行计算能力和对复杂问题的高效处理能力，吸引了全球科技界的关注。然而，量子计算并非要完全取代经典计算，而是与经典…...

编程日记 2025/7/29 6:15:02

RV1126网络环境TFTPNFS搭建（二）

二、RV1126 开发板TFTP环境搭建 2.1、Ubuntu下安装和配置 xinetd 执行以下指令，安装 xinetd sudo apt-get install xinetd 执行以下指令创建一个 xinetd.conf 文件 sudo vi /etc/xinetd.conf 修改 xinetd.conf 文件内容如下： # Simple configurat…...

编程日记 2025/7/29 4:44:43

计算机视觉7——齐次坐标与相机内外参

一、透视投影透视投影（Perspective Projection）是计算机视觉和图形学中描述三维物体在二维平面成像的基础模型，其核心思想是模拟人类视觉系统的成像原理——中心投影。具体而言，三维空间中的点通过一个固定的投影中心&#xff0…...

编程日记 2025/8/2 21:39:10

学习笔记—C++—string（一）

目录 string 为什么学习string的类 string类的常用接口 string类对象的常见构造 string类对象的访问及遍历操作 operator[] 迭代器范围for auto 迭代器（二） string类对象的容量操作 size,length,max_size,capacity,clear基本用法 reserve 提…...

编程日记 2025/8/1 21:45:06

Linux命令-Shell编程

Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核。写一个hello.sh脚本： 1.mkdir scripts 2.cd scripts 3.touch hello.sh 4.vim hello.sh #!/bin/bash echo "hello,world" 5.bash hello.sh&#xff08…...

编程日记 2025/7/29 6:14:55

基于Django的AI客服租车分析系统

基于Django的AI客服租车分析系统【包含内容】【一】项目提供完整源代码及详细注释【二】系统设计思路与实现说明【三】AI智能客服与用户交互指导手册【技术栈】 ①：系统环境：Python 3.8，Django 4.2框架 ②：开发环境&a…...

编程日记 2025/7/29 6:14:53

计算机组成与体系结构：计算机结构的分类（classifications of computer architecture）

目录 Von Neumann Architecture（冯诺依曼结构） Harvard Architecture（哈佛结构） Modified Harvard Architecture（改进哈佛结构） 三种结构对比总结表 💡 从“内存访问结构”角度分类&#x…...

编程日记 2025/7/28 18:44:49

在阿里云和树莓派上编写一个守护进程程序

目录一、阿里云邮件守护进程 1. 安装必要库 2. 创建邮件发送脚本 mail_daemon.py 3. 设置后台运行二、树莓派串口守护进程 1. 启用树莓派串口 2. 安装依赖库 3. 创建串口输出脚本 serial_daemon.py 4. 设置开机自启 5. 使用串口助手接收一、阿里云邮件守护进程 1.…...

编程日记 2025/8/2 23:39:46

Redis 的几种数据类型

Redis 提供了多种数据类型，以支持不同的应用场景。每种数据类型都有其特定的操作方式，并且在内部实现上也有所优化，能够满足不同的业务需求。以下是 Redis 支持的几种常见数据类型： 1. 字符串（String） 描…...

编程日记 2025/8/1 14:46:06

Spring之我见 - Spring Boot Starter 自动装配原理

欢迎光临小站：致橡树 Spring Boot Starter 的核心设计理念是约定优于配置，其核心实现基于自动配置（Auto-Configuration） 和条件化注册（Conditional Registration）。以下是其生效原理： 约定…...

编程日记 2025/8/3 8:07:31

LeRobot 项目部署运行逻辑（二）—— Mobile Aloha 真机部署

LeRobot 在开源项目中详细说明了部署流程，所以首先看一下开源的内容，然后再逐步拆解首先，LeRobot 开源的硬件是配全部在 examples 文件夹中包括了 Stretch 3、Aloha and Aloha 2 stationary、SO-100、LeKiwi、Moss v1 等机器人恰好实验…...

编程日记 2025/7/28 6:56:22

大模型面经 | 介绍一下CLIP和BLIP

大家好，我是皮先生！！今天给大家分享一些关于大模型面试常见的面试题，希望对大家的面试有所帮助。往期回顾：大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题一）大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题二）大模型面经 | 春招、秋招算法…...

编程日记 2025/7/29 6:14:42

Java发生OOM是否必然导致JVM退出

Java发生OOM是否必然导致JVM退出？ 核心结论不一定。OOM是否导致JVM退出取决于以下因素： OOM发生的区域JVM启动参数配置是否捕获了OOM异常详细分析 1. 不同内存区域的OOM影响内存区域错误类型默认是否导致JVM退出可恢复性Java堆OutOfMemoryError…...

编程日记 2025/7/29 6:14:40

Docker Compose 外部网络(`external: true`)与内部网络的区别

Docker Compose 外部网络(external: true)与内部网络的区别在 Docker Compose 中，external: true 声明的外部网络与普通(内部)网络有重要区别，以下是它们的详细对比： 1. 定义与创建方式特性外部网络 (external: true)内部网络 (默认)创建…...

编程日记 2025/7/29 6:14:38

【Android】Wallpaper学习

从wallpaper的设置来了解相关内容： 一，静态壁纸静态壁纸设置的原理是在WallpaperManagerService里监听/data/system/users/0/wallpaper_orig相关文件的变化来触发设置，通过相应的组件程序去进行绘制， 相应的组件如&#xff1a…...

编程日记 2025/8/1 14:28:42

Java基础-第一章、基本数据类型

运算符： 1.算术运算符：加减乘除%等 2.逻辑运算符：与或非等 3.关系运算符：大于、小于... 4.赋值运算符： 这里牵扯运算符的运算先后顺序了。赋值运算的返回值：就是赋值的变量本身...

编程日记 2025/7/29 6:14:34

《Operating System Concepts》阅读笔记：p748-p748

《Operating System Concepts》学习第 64 天，p748-p748 总结，总计 1 页。一、技术总结 1.Transmission Control Protocol(TCP) 重点是要自己能画出其过程，这里就不赘述了。二、英语总结(生词：3) transfer, transport, tran…...

编程日记 2025/7/29 5:15:39

Arduino示例代码讲解：Project 08 - Digital Hourglass 数字沙漏

Arduino示例代码讲解：Project 08 - Digital Hourglass 数字沙漏 Project 08 - Digital Hourglass 数字沙漏程序功能概述功能：硬件要求：输出：代码结构全局变量`setup()` 函数`loop()` 函数计时和点亮LED：读取倾斜开关状态：重置LED和计时器：运行过程注意事项Project 08 - …...

编程日记 2025/8/1 17:51:15

报告总结笔记 | Jeff Dean ETH AI趋势笔记：AI 的重要趋势：我们是如何走到今天的，我们现在能做什么，以及我们如何塑造 AI 的未来？

报告总结笔记 | Jeff Dean ETH AI趋势笔记：AI 的重要趋势：我们是如何走到今天的，我们现在能做什么，以及我们如何塑造 AI 的未来？ 2025年 4 月 14 日，Google Research 及 Google DeepMind 的首席科学家、A…...

编程日记 2025/8/2 17:19:20

RocketMQ实现基于可靠消息的最终一致性

RocketMQ实现基于可靠消息的最终一致性文章目录 RocketMQ实现基于可靠消息的最终一致性一、RocketMQ应用场景**应用解耦****流量削峰****数据分发** 二、RocketMQ 基础概念1. 核心组件2. 消费模式3. 消息可靠性三、消息类型按发送方式分同步发送异步发送单向发送按使用功能特…...

编程日记 2025/7/29 6:14:27

【题解-Acwing】790. 数的三次方根

题目：790. 数的三次方根题目描述给定一个浮点数 n，求它的三次方根。输入共一行，包含一个浮点数 n 。输出共一行，包含一个浮点数，表示问题的解。注意，结果保留 6 位小数。数据范围 −10000 ≤ n ≤ 10000 时空限制 1s / 64MB 输入样例 1000.00输出样…...

编程日记 2025/7/30 22:34:30

一键升级OpenSSH/OpenSSL修复安全漏洞

在服务器安全运维过程中，我们经常面临这样的问题：收到高危漏洞通报（如最近的OpenSSH多个CVE漏洞），但Ubuntu系统无法通过apt直接升级到修复版本。这种情况下，传统方法需要手动编译源码，处理依赖关…...

编程日记 2025/8/2 20:48:08

Pycharm 如何删除某个 Python Interpreter

在PyCharm中，点击右下角的“Interpreter Settings”按钮，或者通过菜单栏选择“File” > “Settings”（macOS用户选择“PyCharm” > “Preferences”）。在设置窗口中，导航到“Project: [Your Project Name]” >…...

编程日记 2025/8/2 23:18:35

【C++】深入浅出之多态

目录多态的概念多态的定义和实现多态的构造条件虚函数虚函数的重写虚函数重写的两个例外协变析构函数作为虚函数重写 C11的override和final重载、重写(覆盖)、隐藏(重定义)的对比相关面试题⭐ 抽象类概念接口继承和实现继承多态的原理虚函数表多态的原理动态绑定和静态绑定 e…...

编程日记 2025/7/31 6:34:23

精益数据分析（9/126）：如何筛选创业路上的关键数据指标

精益数据分析（9/126）：如何筛选创业路上的关键数据指标大家好！在创业的漫漫长路中，数据就像一盏明灯，指引着我们前行的方向。但要让这盏灯发挥作用，关键在于找到那些真正有价值的数据指标。今天…...

编程日记 2025/8/1 1:29:57

【Python爬虫详解】第二篇：HTML结构的基本分析

在上一篇文章中，我们介绍了网络爬虫的基本概念、发展历程和工作原理。要进行有效的网页内容爬取，首先需要理解我们要爬取的对象 —— 网页的基本结构和语法。网页本质上是由HTML代码构成的，爬虫程序需要从HTML中提取我们需要的信息。因此&…...

编程日记 2025/7/29 6:14:16

【C++】 —— 笔试刷题day_21

一、爱丽丝的人偶题目解析现在存在n个玩偶，每个玩偶的身高是1、2、3......n； 现在我们要对这些玩偶进行排序（如果x人偶，它左右两边的玩偶一个比x高、一个比x矮，那这个玩偶就会爆炸）。我们不想要任何一个…...

编程日记 2025/8/1 1:48:55

云点数据读写

一、常见点云数据格式 LAS/LAZ格式 LAS是点云数据的行业标准格式 LAZ是LAS的压缩版本支持地理参考信息、颜色、强度等属性 PCD格式(Point Cloud Data) PCL(Point Cloud Library)开发的格式支持ASCII和二进制存储包含头部信息和数据部分 PLY格式(Polygon File Format…...

编程日记 2025/7/28 20:53:16

Matlab 汽车行驶速度PID控制系统仿真

1、内容简介 Matlab 213-汽车行驶速度PID控制系统仿真可以交流、咨询、答疑 2、内容说明略 3、仿真分析略 4、参考论文略...

编程日记 2025/8/1 4:04:21

STM32嵌入式

一、创建工程项目 1、进入软件首页 2、新建项目,【file】->【new project】 3、选择需要的芯片 4、系统内核部分设置 ① 选择晶振（使用外部的高速晶振） ② 选择debug形式（SW类型） 5、时钟设置 6、选择自己需要的引脚设置&a…...

编程日记 2025/7/29 6:14:08

机器学习（神经网络基础篇）——个人理解篇6(概念+代码)

1 在声明一个类中，构建一个属于类的函数，前面为什要加上“self”？ 就像下面这一串代码： class TwoLayerNet:def __init__(self, input_size, hidden_size, output_size,weight_init_std0.01):# 初始化权重self.params {}self.p…...

编程日记 2025/7/29 6:14:06

Java学习手册：Filter 和 Listener

在 JavaWeb 开发中，Filter（过滤器）和 Listener（监听器）是两个重要的技术组件，它们在处理客户端请求、管理应用状态和资源以及实现全局逻辑控制等方面发挥着关键作用。一、Filter（过滤器&#…...

编程日记 2025/7/31 16:44:56

深度学习总结（25）

抽样偏倚问题非代表性数据有一个特别隐蔽又特别常见的例子，那就是抽样偏倚（sampling bias）。如果你的数据收集过程与你尝试预测的目标之间存在相互影响，就会出现抽样偏倚，从而导致有偏差的结果。理解数据将数据…...

编程日记 2025/7/29 7:21:22

探索 Model Context Protocol (MCP)：它如何影响 AI 的表现？

Anthropic 公司 Anthropic 是一家技术实力雄厚的公司，也是大模型领域的重要参与者之一。其开发的 **Claude 模型** 是全球首个以编程能力见长并广受欢迎的大语言模型。这款模型凭借卓越的代码生成和理解能力，迅速成为许多开发者工具的核心组件。例如&am…...

编程日记 2025/7/29 2:45:29

Three.js + React 实战系列-3D 个人主页：完成 Navbar 导航栏组件

在上一节中，我们搭建了项目的基础结构，搭建好了项目框架。本节我们将继续完善页面结构，完成第一个视觉组件 —— Navbar 导航栏 ✅ 前置准备： ✅下载静态资源在根目录下 (src 同级)谷歌云盘地址 🎥 02 完成 Navba…...

编程日记 2025/7/31 19:45:19

游戏引擎学习第238天:让 OpenGL 使用我们的屏幕坐标

回顾并为今天的内容做准备我们已经完成了硬件显示的实现，现在通过GPU来显示游戏。原本以为这会花费很长时间，但结果实际所需的时间并不多。因此，我们现在有了进展，但接下来应该做什么还不确定。虽然有很多事情可以做&#xff0c…...

编程日记 2025/7/31 1:09:45

go+mysql+cocos实现游戏搭建

盲目的学了一段时间了，刚开始从Box2d开始学习，明白了很多，Box2d是物理模型的基础，是我们在游戏中模拟现实的很重要的一个开源工具。后来在朋友的建议下学习了cocos，也是小程序开发的利器，而golang是一款高效…...

编程日记 2025/8/1 20:37:59

Linux 网络基础（二）（传输协议层：UDP、TCP）

目录一、传输层的意义二、端口号 1、五元组标识一个通信 2、端口号范围划分 3、知名端口号（Well-Know Port Number） （1）查看端口号 4、绑定端口号数目问题 5、pidof & netstat 命令 （1）ne…...

编程日记 2025/8/1 1:40:57

Vue常用指令入门

1. v-for 作用：用于遍历对象或数组注意：需要提供key属性，可以提高性能和避免渲染错误，值通常为index或item.id <li v-for"(item, index) in items" :key"index">{{ item }} </li>2. v-if,v-el…...

编程日记 2025/8/3 11:20:48

【文献阅读】EndoNet A Deep Architecture for Recognition Tasks on Laparoscopic Videos

关于数据集的整理 Cholec80 胆囊切除手术视频数据集介绍 https://zhuanlan.zhihu.com/p/700024359 数据集信息 Cholec80 数据集是一个针对内窥镜引导下的胆囊切除手术视频流程识别数据集。数据集提供了每段视频中总共7种手术动作及总共7种手术工具的标注，标…...

编程日记 2025/7/30 16:25:43

UML统一建模

UML UML（统一建模语言）介绍 UML（统一建模语言）介绍面向对象软件开发需要经过OOA面向对象分析、OOD面向对象设计和OOP面向对象编程三个阶段。OOA对目标系统进行分析并寄哪里分析模型，并将之文档化，OOD用面向…...

编程日记 2025/7/28 15:43:04

Ubuntu下安装和卸载MySQL

Ubuntu下安装和卸载MySQL 下面的演示系统版本：Ubuntu 24.04 更新系统软件包在开始安装之前，建议先更新系统的软件包列表，以确保所有依赖项是最新的。 sudo apt update && sudo apt upgrade -y安装MySQL服务器 Ubuntu的官方软件…...

编程日记 2025/8/1 13:02:17

物联网技术赋能：复杂环境下的能源数据零丢失

安科瑞顾强在全球能源挑战日益严峻的背景下，高效节能已成为各行业的核心诉求。无论是商业综合体、工业厂房还是公共设施，如何实现能源的精细化管理成为关键课题。安科瑞能耗云平台凭借其创新技术与多功能服务，为企业提供了一站式能源管理解…...

编程日记 2025/7/29 6:13:53

卷积神经网络综述

摘要本文对卷积神经网络（Convolutional Neural Network，CNN）进行了全面综述。首先介绍了卷积神经网络的发展历程，包括早期的理论基础和关键突破。接着详细阐述了卷积神经网络的结构组成，包括卷积层、池化层、全连接层…...

编程日记 2025/7/31 16:31:23

SpringBoot3设置maven package直接打包成二进制可执行文件

注意事项 SpringBoot普通native打包顺序clean compile spring-boot:process-aot native:compile 使用以下配置只会的打包顺序clean package（注意：使用此配置以后打包会有编译后的class文件、jar包、original源文件、二进制可执行文件【Linux是无后缀的包…...

编程日记 2025/7/29 0:55:16

MapReduce概述

MapReduce概念

MapReduce核心思想

MapReduce 进程

创建软件包

编写Mapper类

编写Reducer类

编写Driver类

打包

在hadoop集群中执行MapReduce程序

相关文章：