当前位置：首页 > news >正文

wordcount程序

news 来源：原创 2025/7/1 4:10:31

### 在 IntelliJ IDEA 中编写和运行 Spark WordCount 程序

要使用 IntelliJ IDEA 编写并运行 Spark 的 WordCount 程序，需按照以下流程逐步完成环境配置、代码编写以及任务提交。

---

#### 1. **安装与配置 IntelliJ IDEA**
确保已正确安装 IntelliJ IDEA，并启用 Scala 插件以支持 Spark 开发。
- 如果尚未安装，请参照官方文档或社区指南完成安装过程。
- 启动 IDEA 后，在设置界面中确认 Scala 插件处于激活状态。

---

#### 2. **创建 Maven 项目**
新建一个 Maven 项目用于管理依赖库。
- 打开 IDEA，选择 `File -> New Project`，接着选中 `Maven` 模板。
- 输入项目的 GroupId 和 ArtifactId（如：GroupId=`com.example`, ArtifactId=`spark-wordcount`），继续下一步直至完成初始化。

---

#### 3. **修改 POM 文件添加依赖**
编辑项目的 `pom.xml` 来引入 Spark 和 Scala 必需的库文件。
```xml
<dependencies>

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.0.1</version>
</dependency>

<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.12.10</version>
</dependency>
</dependencies>
```
此处定义了 Spark 和 Scala 的具体版本号，建议依据实际需求调整至最新稳定版。

---

#### 4. **编写 WordCount 程序**
在 src/main/scala 路径下新增名为 `WordCount.scala` 的源码文件，填入如下内容：
```scala
package com.example.wordcount

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
def main(args: Array[String]): Unit = {
if (args.length != 2) {
println("Usage: WordCount <input-file-path> <output-directory>")
System.exit(1)
}

val inputPath = args(0)
val outputPath = args(1)

// 初始化 Spark 配置对象
val conf = new SparkConf()
.setAppName("Word Count Application")
.setMaster("local[*]") // 若部署到集群则改为 spark://master:7077

val sc = new SparkContext(conf)

try {
// 加载文本文件作为 RDD
val linesRDD = sc.textFile(inputPath)

// 对每行拆分单词并映射为(key-value)形式
val wordsRDD = linesRDD.flatMap(_.split("\\s+")).map((_, 1))

// 统计各单词出现次数
val countsRDD = wordsRDD.reduceByKey(_ + _)

// 存储结果到 HDFS 上指定目录
countsRDD.saveAsTextFile(outputPath)

println(s"Results saved to $outputPath successfully.")
} finally {
sc.stop() // 关闭上下文资源释放内存占用
}
}
}
```
该脚本实现了读取输入文件中的每一行字符串分割成单个词语再计算各自频次最后输出存储的功能。

---

#### 5. **构建 JAR 包**
通过 Maven 构建工具生成可执行 jar 文件以便后续提交给 Spark Cluster 处理。
- 移步至工程根目录执行命令：
```bash
mvn clean package -DskipTests=true
```
这一步骤将会清理旧有构件同时重新打包生成新版本jar包位于 target 文件夹内。

---

#### 6. **启动服务与提交任务**
先保证本地已经开启 HDFS 和 Spark Master Slave Services。
- 使用 shell 登录服务器端口分别启动 dfs 和 yarn/yarn-resourcemanager :
```bash
start-dfs.sh && start-yarn.sh || jps # 查看进程列表验证是否正常启动
```

之后采用 spark-submit 方式递交刚才制作好的 jar 至远端节点解析运算得出结论存回分布式文件系统当中去:
```bash
../bin/spark-submit \
--class com.example.wordcount.WordCount \
--master spark://node141:7077 \
--executor-memory 1G \
--total-executor-cores 4 \
./target/spark-wordcount-1.0-SNAPSHOT.jar \
hdfs://node141:9000/input/wordcount.txt \
hdfs://node141:9000/output/
```

---

### 总结
以上步骤详尽描述了从零开始直到成功运行一个简单的大数据分析案例——即统计词频问题的整体解决方案。遵循本文档指示能够帮助初学者迅速掌握如何运用 IntelliJ IDEA 结合 Spark 实现高效的数据处理能力提升工作效率的同时也积累了宝贵经验。

---

wordcount程序

### 在 IntelliJ IDEA 中编写和运行 Spark WordCount 程序要使用 IntelliJ IDEA 编写并运行 Spark 的 WordCount 程序，需按照以下流程逐步完成环境配置、代码编写以及任务提交。 --- #### 1. **安装与配置 IntelliJ IDEA** 确保已正确安装 IntelliJ IDEA&#x…...

编程日记 2025/7/1 4:10:31

MySQL Explain 中 Type 与 Extra 字段详解

引言在数据库性能调优过程中，理解执行计划（EXPLAIN）的输出信息至关重要。MySQL 的 EXPLAIN 命令能够帮助开发者分析查询的执行路径和效率，其中 Type 和 Extra 字段提供了关键的执行细节。Type 字段表示访问类型，反映…...

编程日记 2025/6/29 0:30:26

代码随想录算法训练营第60期第三十六天打卡

大家好！今天我们就会正式进入动态规划的章节，以前我们相继学完了回溯算法，贪心算法，今天的动态规划应该是相当重要同时也是相当难的章节，那我们废话不多说直接进入我们今天的章节。第一部分动态规划理论基础那究竟…...

编程日记 2025/6/28 22:56:05

Python操作MySQL 连接加入缓存层完整方案

更多内容请见： python3案例和总结-专栏介绍和目录文章目录 1、整体架构设计2、MySQL 连接方案2.1 使用连接池 (推荐)2.2 使用 SQLAlchemy (ORM方案)3、缓存层实现方案3.1 Redis 缓存实现3.2 Memcached 缓存实现4、完整集成方案4.1 带缓存的数据库访问层4.2 使用装饰器实现缓存…...

编程日记 2025/6/28 23:15:45

PyTorch深度神经网络（前馈、卷积神经网络）

文章目录神经网络概述神经元模型多层感知机前馈神经网络网络拓扑结构数学表示基本传播公式符号说明整体函数视角卷积神经网络卷积神经网络发展简史第一代（1943-1980）第二代（1985-2006）第三代（2006-至今）快…...

编程日记 2025/6/28 23:50:06

现代垃圾收集器

大家好，我是你们的花姐。话说java的长期支持版本已经发展到了JDK21,大部分同学对jvm中的垃圾收集器还停留在java8之前的CMS和G1。对java11之后引入的低延迟垃圾收集器shenandoah和zgc几乎是一无所知，甚至有同学是连这两个名字也没有听过呀，…...

编程日记 2025/6/29 0:21:44

Android学习总结之类LiveData与ViewModel关系篇

1. ViewModel 和 LiveData 的强依赖关系 ViewModel 和 LiveData 虽非强依赖，但在 Android 架构中常紧密协作，这基于它们的设计理念和优势互补： 数据与 UI 分离：ViewModel 的主要职责是存储和管理与 UI 相关的数据，而…...

编程日记 2025/6/29 1:16:30

GaussDB 实例 gsql 连接方式详解

GaussDB 实例 gsql 连接方式详解 GaussDB 是华为云推出的分布式关系型数据库服务，支持多种数据库引擎（如 MySQL、PostgreSQL、SQL Server 等）。gsql 是 GaussDB 提供的命令行客户端工具，用于连接和管理数据库实例。本文将详细介绍…...

编程日记 2025/6/29 8:46:29

智能体制作学习笔记2——情感客服

02 案例1-情感客服_哔哩哔哩_bilibili 目录一、AI对视频内容总结二、选择可代替视频总结的方案三、豆包AI插件安装四、通义五、情感客服智能体制作 （一）注册 (二）进入工作空间 （三）创建智能体 （…...

编程日记 2025/6/29 1:28:32

部署GraphRAG配置Neo4j实现知识图谱可视化【踩坑经历】

文章目录概要部署graphrag(一)使用conda创建虚拟环境(前提已经安装好anaconda)(二)部署graphrag 部署neo4jgraphrag生成的知识图谱导入neo4j踩坑经历1.graphrag执行graphrag index --root ./ragtest命令报错2.neo4j没有Relationship types 概要在本地部署GraphRag&#xff0…...

编程日记 2025/6/28 23:28:05

跨域的几种方案

因为浏览器出于安全考虑，有同源策略。也就是说，如果协议、域名、端口有一个不同就是跨域，Ajax 请求会失败。我们可以通过以下几种常用方法解决跨域的问题 JSONP JSONP 的原理很简单，就是利用 <script> 标签没有跨域限制…...

编程日记 2025/6/29 0:57:45

5 WPF中的application对象介绍

WPF Application 类提供了一系列生命周期事件，了解它们的触发顺序对于应用程序开发非常重要。以下是主要事件的触发顺序 1. 主要事件顺序 Startup - 应用程序启动时触发这是第一个触发的事件适合在此处初始化应用程序级资源可以在此取消启动(通过设置e.Cancel = true) Act…...

编程日记 2025/6/28 22:56:57

Nexus首次亮相迪拜 TOKEN2049：以“手机 + 钱包 + 公链 + RWA”生态系统引领未来区块链基建

迪拜，2025年5月—— 全球 Web3 基础设施创新平台 Nexus，在本年度迪拜 TOKEN2049 全球峰会上完成了其主网与全生态系统的首次国际公开亮相。此次参会不仅展示了 Nexus 的国际生态布局，更标志着其迈出了全球化战略关键一步。凭借对现实世界资产…...

编程日记 2025/6/29 0:18:26

C++ 套接字函数详细介绍

目录头文件1. 套接字创建与配置2. 绑定地址与端口3. 连接建立4. 数据传输5. 套接字选项6. 地址转换7. 套接字关闭8. 其他实用函数 C 套接字函数详细介绍套接字(Socket)是网络通信的基本端点，C中通常使用BSD套接字API进行网络编程。以下是主要的套接字相关函数及其…...

编程日记 2025/6/28 23:27:32

WordPress 和 GPL – 您需要了解的一切

如果您使用 WordPress，GPL 对您来说应该很重要，您也应该了解它。查看有关 WordPress 和 GPL 的最全面指南。您可能听说过 GPL（通常被称为 WordPress 的权利法案），但很可能并不完全了解它。这是有道理的–这是一个复杂…...

编程日记 2025/6/29 1:21:56

机器人示教操作

机器人基础操作 **ES机器人试教操作知识** **1. 视角移动** **1.1 基础模式** - 关节轴控制：通过关节1至关节6实现单轴正反转移动 - 直线移动：通过X/Y/Z坐标轴沿指定方向直线移动 - 旋转移动：通过RX/RY/RZ坐标轴绕指定轴旋转 **1.2 步进模式…...

编程日记 2025/6/29 1:05:27

【python】UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xb2

报错 C:\Users\zhangbin\AppData\Local\Programs\Python\Python310\python.exe D:\XTRANS\cuda\03-graph-db\04-cmkg\pdf2zh-v1.9.9-with-assets-win64\pdf2zh\gui.py Traceback (most recent call last): File “D:\XTRANS\cuda\03-graph-db\04-cmkg\pdf2zh-v1.9.9-with-asset…...

编程日记 2025/6/29 0:54:32

[python] python静态方法,类方法,实例方法实现及其区别

一静态方法格式: 使用 staticmethmod 装饰器修饰应用: 某个方法既不需要使用实例属性也不需要使用类属性时,就可以考虑使用静态方法注意: 静态方法与类无关,可以被转换成函数使用,属于类本身 1.1 经典示例创建一个与日期相关的辅助函数,这些函数不需要访问或修改类的…...

编程日记 2025/6/28 23:24:35

Kite AI 自动机器人部署教程

最近比较火的AI赛道，每日自动对话训练AI，赚积分一个个用于 Kite AI 平台的自动交互机器人，支持多钱包和代理。登记注册链接 🌟 功能多钱包支持（手动输入或基于文件） 代理支持（HTTP/HTTP…...

编程日记 2025/6/28 22:56:01

50. Pow(x, n)

50. Pow(x, n) 分治法的基本思想是将一个大问题分解成若干个相同或相似的小问题，递归地解决这些小问题，然后将这些小问题的解合并起来得到原问题的解。 class Solution:def myPow(self, x: float, n: int) -> float:# 内部定义了一个嵌套的辅助函数…...

编程日记 2025/6/28 23:33:06

Go 语言 sqlx 库使用：对 MySQL 增删改查

MySQL 作为目前最流行的开源关系型数据库，其 SQL 语法体系已形成行业标准，相关知识体系庞大且成熟，本文不再对 SQL 基础进行详细展开，建议尚未掌握的读者先行系统学习。本文聚焦于如何使用 Go 语言进行 MySQL 数据库操作&#xff…...

编程日记 2025/6/29 1:17:52

反射, 注解, 动态代理

文章目录单元测试什么是单元测试咱们之前是如何进行单元测试的？ 有啥问题 ？现在使用方法进行测试优点Junit单元测试的使用步骤删除不需要的jar包总结反射认识反射、获取类什么是反射反射具体学什么？反射第一步：或者Class对象获…...

编程日记 2025/6/29 0:51:25

继续预训练 LLM ——数据筛选的思路

GPT生成数据微调qwen-2.5多模态模型实战项目作者：柠檬养乐多原文地址：https://zhuanlan.zhihu.com/p/30645776656 qwen2.5-vl是阿里通义实验室推出的qwen系列最新多模态大模型，在许多指标上已经超过或接近了gpt-4o。更为方便的是&#xff0…...

编程日记 2025/6/28 23:57:06

深入解析 PostgreSQL 外部数据封装器（FDW）的 SELECT 查询执行机制

引言 PostgreSQL 中的外部数据封装器（Foreign Data Wrapper, FDW）是一种扩展，允许您像访问 PostgreSQL 数据库中的表一样，访问和操作存储在外部数据源中的数据。FDW 使 PostgreSQL 能够与多种数据存储系统（包括关系型…...

编程日记 2025/6/29 1:08:06

数据库系统概论|第六章：关系数据理论—课程笔记2

前言前文我们介绍了规划化的基本概念，同时引入了关于规范化的相关定义与基本概念，低一级范式的关系模式，通过模式分解，可以转换为若干个高一级范式的关系模式的集合，这种过程就叫规范化。本文将围绕范式展开讨论&…...

编程日记 2025/6/29 1:18:49

package-lock.json能否直接删除？

package-lock.json能否直接删除？ package-lock.json 生成工具：由 npm 自动生成。触发条件：当运行 npm install 时，如果不存在 package-lock.json，npm 会创建它；如果已存在，npm 会根据它精确安…...

编程日记 2025/6/29 0:22:29

Ubuntu磁盘空间分析：du命令及常用组合

1、du命令的作用 du（Disk Usage）是 Ubuntu 系统中用于查看目录或文件磁盘使用情况的命令，主要用于分析磁盘空间占用。 2、语法 du [选项] [目录/文件路径]常用选项 2.1、-h 以 KB、MB、GB 等人性化可读格式（Human-readable&am…...

编程日记 2025/6/28 22:55:59

《数据库原理》部分习题解析1

《数据库原理》部分习题解析1 1. 名词解释 （1）关系（2）属性（3）域（4）元组（5）码（6）分量（7）关系模式 &#xff0…...

编程日记 2025/6/28 23:49:46

汇川Easy系列PLC数据值改变功能块(随动增益改变判断)

PLC值改变事件值改变触发功能块 PLC值改变事件值改变触发功能块(SCL ST完整源代码)-CSDN博客文章浏览阅读1.1k次。本文介绍了在PLC中处理值改变事件的方法，包括值改变触发功能块的实现，详细讲解了FB接口定义、ST代码，并提供了在博途平台上的实现。此外，还分享了如何利用…...

编程日记 2025/6/28 22:56:03

数据清洗的艺术：如何为AI模型准备高质量数据集？

数据清洗的艺术：如何为AI模型准备高质量数据集？ 引言在人工智能和机器学习领域，我们常常听到"垃圾进，垃圾出"(Garbage in, garbage out)这句格言。无论你的模型架构多么精妙，算法多么先进，如果…...

编程日记 2025/6/29 0:07:47

怎么查看当前vue项目，要求的node.js版本

怎么查看当前vue项目，要求的node.js版本找到 package.json package-lock.json 搜索 node...

编程日记 2025/6/28 23:07:15

游戏引擎学习第278天:将实体存储移入世界区块

总结并为今天的内容做好铺垫今天的内容是关于开发一个完整的实体系统，目标是让这个系统更加实际和有效。之前讨论了如何通过一个模拟区域来处理无限大的世界。最初，使用浮动点数而不是双精度浮点数来避免潜在的精度问题，因为一些平台&#…...

编程日记 2025/6/28 23:58:58

计算机组成与体系结构：缓存设计概述（Cache Design Overview）

目录 Block Placement（块放置） Block Identification（块识别） Block Replacement（块替换） Write Strategy（写策略） 总结： 高速缓存设计包括四个基础核心概念&#xf…...

编程日记 2025/6/28 23:44:01

在Linux中如何使用Kill(),向进程发送发送信号

kill()函数 #include <sys/types.h> #include <signal.h> int kill(pid_t pid, int sig); 函数参数和返回值含义如下: pid:参数 pid 为正数的情况下,用于指定接收此信号的进程 pid;除此之外,参数 pid 也可设置为 0 或-1 以及小于-1 等不同值,稍后给说明。 …...

编程日记 2025/6/29 0:17:17

ElasticSearch重启之后shard未分配问题的解决

以下是Elasticsearch重启后分片未分配问题的完整解决方案，结合典型故障场景与最新实践： 一、快速诊断定位 ‌检查集群状态 GET /_cluster/health?pretty # status为red/yellow时需关注unassigned_shards字段值 ‌ 2.查看未分配分片详情 …...

编程日记 2025/6/28 23:58:40

基于 Spring Boot 瑞吉外卖系统开发（十四）

基于 Spring Boot 瑞吉外卖系统开发（十四） 查询订单在管理端的首页，单击左侧菜单栏中的“订单明细”，会在右侧打开订单明细页面。请求路径：/order/page 请求方法：GET 参数：page pageSize …...

编程日记 2025/6/29 0:27:53

【软件测试】第二章·软件测试的基本概念

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏：🏀软件测试与软件项目管理_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录 …...

编程日记 2025/6/28 22:56:48

部署安装gitlab-ce-17.9.7-ce.0.el8.x86_64.rpm

目录编辑实验环境所需软件实验开始安装部署gitlab171.配置清华源仓库（版本高的系统无需做）vim /etc/yum.repos.d/gitlab-ce.repo 2.提前下载包dnf localinstall gitlab-ce-17.9.7-ce.0.el8.x86_64.rpm --rocklinux 3.修改配…...

编程日记 2025/6/28 23:46:11

2025五一杭州西湖三天游

2025五一杭州西湖三天游文章目录 2025五一杭州西湖三天游一、前言二、杭州游玩记录三、杭州三日游小结四、杭州美食街1、河坊街2、胜利河美食街3、高银街4、中山南路美食街5、武林夜市6、啦喜街美食广场7、大兜路美食街五、豆包推荐的杭州三日游攻略三天主要行程**第一天&…...

编程日记 2025/6/29 0:09:57

实验五：以太网UDP全协议栈的实现（通过远程实验系统）

文章目录 FPGA以太网：从ARP到UDP的完整协议栈一、引言二、核心模块详解1. ARP协议处理模块1.1 `arp_cache`：ARP缓存模块1.2 `arp_tx`：ARP请求与应答发送模块1.3 `arp_rx`：ARP接收与解析模块2. MAC层处理模块2.1 `mac_layer`：MAC层顶层模块2.2 `mac_tx_mode`：MAC发送模式选…...

编程日记 2025/6/29 1:19:32

现代计算机图形学Games101入门笔记(八)

三角形三点已经知道在uv的位置了，那三角形内部的点，怎么算。先看A 任一点面积比求根据三点坐标属性差值出内部点的位置。纹理太小了，映射处理方式，取邻近的Nearest感觉一格格的，取周围4个权重Bilinear,取4*4Bicubi…...

编程日记 2025/6/28 23:50:20

C语言学习之文件操作

经过前面的学习，我们已经基本掌握了如何去写一个C语言的代码了。但是在实际的项目中，我们不可能不需要文件去操作。因为如果没有文件，我们写的程序是存储在电脑的内存中的。如果程序推出，内存回收数据就随之丢失了。如果我们要对数…...

编程日记 2025/6/28 22:56:50

《AI大模型应知应会100篇》第63篇：AutoGPT 与 BabyAGI：自主代理框架探索

第63篇：AutoGPT 与 BabyAGI：自主代理框架探索摘要随着大语言模型（LLM）技术的不断演进，自主代理（Autonomous Agent） 正在成为 AI 应用的新范式。它不仅能够理解用户意图，还能自主规…...

编程日记 2025/6/28 22:56:43

使用大模型预测急性结石性疾病技术方案

目录 1. 数据预处理与特征工程伪代码 - 数据清洗与特征处理数据预处理流程图2. 大模型构建与训练伪代码 - 模型训练模型训练流程图3. 术前预测系统伪代码 - 术前风险评估术前预测流程图4. 术中实时调整系统伪代码 - 术中风险预警术中调整流程图5. 术后护理系统伪代码 - 并发症预…...

编程日记 2025/6/28 22:56:08

基于运动补偿的前景检测算法

这段代码实现了基于运动补偿的前景检测算法。主要功能包括： 运动补偿模块：使用基于网格的 KLT 特征跟踪算法计算两帧之间的运动，然后通过单应性变换实现帧间运动补偿。前景检测模块：结合两帧运动补偿结果，通过帧间差…...

编程日记 2025/6/28 22:56:09

鸿蒙OSUniApp开发富文本编辑器组件#三方框架 #Uniapp

使用UniApp开发富文本编辑器组件富文本编辑在各类应用中非常常见，无论是内容创作平台还是社交软件，都需要提供良好的富文本编辑体验。本文记录了我使用UniApp开发一个跨平台富文本编辑器组件的过程，希望对有类似需求的开发者有所启发。背景…...

编程日记 2025/6/28 23:24:24

W5500使用SocketTool工具测试

W5500使用SocketTool工具测试 1、按“WINR” 2、输入“IPCONFIG”，得到计算机的IP地址，子网掩码和网关 3、设置W5500设备网络参数如下： 本地网关：192.168.1.1 本地子网掩码: 255.255.255.0 本地物理地址：0C 2…...

编程日记 2025/6/28 22:56:10

《Python星球日记》第71天：命名实体识别（NER）与关系抽取

名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊） 目录一、命名实体识别（NER）基础1. 什么是命名实体识别&#…...

编程日记 2025/6/28 23:15:16

双向长短期记忆网络-BiLSTM

5月14日复盘二、BiLSTM 1. 概述双向长短期记忆网络（Bi-directional Long Short-Term Memory，BiLSTM）是一种扩展自长短期记忆网络（LSTM）的结构，旨在解决传统 LSTM 模型只能考虑到过去信息的问题。BiLST…...

编程日记 2025/6/28 23:13:26

CentOS7原有磁盘扩容实战记录（LVM非LVM）【针对GPT分区】

一、环境二、命令及含义 fdisk ‌ ‌ fdisk‌是一个较老的分区表创建和管理工具，主要支持MBR（Master Boot Record）格式的分区表。MBR分区表支持的硬盘单个分区最大容量为2TB，最多可以有4个主分区。fdisk通过命令行界面进行操…...

编程日记 2025/6/29 0:40:47

相关文章：