当前位置：首页 > news >正文

Spark 计算总销量

news 来源：原创 2025/7/15 8:13:09

Spark 计算总销量

题目：

某电商平台存储了所有商品的销售数据，平台希望能够找到销量最好的前 N 个商品。通过分析销售记录，帮助平台决策哪些商品需要更多的推广资源。

假设你得到了一个商品销售记录的文本文件

product_id, product_name, quantity, sale_date
1, "Smartphone", 10, "2024-11-01"
2, "Laptop", 5, "2024-11-02"
3, "T-Shirt", 25, "2024-11-03"
4, "Smartwatch", 8, "2024-11-04"
5, "Headphones", 12, "2024-11-05"
1, "Smartphone", 15, "2024-11-06"
2, "Laptop", 10, "2024-11-07"
3, "T-Shirt", 10, "2024-11-08"

各字段含义：
product_id: 商品ID
product_name: 商品名称
quantity: 销售数量
sale_date: 销售日期

任务：
计算总销量：计算每个商品的总销量，输出如下。

product_id  product_name  total_sales
1           Smartphone    25
2           Laptop        15
3           T-Shirt       35
4           Smartwatch    8
5           Headphones    12

找出销量最高的前 N 个商品：根据计算出的销量，找出前 N 个销售量最多的商品，N 由用户输入。N=3时输出如下：

product_id  product_name total_sales
3           T-Shirt       35
1          Smartphone     25
2           Laptop        15

Maven

 <dependencies><dependency> <!-- Spark dependency --><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.4.0</version></dependency></dependencies>

运行

在虚拟机桌面创建文件buy_count.txt,输入文本内容
Java代码

import org.apache.spark.api.java.*;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.Function2;
import scala.Serializable;
import scala.Tuple2;
import java.util.Scanner;public class Test02 {/** Serializable* 标记一个类可以被序列化，* 即可以将其状态转换为字节流，* 以便进行持久化存储或在网络上传输* */static  class  Product implements Serializable{int product_id;String product_name;int quantity;@Overridepublic String toString() {return  String.format("%-10s %-20s %-10s", product_id, product_name, quantity);}}public static void main(String[] args) {// 文件路径// 获取用户的主目录并构建绝对路径String userHome = System.getProperty("user.home");String logFile = "file://" + userHome + "/Desktop/spark_test.txt";
//        String logFile = "file:///Desktop/spark_test.txt";// SparkConf 对象// setMaster("local")表示应用程序将在本地模式下运行// setAppName("SimpleApp")设置了应用程序的名称为SimpleAppSparkConf conf=new SparkConf().setMaster("local").setAppName("SimpleApp");// JavaSparkContext对象，它是与Spark交互的主要入口点。它接收前面创建的SparkConf对象作为参数JavaSparkContext sc=new JavaSparkContext(conf);// sc.textFile(logFile)加载文本文件内容// .cache()方法会将此RDD缓存起来以便后续重复使用时能更快访问JavaRDD<String> linesRDD = sc.textFile(logFile).cache();/** 按商品分组* JavaPairRDD 键值对* PairFunction用于定义将输入对象转换为键值对的逻辑* filter 方法对linesRDD中的每一行执行过滤(删除标题行)* mapToPair 会对每一行进行处理，生成键值对* 以product_name做键，Product对象做值* */JavaPairRDD<Integer, Product> productRDD = linesRDD.filter(new Function<String, Boolean>() {public Boolean call(String line) {return !line.contains("product_id");}}).mapToPair(new PairFunction<String, Integer, Product>(){@Overridepublic Tuple2<Integer, Product> call(String line) throws Exception {String[] fields = line.split(", ");Product product = new Product();product.product_id = Integer.parseInt(fields[0]);product.product_name = fields[1].replace("\"", "");product.quantity = Integer.parseInt(fields[2]);return new Tuple2<Integer, Product>(product.product_id, product);}});System.out.printf("%-10s %-20s %-10s%n", "product_id", "product_name", "total_sales");productRDD.foreach(tuple -> {Product value = tuple._2;System.out.println(value);});System.out.println("------------------------------------");/** 合并同一商品的数量* */JavaPairRDD<Integer, Product> productRDD2 = productRDD.reduceByKey(new Function2<Product, Product, Product>(){@Overridepublic Product call(Product product, Product product2) throws Exception {product2.quantity += product.quantity;return product2;}});// 按照商品id升序排序JavaPairRDD<Integer, Product> fourproductRankDescRDD = productRDD2.sortByKey(true);System.out.printf("%-10s %-20s %-10s%n", "product_id", "product_name", "total_sales");fourproductRankDescRDD.foreach(tuple -> {Product value = tuple._2;System.out.println(value);});// 将 JavaPairRDD 转换为 JavaRDD<Product>JavaRDD<Product> productRDD3 = productRDD2.values();// 按照 quantity 降序排序JavaRDD<Product> sortedByQuantityRDD = productRDD3.sortBy(product -> product.quantity, false, 1);Scanner scanner = new Scanner(System.in);System.out.print("请输入要显示的前N名商品：");int N =  scanner.nextInt();System.out.printf("%-10s %-20s %-10s%n", "product_id", "product_name", "total_sales");sortedByQuantityRDD.take(N).forEach(product -> System.out.println(product));}
}

IDEA打包:https://blog.csdn.net/kelekele111/article/details/123047189
虚拟机终端运行

/usr/local/spark/bin/spark-submit  ~/Desktop/Spark.jar

Spark 计算总销量

Spark 计算总销量题目： 某电商平台存储了所有商品的销售数据，平台希望能够找到销量最好的前 N 个商品。通过分析销售记录，帮助平台决策哪些商品需要更多的推广资源。假设你得到了一个商品销售记录的文本文件 product_id, product_name,…...

编程日记 2025/7/15 8:13:09

力扣每日一题 - 3001. 捕获黑皇后需要的最少移动次数

题目还需要你前往力扣官网查看详细的题目要求地址 1.现有一个下标从 1 开始的 8 x 8 棋盘，上面有 3 枚棋子。2.给你 6 个整数 a 、b 、c 、d 、e 和 f ，其中：(a, b) 表示白色车的位置。(c, d) 表示白色象的位置。(e, f) 表示黑皇后的位置。…...

编程日记 2025/7/15 6:20:39

【React】React常用开发工具

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、React DevTools二、Redux DevTools三、Create React App 前言 React 是一种用于构建用户界面的流行 JavaScript 库，由于其灵活性、性能和可重用…...

编程日记 2025/7/10 11:06:45

c++ 数据结构：图

图是一种重要的非线性数据结构，用于表示对象及其关系。它广泛应用于社交网络、交通网络、任务调度、导航等领域。图的基本概念图的定义： 图由顶点（Vertex） 和边（Edge） 组成，记为 G(V,E)&a…...

编程日记 2025/7/15 7:27:45

SpringBoot整合Mockito进行单元测试超全详细教程 JUnit断言 Mockito 单元测试

Mock概念 Mock叫做模拟对象，即用来模拟未被实现的对象可以预先定义这个对象在特定调用时的行为（例如返回值或抛出异常），从而模拟不同的系统状态。导入Mock依赖 pom文件中引入springboot测试依赖，spring-boot-start…...

编程日记 2025/7/15 5:18:47

十六，Spring Boot 整合 Druid 以及使用 Druid 监控功能

十六，Spring Boot 整合 Druid 以及使用 Druid 监控功能文章目录十六，Spring Boot 整合 Druid 以及使用 Druid 监控功能1. Druid 的基本介绍2. 准备工作：3. Druid 监控功能 3.1 Druid 监控功能 —— Web 关联监控3.2 Druid 监控功能 —— …...

编程日记 2025/7/14 8:43:22

Python办公—DataMatrix二维条码制作

目录专栏导读1、库的介绍2、库的安装3、核心代码4、完整代码总结专栏导读 🌸 欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手 🏳️‍🌈 博客主页：请点击——> 一晌小贪欢的博客主页求关注 👍 该系列文章专栏：请点击——>Python办公自动化专…...

编程日记 2025/7/14 14:25:01

Linux：软硬链接

目录一、概念软链接硬链接二、原理硬链接软链接三、使用场景硬链接软链接一、概念软链接在当前目录下，有一个普通文件a.txt。 ln -s a.txt a_soft.link结论： 软链接是一个文件。观察inode_id，发现软链接有着独立…...

编程日记 2025/7/10 18:38:32

[笔记] Windows 上 Git 安装详细教程：从零开始，附带每个选项解析

Git 是目前最流行的分布式版本控制系统之一，广泛应用于软件开发和项目管理中。对于 Windows 用户来说，正确安装和配置 Git 是开始使用 Git 的第一步。本文提供一份详细的指南，帮助你在 Windows 系统上顺利安装 Git，并解释每个安装…...

编程日记 2025/7/15 8:12:15

23种设计模式之策略模式

目录 1. 简介2. 代码2.1 Strategy （策略接口）2.2 AddStrategy （具体策略类）2.3 SubStrategy （具体策略类）2.4 MultiplyStrategy （具体策略类）2.5 Operation （上下文类&am…...

编程日记 2025/7/15 8:05:31

总篇：Python3+Request+Pytest+Allure+Jenkins接口自动化框架设计思路

1、技术选型 Python3 Python 是一种广泛使用的高级编程语言，具有简洁、易读、易维护的特点。 Python 拥有丰富的第三方库，可以方便地进行接口测试的开发。 Request Request 是一个强大的 HTTP 库，用于发送 HTTP 请求和处理响应。 Request 支持多种 HTTP 方法，如 GET、P…...

编程日记 2025/7/15 7:19:03

【QML】release版本bug，信号的参数无法获取

1. 现象问题 QML程序在debug编译模式下程序可以正常运行，但是release版本下报错：ReferenceError: para is not defined版本 Qt creator 10.0.2Qt_5_15_2_MinGW 平台 win 10 2. 解决方法暂时没有找到好的解决办法，只能规避规避方法 //问…...

编程日记 2025/7/15 7:35:50

Javaweb 前端 ajax

作用：和后端交互 script 是 js axios(这里是函数的调用方式){封装的是对象} {}是对象案例。then的含义，请求后端之后，后端把数据放在回调点了清空之后，还要查询全部 await等待请求执行完之后，接收这个结果代码…...

编程日记 2025/7/15 8:05:31

汽车EEA架构:发展历程

1.发展历程的基本逻辑汽车电子电气的发展历程中，其使用的基本逻辑是IPO(Input-Processing-Output)模型，如下图1所示： 图 1 那什么是IPO模型了？我们从控制器的原理入手解释IPO模型,控制器的主要用途如下： 根据给定的逻…...

编程日记 2025/7/12 19:06:38

几个Linux系统安装体验: 统信服务器系统

本文介绍统信服务器系统（UOS）的安装。下载下载地址： https://www.chinauos.com/resource/download-server 本文下载的文件名称为uos-server-20-1070e-amd64.iso。安装本次实践仅是做测试体验，因此在pc上使用虚拟机vmware…...

编程日记 2025/7/14 17:29:03

用二维图像渲染3D场景视频

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨ 🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。我是Srlua小谢，在这里我会分享我的知识和经验。&am…...

编程日记 2025/7/15 7:41:11

ChatGPT 最新推出的 Pro 订阅计划，具备哪些能力？

OpenAI 最近推出了 ChatGPT Pro，这是一个每月收费 200 美元的高级订阅计划，旨在为用户提供对 OpenAI 最先进模型和功能的高级访问。以下是 ChatGPT Pro 的主要功能和能力： 高级模型访问： o1 模型：包括 o1 和 o1 Pro…...

编程日记 2025/7/15 8:02:07

如何在 IntelliJ IDEA 中为 Spring Boot 应用实现热部署

文章目录 1. 引言2. 准备工作3. 添加必要的依赖4. 配置 IntelliJ IDEA4.1 启用自动编译4.2 开启热部署策略 5. 测试热部署6. 高级技巧7. 注意事项8. 总结随着现代开发工具的进步，开发者们越来越重视提高生产力的特性。对于 Java 开发者来说，能够在不重启…...

编程日记 2025/7/15 8:02:54

NLP与LLM的工程化实践与学习思考 - 写在开头

NLP与LLM的工程化实践与学习思考[24年半年工作总结] - 写在开头 0 开头的开头 0 开头的开头 24年因为一些工作原因，短暂在NLP领域遨游了半年。这半年对我的影响蛮大，一来是因为此前从没接触过这个方向学到新东西挺开心的，二来是在工程化实践…...

编程日记 2025/7/15 8:09:16

Redis（一）

Redis 基础什么是 Redis？ Redis （REmote DIctionary Server）是一个基于 C 语言开发的开源 NoSQL 数据库（BSD 许可）。与传统数据库不同的是，Redis 的数据是保存在内存中的（内存数据库&#xf…...

编程日记 2025/7/9 14:55:05

RocketMq源码-broker(五)

一、RocketMq存储设计 RocketMQ 主要存储的文件包括Commitlog 文件、ConsumeQueue 文件、IndexFile。RocketMQ 将所有主题的消息存储在同一文件，确保消息发送时顺序写文件，尽最大的能力确保消息发送的高性能与高吞吐量。但由于一般的消息中间件是基于消…...

编程日记 2025/7/15 1:31:50

【Linux】文件描述符fd

1.前置预备文件内容属性访问文件之前，都必须先打开他 #include<stdio.h> int main() { FILE* fpfopen("log.txt","w"); if(fpNULL) { perror("fopen"); return 1; } fclose(fp); return 0…...

编程日记 2025/7/15 7:51:26

mysql之事务

MySQL的事务隔离特性指的是多个并发事务之间相互隔离的程度，以保证数据的一致性和并发性。MySQL支持四个隔离级别，分别是读未提交（Read Uncommitted）、读已提交（Read Committed）、可重复读（Repe…...

编程日记 2025/7/15 8:01:17

python插入mysql数据

# 插入与上一篇变化不大,只是需要进行确认操作. 增加确认操作的方法有两种（假设类对象为a）: 1.在连接时传入一个参数:autocommitTrue aConnection（ host"localhost", port3306, user"root", password"自己的密码…...

编程日记 2025/7/14 22:26:43

C语言面试题/笔试题/高频面试题

一、C： 1.static和const的作用优缺点限制作用域： static声明中使用全局变量、函数 ，仅当前文件内可用，其他文件不能引用 static修饰的局部变量只能在本函数中使用. 延长生命周期: static修饰的变量生命周期为整个程序存放位置&a…...

编程日记 2025/7/15 7:49:47

rust websocket Echo server高性能服务器开发

最近在学习websocket时，一直没有发现好的websocket server工具来调试，于是就自己做了一个websocket server用来学习和调试。因为rust性能遥遥领先，所以就采用了rust来搭建服务器。废话不多说直接上代码main.rs： use tokio::net::TcpListener; use tokio_tungstenite::tung…...

编程日记 2025/7/15 7:57:26

Docker打包SpringBoot项目

一、项目打成jar包在进行docker打包之前，先确定一下，项目能够正常的打成JAR包，并且启动之后能够正常的访问。这一步看似是可有可无，但是能避免后期的一些无厘头问题。二、Dockerfile 项目打包成功之后，需要编写Doc…...

编程日记 2025/7/10 1:27:25

ViT学习笔记（二） Patch+Position Embedding阶段的详细推演与理解

我认为讲得最好的一个文章：Vision Transformer详解-CSDN博客有很多文章，自己并没有完全正确理解。我的笔记，以ViT的标准应用为例： • 输入图像：输入图像的尺寸是224x224，且是RGB图像，因此输…...

编程日记 2025/7/15 7:58:59

Elasticsearch 单节点安全配置与用户认证

Elasticsearch 单节点安全配置与用户认证安全扫描时发现了一个高危漏洞：Elasticsearch 未授权访问。在使用 Elasticsearch 构建搜索引擎或处理大规模数据时，需要启用基本的安全功能来防止未经授权的访问。本文将通过简单的配置步骤，为单节…...

编程日记 2025/7/10 11:06:26

【PHP项目实战】活动报名系统

目录项目介绍开发语言后端前端项目截图（部分） 首页列表详情个人中心后台管理项目演示项目介绍本项目是一款基于手机浏览器的活动报名系统。它提供了一个方便快捷的活动报名解决方案，无需下载和安装任何APP&#xff0c…...

编程日记 2025/7/15 5:46:24

ASP.NET Core8.0学习笔记（二十五）——EF Core Include导航数据加载之预加载与过滤

一、导航属性数据加载 1.在EF Core中可以使用导航属性来加载相关实体。 2.加载实体的三种方式： (1)预先加载：直接在查询主体时就把对应的依赖实体查出来（作为初始查询的一部分） (2)显式加载：使用代码指示稍后显式的从…...

编程日记 2025/7/14 1:39:25

【RK3562J开发笔记】MCP2518FD外部CAN-FD控制器的调试方法

“SPI转CAN-FD”是嵌入式开发领域的常用方法，它极大地促进了不同通信接口之间的无缝连接，并显著降低了系统设计的复杂性。飞凌嵌入式依托瑞芯微RK3562J处理器打造的OK3562J-C开发板因为内置了SPI转CAN-FD驱动，从而原生支持这一功能。该开发板…...

编程日记 2025/7/14 16:11:53

docker安装Emqx并使用自签名证书开启 SSL/TLS 连接

docker安装Emqx并使用自签名证书开启 SSL/TLS 连接一、获取自签名证书1、创建openssl.cnf文件2、生成证书自签名证书二、docker安装EMQX1、初始化目录2、加载镜像文件并挂载相应的文件目录3、启动docker容器4、EMQX加载自签名证书三、客户端MQTTX连接测试四、Springboot整合…...

编程日记 2025/7/15 7:26:13

AI驱动的低代码平台：解密背后的算法与架构创新

引言在如今的数字化浪潮中，企业对软件的需求正以前所未有的速度增长。传统的开发方式由于开发周期长、成本高，已逐渐无法满足市场的快速变化。而低代码平台的出现，使得开发者和业务人员能够以极简的方式快速构建应用。然而，随着企…...

编程日记 2025/7/9 7:24:59

ruoyi的excel批量导入

最简单方式若依的官方文档提供了教程，可以按照起前后端的教学，进行代码编写前段组件 <el-dialogtitle"导入数据"v-model"openImport"width"500px"append-to-body><el-uploadref&quo…...

编程日记 2025/7/15 7:29:17

大数据-244 离线数仓 - 电商核心交易 ODS层数据库结构数据加载 DataX

点一下关注吧！！！非常感谢！！持续更新！！！ Java篇开始了！ 目前开始更新 MyBatis，一起深入浅出！ 目前已经更新到了： Hadoop&#xff0…...

编程日记 2025/7/15 7:34:59

Spring Security

一.权限控制 1.1 认证和授权概念问题1：在生产环境下我们如果不登录后台系统就可以完成这些功能操作吗？ 答案显然是否定的，要操作这些功能必须首先登录到系统才可以。问题2：是不是所有用户，只要登录成功就都可以操…...

编程日记 2025/7/14 18:17:47

OpenAI 正式发布 o1 完整版

OpenAI 在 o1 模型完整版，该模型相较于之前的 o1-preview 版本在智能能力上有所提升，特别是在编程能力方面，并且能够根据问题的难度智能调节响应速度。此外还新增了图像识别功能，但目前仍然不支持网页浏览、文件上传等功能 o1 模…...

编程日记 2025/7/15 7:23:17

Ubuntu22.04搭建LAMP环境（linux服务器学习笔记）

目录引言： 一、系统更新二、安装搭建Apache2 1.你可以通过以下命令安装它： 2.查看Apache2版本 3.查看Apache2运行状态 4.浏览器访问三、安装搭建MySQL 1.安装MySQL 2.查看MySQL 版本 3.安全配置MySQL 3.1是否设置密码？(按y|Y表…...

编程日记 2025/7/15 8:11:08

C#与PLC通讯时，数据读取和写入浮点数，字节转换问题（ModbusTCP）

在与PLC进行通讯时，会发现一个问题，浮点数1.2接收过来后，居然变成了两个16位的整数。经过一系列的分析，这是因为在PLC存储浮点数时32位，我们接收过来的数据会变成两个16位的高低字节，而且我们进行下发数据…...

编程日记 2025/7/15 8:03:40

synchronized的特性

1.互斥对于synchronized修饰的方法及代码块不同线程想同时进行访问就会互斥。就比如synchronized修饰代码块时，一个线程进入该代码块就会进行“加锁”。退出代码块时会进行“解锁”。当其他线程想要访问被加锁的代码块时，就会阻塞等待。阻塞等待…...

编程日记 2025/7/9 1:56:11

NLP与LLM的工程化实践与学习思考 - 说说知识图谱

NLP与LLM的工程化实践与学习思考[24年半年工作总结] - 说说知识图谱 0 真的就是先说说1 为什么知识图谱什么是知识图谱？基于图的数据结构？基于数据结构的图？知识图谱的技术要点两个技术维度：知识、图七个技术要点：表示…...

编程日记 2025/7/13 20:47:46

php 系统函数记录

PHP intval() 函数 PHP函数介绍—array_key_exists(): 检查数组中是否存在特定键名如何使用PHP中的parse_url函数解析URL PHP is_array()函数详解，PHP判断是否为数组 PHP函数介绍：in_array()函数 strpos定义和用法 strpos() 函数查找字符串在另一字符串…...

编程日记 2025/7/15 7:54:37

游戏引擎学习第38天

仓库: https://gitee.com/mrxiao_com/2d_game 回顾上次的内容。我们之前讨论了将精灵放在屏幕上，但颜色错误的问题。问题最终查明是因为使用了一个调整工具，导致文件的字节顺序发生了变化。重新运行“image magic”工具对一些大图像进行重新处理后&am…...

编程日记 2025/7/13 20:20:23

Android 15 行为变更：所有应用

Android 15 平台包含一些可能会影响您的应用的行为变更。以下行为变更将影响在 Android 15 上运行的所有应用，无论采用哪种 targetSdkVersion 都不例外。您应该测试您的应用，然后根据需要进行修改，以适当地支持这些变更。此外，请…...

编程日记 2025/7/14 18:51:00

基于pytorch的深度学习基础4——损失函数和优化器

四．损失函数和优化器 4.1 均值初始化为减轻梯度消失和梯度爆炸，选择合适的权重初值。十种初始化方法 Initialization Methods 1. Xavie r均匀分布 2. Xavie r正态分布 4. Kaiming正态分布 5. 均匀分布 6. 正态分布 7. 常数分布 8. 正交矩阵初…...

编程日记 2025/7/8 5:18:57

《Clustering Propagation for Universal Medical Image Segmentation》CVPR2024

摘要这篇论文介绍了S2VNet，这是一个用于医学图像分割的通用框架，它通过切片到体积的传播（Slice-to-Volume propagation）来统一自动（AMIS）和交互式（IMIS）医学图像分割任务。S2VNet利…...

编程日记 2025/7/12 17:47:07

Webpack Source Map 配置详解与优化策略

前言 Source Map 是前端开发和调试中的核心工具之一，它可以显著提高我们在代码调试和错误追踪方面的效率。随着 JavaScript 应用越来越复杂，代码打包和优化成为必然，而这一过程会使得调试变得异常困难。Source Map 的出现，为我们…...

编程日记 2025/7/11 14:48:22

el-tree组件刷新指定id的节点数据

示例封装一个可以刷新多个指定id的节点数据。 <template><el-tree ref"treeRef"></el-tree> </template><script lang"ts" setup> const treeRef ref()function refreshTreeById(nodeIds: number[]) {nodeIds.forEach((…...

编程日记 2025/7/14 5:30:27

深入 Java 基础 XML：高级特性与最佳实践

在上一篇文章中，我们对 Java 基础 XML 有了一个初步的认识，了解了 XML 的基本结构以及在 Java 中常见的解析方式。今天，我们将进一步深入探讨 Java 与 XML 的结合，包括一些高级特性和最佳实践。一、XML 命名空间在复杂的 XML …...

编程日记 2025/7/13 23:06:08

Spark 计算总销量

题目：

Maven

运行

相关文章：