当前位置：首页 > news >正文

Spark离线数据处理实例

news 来源：原创 2025/7/18 11:31:25

工具：Jupyter notebook

# 一、需求分析

（1）分析美妆商品信息，找出每个“商品小类”中价格最高的前5个商品。

（2）每月订购情况，统计每个月订单的订购数量情况和消费金额。

（3）按订单的地区，统计各地在订购数量上的排行情况，取最高的前20个城市。

（4）按商品的类型，分别统计各美妆产品的订购数量排行，以了解产品的畅销程度和需求情况。

（5）分析各省的美妆订购数量，以了解哪些地方的商品需求量最大。

（6）通过RFM模型挖掘客户价值。

# 二、准备工作

1．数据清洗(Pandas)

2．窗口操作(Spark SQL)

3．数据可视化(pyecharts)

### 1.数据清洗(Pandas)

#### （1）模块库的安装

pip install pandas==1.1.5

pip list

pip show pandas

pip install pyecharts==1.9.0

pip show pyecharts

pip install pyspark-stubs==2.4.0

pip show pyspark-stubs

#### (1)导入库

import pandas as pd

如果pandas导入错误执行图上代码，否则跳过此步骤

#### (2)记载数据文件信息

prod_info=pd.read_csv('beauty_prod_info.csv')

prod_info=pd.read_csv('/home/spark/beauty_prod_info.csv')

prod_info.head(10)

prod_sales=pd.read_csv('/home/spark/beauty_prod_sales.csv')

prod_sales.head()

#### （3、4）查看加载进来的数据文件基本信息

print(prod_info)

print(prod_sales)

prod_info.info()

prod_sales.info()

#### （5）检查是否存在完全重复的数据行

prod_info[prod_info.duplicated()]

prod_info[prod_info.duplicated()].count()

prod_sales[prod_sales.duplicated()]

prod_sales[prod_sales.duplicated()].count()

#### (6)检查美妆商品信息中的“商品编号”是否存在重复值

prod_info[prod_info['商品编号'].duplicated()]

prod_sales[prod_sales['订单编码'].duplicated()]

(7)统计美妆商品信息数据是否存在“空值”字段

因为如果商品编号有重复，后面在关联两个数据文件时就会遇到问题

prod_info.isnull()

prod_info.isnull().sum()

prod_sales.isnull().sum()

至此，美妆商品信息数据文件的初步分析工作就结束了，结论是不存在数据异常的情况。接下来继续分析美妆商品订单数据文件，加载美妆商品订单数据文件beauty_prod_sales.csv，并查看前5行的数据

(8)将重复数据去除并重建Pandas内部的索引，再查看重复数据是否成功去除

prod_sales.drop_duplicates(inplace=True) #删除重复的数据并保留一条

prod_sales[prod_sales.duplicated()].count() #查看是否有重复数据

prod_sales.head()

prod_sales.reset_index(drop=True,inplace=True) #重建记录的索引，确定没有重复数据

prod_sales[prod_sales.duplicated()].count()

print(prod_sales) #31452变为31446

(9)采取“bfill向后”和“ffill向前”的填充方式，即当出现“空值”时，分别参考上一条数据和下一条数据的值

(此时有两种解决方案：一是将“空值”字段的数据行直接删除；二是参考其他正常的数据进行填充，或者以某种数学手段进行填充。)

prod_sales.fillna(method='ffill',inplace=True) #参考前向数据填充保证不重复

prod_sales.fillna(method='bfill',inplace=True) #参考后向数据填充保证不重复

prod_sales.isnull().sum()

prod_sales.info()

(10)下面对存在问题的订单日期、订购数量、订购单价这几个字段进行处理
错误原因：

prod_sales['订单日期'].astype('datetime64') #转换类型说明有非法字符

prod_sales['订购数量'].astype('int64') #多了文字(个)

prod_sales['订购单价'].astype('float64') #多了元

转换类型：

prod_sales['订单日期'] =prod_sales['订单日期'].apply(lambda x :pd.to_datetime(x,format='%Y#%m#%d') \

if isinstance (x,str) and '#' in x else x) #将有#和字符串的转换为日期格式

prod_sales['订单日期']=prod_sales['订单日期'].astype('datetime64')

prod_sales['订购数量']=prod_sales['订购数量'].apply(lambda x :x.strip('个') if isinstance(x,str) else x)

prod_sales['订购数量']=prod_sales['订购数量'].astype('int64')

prod_sales['订购单价']=prod_sales['订购单价'].apply(lambda x :x.strip('元') if isinstance(x,str) else x)

prod_sales['订购单价']=prod_sales['订购单价'].astype('int64')

prod_sales.info()

Spark离线数据处理实例

工具：Jupyter notebook # 一、需求分析 （1）分析美妆商品信息，找出每个“商品小类”中价格最高的前5个商品。 （2）每月订购情况，统计每个月订单的订购数量情况和消费金额。 （3&#x…...

编程日记 2025/7/18 11:31:25

window 安装 wsl + cuda + Docker

WSL 部分参考这里安装： Windows安装WSL2 Ubuntu环境 - 知乎如果出现错误： WslRegisterDistribution failed with error: 0x800701bc 需要运行：https://crayon-shin-chan.blog.csdn.net/article/details/122994190 wsl --update wsl --shu…...

编程日记 2025/7/18 17:33:50

多通道振弦式数据采集仪MCU安装指南

设备介绍数据采集仪 MCU集传统数据采集器与5G/4G,LoRa/RS485两种通信功能与一体的智能数据采集仪。该产品提供振弦、RS-485等的物理接口，能自动采集并存储多种自然资源、建筑、桥梁、城市管廊、大坝、隧道、水利、气象传感器的实时数据，利用现场采集的数…...

编程日记 2025/7/18 17:34:53

Linux：进程信号---信号的概念与产生

文章目录 1. 信号的概念1.1 信号1.2 认识信号1.3 signal函数1.4 信号的识别（硬件角度） 2. 信号的产生2.1 键盘组合键2.2 kill命令2.3 系统调用2.4 异常2.5 软件条件 3. core dump 序：在我们的生活中，有很多信号，比如红…...

编程日记 2025/7/11 1:08:14

开放鸿蒙OpenHarmony 5.0.0 Release 兼容性测试实战经验分享

OpenHarmony 5.0版本的发布时间是2024年12月20日至21日。这个版本带来了许多新特性和改进。现在5.0出了两个release 版本，分别是5.0.0和5.0.1。就在5.0版本发布不到2周的时间内，2025年01月01日起，不支持新产品基于老分支（OpenHa…...

编程日记 2025/7/18 11:05:50

Nvidia - NVLink Fusion

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/7/17 19:33:22

C#处理印尼地区的数字分隔符方法

1.在印尼数字中的小数点和千分位分隔符的用法与欧美习惯相反逗号（,） 用作小数点（如 1,23 表示 1.23）。点（.） 用作千分位分隔符（如 1.000 表示 1000）。查阅资料后发现&#…...

编程日记 2025/7/18 15:39:04

Python爬虫（30）Python爬虫高阶：Selenium+Scrapy+Playwright融合架构，攻克动态页面与高反爬场景

目录一、背景：动态页面与反爬技术的崛起二、技术融合架构设计1. 核心组件分工2. 架构图示3. 关键技术点三、代码实现：分步详解1. 环境配置2. 核心代码结构3. Scrapy项目集成4. Playwright增强功能示例四、总结：技术融合的优势与挑战1. 优势…...

编程日记 2025/7/11 5:25:46

PHP、JAVA、Shiro反序列化

目录一、PHP反序列化二、JAVA反序列化三、Shiro反序列化 Shiro-550 反序列化漏洞原理 Shiro-721 反序列化漏洞原理 Padding Oracle 漏洞补充： 防御措施： 一、PHP反序列化主要是分为有类和无类： 1、有类：就有相关的魔术…...

编程日记 2025/7/12 21:45:55

FreeRTOS全攻略：从入门到精通

目录一、FreeRTOS 基础概念1.1 FreeRTOS 是什么1.2 为什么选择 FreeRTOS 二、与裸机开发的区别2.1 任务管理2.2 中断处理2.3 资源管理三、FreeRTOS 入门篇3.1 内存管理3.2 任务创建3.3 任务状态3.4 任务优先级3.5 空闲任务和钩子函数3.6 同步与互斥3.7 队列3.8 信号量3…...

编程日记 2025/7/13 5:25:19

机器学习决策树-分类

决策树-分类 1 概念2 基于信息增益决策树的建立(1) 信息熵(2) 信息增益(3) 信息增益决策树建立步骤 3 基于基尼指数决策树的建立(了解)4 sklearn API5 示例 1 概念 1、决策节点通过条件判断而进行分支选择的节点。如：将某个样本中的属性值(特征值)与决策节点上的值…...

编程日记 2025/7/13 19:44:14

【RK3588嵌入式图形编程】-Cairo-形状与填充

形状与填充文章目录形状与填充1、基本形状2、纯色填充3、填充图案4、填充渐变本文介绍了如何使用Cairo库创建和填充基本形状及复杂形状。首先，通过Cairo API创建矩形、正方形、圆形、弧线和椭圆等基本形状，并使用纯色进行填充。接着，通过组合基本图元，展示了如何绘制星…...

编程日记 2025/7/16 17:55:08

C及C++的音频库与视频库介绍

在 C/C 开发中，处理音频和视频需要依赖专业的库来实现编解码、播放、录制、处理等功能。一.音频库（C/C） 1.FFmpeg（音频视频全能库） 功能： 支持几乎所有音频 / 视频格式的编解码（如 MP3、…...

编程日记 2025/7/13 5:25:02

5.2.4 wpf中MultiBinding的使用方法

在 WPF 中，MultiBinding 允许将多个绑定（Binding）组合成一个逻辑结果，并通过一个转换器（IMultiValueConverter）处理这些值，最终影响目标属性。以下是其核心用法和示例：核心组件： MultiBinding：定义多个绑定源的集合。 IMultiValueConverter：实现逻…...

编程日记 2025/7/11 18:22:51

小白的进阶之路系列之二----人工智能从初步到精通pytorch中分类神经网络问题详解

什么是分类问题？分类问题涉及到预测某物是一种还是另一种。例如，你可能想要：问题类型具体内容例子二元分类目标可以是两个选项之一，例如yes或no根据健康参数预测某人是否患有心脏病。多类分类目标可以是两个以上选项之一判断一张照片是食物、人还是狗。多标签分类目标…...

编程日记 2025/7/12 15:09:46

日志根因分析：Elastic Observability 的异常检测与日志分类功能

作者：来自 Elastic Bahubali Shetti Elastic Observability 不仅提供日志聚合、指标分析、APM 和分布式追踪，Elastic 的机器学习能力还能帮助分析问题的根因，让你将时间专注于最重要的任务。随着越来越多的应用程序迁移到云端，收…...

编程日记 2025/7/11 16:29:09

web基础

域名概述 2-1 域名的概念：IP 地址不易记忆，域名是互联网络上识别和定位计算机的层次结构式的字符标识，与该计算机的互联网协议 (IP) 地址相对应，用于在数据传输时标识计算机的电子方位，方便人们记忆和输入。早期使用…...

编程日记 2025/7/15 17:38:43

WebRTC技术EasyRTC音视频实时通话驱动智能摄像头迈向多场景应用

一、方案背景在物联网蓬勃发展的当下，智能摄像头广泛应用于安防、家居、工业等领域。但传统智能摄像头存在视频传输延迟高、设备兼容性差、网络波动时传输不稳定等问题，难以满足用户对实时流畅交互视频的需求。EasyRTC凭借低延迟、高可靠、跨平台特性…...

编程日记 2025/7/16 1:33:20

PostMapping("/make/report/target/performance/first") public AjaxResult makeTargetReportFirst(RequestBody MakeReportDTO makeReportDTO) {Map<String, String> textReplaceMap new HashMap<>();// 替换日期LocalDateTime nowData LocalDateTime…...

编程日记 2025/7/17 13:20:38

【氮化镓】低剂量率对GaN HEMT栅极漏电的影响

2024 年 2 月 22 日，中国科学院新疆理化技术研究所的Li等人在《IEEE ACCESS》期刊发表了题为《Degradation Mechanisms of Gate Leakage in GaN-Based HEMTs at Low Dose Rate Irradiation》的文章，基于实验分析和 TCAD 仿真，研究了低剂量率辐照下基于 GaN 的 p 型栅高电子迁…...

编程日记 2025/7/15 5:37:15

win10使用nginx做简单负载均衡测试

一、首先安装Nginx： 官网链接：https://nginx.org/en/download.html 下载完成后，在本地文件中解压。解压完成之后，打开conf --> nginx.config 文件 1、在 http 里面加入以下代码 upstream GY{#Nginx是如何实现负载均衡的&a…...

编程日记 2025/7/12 18:15:47

Java 06API时间类

API-时间类 Date jdk8之前1.构造代表当前的日期和时间 1.Date d1new Date();当前的时间编译成对象 2.Date d2new Date(long time);时间毫秒值代表的Date日期对象 long 类型需要在写L 及8L2.常用方法 public long getTime();获取从1970-1-1到现在的毫秒值总数 void setTime…...

编程日记 2025/7/14 16:13:31

2.11 筹资管理

11.1 筹资主体 11.1.1 企业筹资 1.内源筹资企业自由资金、应付息税以及未使用或者分配专项基金。自由资金:留存收益、应收账款、闲置资产变卖未使用或者分配专项基金:更新改造基金、生产发展基金以及职工福利基金 2.外源筹资权益筹资:普通股筹资、优先股筹资债务筹资:借…...

编程日记 2025/7/13 17:00:25

什么是 AI 人工智能？什么是机器学习？什么是深度学习？三者啥关系

AI 到底是个啥？跟咱有啥关系？一文帮你搞懂！ 最近是不是老听到 “AI”、“人工智能” ，“机器学习”，“深度学习”这些词？感觉挺高大上，但又有点懵？别担心，今天咱们就用大…...

编程日记 2025/7/16 13:40:41

C语言经典面试题及答案100道

# C语言经典面试题及答案100道 ## 基础概念部分 1. **什么是C语言？** - 答：C语言是一种通用的、过程式的计算机编程语言，由Dennis Ritchie于1972年在贝尔实验室开发，主要用于系统软件开发。 2. **C语言的特点是什么&#xf…...

编程日记 2025/7/16 19:06:23

RocketMQ 顺序消息实现原理详解

RocketMQ 的顺序消息实现原理主要围绕生产者发送顺序性、Broker存储顺序性和消费者消费顺序性三个核心环节展开，具体分为全局有序和分区有序两种模式。一、顺序消息的分类 1. 全局有序定义：某个Topic下所有消息严格按FIFO顺序处理。实现：…...

编程日记 2025/7/17 7:43:34

SpringBoot与GeoHash整合，实现骑手就近派单功能

通过使用GeoHash结合Redis的地理空间功能，能够实时管理和查询骑手的位置信息，并根据订单量和评分等因素动态分配最近的骑手来完成配送任务. 空间索引: GeoHash是一种将地理坐标（经纬度）编码为字符串的算法，可以用于空间索引。这使得我们可以方便地在Redis这样的内存数据库…...

编程日记 2025/7/16 20:11:35

spark任务的提交流程

目录 spark任务的提交流程1. 资源申请与初始化2. 任务划分与调度3. 任务执行4. 资源释放与结果处理附：关键组件协作示意图扩展说明SparkContext介绍 spark任务的提交流程用户创建一个 Spark Context；Spark Context 去找 Cluster Manager 申请资源同时说明需要多少 CPU 和内…...

编程日记 2025/7/17 13:53:54

阿博图书馆管理系统 Java+Spring Boot+MySQL 实战项目分享

一、项目简介为了提升图书馆的管理效率和用户体验，我们基于 Java Spring Boot MySQL 开发了一款完整的图书馆管理系统 —— 阿博图书馆管理系统。系统采用前后端分离架构，功能模块丰富，操作逻辑清晰，适合用于毕业设计、实训项…...

编程日记 2025/7/18 9:30:05

es学习小结

1.客户端类型推荐场景版本兼容性 Elasticsearch Java API Client 新项目、ES 8.x集群 8.x及以上 Spring Data Elasticsearch Spring生态项目、简化ORM操作 ES 7.x-8.x（需版本匹配） Low-Level REST Client 需要底层HTTP控制、兼容多版本ES …...

编程日记 2025/7/12 9:37:33

【数据库课程设计】网上投票管理系统

目录前言： 一，系统需求分析 1，需求概述 2，系统功能图 3，业务流程图业务流程分析业务流程图 4，数据流程图 5，数据字典二，概念结构设计 1，实体分析 2&am…...

编程日记 2025/7/11 1:06:34

STM32+ESP8266+ONENET+微信小程序上传数据下发指令避坑指南

之前只做过类似的但是以为这种烂大街的功能应该不难结果还是踩了不少坑，记录几个需要注意的点 1、创建产品的时候选择onejson，自定义方案。这样选择的就是物模型，之后可以去使用物模型的API调试。 2、设置物模型大概有以下几种比较常用的&…...

编程日记 2025/7/13 23:16:12

不同消息队列保证高可用实现方案

消息队列的高可用性（High Availability, HA）是分布式系统中的核心需求，不同消息队列通过多种技术手段实现高可用。以下是主流消息队列的高可用实现方案及对比： 一、Apache Kafka 副本机制（Replication） 每个…...

编程日记 2025/7/12 12:18:10

Android 蓝牙开发 - 蓝牙相关权限（蓝牙基本权限、Android 12 蓝牙新增权限、位置权限）

蓝牙基本权限 1、基本介绍 <uses-permission android:name"android.permission.BLUETOOTH" />BLUETOOTH：允许应用连接配对的蓝牙设备 <uses-permission android:name"android.permission.BLUETOOTH_ADMIN" />BLUETOOTH_ADMIN&am…...

编程日记 2025/7/12 1:47:20

【Linux】第二十一章管理存储堆栈

1. 分别说明LVM中物理卷、物理区块、卷组、逻辑卷的概念以及它们之间的关系。在 LVM (Logical Volume Management) 中，硬盘的管理变得更加灵活，允许动态地调整磁盘空间的分配。物理卷（PV）：LVM使用底层物理设备&…...

编程日记 2025/7/18 1:15:04

OpenCV 人脸识别：从基础到实践全解析

在人工智能与计算机视觉蓬勃发展的今天，人脸识别技术已深入我们生活的方方面面，从手机解锁到安防监控，其应用无处不在。而 OpenCV 作为计算机视觉领域最受欢迎的开源库之一，为开发者提供了一套高效且易用的人脸识别解决方案。本文…...

编程日记 2025/7/18 17:59:52

【HTML-2】HTML 标题标签：构建网页结构的基础

在网页开发中，标题标签(<h1>到<h6>)是构建内容层次结构和语义化标记的基础元素。这些标签不仅影响内容的视觉呈现，更对网页的可访问性和SEO有着深远影响。 1. 标题标签的基本用法 HTML提供了六个级别的标题标签： <h1>这…...

编程日记 2025/7/12 21:29:31

vue3前端后端地址可配置方案

在开发vue3项目过程中，需要切换不同的服务器部署，代码中配置的服务需要可灵活配置，不随着run npm build把网址打包到代码资源中，不然每次切换都需要重新run npm build。需要一个配置文件可以修改服务地址，而打包的代码…...

编程日记 2025/6/28 22:14:41

HTML应用指南：利用POST请求获取全国申通快递服务网点位置信息

申通快递（STO Express）作为中国领先的综合物流服务商，自1993年创立以来，始终秉持“正道经营、长期主义”的发展理念，深耕快递物流领域，开创了行业加盟制先河。经过30余年的发展，申通已成长为国家…...

编程日记 2025/7/13 19:12:05

《医院运营管理典型应用数据资源建设指南2025》全面分析

引言：医院数据资源建设的时代背景与意义医院运营管理数据资源建设正迎来前所未有的发展机遇与挑战。在深化支付改革与公立医院高质量发展政策驱动下，医院亟需建立智慧化运营管理体系，而数据资源作为关键要素，其建设水平直接关系到医院管理的科学性与效率。《医院运营管理…...

编程日记 2025/7/14 11:38:23

.NET外挂系列：3. 了解 harmony 中灵活的纯手工注入方式

一：背景 1. 讲故事上一篇我们讲到了注解特性，harmony 在内部提供了 20个 HarmonyPatch 重载方法尽可能的让大家满足业务开发，那时候我也说了，特性虽然简单粗暴，但只能解决 95% 的问题，言外之意还有一些…...

编程日记 2025/7/13 18:05:08

taro 小程序 CoverImage Image src无法显示图片的问题

目录一、问题描述二、解决方案一、问题描述使用taro开发的微信小程序图片无法正常显示，并报如下错误： [渲染层网络层错误] Failed to load local image resource /assets/icon/message.png the server responded with a status of 500 (HTTP/1.…...

编程日记 2025/7/15 15:30:30

05_核支持向量机

描述核支持向量机（通常简称为SVM）可以推广到更复杂模型的扩展，这些模型无法被输入空间的超平面定义。 SVM 的核心思想是找到一个最优的超平面，将不同类别的数据分开。这个超平面不仅要能够正确分类数据，还要使得两个…...

编程日记 2025/7/17 11:54:19

[解决方案] Word转PDF

背景： 之前做过一些pdf导出， 客户提了一个特别急的需求， 要求根据一个模版跟一个csv的数据源， 批量生成PDF， 因为之前用过FOP， 知道调整样式需要特别长的时间， 这个需求又特别急， 所…...

编程日记 2025/7/12 10:27:51

Oracle 11g post PSU Oct18 设置ssl连接（使用wallets）

说明 oracle 11g 从PSU 2018Oct（含）及之后的补丁不支持MD5. 要使用JDBC SSL要使用TSL1.2. 有两种方法，一种使用wallet, 一种使用JKS. 本文档使用wallets. 1. 为什么用TSL 1.2 https://blogs.oracle.com/developers/post/ssl-connection-to…...

编程日记 2025/7/15 0:11:34

linux关闭某端口暂用的进程

查看是哪个端口暂用 sudo netstat -tulpn | grep :80根据图片显示 80端口暂用的进程id是 3002 结束进程id为3002的进程 sudo kill -9 3002...

编程日记 2025/7/12 17:40:36

web开发全过程总结

目录利用pnpm创建vue3的文件使用pnpm创建项目项目配置在idea中创建Spring Boot项目配置基础项目架构(三层架构) 利用pnpm创建vue3的文件 1.打开cmd,以管理员的身份运行 2.切换到自己想要建立项目的文件的目录下或者直接在文件中以cmd的形式打开输入指令安装pnpm n…...

编程日记 2025/7/14 12:36:24

经典Java面试题的答案——Java 基础

大家好，我是九神。这是互联网技术岗的分享专题，废话少说，进入正题： 1.JDK 和 JRE 有什么区别？ JDK：Java Development Kit 的简称，java 开发工具包，提供了 java 的开发环境和运行环境…...

编程日记 2025/7/14 18:49:09

Fiddler 指定链接断点

问题背景在使用Fiddler进行抓包和mock数据时，由于前端页面通常依赖多个前置接口（如JS、CSS、登录态等），导致抓包过程中难以精准定位到目标接口。这种复杂性增加了调试和mock数据的难度。常见挑战前置接口过多：页…...

编程日记 2025/7/16 8:02:54

C# 语法篇：字段的定义和运算

对于字段来说，是在对象创建时就被初始化了；而构造函数的运行是在这之后。因此，不能对字段进行需要用到“构造函数赋值的变量”的运算，因为此时这些变量的值都为0或者随机值，编译器不允许这时候做运算。因此&#xf…...

编程日记 2025/7/12 12:18:08

相关文章：