当前位置：首页 > news >正文

通过分治策略解决内存限制问题完成大型Hive表数据的去重的PySpark代码实现

news 来源：原创 2025/9/9 20:21:47

在Hive集群中，有一张历史交易记录表，要从这张历史交易记录表中抽取一年的数据按某些字段进行Spark去重，由于这一年的数据超过整个集群的内存容量，需要分解成每个月的数据，分别用Spark去重，并保存为Parquet文件到临时的hdfs目录中，然后从磁盘上取得12个月的数据合并并且进行去重，最后输出的结果Hive表中，请用PySpark脚本实现这个功能的逻辑。

该PySpark脚本通过分治策略解决内存限制问题，先保证月度数据内存可处理，再通过二次去重保证全局数据一致性，最终输出完整的去重结果到Hive表。

from pyspark.sql import SparkSession
from pyspark.sql import functions as Fdef main():spark = SparkSession.builder \.appName("Transaction Deduplication") \.enableHiveSupport() \.getOrCreate()# 配置参数target_year = 2023  # 指定目标年份dedupe_columns = ['transaction_id', 'user_id', 'amount']  # 替换为实际去重字段temp_path = "/tmp/deduplicated_transactions"result_table = "processed_transactions"# 按月处理数据for month in range(1, 13):# 按月查询数据monthly_data = spark.sql(f"""SELECT *FROM historical_transactionsWHERE YEAR(transaction_date) = {target_year}AND MONTH(transaction_date) = {month}""")# 本月数据去重deduped_monthly = monthly_data.dropDuplicates(subset=dedupe_columns)# 添加分区列并保存deduped_monthly.withColumn("year", F.lit(target_year)) \.withColumn("month", F.lit(month)) \.write \.partitionBy("year", "month") \.mode("overwrite") \.parquet(temp_path)# 合并并全局去重combined_data = spark.read.parquet(temp_path).drop("year", "month")final_deduped = combined_data.dropDuplicates(subset=dedupe_columns)# 写入Hive表final_deduped.write.mode("overwrite").saveAsTable(result_table)spark.stop()if __name__ == "__main__":main()

代码说明：

Spark初始化：
- 创建支持Hive的SparkSession以访问Hive表
参数配置：
- target_year: 需要处理的年份
- dedupe_columns: 去重依据的字段列表
- temp_path: 临时存储路径
- result_table: 最终结果表名
按月处理流程：
- 使用Hive SQL按月份过滤数据
- 对每月数据进行Spark去重
- 添加分区列(year/month)后保存为Parquet格式
全局处理：
- 读取所有临时Parquet文件
- 删除临时分区列后进行全局去重
- 将最终结果写入Hive表

注意事项：

替换dedupe_columns为实际的业务去重字段
确保Hive表中存在transaction_date时间字段
临时路径需要足够的HDFS存储空间
结果表结构与原表保持一致
根据集群性能调整并行度和资源分配

执行流程：

通过分治策略解决内存限制问题完成大型Hive表数据的去重的PySpark代码实现

在Hive集群中，有一张历史交易记录表，要从这张历史交易记录表中抽取一年的数据按某些字段进行Spark去重，由于这一年的数据超过整个集群的内存容量，需要分解成每个月的数据，分别用Spark去重，并保存为Parquet文…...

编程日记 2025/9/9 20:21:47

融媒体中心智能语音识别系统设计与实现

县级融媒体中心智能语音识别系统设计与实现序言随着融媒体时代的快速发展，新闻采编、专题节目制作对语音转写效率的要求日益提高。作为基层融媒体中心的技术工程师，我们在实际工作中常面临以下痛点： 采访录音整理耗时：传统人…...

编程日记 2025/9/9 20:15:03

学习笔记九——Rust所有权机制

🦀 Rust 所有权机制 📚 目录什么是值类型和引用类型？值语义和引用语义？什么是所有权？为什么 Rust 需要它？所有权的三大原则（修正版）移动语义 vs 复制语义：变量赋值到底…...

编程日记 2025/8/29 11:33:03

计算机视觉算法实现——电梯禁止电瓶车进入检测：原理、实现与行业应用（主页有源码）

✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连✨ 1. 电梯安全检测领域概述近年来，随着电动自行车（以下简称"电瓶车"&…...

编程日记 2025/9/9 20:17:17

扩散模型 Diffusion Model 整体流程详解

🧠 Diffusion Model 思路、疑问和代码文章目录 🧠 Diffusion Model 思路、疑问和代码🔄 一、核心思想：从噪声到图像📦 二、正向过程：加噪🧠 三、反向过程：学习去噪🎯 目…...

编程日记 2025/9/9 20:17:21

[Spark]深入解密Spark SQL源码：Catalyst框架如何优雅地解析你的SQL

本文内容组织形式总结具体例子执行语句解析层优化层物理计划层执行层猜你喜欢PS 总结先写个总结，接下来会分别产出各个部分的源码解析，Spark SQL主要分为以下五个执行部分。具体例子接下来举个具体的例子来说明执行语句 SELECT name, age FR…...

编程日记 2025/9/9 13:26:45

【数据结构_7】栈和队列（上）

一、概念栈和队列，也是基于顺序表和链表实现的栈是一种特殊的线性表，其只允许在固定的一段进行插入和删除元素操作。遵循后进先出的原则此处所见到的栈，本质上就是一个顺序表/链表，但是，实在顺序表/链表的基础…...

编程日记 2025/9/8 22:54:20

Linux中的cat命令常见用法

在 Linux 中，cat 命令是 concatenate（连接）的缩写，意思是“连接”或“串联”。基本功能 cat 命令的主要功能是用于查看、合并和创建文件。它会将一个或多个文件的内容输出到标准输出设备（通常是终端屏幕&#xff09…...

编程日记 2025/9/9 6:54:50

css - 实现三角形 div 容器，用css画一个三角形（提供示例源码）简单粗暴几行代码搞定！

效果图如下图所示，让一个 div 变成三角形，并且可随意更改大小， 本文提供了可运行示例源码，直接复制即可。实现源码建议创建一个 demo.html 文件，一键复制代码运行。 <style> .div{width: 0px;height: 0px…...

编程日记 2025/9/4 20:24:49

测试内容为主机地址随机数 package com.hainiu.example;import lombok.extern.slf4j.Slf4j; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RequestMethod; import org.springframework.web.bind.annotat…...

编程日记 2025/9/8 16:57:24

设计模式实践：模板方法、观察者与策略模式详解

目录 1 模板方法1.1 模板方法基本概念1.2 实验1.2.1 未使用模板方法实现代码1.2.2 使用模板方法的代码 2 观察者模式2.1 观察者模式基本概念2.2 实验 3 策略模式3.1 策略模式基本概念3.2 实验 1 模板方法 1.1 模板方法基本概念定义：一个操作中的算法的骨架 &…...

编程日记 2025/9/4 23:03:20

Google的AI模型Gemini和Gemini网络协议

粉丝私信问我：gemini如何访问？ "Gemini如何访问"需明确区分两种完全不同的技术体系：Google的AI模型Gemini和Gemini网络协议。以下是两者的访问方式详解： 一、访问Google的Gemini AI模型 1. 通过Web应用地址&#xf…...

编程日记 2025/9/5 20:59:02

HTTP实现心跳模块

HTTP实现心跳模块使用轻量级的cHTTP库cpp-httplib重现实现HTTP心跳模块头文件HttplibHeartbeat.h #ifndef HTTPLIB_HEARTBEAT_H #define HTTPLIB_HEARTBEAT_H#include <string> #include <thread> #include <atomic> #include <chrono> #include …...

编程日记 2025/9/4 14:34:40

基于web的民宿信息系统(源码+lw+部署文档+讲解)，源码可白嫖!

摘要随着信息时代的来临，民宿过去的民宿信息方式的缺点逐渐暴露，对过去的民宿信息的缺点进行分析，采取计算机方式构建民宿信息系统。本文通过阅读相关文献，研究国内外相关技术，提出了一种民宿信息管理、民宿信息管理…...

编程日记 2025/9/7 3:54:31

使用OpenSceneGraph (osg)实现一个星系漫游

简介使用OpenSceneGraph (osg)实现了一个太阳系漫游的程序，具有以下特点： 1.通过按键控制飞行器前进后退、空间姿态； 2.星系渲染； 3.背景星空渲染； 效果提供了一张超大的星空背景图代码示例 int main(int a…...

编程日记 2025/9/7 11:46:37

笔试专题（九）

文章目录十字爆破（暴力）题解代码比那名居的桃子（滑动窗口/前缀和）题解代码分组（暴力枚举优化二分）题解代码十字爆破（暴力） 题目链接题解 1. 暴力预处理 2. 如果单纯的暴…...

编程日记 2025/9/7 18:11:31

sklearn决策树待更新

注意：sklearn中所有的决策树模型包括回归决策树实现的是CART决策树算法，在官方文档中有介绍。sklearn中的决策树模型最终得到的树结构都是二叉树，因为CART算法生成的就是二叉树。 DecisionTreeClassifier类如果待预测样本有多个类别具有相同…...

编程日记 2025/9/4 16:55:03

eino v0.3.21 重磅发布！节点中断控制+空值映射支持，AI应用开发再添神器！

CloudWeGo/eino v0.3.21 作为最新补丁版本，聚焦流程控制与数据映射两大核心场景，为AI应用与微服务开发者提供更灵活的调试能力与容错设计！ 1. 节点中断控制（Feat: Node Interrupt） • 功能亮点：新增 node …...

编程日记 2025/9/7 15:22:52

力扣每日打卡 50. Pow(x, n) (中等)

[TOC](力扣 50. Pow(x, n) 中等) 前言这是刷算法题的第十一天，用到的语言是JS 题目：力扣 50. Pow(x, n) (中等) 一、题目内容实现 pow(x, n) ，即计算 x 的整数 n 次幂函数（即，xn ）。示例 1&#xff1…...

编程日记 2025/9/9 14:15:42

Mac M1管理多个Node.js版本

目录 1. 使用 nvm (Node Version Manager) 1.1.安装 nvm 1.2.安装Node.js版本 1.3.查看已安装的node版本列表 1.4.使用特定版本的Node.js 1.5.查看当前使用的版本 2. 使用 fnm (Fast Node Manager) 2.1.安装 fnm 2.2.安装Node.js版本 2.3.查看已安装的版本 2.4.使用…...

编程日记 2025/9/8 2:45:36

arm_math.h、arm_const_structs.h 和 arm_common_tables.h

在 FOC（Field-Oriented Control，磁场定向控制） 中，arm_math.h、arm_const_structs.h 和 arm_common_tables.h 是 CMSIS-DSP 库的核心组件，用于实现高效的数学运算、预定义结构和查表操作。以下是它们在 FOC 控…...

编程日记 2025/9/8 13:37:02

每天五分钟深度学习：非线性激活函数的导数

本文重点本文探讨了神经网络中几种常见非线性激活函数（Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、Softmax）的导数特性。通过对各激活函数导数的数学推导与实际应用分析，揭示了不同激活函数在梯度传播、收敛速度及模型表达能力方面的差异。研究发现，ReLU及其变体在计算效率与…...

编程日记 2025/9/5 10:45:56

OpenHarmony5.0.2 USB摄像头适配

开发环境 OpenHarmony5.0.2 RK3568 USB摄像头遇到问题编译后插上USB摄像头后打开相机无图像解决思路 5.0.2版本是支持USB摄像头的，需要修改默认的板载相机配置即可。修改代码 1、修改配配置文件地址：vendor/hihope/rk3568/hdf_config/uhdf…...

编程日记 2025/8/30 14:54:27

vue: router基础用法

router基础用法 1.安装router2.配置router3.路由编程1.编程式导航2.声明式导航 1.安装router 在node环境下，直接运行 npm install router42.配置router 创建文件夹并命名为router 在router文件夹中创建index.js index.js示例配置如下： import { creat…...

编程日记 2025/9/4 16:30:04

IDE中使用Spring Data Redis

步骤一：导入Spring Data Redis的maven坐标 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency> 步骤二：配置Redis数据源步骤三&…...

编程日记 2025/9/1 1:43:23

【计网】网络交换技术之报文交换（复习自用，了解，重要3）

复习自用的，处理得比较草率，复习的同学或者想看基础的同学可以看看，大佬的话可以不用浪费时间在我的水文上了另外两种交换技术可以直接点击链接访问相关笔记： 电路交换分组交换一、报文交换的定义报文交换（Me…...

编程日记 2025/9/8 6:48:03

GitLab 17.x 配置 https

文章目录使用外部 nginx 参考：https://docs.gitlab.com/omnibus/settings/nginx.html 使用内置 nginx 参考：https://docs.gitlab.com/omnibus/settings/ssl/index.html#configure-https-manually // 使用自己手工申请证书 $ mkdir /etc/gitlab/ssl $ m…...

编程日记 2025/9/8 22:21:56

中间件--ClickHouse-1--基础介绍（列式存储，MPP架构，分布式计算，SQL支持，向量化执行，亿万级数据秒级查询）

1、概述 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它由俄罗斯的互联网巨头Yandex为解决其内部数据分析需求而开发，并于2016年开源。专为大规模数据分析，实时数据分析和复杂查询设计，具有高性能、实时数据和可扩展性等…...

编程日记 2025/9/1 16:32:00

【编写Node接口；接口动态获取VUE文件并异步加载, 并渲染impoort插件使用】

编写Node接口；接口动态获取VUE文件并异步加载, 并渲染impoort插件使用； vue3-sfc-loader主要特征： 编写Node接口：Vue2项目使用：Vue3项目使用：（页面按需加载插件、图片等）主要使用&am…...

编程日记 2025/9/7 14:07:08

vue入门：template 和 JSX

temlplate 和 jsx 最终渲染时都是创建 dom 节点 template 和 JSX 混合使用 <template><div><span>Message: {{ msg }}</span><br/><VNodes :vnodes"getJSXSpan()"/><VNodes :vnodes"getAnchoredHeading(4)"/>…...

编程日记 2025/9/2 20:02:38

[Dify] Dify 本地部署及连接 Ollama 模型全流程指南

在构建私有化智能应用时，Dify 作为一款开源的大模型应用开发平台，具备强大的插件体系和可扩展能力。本文将详细介绍如何在本地环境中部署 Dify，并成功连接本地的 Ollama 模型，解决实际部署过程中常见的问题与错误。一、本地部署 Dify 步骤详解 1. 安装 Docker 环境（以 W…...

编程日记 2025/9/5 7:48:00

基于PyQt5的Jupyter Notebook转Python工具

一、项目背景与核心价值在数据科学领域，Jupyter Notebook因其交互特性广受欢迎，但在生产环境中通常需要将其转换为标准Python文件。本文介绍一款基于PyQt5开发的桌面级转换工具，具有以下核心价值：可视化操作：提供友好的GUI界面，告别命令行操作批量处理：支持目录递归…...

编程日记 2025/9/5 0:25:10

从自然语言到 JSON 数据交互：探索 MCP 协议的自动化任务实现

好的！以下是基于我们讨论的关于 MCP 协议、JSON 数据交互以及自然语言到 JSON 转换的实现过程的总结，格式化为一篇 CSDN 风格的博客记录。这篇文章将记录你的发现，适合分享给技术社区。从自然语言到 JSON 数据交互：探索 MCP 协议…...

编程日记 2025/8/29 15:25:51

n8n 本地部署及实践应用，实现零成本自动化运营 Telegram 频道（保证好使）

n8n 本地部署及实践应用，实现零成本自动化运营 Telegram 频道（保证好使） 简介 n8n 介绍一、高度可定制性二、丰富的连接器生态三、自托管部署（本地部署） 四、社区驱动 n8n 的部署一、前期准备二、部署步…...

编程日记 2025/9/5 21:47:49

嵌入式学习(37)-STM32串口发送中断的实现

一、概述项目中需要用到发送中断，所以了解了发送中断的一些知识。二、应用状态寄存器USART_SR的复位值为0x00C0H, 也就是第七位TXE和第六位TC复位值为1，而TXE1,表明发送数据寄存器为空， TC1表明发送已完成。 USART_ITConfig(USART1, USA…...

编程日记 2025/9/5 22:52:56

Android envsetup与Python venv使用指南

Android envsetup 和 Python venv 是两种完全不同的环境配置工具，分别服务于不同的开发场景。以下是对它们的详细解释及使用方法： 1. Android envsetup 用途： Android envsetup 是 Android 源码开发中的环境配置脚本（envsetup.sh…...

编程日记 2025/9/9 2:31:29

安卓关机和重启源码流程

// systemui关机 frameworks/base/packages/SystemUI/src/com/android/systemui/globalactions/GlobalActionsComponent.java Overridepublic void shutdown() {try {mBarService.shutdown();} catch (RemoteException e) {}}frameworks/base/services/core/java/com/android…...

编程日记 2025/9/5 3:08:45

代码说明：

注意事项：

执行流程：

相关文章：