当前位置： 首页 > news >正文

性能优化案例：通过合理设置spark.shuffle.memoryFraction参数的值来优化PySpark程序的性能

news 来源：原创 2025/5/23 16:06:22

在PySpark中，合理调整spark.shuffle.memoryFraction参数可以有效优化Shuffle阶段的性能，尤其是在存在大量磁盘溢出的场景下。
通过合理设置spark.shuffle.memoryFraction并结合其他优化手段，可显著减少Shuffle阶段的磁盘I/O，提升PySpark作业的整体性能。以下是优化案例的总结及分步说明：

优化背景

  • 问题现象：PySpark作业在Shuffle阶段（如groupByKey、join等操作）耗时过长，日志显示Shuffle Spill (Disk)指标极高，表明内存不足导致频繁磁盘溢出。
  • 默认配置：spark.shuffle.memoryFraction默认值为0.2，即Executor堆内存的20%分配给Shuffle操作。

优化原理

  1. 参数作用：spark.shuffle.memoryFraction控制Shuffle过程中聚合、排序等操作的内存占比。内存不足时，Spark会将数据溢写到磁盘，显著降低性能。
  2. 内存划分（以Spark 1.x为例）：
    • 总堆内存：由spark.executor.memory设置。
    • 保留内存：固定为总内存的10%（至少300MB）。
    • 可用内存：总内存 - 保留内存。
    • Shuffle内存：可用内存 * spark.shuffle.memoryFraction。
    • 存储内存：可用内存 * spark.storage.memoryFraction（默认0.6）。

优化步骤

1. 监控与诊断
  • 查看Spark UI：
    • 在Stages页面，检查Shuffle操作的Shuffle Spill (Memory/Disk)指标。若Disk溢出量远高于Memory，表明Shuffle内存不足。
    • 检查Executor的GC时间，内存不足可能导致频繁GC。
2. 调整spark.shuffle.memoryFraction
  • 调高比例：若Shuffle溢出严重，逐步增加该参数（如从0.2调至0.3）：
    conf = SparkConf() \.set("spark.shuffle.memoryFraction", "0.3")  # 分配30%的可用内存给Shuffle
  • 平衡存储内存：若同时需要缓存数据，需调整spark.storage.memoryFraction，确保两者总和不超过0.8：
    .set("spark.storage.memoryFraction", "0.5")  # 存储内存降为50%
3. 调整Executor总内存
  • 若物理资源允许，增加Executor总内存（spark.executor.memory），直接扩大各区域内存容量：
    spark-submit --executor-memory 8g ...
4. 结合其他优化措施
  • 减少Shuffle数据量：
    • 使用reduceByKey代替groupByKey，提前聚合数据。
    • 使用广播变量替代大表join。
  • 调整并行度：通过spark.sql.shuffle.partitions增加分区数，降低单个任务负载。
  • 启用压缩：设置spark.shuffle.compress=true，减少Shuffle数据传输量。
5. 验证与调优
  • 重新运行作业，观察Shuffle溢出和GC时间是否减少。
  • 若性能未改善或出现其他瓶颈（如存储内存不足），需重新权衡参数或优化代码逻辑。

示例配置

from pyspark import SparkConf, SparkContextconf = SparkConf() \.setAppName("Shuffle Memory Tuning") \.setMaster("yarn") \.set("spark.executor.memory", "8g") \          # 总堆内存8G.set("spark.shuffle.memoryFraction", "0.3") \  # Shuffle内存占比30%.set("spark.storage.memoryFraction", "0.5") \  # 存储内存占比50%.set("spark.sql.shuffle.partitions", "200")    # 增加Shuffle分区数sc = SparkContext(conf=conf)

注意事项

  • Spark版本差异：Spark 1.6+采用统一内存管理，Shuffle内存动态共享，建议优先升级并使用spark.memory.fraction（默认0.6）调整总内存池。
  • 资源竞争：避免过度调高Shuffle内存，导致存储内存不足或频繁GC。
  • 综合优化：参数调整需配合代码逻辑优化，如避免宽依赖、合理设计数据倾斜处理方案。

相关文章：

性能优化案例：通过合理设置spark.shuffle.memoryFraction参数的值来优化PySpark程序的性能

在PySpark中，合理调整spark.shuffle.memoryFraction参数可以有效优化Shuffle阶段的性能，尤其是在存在大量磁盘溢出的场景下。 通过合理设置spark.shuffle.memoryFraction并结合其他优化手段，可显著减少Shuffle阶段的磁盘I/O，提升P…...

编程日记 2025/5/23 16:06:22

[C]基础9.深入理解指针(1)

博客主页：算法歌者本篇专栏：[C]您的支持，是我的创作动力。 文章目录 0、总结1、内存和地址1.1 内存1.2 理解编址 2、指针变量和地址2.1 取地址操作符（&）2.2 指针变量2.3 解引用操作符（*）2.4…...

编程日记 2025/5/21 10:24:17

网络模型简介：OSI七层模型与TCP/IP模型

计算机网络是现代信息社会的基石，而网络通信的基础在于理解网络模型。网络模型是对通信过程的抽象，它帮助我们理解数据从源到目的地的传输过程。常见的网络模型有 OSI 七层模型 和 TCP/IP 模型，这两种模型在理论和实践中都起着重要作用。 一、…...

编程日记 2025/5/6 8:40:08

第100+35步 ChatGPT学习：时间序列EMD-ARIMA-RF模型 vol. 2

基于Python 3.9版本演示 一、写在前面 上一节，我们学了EMD-ARIMA-RF模型去做预测。 这一节开始，我们尝试使用多项式回归矫正。 二、EMD&RF-ARIMA组合策略 该组合策略主要是将传统的经验模态分解（EMD）方法和现代的机器学习技…...

编程日记 2025/5/23 16:06:21

Adobe的AI生成3D数字人框架：从自拍到生动的3D化身

一、引言 随着人工智能技术的发展，我们见证了越来越多创新工具的出现，这些工具使得图像处理和视频编辑变得更加智能与高效。Adobe作为全球领先的创意软件公司，最近推出了一项令人瞩目的新技术——一个能够将普通的二维自拍照转换成栩栩如生的三维（3D）数字人的框架。这项技…...

编程日记 2025/5/22 10:34:00

2025美赛数学建模MCM/ICM选题建议与分析，思路+模型+代码

2025美赛数学建模MCM/ICM选题建议与分析,思路模型代码，详细更新见文末名片 一、问题A：测试时间：楼梯的恒定磨损（Archaeological Modeling） 适合专业：考古学、历史学、数学、机械工程 难度：中等…...

编程日记 2025/5/23 15:40:22

golang中的包管理-上--简介

‌Go语言中的包（Package）是组织和管理代码的基本单元，通过合理地使用包，可以提高代码的复用性、可维护性和可读性。 包的基本概念和定义 在Go语言中，每个源代码文件都属于一个包。包的声明位于文件的最顶部&#xff…...

编程日记 2025/5/20 22:14:38

深入了解 HTTP 头部中的 Accept-Encoding：gzip、deflate、br、zstd

在现代Web开发中，性能优化是至关重要的一部分。HTTP协议中的Accept-Encoding头部正是为性能提升提供了一个非常有效的方式，它告知服务器客户端能够理解并接收哪些压缩算法的响应内容。在这篇博客中，我们将详细探讨Accept-Encoding头部的作用&…...

编程日记 2025/5/23 0:37:36

QModbusTCPClient 服务器断开引起的程序崩溃

最近使用QModbusTCPClient 与一套设备通信，有一个QTimer频繁的通过读取设备寄存器。程序运行良好，但是有个问题：正常进行中设备断电了，整个程序都会崩溃。解决过程如下： 1.失败方案一 在QModbusTCPClient的errorOccu…...

编程日记 2025/5/23 14:53:43

Unity|小游戏复刻|见缝插针2(C#)

控制针的运动 新建一个Pin脚本 将Pin脚本拖到针Pin的下面 保存代码 using UnityEngine;public class Pin : MonoBehaviour {public float speed 5;private bool isFly false;private bool isReach false;private Transform startPosition;// Start is called once bef…...

编程日记 2025/5/22 10:22:09

数据结构——堆（C语言）

基本概念： 1、完全二叉树：若二叉树的深度为h，则除第h层外，其他层的结点全部达到最大值，且第h层的所有结点都集中在左子树。 2、满二叉树：满二叉树是一种特殊的的完全二叉树，所有层的结点都是最…...

编程日记 2025/5/21 3:26:37

ML基础2-python中的可视化1：matplotlib

承接我的上一篇博客： https://blog.csdn.net/weixin_62528784/article/details/145329298?spm1001.2014.3001.5501 在机器学习的过程中，我们需要掌握大量的Python包，常用的有pandas和numpy这些基本数据管理的包(在后续更新中我会讲解)与mat…...

编程日记 2025/5/23 15:32:31

SpringBoot--基本使用（配置、整合SpringMVC、Druid、Mybatis、基础特性）

这里写目录标题 一.介绍1.为什么依赖不需要写版本？2.启动器(Starter)是何方神圣？3.SpringBootApplication注解的功效？4.启动源码5.如何学好SpringBoot 二.SpringBoot3配置文件2.1属性配置文件使用2.2 YAML配置文件使用2.3 YAML配置文件使用2.…...

编程日记 2025/5/23 16:03:19

9.C++文件与流

C文件与流 在 C 中，文件和流是用于处理输入输出操作的重要概念，以下是关于它们的详细讲解： 流的概念 定义：流是一种抽象概念，它代表了数据的序列。在 C 中，流可以是输入流（从外部源如文件或键…...

编程日记 2025/5/22 20:22:01

CSRF 跨站请求伪造漏洞

原理 当一个网站A使用Cookie，存储Session或Token来用于单点登录和权限操作时。浏览器将Cookie存储到浏览器中。当用户在访问另一个网站V时，黑客可以通过伪造表单，向网站A发送修改重要信息(如密码)、支付等操作，浏览器会自动携带C…...

编程日记 2025/5/23 4:21:16

从ABCD谈人工智能对软件开发的影响（2）

接“造词圈子割韭菜”-从ABCD谈人工智能对软件开发的影响（1） （六）分步解析之二：组织价值（业务用例图） 这一步本来建模难度也只有，AI的助力分数可以做到30分。 ★很多领域驱动设计…...

编程日记 2025/5/16 4:52:51

我谈《概率论与数理统计》的知识体系

学习《概率论与数理统计》二十多年后，在廖老师的指导下，才厘清了各章之间的关系。首先，这是两个学科综合的一门课程，这一门课程中还有术语冲突的问题。这一门课程一条线两个分支，脉络很清晰。 概率论与统计学 概率论…...

编程日记 2025/5/23 15:58:44

第 10 课 Python 内置函数

1. 什么是内置函数 Python解释器也是一个程序，它给用户提供了一些常用功能，并给它们起了独一无二的名字，这些常用功能就是内置函数。Python解释器启动以后，内置函数也生效了，可以直接拿来使用。 内置函数是解释器的一部分，它随着解释器的启动而生效；标准库函数是…...

编程日记 2025/5/22 7:29:53

MySQL中的读锁与写锁：概念与作用深度剖析

MySQL中的读锁与写锁：概念与作用深度剖析 在MySQL数据库的并发控制机制中，读锁和写锁起着至关重要的作用。它们是确保数据在多用户环境下能够正确、安全地被访问和修改的关键工具。 一、读锁（共享锁）概念 读锁，也称为…...

编程日记 2025/5/19 9:58:50

Kotlin Bytedeco OpenCV 图像图像50 仿射变换 图像缩放

Kotlin Bytedeco OpenCV 图像图像50 仿射变换 图像缩放 1 添加依赖2 测试代码3 测试结果 在OpenCV中，仿射变换（Affine Transformation）和透视变换（Perspective Transformation）是两种常用的图像几何变换方法。 变换方…...

编程日记 2025/5/20 4:26:29

导出地图为图像文件

使用函数可以将地图或布局视图的内容导出为图像文件. 操作方法: 1.打开目标地图文档 2.导入arcpy.mapping模块 import arcpy.mapping as mapping 3.引用当前活动地图文档,把该引用赋值给变量 mxd mapping.MapDocument() 4.获取地图文档中的数据框列表,查找目标数据框,并…...

编程日记 2025/5/21 14:12:58

【Linux】命令为桥，存在为岸，穿越虚拟世界的哲学之道

文章目录 Linux基础入门：探索操作系统的内核与命令一、Linux背景与发展历史1.1 Linux的起源与发展1.2 Linux与Windows的对比 二、Linux的常用命令2.1 ls命令 - "List"（列出文件)2.2 pwd命令 - "Print Working Directory"&#xff08…...

编程日记 2025/5/19 22:32:30

如何在gitee/github上面搭建obsidian的图床

在搭建图床之前我们需要知道图床是一个什么东西,图床顾名思义就是存放图片的地方，那么我们为什么要搭建图床呢？因为我们在写博客的时候，很多同学都是在本地使用typora或者是obsidian进行markdown语法的文章的书写，文件格式通常都是…...

编程日记 2025/5/21 23:17:22

【DIY小记】减肥10kg保持半年的经验分享

作为程序员，脑力劳动者，保持一个健康的身体，是非常重要的。回顾24年自己取得的结果，一个比较亮眼的就是减肥减了10kg，到达了一个比较健康的体重，保持了半年没有反弹，当然到现在也依然在保持。今…...

编程日记 2025/5/20 20:26:06

[STM32 - 野火] - - - 固件库学习笔记 - - -十一.电源管理系统

一、电源管理系统简介 电源管理系统是STM32硬件设计和系统运行的基础，它不仅为芯片本身提供稳定的电源，还通过多种电源管理功能优化功耗、延长电池寿命，并确保系统的可靠性和稳定性。 二、电源监控器 作用：保证STM32芯片工作在…...

编程日记 2025/5/22 15:57:53

C# 探秘：PDFiumCore 开启PDF读取魔法之旅

一、引言 在当今数字化时代，PDF 文件就像一个个神秘的宝盒，里面装满了各种信息。无论是项目文档、学术论文还是产品说明书，PDF 格式凭借其良好的兼容性和稳定性，成为了信息传递的重要载体。想象一下，你接到一个紧急任…...

编程日记 2025/5/19 5:36:47

计算机网络-运输层

重点内容： 运输层 是整个网络体系结构中的关键层次之一。一定要弄清以下一些重要概念： (1) 运输层为相互通信的应用进程提供逻辑通信。 (2) 端口和套接字的意义。 (3) 无连接的 UDP 的特点。 (4) 面向连接的 TCP 的特点。 (5) 在不可靠的网…...

编程日记 2025/5/19 23:31:10

TLF35584 基本介绍

1 概述 1）多电压电源芯片，包含6路输出电压。 LDO_Com：低降后调节器 5V/200mA 通信电源。LDO_C ：低降后调节器 5V/600mA (TLF35584xxVS1)/3.3 V/600mA (TLF35584xxVS2) uC电源。Volt_Ref ：参考电压5.0 V /- 1%/150mA …...

编程日记 2025/5/20 0:49:03

【Python】第四弹---深入理解Python控制流：从顺序到循环的全面解析

✨个人主页： 熬夜学编程的小林 💗系列专栏： 【C语言详解】 【数据结构详解】【C详解】【Linux系统编程】【MySQL】【Python】 目录 1、顺序语句 2、条件语句 2.1、什么是条件语句 2.2、语法格式 2.3、缩进和代码块 2.4、练习 2.5、空…...

编程日记 2025/5/18 23:40:37

PBFT算法

在我的博客中对于RAFT算法也有详细的介绍，raft算法包含三种角色，分别是：跟随者（ follower ），候选人（candidate ）和领导者（ leader ）。集群中的一个节点在某一…...

编程日记 2025/5/22 21:08:03

软件过程模型

软件过程概念 软件生命周期 软件过程 在工作产品构建过程中，所需完成的工作活动，动作和任务的集合。 软件过程模型 软件过程评估 能力成熟度模型（CMM） 传统软件过程模型 瀑布模型（第一个软件过程模型&#xff…...

编程日记 2025/5/23 3:00:10

【Ubuntu】安装SSH启用远程连接

【Ubuntu】安装OpenSSH启用远程连接 零、安装软件 使用如下代码安装OpenSSH服务端： sudo apt install openssh-server壹、启动服务 使用如下代码启动OpenSSH服务端： sudo systemctl start ssh贰、配置SSH（可跳过） 配置文件 …...

编程日记 2025/5/17 20:33:09

代码随想录算法【Day31】

Day31 56. 合并区间 class Solution { public://按照左边界&#xff0c;从小到大排序static bool cmp(const vector<int>& a, const vector<int>& b){return a[0] < b[0];} ​vector<vector<int>> merge(vector<vector<int>>…...

编程日记 2025/5/19 13:45:30

Apache Tomcat文件包含漏洞复现(详细教程)

1.漏洞原理 Tomcat 服务器是一个免费的开放源代码的Web 应用服务器&#xff0c;其安装后会默认开启ajp连接器&#xff0c;方便与其他web服务器通过ajp协议进行交互。属于轻量级应用服务器&#xff0c;在中小型系统和并发访问用户不是很多的场合下被普遍使用&#xff0c;是开发…...

编程日记 2025/5/8 23:59:43

C#高级：常用的扩展方法大全

1.String public static class StringExtensions {/// <summary>/// 字符串转List&#xff08;中逗 英逗分隔&#xff09;/// </summary>public static List<string> SplitCommaToList(this string data){if (string.IsNullOrEmpty(data)){return new List&…...

编程日记 2025/5/20 3:55:50

麒麟操作系统基础知识保姆级教程（二十一）进入单用户模式

如果你想拥有你从未拥有过的东西&#xff0c;那么你必须去做你从未做过的事情 在咱们运维工作中&#xff0c;服务器的密码长度&#xff0c;密码复杂度&#xff0c;修改时间&#xff0c;超时时间&#xff0c;用户权限管理&#xff0c;root直接远程连接&#xff0c;普通用户su到r…...

编程日记 2025/5/20 6:53:54

基于C语言的数组从入门到精通

简介:本篇文章主要介绍了一维数组,二维数组,字符数组的定义,数组的应用,数组的核心代码解析,适用于0基础的初学者. C语言数组 1.一维数组 1.1定义 1.1.1声明 语法:数据类型 数组名[数组大小];示例:int arr[5]; 1.1.2初始化 a.静态初始化 完全初始化&#xff1a;int arr[5] {1…...

编程日记 2025/5/22 23:27:03

CLOUDFLARE代理请求重定向你太多次

现象 使用CLOUDFLARE代理前请求正常&#xff0c;使用CLOUDFLARE代理请求后出现 原因分析 以下是我的猜测&#xff0c;在默认情况下 CLOUDFLARE代理&#xff0c;可能是直接请求我们服务器的IP&#xff0c;比如&#xff1a;http://1.1.1.1 而不是通过域名的方式&#xff08;如…...

编程日记 2025/5/19 2:14:39

算法随笔_21:字符的最短距离

上一篇:算法随笔_20:区间子数组个数 -CSDN博客 题目描述如下: 给你一个字符串 s 和一个字符 c &#xff0c;且 c 是 s 中出现过的字符。 返回一个整数数组 answer &#xff0c;其中 answer.length s.length 且 answer[i] 是 s 中从下标 i 到离它 最近 的字符 c 的 距离 。 …...

编程日记 2025/5/22 19:51:02

第19个项目：蛇年特别版贪吃蛇H5小游戏

下载地址：https://download.csdn.net/download/mosquito_lover1/90308956 游戏玩法： 点击"开始游戏"按钮开始 使用键盘方向键控制蛇的移动 吃到红色食物可以得分 撞到墙壁或自己会结束游戏 核心源码： class SnakeGame { constructor() { this.canvas = docum…...

编程日记 2025/5/18 17:55:10

Vue3 30天精进之旅：Day01 - 初识Vue.js的奇妙世界

引言 在前端开发领域&#xff0c;Vue.js是一款极具人气的JavaScript框架。它以其简单易用、灵活高效的特性&#xff0c;吸引了大量开发者。本文是“Vue 3之30天系列学习”的第一篇博客&#xff0c;旨在帮助大家快速了解Vue.js的基本概念和核心特性&#xff0c;为后续的深入学习…...

编程日记 2025/5/19 15:32:09

单值二叉树（C语言详解版）

一、摘要 今天要讲的是leetcode单值二叉树&#xff0c;这里用到的C语言&#xff0c;主要提供的是思路&#xff0c;大家看了我的思路之后可以点击链接自己试一下。 二、题目简介 如果二叉树每个节点都具有相同的值&#xff0c;那么该二叉树就是单值二叉树。 只有给定的树是单…...

编程日记 2025/5/23 4:18:48

贵州端午黔粽探源：贵州味道与黔味文化与糯米的融合？

黔粽的由来? 黔粽的贵州味道?探索贵州“黔味文化”找寻答案! 黔粽的特色由来与贵州味道 贵州粽,简称黔粽。黔粽的主要特色是“酸辣”,以其独特的“酸辣”口味和地域特色,与浙粽、京粽、粤粽、川粽、云粽、闽粽、台湾粽并列为“全国八大粽子派别”之一,并与甜味粽、咸味粽共…...

编程日记 2025/5/19 18:10:29

【Project】CupFox电影网站数据爬取分析与可视化

数据采集清洗与数据存储流程如下图所示。 数据分析与数据可视化流程设计如下 1.使用pymongo从数据库中查询所需的数据。对数据进行处理和分析&#xff0c;进行统计、分类、聚合等操作&#xff0c;提取关键指标和洞察。分析结果可以通过编写Python代码进一步优化、筛选和整理&a…...

编程日记 2025/5/22 6:42:46

Spring Boot 后端跨域解决方案：解锁前后端通信的障碍

随着前后端分离架构的普及&#xff0c;跨域资源共享&#xff08;Cross-Origin Resource Sharing, CORS&#xff09;问题成为了许多开发者必须面对的一个挑战。当Web浏览器尝试从一个源加载资源到另一个不同的源时&#xff0c;出于安全考虑&#xff0c;它会实施同源策略&#xf…...

编程日记 2025/5/18 23:54:37

Linux如何设置用户登录超时(/etc/profile)

Linux如何设置用户登录超时(/etc/profile) 1. 针对所有用户 # vi /etc/profile ... export TMOUT900 # 设置闲置时间为15分钟&#xff0c;单位为秒;如果没有此行则直接添加进去 ... vi /etc/profile TMOUT18000000000000 export QT_IM_MODULEfcitx readonly TMOUT expor…...

编程日记 2025/5/18 9:58:34

Elastic Cloud Serverless 获得主要合规认证

作者&#xff1a;来自 Elastic Oliver Mao 我们很高兴地宣布&#xff0c;Elastic Cloud Serverless 已获得多项重要的合规性认证。这一里程碑加强了我们对安全性、隐私性和法规遵从性的承诺。Elastic Cloud Serverless 现已通过以下行业领先框架的审核或认证&#xff1a;SOC 2 …...

编程日记 2025/5/23 10:46:28

渐变颜色怎么调？

渐变颜色的调整是设计中非常重要的一部分&#xff0c;尤其是在创建具有视觉吸引力和深度感的设计作品时。以下是一些在不同设计软件中调整渐变颜色的详细步骤和技巧&#xff1a; 一、Adobe Photoshop 1. 创建渐变 打开渐变工具&#xff1a; 选择工具栏中的“渐变工具”&#x…...

编程日记 2025/5/21 8:02:11

DDD该怎么去落地实现（1）关键是“关系”

DDD落地的关键是“关系” 这些年&#xff0c;我认为DDD走到了一个死胡同里了&#xff0c;因为落地实现过于困难。很多团队在经过一段时间的学习&#xff0c;清楚理解了DDD那些晦涩的概念&#xff0c;根据业务绘制出领域模型&#xff0c;这都不困难。但绘制领域模型不是我们最终…...

编程日记 2025/5/20 1:35:03

基于本地事务表+MQ实现分布式事务

基于本地事务表MQ实现分布式事务 引言1、原理2、本地消息表优缺点3、本地启动rocketmq4、代码实现及验证4.1、核心代码4.2、代码执行流程4.3、项目结构4.4、项目源码 引言 本地消息表的方案最初由ebay的工程师提出&#xff0c;核心思想是将分布式事务拆分成本地事务进行处理。…...

编程日记 2025/5/22 4:13:08