当前位置：首页 > news >正文

用统计零花钱的例子解释：Shuffle 是啥？

news 来源：原创 2025/7/22 9:02:53

举个栗子 🌰：统计全班同学的零花钱总和

假设你是班长，全班有 4个小组，每个小组记录了自己的零花钱情况：

第1组：张三(5元)、李四(3元)、张三(2元)  
第2组：王五(4元)、张三(1元)、李四(2元)  
第3组：王五(6元)、李四(1元)  
第4组：张三(3元)、王五(2元)

目标：统计每个同学的总零花钱（比如张三的所有钱加起来是多少）。

没有 Shuffle 的情况（理想化）

如果所有数据都在同一台机器上，直接按名字分组求和即可，简单快速。

有 Shuffle 的情况（真实分布式场景）

由于数据分布在不同的机器（小组）上，必须经历以下步骤：

步骤1：局部整理（Map 阶段）

每个小组先整理自己的数据（局部聚合）：

第1组：张三(5+2=7元)、李四(3元)
第2组：张三(1元)、李四(2元)、王五(4元)
第3组：王五(6元)、李四(1元)
第4组：张三(3元)、王五(2元)

步骤2：跨组搬运数据（Shuffle 阶段）

班长喊：“所有张三的记录传给机器A，李四的传给机器B，王五的传给机器C！”
结果：
- 机器A 收到张三的数据：7元、1元、3元
- 机器B 收到李四的数据：3元、2元、1元
- 机器C 收到王五的数据：4元、6元、2元

步骤3：全局汇总（Reduce 阶段）

每台机器独立计算自己负责的同学的总和：

机器A：张三 → 7+1+3 =11元
机器B：李四 → 3+2+1 =6元
机器C：王五 → 4+6+2 =12元

什么是 Shuffle？

本质：在分布式计算中，按Key重新分配数据的过程。
触发条件：遇到 reduceByKey、groupByKey、join 等需要按Key聚合的操作。
开销大：涉及跨机器传输数据（网络+磁盘 I/O），是 Spark 中最耗时的操作之一。

为什么 Shuffle 影响性能？

网络传输：大量数据在节点间传输。
磁盘 I/O：中间数据需写入磁盘（防止内存不足）。
数据倾斜：若某个 Key 数据量极大（如“张三”有 1 亿条记录），处理该 Key 的机器会成为瓶颈。

如何减少 Shuffle 开销？

优化方法	示例	效果
提前局部聚合	`reduceByKey` 替代 `groupByKey`	减少传输数据量
调整分区数	`repartition` 或 `coalesce`	平衡数据分布
避免不必要的 Shuffle	用 `Broadcast Join` 替代 `Shuffle Join`	完全消除 Shuffle

一句话总结

Shuffle 就是跨机器搬运数据重新分组，是分布式计算的必要步骤，但成本高昂，需谨慎优化！

用统计零花钱的例子解释：Shuffle 是啥？

举个栗子 🌰：统计全班同学的零花钱总和假设你是班长，全班有 4个小组，每个小组记录了自己的零花钱情况： 第1组：张三(5元)、李四(3元)、张三(2元) 第2组：王五(4元)、张三(1元)、李四(2元) …...

编程日记 2025/7/22 9:02:53

Kafka topic 中的 partition 数据倾斜问题

在 Kafka 中，如果一个 Topic 有多个 Partition，但这些 Partition 中的消息数量或流量分布不均衡，就会出现数据倾斜（Data Skew） 的问题。 ✅ 什么是数据倾斜？ 数据倾斜指的是： 某些 Partitio…...

编程日记 2025/7/20 16:21:34

Python基础总结(十)之函数

Python函数函数是Python中也是非常重要的，函数是带名字的代码块，用于完成具体的工作。要执行函数定义的特定任务，可调用该函数。一、函数的定义函数的定义要使用def关键字，def后面紧跟函数名，缩进的为函数的代码…...

编程日记 2025/7/20 5:20:30

macOS 15 (Sequoia) 解除Gatekeeper限制

macOS 15 (Sequoia) 解除Gatekeeper限制指南问题描述在macOS 15中执行sudo spctl --global-disable命令后，系统提示： Globally disabling the assessment system needs to be confirmed in System Settings 但隐私与安全性界面未显示"任何来源&…...

编程日记 2025/7/19 15:56:16

【Flask开发踩坑实录】pip 安装报错：“No matching distribution found” 的根本原因及解决方案！

关键词：pip 报错、镜像源问题、flask-socketio、Python开发环境、安装失败作者：未名编程 ｜ 更新时间：2025.05.11 📌 引言：一场莫名其妙的 pip 安装失败最近在开发一个基于 Flask 的图像检索网站时&#…...

编程日记 2025/7/22 2:20:21

50.辐射抗扰RS和传导抗扰CS测试环境和干扰特征分析

辐射抗扰RS和传到抗扰CS测试环境和干扰特征分析 1. 辐射抗扰RS2. 传导抗扰CS 1. 辐射抗扰RS 辐射抗扰RS考察对外界电磁场干扰得抗扰能力，测试频段为80MHz~2000MHz，用1KHz得正弦波进行调幅，在电波暗室内进行。测试标准：IEC 61000-…...

编程日记 2025/7/19 4:33:15

零基础玩转sqlmap - 从入门到摸清数据库

sqlmap 包下载链接：https://pan.quark.cn/s/a6ab2586f77e 基本操作最简单的用法：sqlmap -u "网址" - 直接测试这个网址有没有SQL注入漏洞带参数的测试：如果网址后面有参数，比如 id1，sqlmap会自动检测指…...

编程日记 2025/7/22 18:52:04

AI面经总结-试读

写在前面该面经于2022年秋招上岸后耗时一个半月整理完毕，目前涵盖Python、基础理论、分类与聚类、降维、支持向量机SVM、贝叶斯|决策树、KNN、Boosting&Bagging、回归、代价函数与损失函数、激活函数、优化函数、正则优化、初始化与归一化、卷积、池化、传统图…...

编程日记 2025/7/18 18:12:31

python打卡day22@浙大疏锦行

复习日仔细回顾一下之前21天的内容，没跟上进度的同学补一下进度。作业： 自行学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码一、数据预处理 import pandas as pd import numpy as np import matplo…...

编程日记 2025/7/21 21:25:52

网络安全设备配置与管理-实验5-p150虚拟防火墙配置

实验5-p150虚拟防火墙配置做不出来可以把项目删掉再新建。实验六多加几步配置静态路由表就行。文章目录实验5-p150虚拟防火墙配置1. 实验目的2. 实验任务3. 实验设备4. 实验拓扑图和设备接口5. 实验命令与步骤1. 连线与配置2. 实验验证思考题 1. 实验目的通过该实验掌握…...

编程日记 2025/7/22 18:48:46

数值运算的误差估计

数值运算的误差估计设两个近似数 x 1 ∗ x_1^* x1∗与 x 2 ∗ x_2^* x2∗的误差限分别为 ε ( x 1 ∗ ) \varepsilon(x_{1}^{*}) ε(x1∗)和 ε ( x 2 ∗ ) \varepsilon(x_{2}^{*}) ε(x2∗) 误差限满足一下运算法则： 和差运算的误差限： 设 y …...

编程日记 2025/7/19 22:05:34

HCIP-BGP实验一

一：拓扑图二：需求分析： 保证R1-R5的环回地址相互能够通讯。分析； 1.IP的配置 2.R2-R4完成IGP配置，配置OSPF 3.完成BGP配置。 4.优化配置，包括下一跳的选择，IBGP对等体建邻的IP地址。三…...

编程日记 2025/7/20 19:57:47

linux内核pinctrl/gpio子系统驱动笔记

目录一、简单介绍二、主要源码文件和目录gpio子系统pinctrl子系统两个子系统之间的关系设备树例子三、主要的数据结构gpio子系统pinctrl子系统四、驱动初始化流程五、难点说明一、简单介绍 GPIO子系统: Linux GPIO子系统是Linux内核中负责处理GPIO（通用输入输出…...

编程日记 2025/7/19 11:16:45

Qt—多线程基础

一、QThread 1.为什么使用多线程在默认情况下，Qt使用的是单线程，当你启动一个 Qt 应用程序时，它会运行在一个单一的主线程（也被称为 GUI 线程）中。这个主线程负责处理所有的 GUI 事件和界面渲染。但在一些其他情况下…...

编程日记 2025/7/22 18:47:58

HTML5表格语法格式详解

HTML5 表格的基本结构 HTML5 表格由 <table> 标签定义，表格中的每一行由 <tr> 标签定义，表头单元格由 <th> 标签定义，数据单元格由 <td> 标签定义。表格的基本结构如下： <table><tr><th…...

编程日记 2025/7/19 6:50:58

《Go小技巧易错点100例》第三十三篇

Validator自定义校验规则 Go语言中广泛使用的validator库支持通过结构体标签定义校验规则。当内置规则无法满足需求时，我们可以轻松扩展自定义校验逻辑。示例场景：验证用户年龄是否成年（≥18岁） type User struct {Age in…...

编程日记 2025/7/20 12:30:50

Spring AI（3）——Chat Memory

Chat Memory介绍大型语言模型（LLM）是无状态的，这意味着它们不保留关于以前互动的信息。为了解决这个问题，Spring AI提供了Chat Memory（聊天记忆）功能。通过Chat Memory，用户可以实现在与LLM的…...

编程日记 2025/7/22 18:50:24

双向循环神经网络(Bi-RNN)详解

双向循环神经网络(Bidirectional Recurrent Neural Network, Bi-RNN)是一种能够同时利用序列数据过去和未来信息的循环神经网络架构，在许多序列建模任务中表现出色。 1. Bi-RNN基本概念 1.1 核心思想 Bi-RNN通过组合两个独立的RNN层来工作： 前向RNN&…...

编程日记 2025/7/18 14:36:49

【Bluedroid】HID DEVICE 连接的源码分析

本文分析Android Bluetooth协议栈中HID device设备连接流程的完整实现，从应用层接口到协议栈底层的交互细节。通过关键函数（如connect()、BTA_HdConnect()、HID_DevConnect()等）的代码解析，重点关注btif、bta、HID协议栈三层的协同机制，揭示BTA_HD_CONN_STATE_EVT事件传递…...

编程日记 2025/7/14 10:11:19

第二十一周:项目开发中遇到的相关问题(二)

本周接着介绍本次新闻项目中遇到的一些问题。首先谈谈Controller层中的请求路径问题（RequestMapping）,RequestMapping注解是Spring框架中用于处理HTTP请求映射的核心注解，它可以将HTTP请求映射到具体的控制器方法上。 1.关于它的基本作用&…...

编程日记 2025/7/21 20:39:29

深度解析大模型学习率：优化策略与挑战

大模型超参数Learning Rate的深度学习学习率（Learning Rate）是机器学习和深度学习中最核心的超参数之一，尤其在训练大规模语言模型（LLMs）时，其设置直接影响模型的收敛速度、训练稳定性及最终性能。以下从多维度详细解析学习率的定义、作用、挑战及优化策略。一、学习率…...

编程日记 2025/7/18 14:51:13

云计算-容器云-KubeVirt 运维

KubeVirt 运维：创建 VM 使用提供的镜像在 kubevirt 命名空间下创建一台 VM，名称为 exam，指定 VM 的内存、CPU、网卡和磁盘等配置。 [rootk8s-master-node1 ~]# kubectl explain kubevirt.spec. --recursive |grep useuseEmulation <boo…...

编程日记 2025/7/16 23:53:47

C++内存管理详解

目录 1.C/C中的内存 2.C内存管理 2.1C语言内存管理 2.2new和delete 2.2.1概念及定义 2.2.2自定义类型内存管理 2.2.3 delete与delete[ ] 1.C/C中的内存在C/C中编译器会对不同的代码进行内存分配，给代码的内存区主要分为栈区、堆区、数据段(静态区)、代码段(…...

编程日记 2025/7/22 18:47:05

二叉搜索树讲解

1. 二叉搜索树的概念二叉搜索树又称二叉排序树，它或者是一颗空树，或者是具有以下性质的二叉树： 1. 若它的左子树不为空，则左子树上的所有结点的值都小于等于根节点的值。 2. 若它的右子树不为空，则右子树上的所有结…...

编程日记 2025/7/18 21:35:20

MySQL 索引设计宝典：原理、原则与实战案例深度解析

目录前言第一章：索引设计的基础原则 (知其然，更要知其所以然)第二章：实战案例：电商订单系统的索引设计第三章：索引设计的实践流程总结结语 🌟我的其他文章也讲解的比较有趣😁，如果喜…...

编程日记 2025/7/22 5:38:17

如何租用服务器并通过ssh连接远程服务器终端

这里我使用的是智算云扉没有打广告但确实很便宜还有二十小时免费额度链接如下注册之后租用新实例选择操作系统选择显卡型号点击租用选择计费方式选择镜像如果跑深度学习的话就选项目对应的torch版本没有的话就创建纯净的cuda 自己安装点击创建实例创建之后 …...

编程日记 2025/7/22 2:16:12

TikTok 账号运营干货：AI 驱动优化

TikTok 账号运营是一项需要全方位精心雕琢的工作。首先，账号资料的打造至关重要，务必保证完整且富有吸引力。头像要清晰醒目，能够直观传达账号的核心特色；昵称需简洁易记，方便用户快速识别与记忆；简介则要精…...

编程日记 2025/7/17 17:37:01

Redis 分布式锁

什么是分布式锁在一个分布式的系统中, 也会涉及到多个节点访问同一个公共资源的情况. 此时就需要通过锁来做互斥控制, 避免出现类似于 "线程安全" 的问题而 java 的 synchronized 或者 C 的 std::mutex, 这样的锁都是只能在当前进程中生效, 在分布式的这种多个进…...

编程日记 2025/7/20 17:48:12

Redis爆肝总结

一、基础 1.介绍本质上是一个Key-Value类型的内存数据库，数据的加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。速度快的根本原因纯内存操作，性能非常出色，每秒可以处理超过10万次读写操作&a…...

编程日记 2025/7/17 10:05:36

Qt模块化架构设计教程 -- 轻松上手插件开发

概述在软件开发领域，随着项目的增长和需求的变化，保持代码的可维护性和扩展性变得尤为重要。一个有效的解决方案是采用模块化架构，尤其是利用插件系统来增强应用的功能性和灵活性。Qt框架提供了一套强大的插件机制，可以帮助开发者轻松实现这种架构。模块化与插件系统模…...

编程日记 2025/7/22 2:13:45

[项目总结] 抽奖系统项目技术应用总结

🌸个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 🏵️热门专栏: 🧊 Java基本语法(97平均质量分)https://blog.csdn.net/2301_80050796/category_12615970.html?spm1001.2014.3001.5482 🍕 Collection与…...

编程日记 2025/7/19 20:50:59

【运维】基于Python打造分布式系统日志聚合与分析利器

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界在分布式系统中，日志数据分散在多个节点，管理和分析变得复杂。本文详细介绍如何基于Python开发一个日志聚合与分析工具，结合Logstash和F…...

编程日记 2025/7/22 15:41:49

MySql（基础）

表名建议用反引号包裹（尤其是表名包含特殊字符或保留字时），但如果表名是普通字符串（如 user），可以省略。注释（COMMENT 姓名） 数据库 1.查看数据库：show databases…...

编程日记 2025/7/19 8:43:43

怎样选择成长股读书笔记（一）

文章目录第一章成长型投资的困惑一、市场不可预测性的本质困惑二、成长股的筛选悖论三、管理层评估的认知盲区四、长期持有与估值波动的博弈五、实践中的认知升级路径总结：破解困惑的行动框架第二章如何阅读应计制利润表一、应计制利润表的本质与核心原则1. 权责…...

编程日记 2025/7/19 11:05:46

系统思考：个人与团队成长

四年前，我交付的系统思考项目，今天学员的反馈依然深深触动了我。我常常感叹，系统思考不仅仅是一场培训，更像是一场持续的“修炼”。在这条修炼之路上，最珍贵的，便是有志同道合的伙伴们一路同行&#xff0…...

编程日记 2025/7/22 17:59:21

1. 使用 axios Promise.all <template><input type"file" multiple change"handleFileUpload" /> </template><script> import axios from axios;export default {methods: {async handleFileUpload(event) {const files event…...

编程日记 2025/7/16 14:22:34

【数据结构入门训练DAY-31】组合的输出

本文介绍了如何使用深度优先搜索（DFS）算法解决数的组合问题。题目要求从1到n的自然数中选取r个数，输出所有可能的组合，并按字典顺序排列。文章详细描述了解题思路，包括建立数组存储数字、使用DFS递归处理候选数、以及如…...

编程日记 2025/7/14 16:41:14

leetcode0815. 公交路线-hard

1 题目： 公交路线官方标定难度：难给你一个数组 routes ，表示一系列公交线路，其中每个 routes[i] 表示一条公交线路，第 i 辆公交车将会在上面循环行驶。例如，路线 routes[0] [1, 5, 7] 表示第 0 辆公…...

编程日记 2025/7/19 1:18:17

花朵识别系统Python+深度学习+卷积神经网络算法+TensorFlow+人工智能

一、介绍花朵识别系统。本系统采用Python作为主要编程语言，基于TensorFlow搭建ResNet50卷积神经网络算法模型，并基于前期收集到的5种常见的花朵数据集（向日葵、玫瑰、蒲公英、郁金香、菊花）进行处理后进行模型训练，最…...

编程日记 2025/7/15 4:58:02

LLM 论文精读（四）LLM Post-Training: A Deep Dive into Reasoning Large Language Models

这是一篇2025年发表在arxiv中的LLM领域论文，是一篇非常全面的综述类论文，介绍了当前主流的强化学习方法在LLM上的应用，文章内容比较长，但建议LLM方面的从业人员反复认真阅读。写在最前面为了方便你的阅读，以下几点的…...

编程日记 2025/7/20 21:29:45

网址为 http://xxx:xxxx/的网页可能暂时无法连接，或者它已永久性地移动到了新网址

这是由于浏览器默认的非安全端口所导致的，所谓非安全端口，就是浏览器出于安全问题，会禁止一些网络浏览向外的端口。避免使用6000,6666这样的端口 6000-7000有很多都不行，所以尽量避免使用这个区间还有在云服务器中&#xff0c…...

编程日记 2025/7/19 9:31:00

【C++】16.继承

C三大特性：封装，继承，多态在前面的章节中，我们讲过了封装，也就是通过类和访问修饰符来进行封装。接下来我们就来认识一下新的特性——继承 1. 继承的概念及定义 1.1 继承的概念继承(inheritance)机制是面向对…...

编程日记 2025/7/16 19:04:46

LlamaIndex 第七篇结构化数据提取

大型语言模型（LLMs）在数据理解方面表现出色，这也促成了它们最重要的应用场景之一：能够将常规的人类语言（我们称之为非结构化数据）转化为特定的、规范的、可被计算机程序处理的格式。我们将这一过程的输出称…...

编程日记 2025/7/20 16:20:43

PHP API安全设计四要素：构建坚不可摧的接口防护体系

引言：API安全的重要性在当今前后端分离和微服务架构盛行的时代，API已成为系统间通信的核心枢纽。然而，不安全的API可能导致： 数据泄露：敏感信息被非法获取篡改风险：传输数据被中间人修改重放攻击&#x…...

编程日记 2025/7/20 12:31:27

英语16种时态

时态应用场合格式例子一般现在时表示经常、反复发生的动作，客观事实或普遍真理主语动词原形（第三人称单数作主语时动词加 -s/-es）The sun rises in the east.一般过去时表示过去某个时间发生的动作或存在的状态主语动词的过去式I visited…...

编程日记 2025/7/13 11:52:17

使用 goaccess 分析 nginx 访问日志

介绍 goaccess 是一个在本地解析日志的工具, 可以直接在命令行终端环境中使用 TUI 界面查看分析结果, 也可以导出为更加丰富的 HTML 页面. 官网: https://goaccess.io/ 下载安装常见的 Linux 包管理器中都包含了 goaccess, 直接安装就行. 以 Ubuntu 为例: sudo apt instal…...

编程日记 2025/7/14 7:17:10

什么是中央税

中央税（又称国家税）是指由中央政府直接征收、管理和支配的税种，其收入全额纳入中央财政，用于保障国家层面的财政支出和宏观调控。中央税通常具有税基广泛、收入稳定、涉及国家主权或全局性经济调控的特点。 --- 中央税的核心特征…...

编程日记 2025/7/13 15:39:41

AI Agent（10）：个人助手应用

引言本文聚焦AI Agent在个人助手领域的应用，探讨其如何在个人生产力提升、健康与生活管理、学习与教育辅助以及娱乐与社交互动四个方面，为用户创造价值并解决实际问题。 AI个人助手正从简单的指令执行者逐渐发展为具有自主性、适应性和个性化能力的智能伙伴。这一转变不仅…...

编程日记 2025/7/19 9:00:09

力扣70题解

记录 2025.5.8 题目: 思路： 1.初始化：p 和 q 初始化为 0，表示到达第 0 级和第 1 级前的方法数。r 初始化为 1，表示到达第 1 级台阶有 1 种方法。 2.循环迭代：从第 1 级到第 n 级台阶进行迭代： p 更新为前…...

编程日记 2025/7/21 5:19:03

2025御网杯wp（web,misc,crypto)

文章目录 miscxor10图片里的秘密被折叠的显影图纸 Cryptoeasy_rsagift**1. 礼物数学解析****最终答案** 草甸方阵的密语easy-签到题baby_rsa webYWB_Web_xffYWB_Web_未授权访问easywebYWB_Web_命令执行过滤绕过反序列化 misc xor10 ai一把梭根据题目中的字符串和提示&#…...

编程日记 2025/7/19 1:18:47