当前位置： 首页 > news >正文

spark转换算子

news 来源：原创 2025/8/18 1:53:42

在 Apache Spark 中，转换算子（Transformation）是用于对 RDD（弹性分布式数据集）进行转换操作的函数。这些操作是惰性的，即在调用转换算子时，Spark 并不会立即执行计算，而是记录下转换操作的轨迹，等待行动算子触发时才真正执行。

以下是一些常见的 Spark 转换算子及其功能：

单值类型转换算子

  • map(func)：对 RDD 中的每个元素应用函数 func，返回一个新的 RDD。
    • 示例：将一个包含整数的 RDD 中的每个元素乘以 2。
  • flatMap(func)：类似于 map，但每个输入元素可以映射为多个输出元素，返回一个扁平化的新 RDD。
    • 示例：将文本行分割为单词。
  • filter(func)：根据函数 func 的返回值（布尔值）筛选 RDD 中的元素，返回一个包含满足条件元素的新 RDD。
    • 示例：从一个包含整数的 RDD 中筛选出偶数。
  • distinct()：对 RDD 中的元素进行去重操作。
  • glom()：将 RDD 中的每个分区变成一个数组。

双值类型转换算子

  • union(otherRDD)：对两个 RDD 进行并集操作。
  • intersection(otherRDD)：对两个 RDD 进行交集操作。
  • subtract(otherRDD)：对两个 RDD 进行差集操作。
  • zip(otherRDD)：将两个 RDD 中的元素按索引配对，形成键值对。

键值对类型转换算子

  • groupByKey()：对 RDD 中的键值对，按照键进行分组，将相同的键对应的值聚合到一起。
    • 示例：统计每个单词的出现次数。
  • reduceByKey(func)：对 RDD 中的键值对，按照键进行分组后，使用函数 func 对每个键对应的值进行聚合操作。
    • 示例：计算每个单词的出现次数总和。
  • combineByKey(createCombiner, mergeValue, mergeCombiners)：对 RDD 中的键值对进行更复杂的聚合操作。
  • partitionBy(partitioner)：根据指定的分区器对 RDD 中的键值对进行分区。

其他转换算子

  • coalesce(numPartitions)：根据数据量缩减分区，用于大数据集过滤后，提高小数据集的执行效率。
  • repartition(numPartitions)：对 RDD 进行重新分区。
  • sortby(keyfunc)：对 RDD 中的元素进行排序。

这些转换算子是 Spark 数据处理流程的核心，通过合理选择和组合算子，可以高效地处理大规模数据。

相关文章：

spark转换算子

在 Apache Spark 中，转换算子（Transformation）是用于对 RDD（弹性分布式数据集）进行转换操作的函数。这些操作是惰性的，即在调用转换算子时，Spark 并不会立即执行计算，而是记录下转换…...

编程日记 2025/8/18 1:53:42

hadoop的运行模式

（一）Hadoop的运行模式 hadoop一共有如下三种运行方式： 1. 本地运行。数据存储在linux本地，测试偶尔用一下。我们上一节课使用的就是本地运行模式hadoop100。 2. 伪分布式。在一台机器上模拟出 Hadoop 分布式系统的各个组件&#x…...

编程日记 2025/8/18 1:51:59

力扣——25 K个一组翻转链表

目录 1.题目描述： 2.算法分析： 3.代码展示： 1.题目描述： 给你链表的头节点 head ，每 k 个节点一组进行翻转，请你返回修改后的链表。 k 是一个正整数，它的值小于或等于链表的长度。如果节点总…...

编程日记 2025/8/16 15:28:31

React Router Vs Vue Router

文章目录 前言✅ React Router vs Vue Router 对比一览🧩 React Router 的底层原理简述① 路由声明与匹配（基于 JSX）② 历史模式管理③ 响应式状态处理④ 路由渲染机制（Outlet） ✅ 总结：原理是否一样&#…...

编程日记 2025/8/16 15:28:28

Spark中RDD算子的介绍

引言 在大数据处理领域，Apache Spark凭借其高效性和灵活性备受青睐。而弹性分布式数据集（Resilient Distributed Datasets，简称RDD）则是Spark的核心数据结构。RDD算子作为操作RDD的关键工具，掌握它们对于充分发挥Spar…...

编程日记 2025/8/17 22:42:46

Vivo 手机官网交互效果实现解析

在现代网页设计中，流畅的滚动交互和精美的视觉效果是提升用户体验的关键。本文将深入解析 Vivo 手机官网 Demo 中的一个核心交互效果 —— 基于滚轮滚动的内容展示系统。这个系统允许用户通过滚动鼠标滚轮来浏览不同的手机镜头配置信息，同时伴随平滑的过…...

编程日记 2025/8/16 15:28:23

powershell批处理——io校验

powershell批处理——io校验 在刷题时，时常回想，OJ平台是如何校验竞赛队员提交的代码的，OJ平台并不看代码，而是使用“黑盒测试”，用测试数据来验证。对于每题，都事先设定了很多组输入数据（data…...

编程日记 2025/8/16 15:28:10

AI——认知建模工具：ACT-R

ACT-R（Adaptive Control of Thought—Rational）是一种用于模拟人类认知过程的计算架构，广泛应用于心理学、认知科学和人工智能研究。它通过模块化的方式模拟记忆、注意力、学习、决策等认知机制。以下是ACT-R的核心概念、安装方法、基础语法及…...

编程日记 2025/8/17 15:54:59

Docker 容器镜像环境的依赖导出

#工作记录 如果我们想获取 Docker 容器中已有镜像的所有的依赖包信息，包括其他可能的系统依赖，用于在其他环境（如 WSL 或 Windows）中重新搭建相同的运行环境。 以下是完整的步骤： 1. 导出 Python 依赖（r…...

编程日记 2025/8/16 19:23:29

[ubuntu]fatal error: Eigen/Core: No such file or directory

确认是否安装了eigen3sudo apt-get install libeigen3-dev 解决 fatal error: Eigen/Core: No such file or directory 如果已经安装，但当调用 eigen 库时，报错：fatal error: Eigen/Core: No such file or directory 这是因为 eigen 库默认…...

编程日记 2025/8/16 15:28:05

《硬件视界》专栏介绍（持续更新ing）

名人说：路漫漫其修远兮，吾将上下而求索。 —— 屈原《离骚》 创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊） 目录 ✨ 专栏简介📚 当前专栏目录（持续更新中）&a…...

编程日记 2025/8/16 15:28:03

TypeScript类型挑战-刷题

TypeScript类型挑战 vscode刷题 vscode 插件 热身题 // Test Cases import type { Equal, Expect, NotAny } from "./test-utils";type cases [Expect<NotAny<HelloWorld>>, Expect<Equal<HelloWorld, string>>];// Your Code Here …...

编程日记 2025/8/16 15:28:01

Java后端开发day43--IO流（三）--缓冲流转换流序列化流

&#xff08;以下内容全部来自上述课程&#xff09; 缓冲流 1. 字节缓冲流 原理&#xff1a;底层自带了长度为8192的缓冲区提高性能 1.1拷贝文件&#xff08;一次读写一个字节&#xff09; //1.创建缓冲流的对象 BufferedInputStream bis new BufferedInputStream(new Fi…...

编程日记 2025/8/17 8:28:28

Nginx性能调优与深度监控

一&#xff1a;Nginx性能调优 1.更改进程数和连接数 &#xff08;1&#xff09;进程数 在高并发环境中&#xff0c;需要启动更多的Nginx进程以保证快速响应&#xff0c;用以处理用户的请求&#xff0c;避免造成阻塞。使用psaux命令查看Nginx运行进程的个数。从命令执行结果可…...

编程日记 2025/8/16 15:27:59

【LeetCode】高频 SQL 50题 题解

目录 查询 可回收且低脂的产品 寻找用户推荐人 大的国家 文章浏览 I 无效的推文 连接 使用唯一标识码替换员工ID 产品销售分析 I 进店却未进行过交易的顾客 上升的温度 每台机器的进程平均运行时间 员工奖金 学生们参加各科测试的次数 至少有5名直接下属的经理 …...

编程日记 2025/8/16 15:27:58

基于Qt的app开发第六天

写在前面 博主是一个大一下的计科生&#xff0c;现在正在做C面向对象程序设计的课程设计&#xff0c;具体功能可以看本专栏的第一篇博客。 目前的进度是&#xff1a;配好MySQL驱动->设计完界面->实现各个界面的切换 这一篇博主要初步实现待办板块的功能&#xff0c;即新建…...

编程日记 2025/8/16 15:27:56

剑指大规模 AI 可观测，阿里云 Prometheus 2.0 应运而生

作者&#xff1a;曾庆国&#xff08;悦达&#xff09; Prometheus 大家应该非常熟悉&#xff0c;正文开始前&#xff0c;让我们一起来回顾开源 Prometheus 项目的发展史。Prometheus 最初由 SoundCloud 的工程师 Bjrn Rabehl 和 Julius Volz 于 2012 年开发。当时&#xff0c;…...

编程日记 2025/8/16 15:27:54

阿里云2核2g安装nexus

阿里云2核2g安装nexus # 安装 JDK 1.8 sudo yum install -y java-1.8.0-openjdk-devel# 验证安装 java -version创建运行用户 cd /opt sudo wget https://download.sonatype.com/nexus/3/latest-unix.tar.gz sudo tar -xzf latest-unix.tar.gz sudo mv nexus-3* nexussudo us…...

编程日记 2025/8/16 15:27:52

eFish-SBC-RK3576工控板USB HOST接口USB3.0测试操作指南

本小节特指丝印号为J8的USB HOST接口&#xff0c;本开发板只有两个USB3.0接口&#xff0c;无USB2.0 这里接U盘测试。 在不接入任何USB外设的情况下&#xff0c;先查看/dev目录下是否存在/dev/sd*设备&#xff0c;执行命令&#xff1a; $ ls /dev/sd* 如下图所示&#xff1a; …...

编程日记 2025/8/16 9:23:26

嵌入式软件学习指南：从入门到进阶

嵌入式软件是物联网&#xff08;IoT&#xff09;、汽车电子、智能家居等领域的核心技术之一。它涉及硬件与软件的紧密结合&#xff0c;要求开发者不仅会写代码&#xff0c;还要理解底层硬件的工作原理。本文将带你系统了解嵌入式软件的学习路径、核心知识体系及实用资源推荐。 …...

编程日记 2025/8/16 13:42:24

【论文阅读】Adversarial Training Towards Robust Multimedia Recommender System

Adversarial Training Towards Robust Multimedia Recommender System 题目翻译&#xff1a;面向鲁棒多媒体推荐系统的对抗训练 论文链接&#xff1a;点这里 标签&#xff1a;多媒体推荐、对抗训练、推荐系统鲁棒性 摘要 随着多媒体内容在网络上的普及&#xff0c;迫切需要开…...

编程日记 2025/8/16 19:23:25

转换算子和行动算子的区别

转换算子会从一个已经存在的数据集 (RDD)中生成一个新的数据集 (RDD),比如map就是一个转换算子&#xff0c;它通过映射关系从一个RDD生成了一个新的RDD。 行动算子 (actions): 行动算子在进行数据集计算后会给driver程序返回一个值。 转换算子和行动算子最大的区别&#xff1…...

编程日记 2025/8/16 19:23:23

Selenium的driver.get_url 和 手动输入网址, 并点击的操作，有什么不同？

我在搞爬取的时候&#xff0c;发现有些网站直接用driver.get(url) 跳转到目标特定的网址的时候&#xff0c;会被强制跳转到其他的网址上&#xff0c;但是如果是自己手动&#xff0c;在网址栏那里输入网址&#xff0c;并点回车&#xff0c;却能完成跳转。 这是在使用 Selenium …...

编程日记 2025/8/16 19:23:21

【强化学习】强化学习算法 - 多臂老虎机问题

1、环境/问题介绍 概述&#xff1a;多臂老虎机问题是指&#xff1a;智能体在有限的试验回合 &#x1d447; 内&#xff0c;从 &#x1d43e; 台具有未知奖赏分布的“老虎机”中反复选择一个臂&#xff08;即拉杆&#xff09;&#xff0c;每次拉杆后获得随机奖励&#xff0c;目…...

编程日记 2025/8/17 9:05:21

Spring MVC Controller 方法的返回类型有哪些？

Spring MVC Controller 方法的返回类型非常灵活&#xff0c;可以根据不同的需求返回多种类型的值。Spring MVC 会根据返回值的类型和相关的注解来决定如何处理响应。 以下是一些常见的 Controller 方法返回类型&#xff1a; String: 最常见的类型之一&#xff0c;用于返回逻辑…...

编程日记 2025/8/16 9:43:49

Diamond iO：实用 iO 的第一缕曙光

1. 引言 当前以太坊基金会PSE的Machina iO团队宣布&#xff0c;其已经成功实现了 Diamond iO: A Straightforward Construction of Indistinguishability Obfuscation from Lattices —— 其在2025年2月提出的、结构简单的不可区分混淆&#xff08;iO&#xff09;构造&#xf…...

编程日记 2025/8/16 19:23:14

Spring MVC中跨域问题处理

在Spring MVC中处理跨域问题可以通过以下几种方式实现&#xff0c;确保前后端能够正常通信&#xff1a; 方法一&#xff1a;使用 CrossOrigin 注解 适用于局部控制跨域配置&#xff0c;直接在Controller或方法上添加注解。 示例代码&#xff1a; RestController CrossOrigin…...

编程日记 2025/8/16 19:23:12

Python爬虫（20）Python爬虫数据存储技巧：二进制格式（Pickle/Parquet）性能优化实战

目录 背景介绍一、二进制存储的核心优势二、Python Pickle&#xff1a;轻量级对象序列化1. 基本介绍2. 代码示例3. 性能与局限性 三、Apache Parquet&#xff1a;列式存储的工业级方案1. 基本介绍2. 代码示例&#xff08;使用PyArrow库&#xff09;3. 核心优势 四、性能对比与选…...

编程日记 2025/8/16 19:23:10

MCP系列（一）什么是MCP?

一、MCP 是什么&#xff1a;从 USB-C 到 AI 的「万能接口」哲学 MCP&#xff08;Model Context Protocol&#xff0c;模型上下文协议&#xff09; 是Anthropic于2024年11月推出的AI跨系统交互标准&#xff0c;专为解决LLM&#xff08;大语言模型&#xff09;的「数字失语症」—…...

编程日记 2025/8/16 19:23:08

使用Java NIO 实现一个socket通信框架

使用Java NIO（非阻塞I/O）实现一个Socket通信框架，可以让你构建高性能的网络应用。NIO提供了Channel、Buffer和Selector等核心组件，支持非阻塞模式下的网络编程。下面是一个简单的例子，展示了如何使用Java NIO创建一个基本的服务器端和客户端进行Socket通信。 1.服务器端 …...

编程日记 2025/8/16 19:23:05

Web前端技术栈：从入门到进阶都需要学什么内容

概述 Web前端技术栈&#xff1a;从入门到进阶都需要学什么内容。 1. jQuery&#xff1a;经典高效的DOM操作利器 作为早期前端开发的“瑞士军刀”&#xff0c;jQuery通过简洁的语法和链式调用大幅简化了DOM操作与事件处理。其核心模块如选择器引擎、动画效果和Ajax交互至今仍值…...

编程日记 2025/8/16 19:23:03

Kepware 连接Modbus TCP/IP

Modbus TCP modbus tcp 是modbus协议的一个变种&#xff0c;基于TCP/IP协议栈在以太网上进行通信。Modbus TCP采用客户端-服务器&#xff08;Master-Slave&#xff09;的通信模型。客户端发起请求&#xff0c;服务器响应请求。一个网络中可以有多个客户端和服务器&#xff0c;…...

编程日记 2025/8/17 21:16:14

PyCharm连接WSL2搭建的Python开发环境

目录 一、开启WSL2服务 二、安装Ubuntu 三、安装Anaconda 四、构建Tensorflow_gpu环境 五、PyCharm连接到WSL2环境 使用 PyCharm 连接 WSL2 搭建 Python 开发环境的主要目的是结合 Windows 的易用性和 Linux 的开发优势&#xff0c;提升开发效率和体验。以下是具体原因和优…...

编程日记 2025/8/16 19:22:59

JVM中类加载过程是什么？

引言 在Java程序运行过程中&#xff0c;类的加载是至关重要的环节&#xff0c;它直接关系到程序的执行效率和安全性。类加载不仅仅是简单地将.class文件读取到内存中&#xff0c;而是经历了加载、连接&#xff08;包含验证、准备和解析&#xff09;以及初始化等多个复杂步骤&a…...

编程日记 2025/8/16 19:22:57

JVM中对象的存储

引言 在 Java 虚拟机中&#xff0c;对象的内存布局是一个非常基础且重要的概念。每个 Java 对象在内存中都由三个主要部分构成&#xff1a;对象头&#xff08;Header&#xff09;、实例数据&#xff08;Instance Data&#xff09;和对齐填充&#xff08;Padding&#xff09;。…...

编程日记 2025/8/16 19:22:55

精益数据分析（48/126）：UGC商业模式的指标剖析与运营策略

精益数据分析&#xff08;48/126&#xff09;&#xff1a;UGC商业模式的指标剖析与运营策略 在创业和数据分析的学习之旅中&#xff0c;探索不同商业模式的运营奥秘是我们不断前行的动力。今天&#xff0c;依旧怀揣着和大家共同进步的期望&#xff0c;深入研读《精益数据分析》…...

编程日记 2025/8/16 19:22:53

SpringBoot优雅参数检查

SpringBoot优雅参数检查 在 Spring Boot 中&#xff0c;参数验证通常基于 JSR-380&#xff08;Bean Validation 2.0&#xff09;规范&#xff0c;结合 javax.validation&#xff08;或 jakarta.validation&#xff09;和 Hibernate Validator 实现。以下是常用的验证注解及其意…...

编程日记 2025/8/16 14:53:43

（九）PMSM驱动控制学习---分流电阻采样及重构

在电机控制当中&#xff0c;无论是我们的控制或者电机工作情况的检测&#xff0c;都十分依赖于电机三相电流的值&#xff0c; 所以相电流采样再在FOC控制中是一个特别关键的环节。 在前几篇中我们介绍了逆变电路的相关内容&#xff0c;所以在此基础上我们接着说道电流采样。目前…...

编程日记 2025/8/16 19:22:50

医疗人工智能大模型中的关键能力：【中期训练】mid-training

引言 医疗人工智能（AI）领域的快速发展正在重塑医疗保健的未来。从辅助诊断到个性化治疗方案，AI技术已经显示出改变医疗实践的巨大潜力。然而，在将AI技术应用于医疗场景时，我们面临着独特的挑战。医疗数据的复杂性、决策的高风险性以及对可解释性的严格要求，都使得医疗AI…...

编程日记 2025/8/16 19:22:48

Unity垃圾回收（GC）

1.GC的作用&#xff1a;定期释放不再使用的内存空间。 注&#xff1a;C不支持GC&#xff0c;需要手动管理内存&#xff0c;使用new&#xff08;&#xff09;申请内存空间&#xff0c;使用完后通过delete&#xff08;&#xff09;释放掉&#xff0c;但可能出现忘记释放或者指针…...

编程日记 2025/8/17 8:26:45

什么是跨域，如何解决跨域问题

什么是跨域&#xff0c;如何解决跨域问题 一、什么是跨域 跨域是指浏览器出于安全考虑&#xff0c;限制网页脚本访问不同源&#xff08;协议、域名、端口&#xff09;的资源。两个URL的协议、域名或端口任意一个不相同时&#xff0c;就属于不同源&#xff0c;浏览器会阻止脚本…...

编程日记 2025/8/16 19:22:44

JVM的双亲委派模型

引言 Java类加载机制中的双亲委派模型通过层层委托保证了核心类加载器与应用类加载器之间的职责分离和加载安全性&#xff0c;但其单向的委托关系也带来了一些局限性。尤其是在核心类库需要访问或实例化由应用类加载器加载的类时&#xff0c;双亲委派模型无法满足需求&#xf…...

编程日记 2025/8/16 19:22:42

ARCGIS PRO DSK 选择坐标系控件（CoordinateSystemsControl ）的调用

在WPF窗体上使用 xml&#xff1a;加入空间命名引用 xmlns:mapping"clr-namespace:ArcGIS.Desktop.Mapping.Controls;assemblyArcGIS.Desktop.Mapping" 在控件区域加入&#xff1a; <mapping:CoordinateSystemsControl x:Name"CoordinateSystemsControl&q…...

编程日记 2025/8/16 19:22:40

一个电平转换电路导致MCU/FPGA通讯波形失真的原因分析

文章目录 前言一、问题描述二、原因分析三、 仿真分析四、 尝试的解决方案总结前言 一、问题描述 一个电平转换电路，800kHz的通讯速率上不去，波形失真，需要分析具体原因。输出波形如下,1码(占空比75%)低于5V，0码(占空比25%)低于4V。，严重失真。 电平转换电路很简单，M…...

编程日记 2025/8/16 19:22:39

不同OS版本中的同一yum源yum list差异排查思路

问题描述&#xff1a; qemu-guest-agent二进制rpm包的yum仓库源和yum源仓库配置文件path_to_yum_conf&#xff0c; 通过yum list --available -c path_to_yum_conf 查询时&#xff0c;不同的OS版本出现了不同的结果 anolis-8无法识别 centos8可以识别 说明&#xff1a; 1 测试…...

编程日记 2025/8/16 19:22:36

Android Studio开发安卓app 设置开机自启

Android Studio开发安卓app 设置开机自启 AndroidManifest.xml增加配置 增加的配置已标记 AndroidManifest.xml完整配置 <?xml version="1.0" encoding="utf-8"?> <manifest xmlns:android="http://schemas.android.com/apk/res/androi…...

编程日记 2025/8/16 19:22:34

全文索引数据库Elasticsearch底层Lucene

Lucene 全文检索的心&#xff0c;天才的想法。 一个高效的&#xff0c;可扩展的&#xff0c;全文检索库。全部用 Java 实现&#xff0c;无须配置。仅支持纯文本文件的索引(Indexing)和搜索(Search)。不负责由其他格式的文件抽取纯文本文件&#xff0c;或从网络中抓取文件的过程…...

编程日记 2025/8/17 10:50:29

互联网大厂Java求职面试：分布式系统中向量数据库与AI应用的融合探索

互联网大厂Java求职面试&#xff1a;分布式系统中向量数据库与AI应用的融合探索 面试开场&#xff1a;技术总监与郑薪苦的“较量” 技术总监&#xff08;以下简称T&#xff09;&#xff1a;郑薪苦先生&#xff0c;请简单介绍一下你在分布式系统设计方面的经验。 郑薪苦&…...

编程日记 2025/8/16 19:22:30

游戏引擎学习第262天:绘制多帧性能分析图

回顾并为今天设定阶段 事情开始录制了&#xff0c;大家好&#xff0c;欢迎来到游戏直播节目。我们正在直播完成游戏的开发工作&#xff0c;目前我们正在做性能分析器&#xff0c;它现在已经非常酷了。我们只是在清理一些界面问题&#xff0c;但它能做的事情真的很厉害。我觉得…...

编程日记 2025/8/16 19:22:28

1、RocketMQ 核心架构拆解

1. 为什么要使用消息队列&#xff1f; 消息队列&#xff08;MQ&#xff09;是分布式系统中不可或缺的中间件&#xff0c;主要解决系统间的解耦、异步和削峰填谷问题。 解耦&#xff1a;生产者和消费者通过消息队列通信&#xff0c;彼此无需直接依赖&#xff0c;极大提升系统灵…...

编程日记 2025/8/16 19:22:26