当前位置：首页 > news >正文

【大数据学习 | Spark-SQL】关于RDD、DataFrame、Dataset对象

news 来源：原创 2025/5/13 12:13:33

1. 概念：

RDD：

弹性分布式数据集；

DataFrame：

DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。这样的数据集可以用SQL查询。DataFrame是不可变的，即一旦创建，就不能修改其内容。

DataFrame 是 DataSet[Row]

DataSet：

简单的说，DataSet和DataFrame的区别就是，DataSet会在编译阶段就进行类型检查，而DataFrame在运行阶段才会类型检查。

Dataset是一个强类型的特定领域的对象，Dataset也被称为DataFrame的类型化视图，这种DataFrame是Row类型的Dataset，即Dataset[Row]。Dataset结合了DataFrame的优化和RDD的类型安全。Dataset提供了编译时类型检查（而DataFrame不会，DataFrame只会在运行阶段才会检查类型），确保数据在编译阶段就符合预期的类型。

dataset是dataFrame的升级版对象，dataframe是一个传统的sql编程对象，如果要想使用dataframe进行灵活开发的比较复杂。

dataset和dataFrame是一个类别的对象，都是可以进行sql查询数据的，并且可以支持rdd上面的方法。

当我们需要对一个表对象进行二次处理的话建议大家转换为dataset而不是dataframe。

package com.hainiu.sparkimport org.apache.spark.sql.{Dataset, SparkSession}object TestDSAndDF {def main(args: Array[String]): Unit = {val session = SparkSession.builder().master("local[*]").appName("test").getOrCreate()import session.implicits._val ds: Dataset[String] = session.read.textFile("file:///headless/workspace/spark/data/a.txt")ds.map(t=>{val strs = t.split(" ")(strs(0), strs(1), strs(2), strs(3))})//    val df = session.read.format("org.apache.spark.sql.execution.datasources.v2.text.TextDataSourceV2")
//      .load("file:///headless/workspace/spark/data/a.txt")
//    
//    val ds: Dataset[(String, String, String, String)] = df.map(row => {
//      val line = row.getAs[String]("value")
//      val strs = line.split(" ")
//      (strs(0), strs(1), strs(2), strs(3))
//    })}
}

2. 三者之间的转换

  val ds: Dataset[String] = session.read.textFile("file:///headless/workspace/spark/data/a.txt")ds.map(t=>{val strs = t.split(" ")(strs(0), strs(1), strs(2), strs(3))})val df1 = ds.toDF("id","name","age","gender")val df: Dataset[Row] = session.read.format("org.apache.spark.sql.execution.datasources.v2.text.TextDataSourceV2").load("file:///headless/workspace/spark/data/a.txt")val rdd = session.sparkContext.textFile("file:///headless/workspace/spark/data/a.txt")rdd.toDS()rdd.toDF()df.rddds.rdd

【大数据学习 | Spark-SQL】关于RDD、DataFrame、Dataset对象

1. 概念： RDD： 弹性分布式数据集； DataFrame： DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型…...

编程日记 2025/5/13 12:13:33

流媒体中ES流、PS流、TS流怎么理解

在流媒体的领域中，ES流、PS流和TS流是视频和音频数据的不同封装格式。它们通常用于传输、存储和播放多媒体内容。让我们分别了解一下它们的定义和用途。 1. ES流（Elementary Stream） ES流（基本流）是最基本的视频或音…...

编程日记 2025/5/12 8:52:04

阿里云ECS服务器磁盘空间不足的几个文件

查看磁盘空间命令： df -h /mnt 清零 echo >nohup.out 磁盘空间不足的文件列表： 一、nohup.out：来自"nohup java -jar service.jar &"命令产生的文件，位置在服务jar所在目录二、access.log：位于…...

编程日记 2025/5/11 22:03:04

pip 安装指定镜像源

pip 安装指定镜像源使用 pip 安装时，可以通过指定镜像源来加速安装速度，尤其在网络状况不佳或需要访问国内镜像源的情况下。常见的国内镜像源清华大学: https://pypi.tuna.tsinghua.edu.cn/simple 阿里云: https://mirrors.aliyun.com/pypi/simple …...

编程日记 2025/5/12 22:40:04

java全栈day10--后端Web基础(基础知识)

引言：只要能通过浏览器访问的网站全是B/S架构，其中最常用的服务器就是Tomcat 在浏览器与服务器交互的时候采用的协议是HTTP协议一、Tomcat服务器 1.1介绍官网地址：Apache Tomcat - Welcome! 1.2基本使用(网上有安装教程，建议…...

编程日记 2025/5/7 7:49:09

GPT（Generative Pre-trained Transformer）和 Transformer的比较

GPT（Generative Pre-trained Transformer） 和 Transformer 的比较 flyfish 1. Transformer 是一种模型架构 Transformer 是一种通用的神经网络架构，由 Vaswani 等人在论文 “Attention Is All You Need”（2017）中提…...

编程日记 2025/5/13 22:41:36

大数据营销

大数据营销是一个热门的大数据应用。对于多数企业而言，大数据营销的主要价值源于以下几个方面。市场预测与决策分析支持数据对市场预测及决策分析的支持，早就在数据分析与数据挖掘盛行的年代被提出过。沃尔玛著名的“啤酒与尿布”案例就是那个时候的杰…...

编程日记 2025/5/13 21:43:28

数据字典的实现与应用 —— 提高系统灵活性与维护效率的关键

目录前言1. 数据字典的基本概念1.1 什么是数据字典1.2 数据字典的主要特点 2. 数据字典的优势2.1 提高代码复用性2.2 提升系统的灵活性2.3 方便非技术人员管理2.4 减少错误概率 3. 数据字典在若依中的实现3.1 若依框架简介3.2 数据字典的结构设计 4. 若依框架中数据字典的配置…...

编程日记 2025/5/13 15:19:17

Scrapy管道设置和数据保存

1.1 介绍部分： 文字提到常用的Web框架有Django和Flask，接下来将学习一个全球范围内流行的爬虫框架Scrapy。 1.2 内容部分： Scrapy的概念、作用和工作流程 Scrapy的入门使用 Scrapy构造并发送请求 Scrapy模拟登陆 Scrapy管道的使用 Scrapy中…...

编程日记 2025/5/13 22:52:01

Jenkins的使用

文章目录一、Jenkins是什么\有什么用\与GitLab的对比二、Jenkins的安装与配置Jenkins的安装方式在Linux上安装Jenkins：在Windows上安装Jenkins：配置Jenkins： （可选）配置启动用户为root（一定要是root吗??…...

编程日记 2025/5/10 8:01:22

计算机基础原码反码补码问题

整数的二进制的表示形式：其实有三种原码：直接根据数值写出的二进制序列就是原码反码：原码的符号位不变，其他位按位取反就是反码补码：反码1，就是补码负数：-1 以补码形式存放在内存写出 -1…...

编程日记 2025/5/5 23:22:46

ORB-SLAM2 ----- LocalMapping::SearchInNeighbors()

文章目录一、函数意义二、函数讲解三、函数代码四、本函数使用的匹配方法ORBmatcher::Fuse()1. 函数讲解2. 函数代码四、总结一、函数意义本函数是用于地图点融合的函数，前面的函数生成了新的地图点，但这些地图点可能在前面的关键帧中已经生成过了&a…...

编程日记 2025/5/13 23:18:00

游戏引擎学习第27天

仓库:https://gitee.com/mrxiao_com/2d_game 欢迎项目的开始是从零开始构建一款完整的游戏，完全不依赖任何库或引擎。这样做有两个主要原因：首先，因为这非常有趣；其次，因为它非常具有教育意义。了解游戏开发的低层次…...

编程日记 2025/5/13 23:24:07

【超全总结】深度学习分割模型的损失函数类别及应用场景

《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.【…...

编程日记 2025/5/13 8:59:16

基于HTML和CSS的校园网页设计与实现

摘要随着计算机、互联网与通信技术的进步，Internet在人们的学习、工作和生活中的地位也变得越来越高，校园网站已经成为学校与学生，学生与学生之间交流沟通的重要平台，对同学了解学校内发生的各种事情起到了重要的作用。学校网站…...

编程日记 2025/5/13 21:44:58

深度学习基础02_损失函数BP算法(上)

目录一、损失函数 1、线性回归损失函数 1.MAE损失 2.MSE损失 3.SmoothL1Loss 2、多分类损失函数--CrossEntropyLoss 3、二分类损失函数--BCELoss 4、总结二、BP算法 1、前向传播 1.输入层(Input Layer)到隐藏层(Hidden Layer) 2.隐藏层(Hidden Layer)到输出层(Ou…...

编程日记 2025/5/6 8:54:36

Flutter：列表分页，上拉加载下拉刷新，在GetBuilder模板使用方式

GetBuilder模板使用方式参考上一节本篇主要代码记录如何使用上拉加载下拉刷新， 接口请求和商品组件的代码不包括在内 pubspec.yaml装包 cupertino_icons: ^1.0.8# 分页上拉加载，下拉刷新pull_to_refresh_flutter3: 2.0.2商品列表：controlle…...

编程日记 2025/5/12 18:15:51

使用eclipse构建SpringBoot项目

我这里用eclipse2018版本做演示，大家有需要的可以下载Eclipse Downloads | The Eclipse Foundation 1.打开eclipse，选择存放代码的位置 2.选择 file >> new >> project >> 选择springboot文件下的 spring starter project 2.这里选择N…...

编程日记 2025/5/10 18:54:46

Linux系统存储挂载与管理：从基础到高级

标题：Linux系统存储挂载与管理：从基础到高级摘要在Linux系统中，合理的存储管理和分配对于系统的性能、稳定性和资源利用至关重要。本文将详细介绍存储挂载的基本概念、如何进行存储分配和管理，并解释系统盘的作用。通过这些内…...

编程日记 2025/5/10 2:37:58

Flutter 权限申请

这篇文章是基于permission_handler 10.2.0版本写的前言在App开发过程中我们经常要用到各种权限，我是用的是permission_handler包来实现权限控制的。 pub地址：https://pub.dev/packages/permission_handler permission_handler 权限列表变量 Androi…...

编程日记 2025/5/13 4:53:23

Linux之信号的产生，保存，捕捉

Linux之信号的产生，保存，捕捉处理一.信号的概念1.1概念1.2分类二.信号的产生2.1通过键盘产生的信号2.2系统调用接口产生的信号2.3硬件异常产生的信号2.4软件条件产生的信号三.信号的保存四.信号的捕捉五.信号的其他杂碎知识5.1可重入函数5.2volatile关…...

编程日记 2025/5/13 3:03:05

基于AutoEncode自编码器的端到端无线通信系统matlab误码率仿真

目录 1.算法仿真效果 2.算法涉及理论知识概要 3.MATLAB核心程序 4.完整算法代码文件获得 1.算法仿真效果 matlab2022a仿真结果如下（完整代码运行后无水印）： 仿真操作步骤可参考程序配套的操作视频。 2.算法涉及理论知识概要自编码器是…...

编程日记 2025/5/13 22:54:31

泛化调用：在没有接口的情况下进行RPC调用

什么是泛化调用？ 在RPC调用的过程中，调用端向服务端发起请求，首先要通过动态代理，动态代理可以屏蔽RPC处理流程，使得发起远程调用就像调用本地一样。 RPC调用本质：调用端向服务端发送一条请求消息&#x…...

编程日记 2025/5/9 6:44:39

2025年人工智能，自动化与机械工程国际学术会议（AIAME2025）

早鸟通道开启： 2025年人工智能，自动化与机械工程国际学术会议（AIAME2025） 2025 International Conference on Artificial Intelligence, Automation, and Mechanical Engineering 【重要日期】早鸟征稿截止日期：…...

编程日记 2025/5/9 19:49:52

docker compose 快速搭建Nacos单节点测试环境(mysql 版)

〓参考： https://nacos.io/docs/latest/quickstart/quick-start-docker/?sourcewuyi https://github.com/nacos-group/nacos-docker https://nacos.io/docs/latest/manual/admin/deployment/deployment-standalone/?sourcewuyi https://nacos.io/docs/latest/man…...

编程日记 2025/5/13 23:10:52

数字3D虚拟展厅成熟运用于旅游业

在数字空间展览会与VR3D虚拟企业展厅设计的兴起中，我们迎来了互联网、物联网与3D技术融合的大时代。这些企业虚拟展厅主要依托互联网作为传播媒介，利用图片、文字和Flash动画等形式，生动展现企业的核心产品。作为一种新型的网络信息技术展厅&…...

编程日记 2025/5/13 22:47:01

模数转换芯片AD9215

AD9215 是 Analog Devices 公司推出的一款高性能、低功耗、单通道 10 位模数转换器（ADC）。它具有采样速率高达 65 MSPS 或 105 MSPS（不同型号），并广泛应用于通信、成像和仪器仪表等领域。 AD9215 的关键特性分辨率： 10 位，适合高精度应用。采样速率：两种型号： AD921…...

编程日记 2025/5/11 18:37:59

MongoDB注入攻击测试与防御技术深度解析

MongoDB注入攻击测试与防御技术深度解析随着NoSQL数据库的兴起，MongoDB作为其中的佼佼者，因其灵活的数据模型和强大的查询能力，受到了众多开发者的青睐。然而，与任何技术一样，MongoDB也面临着安全威胁，其…...

编程日记 2025/5/7 6:32:48

总结贴:Servlet过滤器、MVC拦截器

一:Servlet过滤器 1.1解析 Filter 即为过滤，用于请求到达Servlet之前(Request),以及再Servlet方法执行完之后返回客户端进行后处理(HttpServletResponse)。简单说就是对请求进行预处理，对响应进行后处理在请求到达Servlet之前,可以经过多个Filt…...

编程日记 2025/5/13 5:23:30

鸿蒙开发-在ArkTS中制作音乐播放器

音频播放功能实现导入音频播放相关模块首先需要从ohos.multimedia.audio模块中导入必要的类和接口用于音频播放。例如： import audio from ohos.multimedia.audio;创建音频播放器实例并设置播放源可以通过audio.createAudioPlayer()方法创建一个音频播放器实…...

编程日记 2025/5/11 5:24:12

mapstruct DTO转换使用

定义一个基础接口 package com.example.mapstruct;import org.mapstruct.Named;import java.time.LocalDate; import java.time.LocalDateTime; import java.time.ZoneId; import java.time.ZonedDateTime; import java.util.Date; import java.util.List;/*** Author zmn Dat…...

编程日记 2025/5/12 23:39:48

1. 概念：

2. 三者之间的转换

相关文章：