【大数据学习 | Spark-SQL】Spark-SQL编程
上面的是SparkSQL的API操作。
1. 将RDD转化为DataFrame对象
DataFrame：
DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。这样的数据集可以用SQL查询。
创建方式
准备数据
1 zhangsan 20 male
2 lisi 30 female
3 wangwu 35 male
4 zhaosi 40 femaletoDF方式。
package com.hainiu.sparkimport org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}object TestSparkSql{def main(args: Array[String]): Unit = {val conf = new SparkConf()conf.setAppName("test sql")conf.setMaster("local[*]")val sc = new SparkContext(conf)val sqlSc = new SQLContext(sc)//环境对象包装import sqlSc.implicits._//引入环境信息val rdd = sc.textFile("data/a.txt").map(t => {val strs = t.split(" ")(strs(0).toInt, strs(1), strs(2).toInt)})//增加字段信息val df = rdd.toDF("id", "name", "age")df.show() //展示表数据df.printSchema() //展示表格字段信息}
}使用样例类定义schema：
object TestSparkSql{def main(args: Array[String]): Unit = {val conf = new SparkConf()conf.setAppName("test sql")conf.setMaster("local[*]")val sc = new SparkContext(conf)val sqlSc = new SQLContext(sc)import sqlSc.implicits._val rdd = sc.textFile("data/a.txt").map(t => {val strs = t.split(" ")Student(strs(0).toInt, strs(1), strs(2).toInt)})// val df = rdd.toDF("id", "name", "age")val df = rdd.toDF()df.show() //打印数据，以表格的形式打印数据df.printSchema() //打印表的结构信息}
}
case class Student(id:Int,name:String,age:Int)createDataFrame方式
这种方式需要将rdd和schema信息进行合并，得出一个新的DataFrame对象
package com.hainiu.sparkimport org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}object TestSparkSqlWithCreate {def main(args: Array[String]): Unit = {val conf = new SparkConf()conf.setAppName("test create")conf.setMaster("local[*]")val sc = new SparkContext(conf)val sqlSc = new SQLContext(sc)val rdd = sc.textFile("data/a.txt").map(t => {val strs = t.split(" ")Row(strs(0).toInt, strs(1), strs(2).toInt)})
// rdd + schemaval schema = StructType(Array(StructField("id",IntegerType),StructField("name",StringType),StructField("age",IntegerType)))val df = sqlSc.createDataFrame(rdd, schema)df.show()df.printSchema()}
}2. SparkSQL的查询方式（推荐第二种写法）
第二个部分关于df的查询
第一种sql api的方式查询
- 使用的方式方法的形式编程
- 但是思想还是sql形式
- 和rdd编程特别相似的一种写法
object TestSql {def main(args: Array[String]): Unit = {val conf = new SparkConf()conf.setAppName("test sql")conf.setMaster("local[*]")val sc = new SparkContext(conf)val sqlSc = new SQLContext(sc)import sqlSc.implicits._val rdd = sc.textFile("data/a.txt").map(t => {val strs = t.split(" ")(strs(0).toInt, strs(1), strs(2).toInt,strs(3))})val df = rdd.toDF("id", "name", "age","gender")//select * from student where age >20//df.where("age >20")//分组聚合//df.groupby("gender").sum("age")//几个问题//聚合函数不能增加别名 聚合函数不能多次聚合 orderby不识别desc // df.groupBy("gender").agg(count("id").as("id"),sum("age").as("age")).orderBy($"age".desc) //字段标识可以是字符串，也可以是字段对象//df.orderBy($"age".desc) //df.orderBy(col("age").desc) //df.orderBy(df("age").desc) //增加字段对象可以实现高端操作//df.select($"age".+(1)) //join问题//val df1 = sc.makeRDD(Array(// (1,100,98),// (2,100,95),// (3,90,92),//(4,90,93)//)).toDF("id","chinese","math")//df.join(df1,"id") //字段相同 //df.join(df1,df("id")===df1("id")) //窗口函数//普通函数 聚合函数 窗口函数 sum|count|rowkey over (partition by gender order by age desc)//按照条件分割完毕进行数据截取//班级的前两名 每个性别年龄最高的前两个//select *,row_number() over (partition by gender order by age desc) rn from tableimport sqlSc.implicits._import org.apache.spark.sql.functions._df.withColumn("rn",row_number().over(Window.partitionBy("gender").orderBy($"age".desc))).where("rn = 1").show()}
}第二种纯sql形式的查询
- 首先注册表
- 然后使用sql查询
- 最终得出的还是dataFrame的对象
- 其中和rdd的编程没有任何的区别，只不过现在使用sql形式进行处理了而已
package com.hainiu.sparkimport org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}object TestSparkSqlWithCreate {def main(args: Array[String]): Unit = {val conf = new SparkConf()conf.setAppName("test create")conf.setMaster("local[*]")val sc = new SparkContext(conf)val sqlSc = new SQLContext(sc)val rdd = sc.textFile("data/a.txt").map(t => {val strs = t.split(" ")Row(strs(0).toInt, strs(1), strs(2).toInt,strs(3))})
// rdd + schemaval schema = StructType(Array(StructField("id",IntegerType),StructField("name",StringType),StructField("age",IntegerType),StructField("gender",StringType),))val df = sqlSc.createDataFrame(rdd, schema)//sql形式查询//select col from tabledf.createTempView("student")val df1 = sqlSc.sql("""|select count(1) cnt,gender from student group by gender|""".stripMargin)df1.createTempView("student1")val df2 = sqlSc.sql("""|select * from student1 where cnt>1|""".stripMargin)df2.show()df2.printSchema()}
}相关文章：
【大数据学习 | Spark-SQL】Spark-SQL编程
上面的是SparkSQL的API操作。 1. 将RDD转化为DataFrame对象 DataFrame： DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。这样的数…...
go+gin+mysql+gorm快速实现增删改查接口
Gin 是一个用 Go (Golang) 编写的轻量级但功能强大的Web框架，具有极高的性能。适合开发API和微服务。 1.安装 Gin 前置任务，首先你本地需要安装过go语言环境 go get -u github.com/gin-gonic/gin这里直接结合项目代码解析gin的主要功能： …...
【国产MCU】-GD32F470-串行外设接口（SPI）
串行外设接口（SPI） 文章目录 串行外设接口（SPI）1、SPI介绍1.1 SPI特性1.2 SPI信号1.3 SPI 时序和数据帧格式1.4 NSS 功能1.5 SPI运行模式2、SPI控制器寄存器列表3、SPI控制器驱动API介绍4、SPI应用4.1 SPI初始化流程4.2 数据发送与接收串行外设接口（Serial Peripheral Int…...
RabbitMQ 集群
文章目录 前言单机多节点搭建集群创建RabbitMQ节点停止服务并重置将节点加入到集群中查看集群状态宕机 结论 前言 RabbitMQ 作为消息中间件，可以与多个生产者和消费者进行绑定，但是如何只有一台 RabbitMQ 服务的话，那么这个 RabbitMQ 就需要…...
Qt实现窗口内的控件自适应窗口大小
前言：因为有时候窗口内的控件比较大，但是为了同时操作多个窗口，希望可以根据情况，在调整窗口大小时，控件能自适应大小，于是通过遍历整个界面内的控件，并在调整大小的事件中按比率调整控件大小实…...
Android基本概念及控件
Android是Google公司基于Linux平台开发的主要应用于智能手机及平板电脑的操作系统。 ART模式与Dalvik模式最大的不同在于:在启用ART模式后，系统在安装应用程序的时候会进行一次预编译，并先将代码转换为机器语言存储在本地,这样在运行程序时就不会每次都…...
云计算的计算包括哪些内容
云计算的计算主要包括以下几种类型： 分布式计算：分布式计算是一种计算方法，它将大型问题分解成多个小任务，然后分配给多个计算机进行处理。这种方法可以提高计算效率和可靠性1。并行计算：并行计算是同时…...
D81【 python 接口自动化学习】- python基础之HTTP
day81 requests请求session用法 学习日期：20241127 学习目标：http定义及实战 -- requests请求session用法 学习笔记： requests请求session用法 import requests# 创建一个会话 reqrequests.session() url "http://sellshop.5istud…...
嵌入式驱动开发详解2（设备挂载问题）
文章目录 前言设备号设备号的组成设备号的分配静态分配动态分配 驱动挂载与卸载设备节点创建驱动挂载出现问题 前言 驱动的设备挂载和卸载是十分重要的内容，一旦操作不当可能会导致系统崩溃，接下来我将用字符设备的驱动挂载原理进行详细讲解，…...
Java全栈开发：宠物医院管理系统项目实战
Java全栈开发：宠物医院管理系统项目实战 项目介绍 本文将介绍一个基于Spring Boot + Vue.js的宠物医院管理系统的开发过程。该系统主要用于帮助宠物医院管理日常运营，包括患者管理、预约挂号、处方开具等功能。 技术栈 后端技术 Spring Boot 2.7.xSpring SecurityMyBatis…...
【设计模式】1. 构建器模式（Builder Pattern）是一种创建型设计模式
构建器模式（Builder Pattern）是一种创建型设计模式，用于分步骤构建复杂对象，同时允许按照不同的需求生成不同的表示。该模式将对象的构建过程与其表示分离，使得相同的构建过程可以创建不同的对象。 核心思想 构建器模…...
Apache Zeppelin：一个基于Web的大数据可视化分析平台
今天给大家推荐一下 Apache Zeppelin，它是一个基于 Web 的交互式数据接入、数据分析、数据可视化以及协作文档 Notebook，类似于 Jupyter Notebook。 Apache Zeppelin 支持使用 SQL、Java、Scala、Python、R 等编程语言进行数据处理和分析，同时…...
在Manjaro Gnome桌面的基础上安装Budgie桌面环境
在Manjaro上安装Budgie桌面环境 Budgie是Solus团队开发的一种简单而优雅的桌面环境。 Budgie是由Solus项目主要开发的流行桌面环境，与GNOME堆栈紧密集成。它提供了简单而优雅的用户体验，并且可用于大多数发行版，如Arch、Debian、Manjaro等。…...
C语言中的指针的解读和强大功能
C语言中的指针是其最强大也是最复杂的特性之一，掌握指针对于深入学习C语言非常重要。以下是对C语言指针的详解： 1. 指针的基本概念 指针是什么： 指针是一个变量，其值是另一个变量的地址。指针的作用： 通过指针&#x…...
44.扫雷第二部分、放置随机的雷，扫雷，炸死或成功 C语言
按照教程打完了。好几个bug都是自己打出来的。比如统计周围8个格子时，有一个各自加号填成了减号。我还以为平移了，一会显示是0一会显示是2。结果单纯的打错了。debug的时候断点放在scanf后面会顺畅一些。中间多放一些变量名方便监视。以及mine要多显示&a…...
【Vue】最新Vue3实战教程：全面掌握响应式数据、v-on事件、v-if/v-show条件渲染及更多核心技术
文章目录 为什么选择Vue3？更多实用工具快速上手Vue3安装与配置项目结构 响应式数据处理创建响应式数据使用ref使用reactive 计算属性与侦听器计算属性侦听器 事件绑定与处理（v-on）基本用法简写语法事件修饰符绑定多个事件 条件渲染࿰…...
实时数仓Kappa架构：从入门到实战
引言 随着大数据技术的不断发展，企业对实时数据处理和分析的需求日益增长。实时数仓（Real-Time Data Warehouse, RTDW）应运而生，其中Kappa架构作为一种简化的数据处理架构，通过统一的流处理框架，解决了传统…...
爬虫笔记24——纷玩岛（某岛）自动抢票脚本笔记
纷玩岛自动抢票，协议抢票思路实现 一、获取Authorization凭证二、几个关键的参数三、几个关键的接口获取参数v，这个参数其实可以写死，可忽略通过价位获取演出的参数信息获取观演人信息，账号提前录入即可提交订单接口 先看实现图&a…...
接口性能优化宝典：解决性能瓶颈的策略与实践
目录 一、直面索引 （一）索引优化的常见场景 （二）如何检查索引的使用情况 （三）如何避免索引失效 （四）强制选择索引 二、提升 SQL 执行效率 （一）避免不必…...
5G NR：带宽与采样率的计算
100M 带宽是122.88Mhz sampling rate这是我们都知道的，那它是怎么来的呢？ 采样率 子载波间隔 * 采样长度 38.211中对于Tc的定义， 在LTE是定义了Ts，在NR也就是5G定义了Tc。 定义这个单位会对我们以后工作中的计算至关重要。 就是在…...
python的openpyxl库设置表格样式：字体/边框/对齐/颜色等
学习目录 1. 安装和使用openpyxl库设置表格样式 2 设置字体font 3 设置边框 4 设置对齐方式 5 设置单元格数据格式 6 设置行高和列宽 7 填充单元格颜色 附录-关于颜色说明 本章节主要介绍如何使用openpyxl库设置表格中的一些样式，比如字体，边框…...
Vue报错：error Mixed spaces and tabs no-mixed-spaces-and-tabs——报错处理
最近在写后台管理系统的时候，遇到一个报错Vue报错：error Mixed spaces and tabs no-mixed-spaces-and-tabs 出现这个问题的原因，就是同事那边安装了eslint，用来规范代码风格。Eslint是语法检查工具，缺点是对所写代码要…...
Spring：Spring事务管理代码案例讲解
Spring事务管理知识讲解请见：Spring事务知识点讲解 下面演示一个代码示例进行理解。 需求 两个账户相互转账，并记录日志，即使有转账失败也要记录 需求分析 这里主要是需要开启事务机制来控制转入和转出： 1，创建一…...
【Petri网导论学习笔记】Petri网导论入门学习（十） —— 3.2 关联矩阵与状态方程
目录 3.2 关联矩阵与状态方程定义 3.3 关联矩阵引理 3.4引理 3.5定理 3.4例 3.7例 3.83.2 关联矩阵与状态方程 正如 Petri 网的一个标识可以表示成一个 $ m $ 维非负整数向量一样，Petri 网的结构也可以用一个矩阵来表示。这样，就可以引入线性代数的方法对 Petri 网的性质进行…...
（计算机网络）期末
计算机网络概述 物理层 信源就是发送方 信宿就是接收方 串行通信--一次只发一个单位的数据（串行输入） 并行通信--一次可以传输多个单位的数据 光纤--利用光的反射进行传输 传输之前，要对信源进行一个编码，收到信息之后要进行一个…...
自动驾驶目标检测融合全貌
1、early fusion 早期融合，特点用到几何空间转换3d到2d或者2d到3d的转换，用像素找点云或者用点云找像素。 2、deep fusion 深度融合，也是特征级别融合，也叫多模态融合，如bevfusion范式 3、late fusion 晚融合&#x…...
Spring中实现动态数据源切换，基于AbstractRoutingDataSource
背景 在项目开发过程中，我们可能会遇到一个场景：某个类型数据源有多个数据源实例，需要我们按照不同的请求切换到不同数据源去。 而目前绝大多数java应用都是基于Spring框架来开发，我们很多时候相关的数据源连接都是交给了Spring框…...
Linux指标之平均负载（The Average load of Linux Metrics）
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:Linux运维老纪的首页…...
基于SpringBoot共享汽车管理系统【附源码】
基于SpringBoot共享汽车管理系统 效果如下： 系统注册页面 系统登陆页面 系统管理员主页面 用户信息管理页面 汽车投放管理页面 使用订单页面 汽车归还管理页面 研究背景 随着计算机技术和计算机网络的逐渐普及，互联网成为人们查找信息的重要场所。二十…...
React-useState的使用
useState 是 React 提供的一个 Hook，允许你在函数组件中添加和管理状态（state）。在类组件中，状态管理通常是通过 this.state 和 this.setState 来实现的，而在函数组件中，useState 提供了类似的功能。 基本…...
wordpress 中添加图片放大功能
功能描述 使用 Fancybox 实现图片放大和灯箱效果。自动为文章内容中的图片添加链接，使其支持 Fancybox。修改了 header.php 和 footer.php 以引入必要的 CSS 和 JS 文件。在 functions.php 中通过过滤器自动为图片添加 data-fancybox 属性。 最终代码 1. 修改 hea…...
Day 27 贪心算法 part01
贪心算法其实就是没有什么规律可言，所以大家了解贪心算法 就了解它没有规律的本质就够了。 不用花心思去研究其规律， 没有思路就立刻看题解。 基本贪心的题目 有两个极端，要不就是特简单，要不就是死活想不出来。 学完贪心之后再去看动态规划，就会了解贪心和动规的区别。…...
运维面试题.云计算面试题
一、选择题（每题1分，合计15分） 1.若当前目录为 /home,命令 ls–l 将显示 home 目录下的（ ）。 A.所有文件 B.所有隐含文件 C.所有非隐含文件 D.文件的具体信息 2.如果要列出一个目录下的所有文件需要使用命令行( )。 A. ls–l B. ls C. ls–a(all) D. ls–d 3.下面关于文件…...
计算机专业的真正的就业情况
首先听到计算机行业，大多数人岗位已经饱和，前端已死，程序员35岁危机。但是事实上这些认知都是片面的，今天由我来为大家分析计算机行业的内幕。 疫情过后，过内各种行业都受到了冲击，你们敢说除了体制内的行业…...
行为型模式-状态模式
状态模式（State Pattern）是行为型设计模式之一，用于允许一个对象在其内部状态改变时改变其行为。状态模式可以有效避免在对象中使用大量的条件语句，通过将状态的逻辑转移到独立的状态类中，实现状态与行为的分离。 核心…...
字节跳动青训营刷题笔记19
问题描述 小R正在组织一个比赛，比赛中有 n 支队伍参赛。比赛遵循以下独特的赛制： 如果当前队伍数为 偶数，那么每支队伍都会与另一支队伍配对。总共进行 n / 2 场比赛，且产生 n / 2 支队伍进入下一轮。如果当前队伍数为 奇数&…...
【MATLAB源码-第225期】基于matlab的计算器GUI设计仿真，能够实现基础运算，三角函数以及幂运算。
操作环境： MATLAB 2022a 1、算法描述 界面布局 计算器界面的主要元素分为几大部分：显示屏、功能按钮、数字按钮和操作符按钮。 显示屏 显示屏（Edit Text）：位于界面顶部中央，用于显示用户输入的表达式和…...
)
C++学习日记---第14天(蓝桥杯备赛)
笔记复习 1.对象的初始化和清理 对象的初始化和清理是两个非常重要的安全问题，一个对象或者变量没有初始状态，对其使用后果是未知，同样的使用完一个对象或者变量，没有及时清理，也会造成一定的安全问题 构造函数&…...
windows C#-定义和读取自定义特性
使用特性，可以声明的方式将信息与代码相关联。 特性还可以提供能够应用于各种目标的可重用元素。 考虑 ObsoleteAttribute。 它可以应用于类、结构、方法、构造函数等。 用于声明元素已过时。 然后，由 C# 编译器负责查找此特性，并执行某响应操…...
一个vue项目如何运行在docker
将 Vue.js 应用程序通过 Docker 发布是一个非常常见的做法，它可以帮助你轻松地部署应用到不同的环境中。下面是一个简单的指南，介绍如何为 Vue.js 项目创建 Dockerfile 并进行构建和运行。 第一步：安装 Docker 确保你的开发机器上已经安装了…...
重读《人月神话》（15）-祸起萧墙（Hatching a Catastrophe
增加更多的人手到一个已经延期的项目中往往不会加快项目的进度，反而可能使情况变得更糟。 项目进度的细微延迟往往难以察觉，但它们却能悄无声息地累积起来，最终对整个项目的完成时间造成重大影响。昨天，一位关键成员因突发疾病未…...
【大数据学习 | Spark-Core】广播变量和累加器
1. 共享变量 Spark两种共享变量：广播变量（broadcast variable）与累加器（accumulator）。 累加器用来对信息进行聚合，相当于mapreduce中的counter；而广播变量用来高效分发较大的对象，…...
C/C++基础知识复习（30）
1) 什么是 C 中的 Lambda 表达式？它的作用是什么？ Lambda 表达式： 在 C 中，Lambda 表达式是一种可以定义匿名函数的机制，可以在代码中快速创建一个内联的函数对象，而不需要显式地定义一个函数。Lambda 表…...
【Spring MVC】如何获取cookie/session以及响应@RestController的理解，Header的设置
前言 🌟🌟本期讲解关于SpringMVC的编程之参数传递~~~ 🌈感兴趣的小伙伴看一看小编主页：GGBondlctrl-CSDN博客 🔥 你的点赞就是小编不断更新的最大动力 🎆那么废…...
Could not locate device support files.
报错信息：Failure Reason: The device may be running a version of iOS (13.6.1 17G80) that is not supported by this version of Xcode.[missing string: 869a8e318f07f3e2f42e11d435502286094f76de] 问题：xcode15升级到xcode16之后，13.…...
Kafka日志索引详解以及生产常见问题分析与总结
文章目录 一、Kafka的Log日志梳理1.1、Topic下的消息如何存储1.1.1、log文件追加记录所有消息1.1.2、index和timeindex加速读取log消息日志 1.2、文件清理机制1.2.1、如何判断哪些日志文件过期了1.2.2、过期的日志文件如何处理 1.3、Kafka的文件高效读写机制1.3.1、Kafka的文件…...
Qt中QGraphics绘图类相关解释
Item(图元)坐标系、Scene(场景)坐标系、View(视图)坐标系，三者均为：x轴正方向向右，y轴正方向向下 1、Item(图元)：坐标属于局部坐标，通常以图元中心为原点(中心对称)。 场景坐标系统描述了顶层的图元，每个图…...
@Pattern （用于校验字符串是否符合特定正则表达式）
Pattern 是一个用于校验字符串是否符合特定正则表达式的注解，它在 Java 中常用于验证输入数据的格式。以下是 Pattern 注解的详解和使用方法： 含义 Pattern 注解用于在 Java 中对字段进行注解，以确保其值与指定的正则表达式匹配。这个注解可…...
线程与进程的个人理解
进程（Process）： 一个程序在执行时，操作系统为其分配的资源（如内存、CPU 时间等）构成了一个进程。每个进程都有自己的独立的地址空间、堆栈和局部变量，它们之间不共享内存（除非通过特…...
移远通信携手紫光展锐，以“5G+算力”共绘万物智联新蓝图
11月26日，2024紫光展锐全球合作伙伴大会在上海举办。作为紫光展锐重要的合作伙伴，移远通信应邀参会。 在下午的物联网生态论坛上，移远通信产品总监胡勇华作题为“5G与算力双擎驱动 引领智联新未来”的演讲，深度剖析了产业发展的趋…...