当前位置：首页 > news >正文

Spark-sql编程

news 来源：原创 2025/8/27 14:59:45

创建子模块并添加依赖‌

在IDEA中创建一个名为Spark-SQL的子模块。

在该子模块的pom.xml文件中添加Spark-SQL的依赖，具体依赖为org.apache.spark:spark-sql_2.12:3.0.0。

编写Spark-SQL测试代码‌

定义一个User case class，用于表示用户信息（id、name、age）。

创建一个名为SparkSQLDemo的object，并在其中编写main方法作为程序的入口。

在main方法中，首先创建SparkConf和SparkSession对象，用于配置和启动Spark环境。

使用SparkSession对象的read.json方法读取一个JSON格式的用户数据文件，并将其转换为一个DataFrame对象。

使用DataFrame的show方法展示数据内容。

演示SQL风格语法：通过createOrReplaceTempView方法将DataFrame注册为临时视图，然后使用spark.sql方法执行SQL查询，并展示查询结果。

演示DSL风格语法：使用DataFrame的select方法选择特定列，并展示结果。

演示RDD、DataFrame、DataSet之间的转换：

创建一个RDD对象，并将其转换为DataFrame对象，再进一步转换为DataSet对象。

演示如何将DataSet对象转换回DataFrame和RDD，并遍历RDD中的数据。

停止SparkSession‌

在main方法的最后，调用spark.stop()方法停止SparkSession，释放资源。

自定义函数（UDF）‌

UDF允许用户定义自己的函数，并在Spark SQL查询中使用。

实验展示了如何注册一个简单的UDF，该函数接收一个字符串并返回一个新的字符串（前缀为"Name:"）。

通过将DataFrame注册为临时视图，并在SQL查询中使用自定义的UDF，展示了UDF的实际应用。

自定义聚合函数（UDAF）‌

UDAF用于实现复杂的聚合逻辑，是Spark SQL处理聚合计算的重要工具。

实验展示了两种实现UDAF的方法：弱类型UDAF和强类型UDAF。

弱类型UDAF‌：通过继承UserDefinedAggregateFunction类并实现相关方法，定义了一个计算平均工资的聚合函数。该实现方式较为传统，适用于Spark 3.0之前的版本。

强类型UDAF‌：利用Aggregator类创建了一个更为类型安全的平均工资聚合函数。这种实现方式在Spark 3.0及以后版本中更为推荐。

在两种实现方式中，都展示了如何将UDAF注册到SparkSession中，并在SQL查询中使用它来计算平均工资。

Spark-sql编程

创建子模块并添加依赖‌ 在IDEA中创建一个名为Spark-SQL的子模块。在该子模块的pom.xml文件中添加Spark-SQL的依赖，具体依赖为org.apache.spark:spark-sql_2.12:3.0.0。编写Spark-SQL测试代码‌ 定义一个User case class，用于表示用户信息&#xf…...

编程日记 2025/8/27 14:59:45

K8s 生产落地

深夜收到报警短信，集群突然宕机——这可能是每个运维人最不愿面对的噩梦。生产级Kubernetes集群的部署，远不是几条命令就能搞定的事情。本文将结合真实踩坑经验，从零拆解一个高可用、高安全、可自愈的Kubernetes生产环境该如何落地。一、架…...

编程日记 2025/8/25 0:32:25

SnailJob：分布式环境设计的任务调度与重试平台！

背景近日挖掘到一款名为“SnailJob”的分布式重试开源项目,它旨在解决微服务架构中常见的重试问题。在微服务大行其道的今天，我们经常需要对某个数据请求进行多次尝试。然而，当遇到网络不稳定、外部服务更新或下游服务负载过高等情况时，请求…...

编程日记 2025/8/20 4:54:38

通过WebRTC源码入门OpenGL ES

文章目录基本概念Vertex和Fragment着色器程序准备工作getUniformLocation/getAttribLocationglVertexAttribPointer 开始绘制Demo实现 OpenGL SE是一套适用于嵌入式设备的图形API，本文主要介绍如何通过OpenGL SE在Android设备上进行图形绘制，同时我会通…...

编程日记 2025/8/24 12:00:40

面试题：请描述一下你在项目中是如何进行性能优化的？针对哪些方面进行了优化，采取了哪些具体的措施？

目录 1.算法和数据结构优化 2.内存管理优化 3.并发编程优化 4.数据库优化 5.网络优化 6.持续优化与监控 7.总结现在是企业招聘和求职者的金三银四，每每问到这个主观性问题的时候，都不知道怎么回答，下面就我知道的一些总结一下&#x…...

编程日记 2025/8/27 14:37:03

从零实现富文本编辑器#2-基于MVC模式的编辑器架构设计

在先前的规划中我们是需要实现MVC架构的编辑器，将应用程序分为控制器、模型、视图三个核心组件，通过控制器执行命令时会修改当前的数据模型，进而表现到视图的渲染上。简单来说就是构建一个描述文档结构与内容的数据模型，并且使用自…...

编程日记 2025/8/23 17:44:55

SAP S4HANA embedded analytics

SAP S4HANA embedded analytics...

编程日记 2025/8/21 15:38:15

linux多线(进)程编程——（7）消息队列

前言现在修真界大家的沟通手段已经越来越丰富了，有了匿名管道，命名管道，共享内存等多种方式。但是随着深入使用人们逐渐发现了这些传音术的局限性。匿名管道：只能在有血缘关系的修真者（进程）间使用&…...

编程日记 2025/8/23 4:00:02

STM32 HAL库实现485通信

一、引言在工业自动化、智能家居等众多领域中，RS - 485 通信因其长距离、高抗干扰能力等优点被广泛应用。STM32F407 是一款性能强大的微控制器，其丰富的外设资源为实现 RS - 485 通信提供了良好的硬件基础。本文将详细介绍基于 STM32F407 HAL 库实现 R…...

编程日记 2025/8/21 17:57:49

用 Vue 3 + OpenAI API 实现一个智能对话助手（支持上下文、多角色）

文章目录一、项目背景与功能介绍二、技术选型与准备工作环境准备三、智能对话助手的实现第一节：封装 OpenAI 接口请求第二节：构建消息上下文结构第三节：构建对话 UI 组件第四节：滚动自动到底部（可选优化）…...

编程日记 2025/8/24 7:31:47

ollama修改配置使用多GPU，使用EvalScope进行模型压力测试，查看使用负载均衡前后的性能区别

文章目录省流结论机器配置不同量化模型占用显存1. 创建虚拟环境2. 创建测试jsonl文件3. 新建测试脚本3. 默认加载方式，单卡运行模型3.1 7b模型输出213 tok/s3.1 32b模型输出81 tok/s3.1 70b模型输出43tok/s 4. 使用负载均衡，多卡运行4.1 7b模型输出217t…...

编程日记 2025/8/25 21:17:49

vue3 setup vite 配置跨域了proxy，部署正式环境的替换

在开发环境中使用 Vite 的 proxy 配置来解决跨域问题是一种常见的做法。然而，在部署到正式环境时，通常需要对接口地址进行调整，具体是否需要更改接口名称取决于你的部署环境和后端服务的配置。以下是几种常见的情况和建议： 1. 正…...

编程日记 2025/8/24 19:04:34

目标检测：YOLOv11（Ultralytics）环境配置

1、前言 YOLO11是Ultralytics公司YOLO系列实时目标检测器的最新迭代版本，它以尖端的准确性、速度和效率重新定义了可能实现的性能。在之前YOLO版本取得的显著进步基础上，YOLO11在架构和训练方法上进行了重大改进，使其成为各种计算机视觉任务中…...

编程日记 2025/8/25 22:47:40

如何高效压缩GIF动图?

GIF动图因其兼容性强、易于传播的特点，成为网络交流的热门选择。然而，过大的文件体积常常导致加载缓慢、分享困难等问题。本文将为您详细介绍几种实用的GIF压缩技巧，帮助您在保持画面质量的同时显著减小文件大小。压缩方法 1. 在线压缩工具…...

编程日记 2025/8/24 17:36:29

视频融合平台EasyCVR可视化AI+视频管理系统，打造轧钢厂智慧安全管理体系

一、背景分析在轧钢厂，打包机负责线材打包，操作人员需频繁进入内部添加护垫、整理包装、检修调试等。例如，每班产线超过300件，12小时内人员进出打包机区域超过300次。若员工安全意识薄弱、违规操作，未落实安全措施就…...

编程日记 2025/8/25 9:19:25

通过命令行操作把本地IDE 项目上传到 GitHub（小白快速版）

通过命令行操作把本地IDE 项目上传到 GitHub（小白版） 你是不是在用本地IDE 做项目，但不知道怎么把自己的代码上传到 GitHub？今天我们用最简单的命令行方式（不用 SSH、不用复杂配置）教你一步一步把本地项…...

编程日记 2025/8/23 18:44:59

【c语言基础学习】qsort快速排序函数介绍与使用

在C语言中，qsort 函数用于对数组进行快速排序。以下是详细的使用方法及示例： 一、函数原型 #include <stdlib.h>void qsort(void *base, size_t nmemb, size_t size, int (*compar)(const void *, const void *) );二、参数说明参数说明base指向…...

编程日记 2025/8/26 4:09:39

今日github AI科技工具汇总（20250415更新）

以下是2025年4月15日GitHub上值得关注的AI科技工具汇总及趋势分析，结合最新开源动态与开发者社区热点整理：一、AI编程工具重大更新 GitHub Copilot Agent Mode 全量发布核心功能：在VS Code中启用后，可自主完成多文件代码重构、测试驱动开发（TDD）及自修复编译错误，支持…...

编程日记 2025/8/23 12:34:12

程序化广告行业（88/89）：广告创意审核的法律红线与平台规则

程序化广告行业（88/89）：广告创意审核的法律红线与平台规则在程序化广告的广阔领域中，不断学习和掌握行业规范是我们稳步前行的基石。一直以来，我都期望与大家携手共进，深入探索这个行业的奥秘。今天&…...

编程日记 2025/8/26 8:52:49

前端VUE框架理论与应用（4）

一、计算属性模板内的表达式非常便利，但是设计它们的初衷是用于简单运算的。在模板中放入太多的逻辑会让模板过重且难以维护。例如： <div id="example">{{ message.split().reverse().join() }}</div> 在这个地方，模板不再是简单的声明式逻辑。你…...

编程日记 2025/8/26 13:31:30

【经验分享】基于Calcite+MyBatis实现多数据库SQL自动适配：从原理到生产实践

基于CalciteMyBatis实现多数据库SQL自动适配：从原理到生产实践一、引言：多数据库适配的行业痛点在当今企业IT环境中，数据库异构性已成为常态。根据DB-Engines最新调研，超过78%的企业同时使用两种以上数据库系统。这种多样性带…...

编程日记 2025/8/22 12:41:14

通信算法之265：无人机系统中的C2链路

在无人机系统设计中，我们经常听到C2链路这个名词，到底什么是C2链路呢？为什么说C2链路是无人机系统中非常重要的环节。转载： 无人机技术是各种科技技术水平综合发展的结果，包括空气动力，机械设计&#xf…...

编程日记 2025/8/24 5:12:10

浙江大学：DeepSeek如何引领智慧医疗的革新之路？｜48页PPT下载方法

导读INTRODUCTION 随着人工智能技术的飞速发展，DeepSeek等大模型正在引领医疗行业进入一个全新的智慧医疗时代。这些先进的技术不仅正在改变医疗服务的提供方式，还在提高医疗质量和效率方面展现出巨大潜力。想象一下，当你走进医院&#xff…...

编程日记 2025/8/22 16:05:37

Codeforces Round 1017 (Div. 4)

Codeforces Round 1017 (Div. 4) A. Trippi Troppi AC code: void solve() { string a, b, c; cin >> a >> b >> c;cout << a[0] << b[0] << c[0] << endl; } B. Bobritto Bandito 思路： 倒推模拟即可&#xff0c…...

编程日记 2025/8/21 22:36:36

bash的特性-bash中的引号

在Linux或Unix系统中，Bash（Bourne Again SHell）作为最常用的命令行解释器之一，提供了强大的功能来处理各种任务。正确使用引号是掌握Bash脚本编写的基础技能之一，它决定了如何解析字符串、变量替换以及特殊字符的行为。…...

编程日记 2025/8/19 8:10:12

在知道设备ip的情况下，使用 Fail2Ban防止暴力破解 sudo apt install fail2ban 配置 SSH 防护规则 sudo gedit /etc/fail2ban/jail.local jail.local内容如下： [sshd] enabled true port ssh logpath /var/log/auth.log # Ubuntu/Debian maxret…...

编程日记 2025/8/27 14:16:58

【Bluedroid】A2DP Sink播放流程源码分析(二)

接上一篇继续分析：【Bluedroid】A2DP Sink播放流程源码分析(一)_安卓a2dp sink播放流程-CSDN博客 AVDTP接收端（Sink）流事件处理 bta_av_sink_data_cback 是 Bluedroid 中 A2DP Sink 角色的 AVDTP 数据回调函数，负责处理接收端的…...

编程日记 2025/8/24 1:48:20

【Code】《代码整洁之道》笔记-Chapter16-重构SerialDate

第16章　重构SerialDate 如果你找到JCommon类库，深入该类库，其中有个名为org.jfree.date的程序包。在该程序包中，有个名为SerialDate的类，我们即将剖析这个类。 SerialDate的作者是David Gilbert。David显然是一位经验丰富、能力…...

编程日记 2025/8/27 10:26:17

redis 内存中放哪些数据？

在 Java 开发中，Redis 作为高性能内存数据库，通常用于存储高频访问、低延迟要求、短期有效或需要原子操作的数据。以下是 Redis 内存中常见的数据类型及对应的使用场景，适合面试回答： 1. 缓存数据（高频访问，降低数据库压力）用户会话（Session）：存储用户登录状态、临时…...

编程日记 2025/8/24 12:34:08

【Python使用】嘿马云课堂web完整实战项目第4篇：封装异常处理,封装JSON返回值【附代码文档】

教程总体简介：项目概述项目背景项目的功能构架项目的技术架构 CMS 什么是CMS CMS需求分析与工程搭建静态门户工程搭建 SSI服务端包含技术页面预览开发 4 添加“页面预览”链接页面发布需求分析技术方案测试环境搭建数据字典服务端前端数据模型页面原…...

编程日记 2025/8/23 2:05:21

「数据可视化 D3系列」入门第三章：深入理解 Update-Enter-Exit 模式

深入理解 Update-Enter-Exit 模式一、数据绑定三态：Update、Enter、Exit三种状态的直观理解二、基础概念1. Update 选区 - 处理已有元素2. Enter 选区 - 处理新增数据3. Exit 选区 - 处理多余元素三、完整工作流程四、三种状态的底层原理数据绑定过程解析键函数&…...

编程日记 2025/8/24 14:52:00

中间件--ClickHouse-5--架构设计（分布式架构，列式压缩存储、并行计算）

1、整体架构设计 ClickHouse 采用MPP（大规模并行处理）架构，支持分布式计算和存储，其核心设计目标是高性能列式分析。 （1）、存储层列式存储： 数据按列存储（而非传统行式存储&#…...

编程日记 2025/8/22 7:42:26

AgentGPT 在浏览器中组装、配置和部署自主 AI 代理入门介绍

AI MCP 系列 AgentGPT-01-入门介绍 Browser-use 是连接你的AI代理与浏览器的最简单方式 AI MCP(大模型上下文)-01-入门介绍 AI MCP(大模型上下文)-02-awesome-mcp-servers 精选的 MCP 服务器 AI MCP(大模型上下文)-03-open webui 介绍是一个可扩展、功能丰富且用户友好的…...

编程日记 2025/8/19 22:15:04

【开源项目】Excel手撕AI算法深入理解（三）：Backpropagation、mamba、RNN

项目源码地址：https://github.com/ImagineAILab/ai-by-hand-excel.git 一、Backpropagation 1. 反向传播的本质反向传播是通过链式法则计算损失函数对网络参数的梯度的高效算法，目的是用梯度下降优化参数。其核心思想是： 前向传播&#xf…...

编程日记 2025/8/21 4:27:20

uniapp的通用页面及组件基本封装

1.基本布局页面适用于自定义Navbar头部 <template><view class"bar" :style"{height : systemInfo.statusBarHeight px, background: param.barBgColor }"></view><view class"headBox" :style"{ height: param.h…...

编程日记 2025/8/23 13:48:46

Ubuntu和Debian 操作系统的同与异

首先需要说明：Ubuntu 是基于 Debian 操作系统开发的。它们之间的关系如下起源与发展：Debian 是一个社区驱动的开源 Linux 发行版，始于 1993 年，是最早的 Linux 发行版之一，以其稳定性和自由软件政策著称。Ubuntu 是基…...

编程日记 2025/8/22 22:01:52

【android bluetooth 协议分析 21】【ble 介绍 1】【什么是RPA】

通俗易懂地讲解一下 BLE（低功耗蓝牙）中的 Resolvable Private Address（RPA，可解析私有地址）。 1. 一句话理解 RPA 是一种“临时的、隐私保护的蓝牙设备地址”，别人无法随便追踪你，但“授权的设…...

编程日记 2025/8/17 20:53:56

狂神SQL学习笔记九：MyISAM 和 lnnoDB 区别

show create database school –查看创建数据库的语句 show create table student – 查看student数据表的定义语句 desc student –显示表的结构 MYISAMINNODB事务支持不支持支持数据行锁定不支持支持行锁定外键不支持支持全文索引支持不支持表空间的大小较小较大&#x…...

编程日记 2025/8/23 10:49:09

深度学习--神经网络的构造

在当今数字化时代，深度学习已然成为人工智能领域中最为耀眼的明星。而神经网络作为深度学习的核心架构，其构造方式决定了模型的性能与应用效果。本文将深入探讨深度学习神经网络的构造，带您领略这一前沿技术的奥秘。一、神经网络基础概念…...

编程日记 2025/8/24 2:58:23

Jenkins 代理自动化-dotnet程序

两种方式容器部署本地部署容器部署可自动实现，服务器重启，容器自动运行主要将dockerfile 写好本地部署 1.服务器重启自动运行代理参考下面的链接，只是把程序换成 java程序，提前确认好需要的jdk版本 Ubuntu20.04 设置开机…...

编程日记 2025/8/26 22:46:53

【区块链+ 人才服务】“CERX Network”——基于 FISCO BCOS 的研学资源交换网络 | FISCO BCOS 应用案例

CERX Network （Consortium-based Education Resource Exchanging Network） 是定位于面向高校科学研究与教学的分布式研学资产交换网络， 构建一个用于数据、算法模型、论文和课程的研学资源价值流转平台。项目以 FISCO BCOS 联盟链为底层平…...

编程日记 2025/8/22 8:39:29

中间件--ClickHouse-6--SQL基础（类似Mysql，存在差异）

ClickHouse语言类似Mysql，如果熟悉Mysql，那么学习ClickHouse的语言还是比较容易上手的。 1、建表语法（CREATE TABLE） （1）、表引擎（Engine） MySQL： 默认使用 InnoDB 引…...

编程日记 2025/8/26 4:09:37

[MSPM0开发]MSPM0G3507番外一：关于使用外部高速晶振HFXT后程序可能不运行的问题

一、问题描述如下图所示，MSPM0G3507时钟树配置为使用外部HFXT（外部高速晶振）作为HSCLK时钟源。配置结果MCLK 40MHz。另外配置PB22为输出模式，控制外部LED亮灭。在main.c中主要代码如下： 主要完成延时并翻转LED控…...

编程日记 2025/8/25 0:32:30

2025年计算机领域重大技术突破与行业动态综述

——前沿技术重塑未来，开发者如何把握机遇？ 2025年第一季度，全球计算机领域迎来多项里程碑式进展，从量子计算到人工智能，从芯片设计到网络安全，技术革新与产业融合持续加速。本文梳理近三个月内最具影响力…...

编程日记 2025/8/24 2:01:44

我的机器学习之路（初稿）

文章目录一、机器学习定义二、核心三要素三、算法类型详解1. 监督学习（带标签数据）2. 无监督学习（无标签数据）3. 强化学习（决策优化）(我之后主攻的方向) 四、典型应用场景五、学习路线图六、常见误区警示七…...

编程日记 2025/8/17 20:48:02

交易模式革新：Eagle Trader APP上线，助力自营交易考试效率提升

近年来，金融行业随着投资者需求的日益多样化，衍生出了众多不同的交易方式。例如，为了帮助新手小白建立交易基础，诞生了各类跟单社区；而与此同时，一种备受瞩目的交易方式 —— 自营交易模式，正吸…...

编程日记 2025/8/21 21:58:14

emotn ui桌面tv版官网-emotn ui桌面使用教程

在智能电视和盒子的使用中，出色的桌面系统能大幅提升体验，Emotn UI桌面TV版便是其中的佼佼者。访问Emotn UI桌面TV版官网，首页简洁清晰，“产品介绍”“下载中心”等板块一目了然。官网对其功能优势详细阐述，在“下载中…...

编程日记 2025/8/20 20:31:33

Django之modelform使用

Django新增修改数据功能优化目录 1.新增数据功能优化 2.修改数据功能优化在我们做数据优化处理之前, 我们先回顾下传统的写法, 是如何实现增加修改的。我们需要在templates里面新建前端的页面, 需要有新增还要删除, 比如说员工数据的新增, 那需要有很多个输入框, 那html…...

编程日记 2025/8/26 13:05:33

Hadoop：大数据时代的基石

在当今数字化浪潮中，数据量呈爆炸式增长，企业和组织面临着前所未有的数据处理挑战。从社交媒体的海量信息到物联网设备的实时数据，如何高效地存储、管理和分析这些数据成为了一个关键问题。Apache Hadoop 作为大数据处理领域的核心框架&#…...

编程日记 2025/8/26 20:47:31

定制开发还是源码搭建？如何快速上线同城外卖跑腿APP？

在“万物皆可同城配送”的时代，同城外卖跑腿APP成为众多创业者和本地服务商的热门选择。无论是打造本地生活服务平台，还是拓展快送业务，拥有一款功能完善、体验流畅的外卖跑腿APP，已经成为进入市场的标配。然而，对于…...

编程日记 2025/8/22 7:44:09

相关文章：