当前位置： 首页 > news >正文

spark-SQL数据加载和保存

news 来源：原创 2025/8/24 13:17:15

数据加载与保存

通用方式：

       通过 spark.read.load 和 df.write.save 实现数据加载与保存。可利用 format 指定数据格式，如 csv 、 jdbc 等； option 用于设置特定参数，像 jdbc 格式下的数据库连接信息； load 和 save 则分别指定数据路径。保存时还能使用 SaveMode 包含 ErrorIfExists 、 Append 、 Overwrite 、 Ignore 等模式 。

Parquet：

      作为默认数据源，Parquet是列式存储格式，适合存储嵌套数据。加载和保存数据时，若为Parquet文件，无需指定 format ，按默认方式操作即可。

JSON：

      Spark SQL可自动推测JSON数据集结构，加载为 Dataset[Row] 。但要求JSON文件每行是一个JSON串，通过 spark.read.json() 加载 。

CSV：

      读取CSV文件时，可配置列表信息，如设置分隔符、推断数据类型、指定表头，使用 format("csv") 结合 option 设置相关参数。

- MySQL：

     借助JDBC，Spark SQL能从MySQL读取数据创建 DataFrame ，计算后也可写回。操作前需导入 mysql-connector-java 依赖，按特定语法编写代码实现数据读写。

代码案例

导入依赖

 

 

 

 

Spark-SQL连接Hive

内嵌Hive：

使用Spark内嵌Hive无需额外配置，可直接使用，但实际生产中较少采用。

外部Hive：

在spark-shell中连接外部Hive，需将 hive-site.xml 拷贝到 conf/ 目录并修改连接地址，把MySQL驱动复制到 jars/ 目录，拷贝 core-site.xml 和 hdfs-site.xml 到 conf/ 目录，最后重启 spark-shell 。- Spark beeline：Spark Thrift Server兼容HiveServer2，部署后可用beeline访问。连接步骤与连接外部Hive类似，需配置相关文件并启动Thrift Server，再用 beeline -u jdbc:hive2://node01:10000 -n root 连接 。- Spark-SQL CLI：在Spark目录下，将MySQL驱动放入 jars/ ， hive-site.xml 放入 conf/ ，运行 bin/ 目录下的 spark-sql.cmd 即可启动，能直接执行SQL语句。

代码操作Hive：

先导入 spark-hive_2.12 和 hive-exec依赖，将hive-site.xml拷贝到resources目录中，在代码中启用hive支持

代码案例

导入依赖

 

 

相关文章：

spark-SQL数据加载和保存

数据加载与保存 通用方式： 通过 spark.read.load 和 df.write.save 实现数据加载与保存。可利用 format 指定数据格式，如 csv 、 jdbc 等； option 用于设置特定参数，像 jdbc 格式下的数据库连接信息； load 和 save 则…...

编程日记 2025/8/24 13:17:15

strings.Replace 使用详解

目录 1. 官方包 2. 支持版本 3. 官方说明 4. 作用 5. 实现原理 6. 推荐使用场景和不推荐使用场景 推荐场景 不推荐场景 7. 使用场景示例 示例1：官方示例 示例2：模板变量替换 示例3：敏感信息脱敏（隐藏手机号中间四位&a…...

编程日记 2025/8/24 13:15:49

K8S微服务部署及模拟故障观测

概述 本文介绍了如何在 Kubernetes (K8S) 集群中部署微服务，并模拟常见的故障场景（如 Pod 故障、节点故障、网络故障）以测试系统的容错能力。通过本实验，了解 Kubernetes 的自动恢复机制以及如何通过监控和日志分析快速定位和解决…...

编程日记 2025/8/17 21:05:57

3.k8s是如何工作的

Kubernetes 是一个复杂的分布式系统，其核心设计理念是 声明式管理 和 自动化控制。以下是 Kubernetes 的工作机制详解，从用户提交应用到容器运行的全流程： 1. 核心架构：控制平面（Control Plane）与工作节点&…...

编程日记 2025/8/24 13:15:09

打通任督二脉 - Device Plugin 让 k8s “看见” GPU

打通任督二脉 - Device Plugin 让 k8s “看见” GPU 上一篇咱们聊了为啥要把 GPU 这个“计算猛兽”拉进 Kubernetes (k8s) 这个“智能调度中心”。目标很美好：提高效率、简化管理、弹性伸缩。但现实是，k8s 天生并不认识 GPU 这位“新朋友”。就像你的电脑操作系统，默认只认…...

编程日记 2025/8/24 13:15:09

锚定“体验驱动”，锐捷EDN让园区网络“以人为本”

作者 | 曾响铃 文 | 响铃说 传统的网络升级路径，一如巴别塔的建造思路一般——工程师们按技术蓝图逐层堆砌，却常与地面用户的实际需求渐行渐远，从而带来了诸多体验痛点，如手工配置效率低下、关键业务用网无法保障、网络架构趋于…...

编程日记 2025/8/24 13:15:07

Flutter的自动化测试 python flutter编程

Flutter应用开发入门指南 第一步：创建Flutter应用 创建一个默认的Flutter应用后，将以下代码复制到 lib/main.dart 中： import package:flutter/material.dart;//运行Flutter应用,创建了一个自己实现的Widget对象 void main() > runApp(…...

编程日记 2025/8/21 15:30:58

Day09【基于jieba分词和RNN实现的简单中文分词】

基于jieba分词和RNN实现的中文分词 目标数据准备主程序预测效果 目标 本文基于给定的中文词表，将输入的文本基于jieba分词分割为若干个词，词的末尾对应的标签为1，中间部分对应的标签为0，同时将分词后的单词基于中文词表做初步序列…...

编程日记 2025/8/20 17:56:29

机器学习 | 神经网络介绍 | 概念向

文章目录 📚从生物神经元到人工神经元📚神经网络初识🐇激活函数——让神经元“动起来”🐇权重与偏置——调整信息的重要性🐇训练神经网络——学习的过程🐇过拟合与正则化——避免“死记硬背” &#x1f440…...

编程日记 2025/8/24 13:15:11

使用cursor进行原型图设计

1.下载cursor 2.模式设置： 模型使用claude-3.7-sonnet的think模式 3.引导词模板： 我想要开发一个中高考英语口语考试的模拟考试系统，我需要将上面的这个应用输出成高保真的原型图设计。请考虑以下的规范： 用户体验&#xff1…...

编程日记 2025/8/24 13:15:48

Vue el-from的el-form-item v-for循环表单如何校验rules（二）

在上一篇文章中，通过校验规则写成内联循环去校验from表单项，在之前的代码基础上，进行校验规则的二次封装，使代码更加简洁，灵活高效、 参考上一篇：Vue el-from的el-form-item v-for循环表单如何校验rules&a…...

编程日记 2025/8/24 13:15:05

Spark-SQL3

Spark-SQL 一.Spark-SQL核心编程（四） 1.数据加载与保存： 1）通用方式： SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据&#…...

编程日记 2025/8/24 13:15:46

Redis字符串类型实战：解锁五大高频应用场景

精心整理了最新的面试资料和简历模板，有需要的可以自行获取 点击前往百度网盘获取 点击前往夸克网盘获取 Redis的字符串（String）类型是最基础的数据结构，但其灵活性和原子性操作使其成为解决高并发场景问题的利器。本文通过真实项…...

编程日记 2025/8/24 13:15:10

通信算法之266： 无人机信号带宽计算

pwelch 通常返回功率谱密度（PSD）和对应的频率向量。带宽的计算可能涉及到找到 PSD 的有效频率范围，比如半功率点（-3dB）或者根据信号的能量集中区域。 pwelch 的参数设置，比如窗函数、重叠、FFT 点数&#x…...

编程日记 2025/8/24 13:15:49

【MySQL】前缀索引、索引下推、访问方法，自适应哈希索引

最左前缀原则 对于INDEX(name, age)来说最左前缀可以是联合索引的最左N个字段, 也可以是字符串索引的最左M个字符。 SELECT * FROM t WHERE name LIKE 张%其效果和单独创建一个INDEX(name)的效果是一样的若通过调整索引字段的顺序, 可以少维护一个索引树, 那么这个顺序就是需要…...

编程日记 2025/8/24 13:15:11

【C++游戏引擎开发】第16篇：ImGui指南

ImGui官方Github ImGUI（即时模式图形用户界面）是一种颠覆传统GUI开发范式的界面系统，由Casey Muratori于2005年提出概念，后经Omar Cornut开发为Dear ImGui开源库。其核心设计理念彻底改变了开发者构建交互式工具的方式。 一、vcpkg安装与特点介绍 1.1 安装 vcpkg install…...

编程日记 2025/8/17 20:55:37

分享一下这几天在公司学到的东西

这几天我学到了很多东西 （1）我自己原来写项目，前后端联调用的都是postman，然后直接测试接口，然后连一下就完了。这几天我接触到了apifox的Mock这个东西！我知道了一个前端工程师进行前后端链条的时候&#…...

编程日记 2025/8/24 13:17:15

C# 将Excel格式文件导入到界面中，用datagridview显示

界面按钮不做介绍。 主要代码： //用于获取从上一个页面传过来datagridview标题 public DataTable GetHeader { get; set; } private void UI_EXPINFO_Load(object sender, EventArgs e) { //页面加载显示listbox1中可…...

编程日记 2025/8/22 3:54:23

Shell编程之正则表达式与文本

目录 一 正则表达式 1 正则表达式的定义 2 正则表达式用途 二 正则表达式类型 1 基础正则表达式示例 （1）查找特定字符 （2）利用中括号” [] “来查找集合字符 （3）查找行首” ^ “与行尾字符”$“ &…...

编程日记 2025/8/22 11:25:10

Spring JDBC 与数据访问：从性能优化到事务协同

在高并发场景（如电商、金融等行业），数据库访问的性能和事务一致性是系统稳定性的关键。 Spring JDBC通过模板化操作和事务管理机制，大幅简化了传统 JDBC 繁琐的 API 处理，使数据库操作更加高效、安全、可维护。 一、…...

编程日记 2025/8/23 5:03:54

Markdown 编辑器的使用

欢迎使用 Markdown 编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持&…...

编程日记 2025/8/23 5:03:59

自动化浏览器环境与 Node.js 环境的逆向分析：完整教程

在当今的 Web 开发中，了解浏览器环境与 Node.js 环境之间的差异是非常重要的，特别是当你希望进行自动化操作、逆向工程或进行跨平台开发时。在这篇教程中，我们将探讨如何通过 JavaScript 在浏览器中自动化环境检测、分析并对比 Node.js 和浏览…...

编程日记 2025/8/24 1:45:37

脉冲编码调制（PCM）在三角形信号中的应用

基于MATLAB平台，详细阐述脉冲编码调制（PCM）在三角形信号处理中的全流程实现。我这里将变量名更改为具有辨识度的Dogness_、Lhuu_，包括信号生成、均匀量化、编码、解码及解量化过程，为数字信号处理提供实践参考。 Dogne…...

编程日记 2025/8/24 13:17:15

# 03_Elastic Stack 从入门到实践（三）-- 4

03_Elastic Stack 从入门到实践（三）-- 4 七、Elasticsearch之中文分词器（IK分词器） 1、什么是分词？ 分词：就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch…...

编程日记 2025/8/24 13:15:11

前端VUE框架理论与应用（10）

1、记住全局注册的行为必须在根 Vue 实例 (通过 new Vue) 创建之前发生。 2、要注意，以 / 开头的嵌套路径会被当作根路径。 这让你充分的使用嵌套组件而无须设置嵌套的路径。 3、注意：在 Vue 实例内部，你可以通过 $router 访问路由实例。因此你可以调用 this.$router.push…...

编程日记 2025/8/24 8:53:27

基础学习：（6）nanoGPT

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言1 nanoGPT 浅尝1.1 基础环境1.2 prepare.py1.2 train.py1.3 sample.py 2 再探gpt2.1 layer_norm2.2 KQV 和 self attention2.3 masked self-attention2.4 调用构…...

编程日记 2025/8/20 4:09:47

python支持自定义基准的相对误差计算

def is_within_tolerance_custom(a, b, tolerance0.1, reference“max”): “”" 支持自定义基准的相对误差计算。 参数:reference (str): 基准类型，可选 "max"（默认）、"min"、"mean"、"a"&am…...

编程日记 2025/8/24 10:26:24

力扣DAY52-54 | 热100 | 图论：腐烂的橘子、课程表、前缀树

前言 中等 √ 腐烂的橘子用层次遍历，课程表用俩哈希表，前缀树基本与题解一致。however不太规范。 腐烂的橘子 我的题解 层次遍历，先找出所有腐烂的橘子进入队列并记录数量，接着内层遍历第一层腐烂的橘子，上下左右四…...

编程日记 2025/8/21 10:27:35

java CountDownLatch用法简介

CountDownLatch倒计数锁存器 CountDownLatch：用于协同控制一个或多个线程等待在其他线程中执行的一组操作完成，然后再继续执行 CountDownLatch用法 构造方法：CountDownLatch(int count)，count指定等待的条件数（任务…...

编程日记 2025/8/19 14:30:03

科技项目验收测试报告有哪些作用?需要多长时间和费用?

在当今快速发展的科技环境中，科技项目的有效验收至关重要。对于公司、开发团队以及客户来说，科技项目验收测试报告更是一个不可缺少的一项重要环节。 科技项目验收测试报告是对一个项目在开发完成后所进行的一系列测试结果的总结。这份报告不仅用于证明…...

编程日记 2025/8/17 21:19:45

网络原理面试题

1.如何理解 URI？ URI, 全称为(Uniform Resource Identifier), 也就是统一资源标识符，它的作用很简单，就是区分互联网上不同的资源。但是，它并不是我们常说的网址, 网址指的是URL, 实际上URI包含了URN和URL两个部分，由于 URL 过于普及，就默认将 URI 视为 URL 了。 URI 的…...

编程日记 2025/8/20 5:41:26

专为路由器和嵌入式设备设计的OpenWrt是什么？

OpenWrt是一款基于Linux内核的开源嵌入式操作系统，专为路由器和嵌入式设备设计。自2004年诞生以来，它已成为替代商业固件的首选方案，凭借其高度可定制性、模块化架构和活跃的开发者社区，广泛应用于家庭网络、企业级设备、物联网（IoT）及安全领域。以下从多个维度展开详细介…...

编程日记 2025/8/21 7:53:16

NVIDIA RTX™ GPU 低成本启动零售 AI 场景开发

零售行业正在探索应用 AI 升级客户体验，同时优化内部流程。面对多重应用场景以及成本优化压力，团队可采用成本相对可控的方案，来应对多重场景的前期项目预演和落地，避免短期内大规模投入造成的资源浪费。 客户体验 AI 场景的研究…...

编程日记 2025/8/22 23:55:41

element-ui自定义主题

此处的element-ui为基于vue2.x的 由于https://element.eleme.cn/#/zh-CN/theme/preview（element的主题）报错503， 所以使用https://element.eleme.cn/#/zh-CN/component/custom-theme 自定义主题文档中，在项目中改变scss变量的方…...

编程日记 2025/8/23 8:32:18

PhotoShop学习10

1.画板功能的使用 使用画板功能可以轻松针对不同的设备和屏幕尺寸设计网页和 APP。画板是一种容器，类似于特殊图层组。画板中的图层在图层面板中，按画板进行分组。 使用画板，一个文档中可以有多个设计版面，这样可以在画板之间轻…...

编程日记 2025/8/19 17:11:05

基于LLVM设计领域专用语言（DSL）的步骤——以激光微加工为例

1. 明确DSL的设计目标 在激光微加工领域，DSL需解决以下问题： • 工艺参数抽象化：激光功率、频率、扫描路径等需用高阶语法描述，而非底层G代码。 • 实时性要求：控制指令需低延迟编译为机器码（如FPGA或运动控…...

编程日记 2025/8/20 21:40:31

【MAUI】IOS保活

文章目录 概述sevice使用 概述 每种方法都是独立的，可以根据应用的需求单独使用。例如，如果应用的主要功能是跟踪用户的地理位置，则可以仅使用后台定位；若是为了保持应用在后台运行以完成特定任务（比如上传数据&#…...

编程日记 2025/8/21 17:30:53

shardingsphere-jdbc集成Seata分布式事务

1、导入相关依赖 <!-- shardingsphere-jdbc --><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>shardingsphere-jdbc</artifactId><version>5.5.1</version></dependency><!-- shardingspher…...

编程日记 2025/8/24 3:55:37

基于区块链的技术应用探索

文章目录 前言一、区块链技术的核心特性1.1 去中心化1.2 不可篡改性1.3 透明性与可追溯性1.4 智能合约机制 二、区块链的典型应用场景2.1 金融与支付2.2 溯源与供应链管理2.3 数字身份与数据隐私2.4 数字资产与NFT2.5 公共服务与政务透明 三、区块链的分类1.按权限管理方式分类…...

编程日记 2025/8/17 18:31:40

MQ(RabbitMQ)消息重复消费问题的全面解决方案

MQ消息重复消费是分布式系统中的常见问题&#xff0c;主要由网络问题、消费者故障、消息重试机制等引起。以下是针对RabbitMQ的完整解决方案体系&#xff1a; 一、消息生产端解决方案 1. 消息幂等设计 全局唯一消息ID&#xff1a; MessageProperties props MessagePropert…...

编程日记 2025/8/20 1:35:14

windows Cursor 配置MCP的小坑

以高德地图MCP举例 按需求配置好以后&#xff0c;会提示 Client closed 解决方案&#xff0c; windows 需要更改一下 commandargs 新增一个npx保存后Cursor设置MCP页面Refresh一下即可&#xff0c;打开的终端不要关闭 最后贴一下文本代码&#xff0c;方便复制粘贴 {"m…...

编程日记 2025/8/17 15:08:01

探秘串口服务器厂家：背后的故事与应用

在科技飞速发展的今天&#xff0c;串口服务器作为连接串口设备与网络的桥梁&#xff0c;在工业自动化、智能交通、智能家居等众多领域发挥着关键作用。你是否好奇&#xff0c;那些生产串口服务器的厂家究竟有着怎样的故事&#xff1f;它们的产品背后又蕴含着怎样的原理呢&#…...

编程日记 2025/8/23 12:16:21

二叉树详细讲解（2/2）

4. 实现链式结构二叉树 ⽤链表来表⽰⼀棵⼆叉树&#xff0c;即⽤链来指⽰元素的逻辑关系。通常的⽅法是链表中每个结点由三个域组成&#xff0c;数据域和左右指针域&#xff0c;左右指针分别⽤来给出该结点左孩⼦和右孩⼦所在的链结点的存储地址&#xff0c;其结构如下&#…...

编程日记 2025/8/21 11:32:46

SpringBoot整合Redis限流

通过一个完整的Spring Boot项目演示如何用Redis实现简单的API限流功能。我们将从零开始搭建项目。 一、环境准备 1.1 开发环境要求 JDK 1.8IntelliJ IDEA&#xff08;推荐&#xff09;Redis 5.0&#xff08;本地安装&#xff09;Postman&#xff08;测试用&#xff09; 1.2…...

编程日记 2025/8/20 18:23:47

（Matlab）自动驾驶仿真 设计驾驶场景、配置传感器并生成合成 数据

驾驶场景仿真平台核心功能 一、场景搭建与编辑 ‌可视化场景构建‌ 使用拖放界面创建道路网络和角色模型&#xff08;车辆、行人等&#xff09;支持欧洲新车评估计划&#xff08;Euro NCAP&#xff09;测试协议及其他预置场景模板 二、传感器配置 ‌车载传感器系统‌ 支持…...

编程日记 2025/8/19 22:30:52

接口测试（get请求方法）-----------实战演练

1.最简单的get请求方法 eg:请求一个王者荣耀语音包的接口 接口文档如下&#xff1a; 2.把接口地址、请求方法、请求参数写到postman相应位置 3.填写请求参数的值&#xff0c;点击发送按钮&#xff0c;即可获得到返回参数...

编程日记 2025/8/23 4:55:41

【赵渝强老师】TiDB的列存引擎：TiFlash

TiDB的TiFlash提供列式存储&#xff0c;且拥有借助ClickHouse高效实现的协处理器层。除此以外&#xff0c;它与TiKV非常类似&#xff0c;依赖同样的Multi-Raft体系&#xff0c;以Region为单位进行数据复制和分散。TiFlash以低消耗不阻塞TiKV写入的方式&#xff0c;实时复制TiKV…...

编程日记 2025/8/22 2:03:52

《vue3学习手记3》

标签的ref属性 vue3和vue2中的ref属性&#xff1a; 用在普通DOM标签上&#xff0c;获取的是DOM节点 ref用在组件标签上&#xff0c;获取的是组件实例对象 区别在于&#xff1a; 1.vue3中person子组件中的数据父组件App不能直接使用&#xff0c;需要引入并使用defineExpose才可…...

编程日记 2025/8/17 20:47:30

【Vue】从 MVC 到 MVVM：前端架构演变与 Vue 的实践之路

个人博客&#xff1a;haichenyi.com。感谢关注 一. 目录 一–目录二–架构模式的演变背景​三–MVC&#xff1a;经典的分层起点​四–MVP&#xff1a;面向接口的解耦尝试​五–MVVM&#xff1a;数据驱动的终极形态​​六–Vue&#xff1a;MVVM 的现代化实践​​​ 二. 架构模…...

编程日记 2025/8/19 7:10:35

Docker Compose 命令实现动态构建和部署

Docker Compose 命令实现动态构建和部署 一、编写支持动态版本号的 docker-compose.yml version: 3.8services:myapp:build: context: . # Dockerfile所在目录args:APP_VERSION: ${TAG:-latest} # 从环境变量获取版本号&#xff0c;默认latestimage: myapp:${TAG:-latest} …...

编程日记 2025/8/21 2:13:59