当前位置：首页 > news >正文

在scala中sparkSQL连接masql并添加新数据

news 来源：原创 2025/7/5 12:25:11

以下是 Scala 中使用 Spark SQL 连接 MySQL 并添加数据的完整代码示例（纯文本）：

1. 准备连接参数（需替换实际信息）

scala

val jdbcUrl = "jdbc:mysql://localhost:3306/test_db?useUnicode=true&characterEncoding=utf-8"

val tableName = "users" // 目标表名

val user = "root"

val password = "your_password"

val driverClass = "com.mysql.cj.jdbc.Driver" // MySQL 8+ 驱动类（5.x 用 com.mysql.jdbc.Driver）

2. 创建 SparkSession

scala

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()

.appName("Spark SQL MySQL Insert")

.master("local[*]") // 单机模式，集群改为 "yarn" 等

.getOrCreate()

3. 生成待插入数据（示例 DataFrame）

scala

import spark.implicits._

// 示例数据：插入两条用户记录（假设表结构为 id INT, name STRING, age INT）

val newData = Seq(

(3, "Alice", 28),

(4, "Bob", 30)

).toDF("id", "name", "age")

4. 写入数据到 MySQL（追加模式）

scala

newData.write.jdbc(

url = jdbcUrl,

table = tableName,

mode = "append", // 写入模式：append（追加）、overwrite（覆盖）等

properties = new java.util.Properties() {{

setProperty("user", user)

setProperty("password", password)

setProperty("driver", driverClass)

}}

)

关键说明

1. 写入模式（mode）：

- append ：数据追加到现有表（表需存在）。

- overwrite ：覆盖现有表（需注意权限和数据安全）。

- ignore ：忽略重复数据（需表有唯一约束）。

- failIfExists ：表存在时抛出异常（默认模式）。

2. 表结构要求：

- 目标表需提前创建，字段类型需与 DataFrame 匹配（如 id 对应 INT ， name 对应 VARCHAR ）。

3. 驱动与版本适配：

- 若报 ClassNotFoundException ，检查驱动是否正确部署（通过 --jars 参数或放入 $SPARK_HOME/jars/ ）。

- MySQL 5.x 和 8.x 驱动类名不同，需对应修改 driverClass 。

4. 批量写入优化：

- 可添加参数 ?rewriteBatchedStatements=true 到 jdbcUrl 中，提升批量插入性能：

scala

val jdbcUrl = "jdbc:mysql://localhost:3306/test_db?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true"

完整代码整合

scala

import org.apache.spark.sql.SparkSession

import spark.implicits._

object SparkMySQLInsert {

def main(args: Array[String]): Unit = {

// 连接参数

val jdbcUrl = "jdbc:mysql://localhost:3306/test_db?useUnicode=true&characterEncoding=utf-8"

val tableName = "users"

val user = "root"

val password = "your_password"

val driverClass = "com.mysql.cj.jdbc.Driver"

// 创建 SparkSession

val spark = SparkSession.builder()

.appName("Spark SQL MySQL Insert")

.master("local[*]")

.getOrCreate()

// 生成待插入数据

val newData = Seq(

(3, "Alice", 28),

(4, "Bob", 30)

).toDF("id", "name", "age")

// 写入数据

newData.write.jdbc(

url = jdbcUrl,

table = tableName,

mode = "append",

properties = new java.util.Properties() {{

setProperty("user", user)

setProperty("password", password)

setProperty("driver", driverClass)

}}

)

spark.stop()

}

执行时需通过 spark-submit 命令提交，并指定 MySQL 驱动包：

bash

spark-submit --jars /path/to/mysql-connector-java.jar your_app.jar

在scala中sparkSQL连接masql并添加新数据

以下是 Scala 中使用 Spark SQL 连接 MySQL 并添加数据的完整代码示例（纯文本）： 1. 准备连接参数（需替换实际信息） scala val jdbcUrl "jdbc:mysql://localhost:3306/test_db?useUnicodetrue&characterEnc…...

编程日记 2025/7/5 12:25:11

STM32F103_LL库+寄存器学习笔记22 - 基础定时器TIM实现1ms周期回调

导言如上所示，STM32F103有两个基本定时器TIM6与TIM7，所谓「基本定时器」，即功能最简单的定时器。项目地址： github: LL库: https://github.com/q164129345/MCU_Develop/tree/main/stm32f103_ll_library22_Basic_Timer寄存器方…...

编程日记 2025/7/5 10:28:57

.Net HttpClient 使用Json数据

HttpClient 使用Json数据现代Web项目中，Json是最常用的数据格式。不论是前后端的交互中，还是纯前端项目中，都是如此。因此，.Net HttpClient 能不能更加方便、快捷的处理Json格式数据，也就至关重要了！ 文末…...

编程日记 2025/7/5 10:30:26

AI时代，如何实现人机共舞？

在科技飞速发展的当下，人工智能（AI）已不再是科幻作品中的遥远想象，而是深入渗透到我们生活与工作的方方面面。从智能手机中的语音助手，到金融领域的风险预测模型；从医疗影像的智能诊断，到工业生…...

编程日记 2025/7/5 12:08:56

flea-cache使用之Redis哨兵模式接入

Redis哨兵模式接入 1. 参考2. 依赖3. 基础接入3.1 定义Flea缓存接口3.2 定义抽象Flea缓存类3.3 定义Redis客户端接口类3.4 定义Redis客户端命令行3.5 定义哨兵模式Redis客户端实现类3.6 定义Redis哨兵连接池3.7 定义Redis哨兵配置文件3.8 定义Redis Flea缓存类3.9 定义抽象Flea…...

编程日记 2025/6/29 1:21:06

【Docker】Docker环境下快速部署Ollama与Open-WebUI：详细指南

Docker环境下快速部署Ollama与Open-WebUI：详细指南在本篇文章中，我们将深入探讨如何在Docker中高效部署 Ollama 和 Open-WebUI，并解决在实际使用中常见的问题，确保你的模型服务稳定高效地运行。一、Ollama 和 Open-WebUI 快速部…...

编程日记 2025/7/5 12:07:59

FFmpeg在Android开发中的核心价值是什么？

FFmpeg 在 Android 开发中的核心价值主要体现在其强大的多媒体处理能力和灵活性上，尤其在音视频编解码、流媒体处理及跨平台兼容性方面具有不可替代的作用。以下是具体分析： --- 1. 强大的音视频编解码能力 - 支持广泛格式：FFmpeg 支持几乎所…...

编程日记 2025/7/5 12:20:13

Java的进制转换

进制知识 Java 中使用不同的前缀表示数据，常见的进制数据有二进制（0b）、八进制（0）、十进制（无）、十六进制（0x）。 public class Demo1 {public static void main(String…...

编程日记 2025/6/28 23:01:19

SpringBoot中的拦截器 Filter 典型场景全局鉴权/接口耗时统计 WebFilter("/*") public class CostFilter implements Filter {Overridepublic void doFilter(ServletRequest req, ServletResponse res, FilterChain chain) {long start System.currentTimeMill…...

编程日记 2025/6/29 1:33:30

使用聊天模型和提示模板构建一个简单的 LLM 应用程序

官方教程官方案例在上面的链接注册后，请确保设置您的环境变量以开始记录追踪 export LANGSMITH_TRACING"true" export LANGSMITH_API_KEY"..."或者，如果在笔记本中，您可以使用以下命令设置它们 import getpass imp…...

编程日记 2025/6/28 23:45:00

paimon中批和流查看过去的快照的数据及变动的数据

1、批处理创建表并插入三条数据 CREATE TABLE ws_t (id INT,ts BIGINT,vc INT,PRIMARY KEY (id) NOT ENFORCED ); INSERT INTO ws_t VALUES(2,2,2),(3,3,3),(4,4,4),(5,5,5); --设置执行模式为批处理 RESET execution.checkpointing.interval; SET execution.runtime-mode …...

编程日记 2025/6/28 23:56:31

Linux513 rsync本地传输跨设备传输一

ping节点bPing通仅主机模式不需要设置网关节点a也可以Ping通节点b 同步成功下载文件夹成功今日源码节点a 节点b...

编程日记 2025/6/29 0:55:32

c语言第一个小游戏：贪吃蛇小游戏08（贪吃蛇完结）

贪吃蛇撞墙和想不开咬死自己 #include <curses.h> #include <stdlib.h> struct snake{ int hang; int lie; struct snake *next; }; struct snake food; struct snake *head; struct snake *tail; int key; int dir; #define UP 1 #define DOWN -1 …...

编程日记 2025/6/28 23:07:52

Android Native 之自定义进程

在Android五层架构中，native层基本上全是c的世界，这些c进程基本上靠android世界的第一个进程init进程创建，init通过rc配置文件，创建了众多的c子进程，也是这众多的c进程，构建了整个android世界的native层。 …...

编程日记 2025/6/28 23:52:10

深度学习自然语言处理(RNN) day_02

1. 感知机与神经网络 1.1 感知机生物神经元： 1.1.1 感知机的概念感知机（Perceptron），又称神经元（Neuron，对生物神经元进行了模仿）是神经网络（深度学习）的起源算法&am…...

编程日记 2025/6/28 23:32:16

Kotlin 中的作用域函数

在 Kotlin 中，作用域函数是一组用于在对象上下文中执行代码块的函数。它们通过简洁的语法实现对对象的操作和逻辑封装。作用域函数的对比： 1 let 特点： 通过 it 访问对象，需显式使用；返回值是代码块的最后一行结果…...

编程日记 2025/6/28 23:31:27

Linux的SLES系统和其他几大系统之间的区别

✅ SLES 和其他主流 Linux 发行版对比表特性/发行版SLES (SUSE Linux Enterprise Server)RHEL (Red Hat Enterprise Linux)CentOS / AlmaLinux / RockyUbuntu ServerDebian定位企业级，注重稳定性和支持企业级，行业标准，广泛应用社区版 RHEL…...

编程日记 2025/6/28 23:01:24

上位机学习攻略、步骤和实战路径

目录 🎯 一、什么是上位机？ 🧭 二、学习步骤和路径第一步：了解基础概念第二步：掌握通信协议 1. 常见协议： 2. 学习目标： 第三步：熟悉主流上位机软件可选工具及语言&#…...

编程日记 2025/6/29 0:52:49

【爬虫】DrissionPage-1

官网地址：DrissionPage官网小需求采集，我喜欢，我要学。 1 介绍这是用python编写的爬虫自动化工具，将Selenium 和 Requests 的功能巧妙地整合在一起，提供了统一又简单的操作接口。开发者可以在浏览器模式&#xff0…...

编程日记 2025/6/29 0:23:24

API安全

目录 API安全：从威胁到防护的全面解析引言一、API安全的定义与重要性 1.1 API安全的核心目标 1.2 API安全的挑战二、API的常见安全威胁 2.1 身份验证攻击 2.2 中间人攻击（MITM） 2.3 注入攻击 2.4 安全配置错误 2.5 拒绝服务&…...

编程日记 2025/6/29 1:06:35

UDP和TCP协议

目录 1. UDP协议 1.1. UDP的特性 1.2. UDP的包头 1.3. UDP的三大使用场景和实际例子 1.4. TCP和UDP的区别 2. TCP协议 2.1. TCP包头格式 2.2. TCP包头和UDP包头对比 2.3. TCP协议的特点 2.4. TCP的三次握手（连接维护问题） 2.5. TCP的四次挥手…...

编程日记 2025/6/29 0:21:08

关于Go语言的开发环境的搭建

1.Go开发环境的搭建其实对于GO语言的这个开发环境的搭建的过程，类似于java的开发环境搭建，我们都是需要去安装这个开发工具包的，也就是俗称的这个SDK，他是对于我们的程序进行编译的，不然我们写的这个代码也是跑不起来…...

编程日记 2025/6/28 23:36:12

【Bootstrap V4系列】学习入门教程之组件-导航（Navs）

【Bootstrap V4系列】学习入门教程之组件-导航（Navs） 导航（Navs）一、Base nav二、Available styles 可用样式2.1 Horizontal alignment 水平对齐2.2 Vertical 垂直的2.3 Tabs 表格样式2.4 Pills 胶囊样式2.5 Fill and justify 填…...

编程日记 2025/6/29 1:33:23

基于单片机的视力保护仪设计与实现

标题:基于单片机的视力保护仪设计与实现内容:1.摘要随着电子设备的普及，人们的视力健康面临着严峻挑战。为了有效预防近视等视力问题，本文旨在设计并实现一款基于单片机的视力保护仪。通过采用红外传感器、光敏传感器等元件，实时监测使用者…...

编程日记 2025/6/29 0:11:13

如何避免和恢复因终端关闭导致的 LoRA 微调中断

环境： Ubuntu20.04 Llama factory Qwen2.5-7B-Instruct llama.cpp H20 95G 问题描述： 使用命令 CUDA_VISIBLE_DEVICES1 FORCE_TORCHRUN1 llamafactory-cli train examples/train_lora/qwen2_5-7b_lora_sft.yaml 进行 LoRA 微调时，如果…...

编程日记 2025/6/29 0:16:43

RT-linux 系统详解

RT-Linux（Real-Time Linux）是一种基于Linux内核的实时操作系统（RTOS），旨在为Linux添加硬实时（Hard Real-Time）能力，使其适用于对时间确定性要求极高的嵌入式系统和工业控制场景。以下…...

编程日记 2025/6/29 0:59:50

开源网络地图可视化第六章学习指南

源代码地址：开源网络地图可视化-配套代码.zip - 蓝奏云配套书籍：开源网络地图可视化——基于Leaflet的在线地图开发 (杨乃) (Z-Library)(1).pdf - 蓝奏云 3 第六章Leaflet地图动画 3.1 图标动画 3.1.1 沿线运动沿线运动的动画使用了Leaflet.Geode…...

编程日记 2025/6/29 1:00:03

网页常见水印实现方式

文章目录 1 明水印技术实现1.1 DOM覆盖方案1.2 Canvas动态渲染1.3 CSS伪元素方案2 暗水印技术解析2.1 空域LSB算法2.2 频域傅里叶变换3 防篡改机制设计3.1 MutationObserver防护3.2 Canvas指纹追踪4 前后端实现对比5 攻防博弈深度分析5.1 常见破解手段5.2 进阶防御策略6 选型近…...

编程日记 2025/6/29 1:19:20

# 08_Elastic Stack 从入门到实践（八）---1

08_Elastic Stack 从入门到实践（八）—1 一、Logstash入门之简介以及部署安装 1、Elastic Stack 技术栈示意图 2、Logstash 简介 Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据,转换数据，然后将数据发送到您最喜欢的“存储库”中。(存储库当然是Ela…...

编程日记 2025/6/28 23:01:29

携程酒店 phantom-token token1004 分析

声明本文章中所有内容仅供学习交流使用，不用于其他任何目的，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！ 部分python代码搞APP搞的心态有点崩…...

编程日记 2025/6/29 1:07:56

物理：从人体组成角度能否说明基本粒子的差异性以及组织结构的可预设性？

人类的个体差异源于粒子组合的复杂性、环境与随机性的相互作用，而非基本粒子本身的差异性。以下分层次解析：一、基本粒子的同质性与组合多样性 1. 基本粒子的同一性标准模型确认：同种类基本粒子（如电子、上夸克）具有完全相同的质量、电荷等属性，不存在个体差异。泡利不…...

编程日记 2025/6/30 17:24:46

前端面试每日三题 - Day 33

这是我为准备前端/全栈开发工程师面试整理的第33天每日三题练习： ✅ 题目1：Deno核心特性深度解析革命性特性详解 // 安全权限控制（运行时显式授权） deno run --allow-netapi.example.com server.ts // 内置TypeScript支持 …...

编程日记 2025/6/28 23:08:32

JavaScript编译原理

在编程语言的世界中，编译器（如 GCC、TypeScript）和转译器（如 Babel）扮演着至关重要的角色，它们负责将人类可读的代码转换为机器或其他语言可执行的指令。这一过程通常分为四个关键阶段： 1. 词法…...

编程日记 2025/6/29 0:19:29

Nature图形复现—两种快速绘制热图的方法

相信大家在科研过程中，会遇到热图，有时候会觉得热图理解起来比较困难，或者觉得绘制热图也比较困难。本期教程我们来深入了解热图、绘制热图。热图是一种通过颜色深浅或色阶变化来直观展示数据分布、密度或数值大小的可视化工具。它在多个领域…...

编程日记 2025/6/29 0:38:43

MySQL数据库——视图

目录一、视图是什么？ 二、特点三、创建视图四.查询视图五.更新视图六.视图的作用总结一、视图是什么？ 视图是从一个或多个表中导出的虚拟表，它本身不存储数据，而是基于 SQL 查询的结果集。二、特点 1.虚拟性&#xff1…...

编程日记 2025/6/28 23:51:26

标贝科技：大模型领域数据标注的重要性与标注类型分享

当前，大模型作为人工智能领域的前沿技术，其强大的泛化能力和复杂任务处理能力，依赖于海量数据的训练。而数据标注，作为连接原始数据与大模型训练的关键桥梁，在这一过程中发挥着举足轻重的作用。大模型的训练依赖海…...

编程日记 2025/7/1 17:56:47

MYSQL备份恢复知识：第一章：备份操作举例

1. 备份工具 MySQL数据库的备份方式有两大类：一是物理备份，它对数据文件和日志进行整体备份；二是逻辑备份，通过DUMP工具将数据导出。具体的方法有以下几种： • 物理备份，MEB工具，是商用版本推荐…...

编程日记 2025/6/29 0:58:01

VS Code怎么设置python SDK路径

一、通过命令面板快速切换（推荐方法） 打开命令面板 • 快捷键：CtrlShiftP（Windows/Linux）或 CmdShiftP（macOS） • 输入命令：Python: Select Interpreter，回车后显示所有检…...

编程日记 2025/6/28 23:10:44

[经验总结]删除gitlab仓库分支报错：错误：无法推送一些引用到“http:”

问题描述删除gitlab远程仓库报错。 [wingasowingaso release]$ git push gitlab --delete release remote: GitLab: You can only delete protected branches using the web interface. To http://x.x.x.x/gitlab/test.git! [remote rejected] release (pre-receive hoo…...

编程日记 2025/6/29 1:02:17

虹科干货 | CAN XL安全实践：深度防御下的密钥协商优化

摘要随着汽车以太网的兴起和车载通信系统数量的增加，网络整合成为控制复杂性和成本的关键。当前架构呈现明确分层：以太网（100/1000Mbit/s）支撑信息娱乐、ADAS等高带宽应用，而CAN/CAN FD（0.5-5Mbit/s&#…...

编程日记 2025/6/29 0:51:33

Linux干货（一）

前言从B站黑马程序员Linux课程摘选的学习干货，新手友好！若有侵权，会第一时间处理。 1.Linux目录结构 1.Linux操作系统的目录结构 Windows系统可以拥有多个盘符，如C盘、D盘、E盘 Linux没有盘符这个概念，只有一个根…...

编程日记 2025/6/28 23:49:13

Scala和Go差异

Scala和Go（又称Golang）是两种现代编程语言，各自具有独特的特性和设计哲学。尽管它们都可以用于构建高性能、可扩展的应用程序，但在许多方面存在显著差异。 Scala和Go的详细比较，涵盖它们的异同点： 1. 语…...

编程日记 2025/6/29 1:10:43

PNG图片转icon图标Python脚本（简易版） - 随笔

摘要在网站开发或应用程序设计中，常需将高品质PNG图像转换为ICO格式图标。本文提供一份高效Python解决方案，利用Pillow库实现透明背景完美保留的格式转换。源码示例 from PIL import Imagedef convert_png_to_ico(png_path, ico_path, size):"…...

编程日记 2025/6/28 23:01:30

C语言中的宏

1.防止头文件重复包含 1.#pragma once #pragma once 是一个编译器指令，用于防止头文件被重复包含。它的核心作用是通过简单语法替代传统的头文件保护宏（#ifndef/#define/#endif），提升代码简洁性和可维护性。作用详解防止重复…...

编程日记 2025/6/28 23:54:40

飞拍技术介绍

运动控制探针功能详细介绍运动控制探针功能详细介绍（CODESYS+SV63N伺服）_伺服探针功能-CSDN博客文章浏览阅读683次。文章浏览阅读1.2k次。本文详细介绍了如何使用汇川AM400PLC通过EtherCAT总线与禾川X3E伺服进行通信。包括XML硬件描述文件的下载与安装，EtherCAT总线的启用…...

编程日记 2025/6/29 0:55:51

Qt进阶开发：QTcpSocket的详解

文章目录一、QTcpSocket 简介二、常用方法的介绍和使用三、常用的信号函数一、QTcpSocket 简介 QTcpSocket 是 Qt 网络模块中用于实现基于 TCP 协议的客户端通信的类。它提供了一个面向流的接口，允许程序通过套接字连接到远程主机，发送和接收数据。所属模块：QtNetwork用于…...

编程日记 2025/6/29 0:31:28

React中的状态管理Dva总结

在 React 开发中，随着应用的复杂度增加，如何高效地管理应用状态成为了一个非常重要的问题。为了解决这一问题，很多开发者选择了 Redux，然而 Redux 的学习曲线较陡，且需要配置较多的样板代码。为此，Ant Desi…...

编程日记 2025/6/28 23:39:11

PyTorch中的nn.Embedding应用详解

PyTorch 文章目录 PyTorch前言一、nn.Embedding的基本原理二、nn.Embedding的实际应用简单的例子自然语言处理任务前言在深度学习中，词嵌入（Word Embedding）是一种常见的技术，用于将离散的词汇或符号映射到连续的向量空间。这种…...

编程日记 2025/6/28 23:47:39

Python Django基于模板的药品名称识别系统【附源码、文档说明】

博主介绍：✌Java老徐、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇&…...

编程日记 2025/6/29 0:28:58

深度学习---获取模型中间层输出的意义

一、什么是 Hook（钩子函数）？ 在 PyTorch 中，Hook 是一种机制，允许我们在模型的前向传播或反向传播过程中，插入自定义的函数，用来观察或修改中间数据。最常用的 hook 是 forward hook&#xf…...

编程日记 2025/6/28 23:07:25

相关文章：