当前位置： 首页 > news >正文

pyspark连接clickhouse数据库的方式(其它数据库同样适用）

news 来源：原创 2025/6/15 20:34:45

目录

  • 一、背景简记
  • 二、pyspark连接clickhouse方式记录
  • 三、结语
  • 参考学习博文

一、背景简记

实际工作中，大部分所用的数据存储地址都是在数据库中，如我司现在常用的数据库是clickhouse，相关数据的统计分析都在此上操作。如果想用pyspark连接clickhouse数据库怎么办呢，经过博主的一番探索，由此衍生了本文。
当然，本文连接clickhouse数据库的方式，同样可以衍生使用与mysql、Oracle，postgre数据库等。

在这里插入图片描述

二、pyspark连接clickhouse方式记录

如果按照上一篇博文《Windows环境本地配置pyspark环境详细教程》，安装配置好了本地pyspark环境，则本地连接clickhouse数据库的脚本示例如下。

  • 文件 《clickhouse-jdbc-0.6.1.jar》 是本地连接clickhouse数据库的驱动，这在通过DBeaver或者Navicat连接clickhouse数据库时，即会下载该驱动，因此使用使用搜索确认下该文件地址路径即可。
  • 脚本中相关注释掉的代码，如果本地未设定jdk、spark环境变量，可以在脚本中内置指定其路径。
  • 标*的为数据库的ip地址和连接的数据库名称，实际根据情况填写即可。
# import findspark
# findspark.init() # 初始化本地环境import os
from pyspark.sql import SparkSession
# 设置环境变量
# os.environ["JAVA_HOME"] = "D:/JDK" # 手动指定jdk安装位置
# os.environ["SPARK_HOME"] = "D:/bigdataenv/spark-3.5.0-bin-hadoop3" # 手动指定spark安装位置
# os.environ['PYSPARK_SUBMIT_ARGS'] = '--master local[*] --conf spark.driver.memory=4g --conf spark.executor.memory=2g --conf spark.driver.extraJavaOptions=-Djava.library.path="D:/JDK/bin" pyspark-shell' # 相关提交信息设置，注意其中含有jdk位置# 创建 SparkSession
spark = SparkSession.builder \.appName("ClickHouse Connection") \.config("spark.jars", "file:///C:/Users/Administrator/AppData/Roaming/DBeaverData/drivers/maven/maven-central/com.clickhouse/clickhouse-jdbc-0.6.1.jar") \.getOrCreate()# 获取 SparkContext
sc = spark.sparkContext# 设置日志级别
sc.setLogLevel("ERROR")# # 测试 SparkSession 是否正常工作
# df = spark.createDataFrame([(1, 'foo'), (2, 'bar')], ['id', 'value'])# ClickHouse连接参数
clickhouse_url = "jdbc:clickhouse://**.**.**.**:8123/sj**"
properties = {"user": "default","password": "123456","driver": "com.clickhouse.jdbc.ClickHouseDriver"
}# 读取数据
df = spark.read.jdbc(url=clickhouse_url, table="ods_bt_base_dict", properties=properties)df.show() 
spark.stop()

结果如下图所示：
在这里插入图片描述

记录一个本地测试的示例：

import findspark
findspark.init() 
# findspark.init(spark_home="D:\\bigdataenv\\\spark-3.5.0-bin-hadoop3") #  # 自动查找 SPARK_HOMEfrom pyspark.sql import SparkSession# 创建 Spark 会话
spark = SparkSession.builder \.appName("Test PySpark") \.master("local[*]") \.getOrCreate()# 打印 Spark 会话信息
print("Spark version:", spark.version)# 创建一个 DataFrame
data = [("Alice", 34), ("Bob", 45), ("Cathy", 29)]
columns = ["Name", "Age"]
df = spark.createDataFrame(data, columns)# 显示 DataFrame
df.show()# 停止 Spark 会话
spark.stop()

执行结果如下：
在这里插入图片描述

三、结语

总体来说，pyspark的数据提取方式，和python的语言逻辑，还是有较大差别，需要勤加练习。
在这里插入图片描述

参考学习博文

《Windows环境本地配置pyspark环境详细教程》

相关文章：

pyspark连接clickhouse数据库的方式(其它数据库同样适用）

目录 一、背景简记二、pyspark连接clickhouse方式记录三、结语参考学习博文 一、背景简记 实际工作中，大部分所用的数据存储地址都是在数据库中，如我司现在常用的数据库是clickhouse，相关数据的统计分析都在此上操作。如果想用pyspark连接cl…...

编程日记 2025/6/4 10:46:46

当父级元素设置了flex 布局 ，两个子元素都设置了flex :1, 但是当子元素放不下的时候会溢出父元素怎么解决 （css 样式问题）

一、问题 遇到个样式问题，当父级元素设置了flex 布局 ，两个子元素都设置了flex :1, 但是当子元素放不下的时候会溢出父元素怎么解决 （拖拽浏览器 使页面变小） 二、解决方法 .father{min-height: 600px;width: 100%;display: flex…...

编程日记 2025/6/2 10:04:02

软件方法论--课程笔记（整理中）

C1：概览Introduction （1）软件的4个特性 一致性（Conformity）：软件必须符合严格的规格和要求，包括与其他组件的接口和环境的连接，避免因为不一致导致无法复用或开发问题。 不可见性…...

编程日记 2025/6/1 8:29:35

从 0 开始实现一个 SpringBoot + Vue 项目

从 0 开始实现一个 SpringBoot Vue 项目 从 0 开始实现一个 SpringBoot Vue 项目 软件和工具创建 SpringBoot 后端项目创建 MySQL 数据库配置文件实现增删改查接口 Model 层mapper 层service 层controller 层测试 实现项目功能接口 代码测试 创建 Vue 前端 安装 Node.js配置…...

编程日记 2025/6/3 0:42:11

怎么修复损坏的U盘？而且不用格式化的方式！

当你插入U盘时，若电脑弹出“需要格式化才能使用”提示，且无法打开或读取其中的数据，说明U盘极有可能已经损坏。除此之外，若电脑在连接U盘后显示以下信息，也可能意味着U盘出现问题，需要修复损坏的U盘&#x…...

编程日记 2025/6/1 9:02:36

使用redis-cli命令实现redis crud操作

项目场景： 线上环境上redis中的key影响数据展示，需要删除。但环境特殊没办法通过 redis客户端工具直连。只能使用redis-cli命令来实现。 操作步骤： 1、确定redis安装的服务器； 2、找到redis的安装目录下 ##找到redis安装目…...

编程日记 2025/6/3 20:57:40

Kibana 控制台中提供语义、向量和混合搜索

作者：来自 Elastic Mark_Laney 想要将常规 Elasticsearch 查询与新的 AI 搜索功能结合起来吗？那么，你不需要连接到某个第三方的大型语言模型（LLM）吗？不。你可以使用 Elastic 的 ELSER 模型来改进现有搜索&a…...

编程日记 2025/5/31 22:53:24

设计模式-结构型-装饰器模式

装饰器模式（Decorator Pattern）是结构型设计模式中的一种，它允许你通过将对象封装在一个新的对象中，来动态地添加新的功能，而无需改变原对象的结构。装饰器模式的核心思想是“将功能附加到对象上”，它是一种…...

编程日记 2025/6/2 19:32:42

CAP：Serverless + AI 让应用开发更简单

AI 已被广泛视为推动行业进步的关键力量，其在各行业的落地步伐加快。企业在构建 AI 应用开发过程中经常会面临 AI 技术门槛过高、试错周期过长、GPU 资源昂贵且弹性能力不足、缺乏配套工具、业务与模型的开发运维过于割裂、缺乏定制化能力等挑战，成为企业…...

编程日记 2025/6/2 7:01:24

Redis超详细入门教程（基础篇）

目录 一、什么是Redis 二、安装Redis 1、Windows系统安装 2、Linux系统安装 三、Redis通用命令 四、Redis基本命令 五、五种数据结构类型 5.1、String类型 5.2、List集合类型 5.3、Set集合类型 5.4、Hash集合类型 5.5、Zset有序集合类型 六、总结 一、什么是Redi…...

编程日记 2025/5/24 10:37:44

对话 TDengine 解决方案中心总经理陈肃：构建技术与市场的桥梁

TD 小T导读 他是大数据领域的杰出专家，拥有超过十项一作发明专利，是中国通信行业标准《大数据 消息中间件技术要求与测试方法》的重要编写者，并凭借数据中间件领域的突出成就荣获 2019 年“CJK OSS Award”。他是腾讯云 TVP 专家和 TGO 鲲鹏会…...

编程日记 2025/6/1 5:54:22

Formality：参考设计/实现设计以及顶层设计

相关阅读 Formalityhttps://blog.csdn.net/weixin_45791458/category_12841971.html?spm1001.2014.3001.5482​​​ Formality存在两个重要的概念：参考设计/实现设计和顶层设计，本文就将对此进行详细阐述。参考设计/实现设计是中两个重要的全局概念&am…...

编程日记 2025/6/3 16:26:06

通过内核模块按fd强制tcp的quickack方法

一、背景 tcp的quickack功能是为了让ack迅速回发，快速响应，减少网络通讯时延，属于一个优化项，但是tcp的quickack是有配额限制的，配置是16个quick，也就是短时间内quickack了16次以后，这个配额为…...

编程日记 2025/6/4 13:06:08

Wi-Fi 7、Wi-Fi 6 与 5G、4G 的全方位对比

随着无线通信技术的飞速发展，Wi-Fi 7、Wi-Fi 6，以及5G、4G 已经成为人们生活和工作中不可或缺的网络技术。无论是家庭网络、高速移动通信，还是工业物联网，这些技术都在发挥各自的作用。那么，它们之间有什么区别&#x…...

编程日记 2025/6/3 2:11:30

【例43.3】 转二进制

目录 描述 输入描述 输出描述 用例输入 1 用例输出 1 来源 类型 知识补充站 代码 C Python3 C 描述 请你把一个整数n转化为二进制并从低位到高位输出。 输入描述 一行，仅含一个正整数 n (1≤n≤109)。 输出描述 从低位到高位输出一个二进制数&a…...

编程日记 2025/6/3 16:25:34

qt vs ios开发应用环境搭建和上架商店的记录

qt 下载链接如下 https://download.qt.io/new_archive/qt/5.14/5.14.2/qt-opensource-mac-x64-5.14.2.dmg 安装选项全勾选就行，这里特别说明下qt5.14.2/qml qt5.14.2对qml支持还算成熟，但很多特性还得qt6才行，这里用qt5.14.2主要是考虑到服…...

编程日记 2025/5/30 17:36:16

安全测评主要标准

大家读完觉得有帮助记得关注和点赞！！！ 安全测评的主要标准‌包括多个国际和国内的标准，这些标准为信息系统和产品的安全评估提供了基础和指导。 一、安全测评的主要标准 1.1、国际标准 ‌可信计算机系统评估准则（TC…...

编程日记 2025/5/29 15:39:31

如何学习数学 | 数学家如何思考

学习数学的关键在哪里？ 原创 遇见数学 不少人面对数学都会觉得高深莫测，甚至非常枯燥乏味。 只有当你真正走入它的世界，才会发现里面蕴含着无尽的智慧和美感。要想推开这座数学的大门，需要的不仅仅是背公式，或者做一…...

编程日记 2025/6/2 3:57:09

职场沟通与行为

职场沟通与行为 引言 在职场上，你是否曾遇到过困惑的沟通？是否对同事的行为有过疑虑？这不仅是个别现象，而是我们这个时代工作文化中的普遍问题。许多职场的摩擦，来自沟通不畅或是行为不当。那么，如何才能…...

编程日记 2025/6/2 6:54:47

IIO（Industrial I/O）驱动介绍

文章目录 IIO（Industrial I/O）驱动是Linux内核中用于工业I/O设备的子系统，主要用于处理传感器数据采集和转换。以下是其关键点： 功能 数据采集：从传感器读取数据。数据处理：对原始数据进行滤波、校准等操作…...

编程日记 2025/6/2 18:03:24

关于vite+vue3+ts项目中env.d.ts 文件详解

env.d.ts 文件是 Vite 项目中用于定义全局类型声明的 TypeScript 文件。它帮助开发者向 TypeScript提供全局的类型提示，特别是在使用一些特定于 Vite 的功能时（如 import.meta.env）。以下是详细讲解及代码示例 文章目录 **1. env.d.ts 文件的…...

编程日记 2025/5/27 8:35:40

32单片机综合应用案例——物联网(IoT)环境监测站（四）（内附详细代码讲解！！！）

无论你身处何种困境，都要坚持下去，因为勇气和毅力是成功的基石。不要害怕失败，因为失败并不代表终结，而是为了成长和进步。相信自己的能力，相信自己的潜力，相信自己可以克服一切困难。成功需要付出努力和坚…...

编程日记 2025/6/3 17:54:20

【Flink系列】6. Flink中的时间和窗口

6. Flink中的时间和窗口 在批处理统计中，我们可以等待一批数据都到齐后，统一处理。但是在实时处理统计中，我们是来一条就得处理一条，那么我们怎么统计最近一段时间内的数据呢？引入“窗口”。 所谓的“窗口”&#xff…...

编程日记 2025/6/3 0:06:46

代码随想录算法训练营第三十五天-动态规划-01背包（二维）

动规五部曲 dp数组的含义，注意这是一个二维数组。dp[i][j] 第一维度代表“从0到第i个物品，而且包括选或不选的情况，即这一维度代表物品编号第二维度代表代表背包容量合在一起的意思是当背包容量是j时，从0到i个物品中选择任意物品…...

编程日记 2025/6/3 18:05:45

快速开发：用AI构造AI —— 打造属于个人的Copilot（M-聪明AI）

作品简介： 当今快速发展的AI时代，学会使用AI的同时，也可以融入AI，来打造自己的产品，我给我这个取名M-聪明， 是基于VUE 3 Spring Boot -Redis ChatGML RxJava SSE 的AI 服务平台。然后这款工具旨在为用户…...

编程日记 2025/6/2 20:56:31

Elasticsearch容器启动报错：AccessDeniedException[/usr/share/elasticsearch/data/nodes]；

AccessDeniedException 表明 Elasticsearch 容器无法访问或写入数据目录 /usr/share/elasticsearch/data/nodes。这是一个权限问题。 问题原因： 1、宿主机目录权限不足：映射到容器的数据目录 /data/es/data 在宿主机上可能没有足够的权限供容器访问。 …...

编程日记 2025/5/31 4:44:07

用公网服务器实现内网穿透

首先需要一个公网服务器 下载frp 搜索github下载到frp，服务端frps/客户端frpc。。下载的时候要注意自己本地内网机的cpu版本和服务端cpu架构 我的电脑是mac M1PRO版本 下载的是：darwinarm64 比如 服务端一般是Linux（Intel 64位CPU&#xf…...

编程日记 2025/6/4 5:11:20

Jmeter如何进行多服务器远程测试

🍅 点击文末小卡片 ，免费获取软件测试全套资料，资料在手，涨薪更快 JMeter是Apache软件基金会的开源项目，主要来做功能和性能测试，用Java编写。 我们一般都会用JMeter在本地进行测试，但是受到单…...

编程日记 2025/6/3 8:37:21

前端实习第二个月小结

时间飞快，第一次实习已经过去两个多月，作一些简单的总结和分享。 注：文章整体会比较轻松，提及的经历、经验仅作参考。 一、关于实习/工作内容 1、工作内容 近期做的是管理后台方面的业务，技术栈：前端re…...

编程日记 2025/5/30 2:41:09

C# 并发和并行的区别--16

目录 并发和并行 一.并发 定义 特点 代码示例 代码解释 二.并行 定义 特点 在C#中的体现 代码示例 代码解释 三.并发和并行的区别 四 .如何在C#中选择并发还是并行 1.考虑任务类型 2.代码示例 3.注意事项 五.总结 并发和并行 在编程领域,并发和并行是两个密切…...

编程日记 2025/6/4 4:14:29

Python编程与在线医疗平台数据挖掘与数据应用交互性研究

一、引言 1.1 研究背景与意义 在互联网技术飞速发展的当下，在线医疗平台如雨后春笋般涌现，为人们的就医方式带来了重大变革。这些平台打破了传统医疗服务在时间和空间上的限制，使患者能够更加便捷地获取医疗资源。据相关报告显示，中国基于互联网的医疗保健行业已进入新的…...

编程日记 2025/6/4 6:45:48

HBase实训：纸币冠字号查询任务

一、实验目的 1. 理解分布式数据存储系统HBase的架构和工作原理。 2. 掌握HBase表的设计原则，能够根据实际业务需求设计合理的表结构。 3. 学习使用HBase Java API进行数据的插入、查询和管理。 4. 实践分布式数据存储系统在大数据环境下的应用，…...

编程日记 2025/6/4 6:13:12

Java 读取 Windows 设备的唯一性标识及定位

在 Windows 系统中，获取设备唯一性标识及定位信息对设备管理、安全监控等场景意义重大。本文介绍 Java 中几种实现方法，如 JNA 库、WMI4Java 库及通过 JNI 结合 Windows API。 1. 使用 JNA 库读取 DEVPKEY_Device_ContainerId 在 Windows 系统中&…...

编程日记 2025/6/2 15:55:11

UE控件学习

ListView： item设置：使能在list设置为Entry类 Grid Panel： 常用作背包，每个格子大小可不相同 WidgetSwitcher： 用于切换页签 Wrap_Box： 自动横向排版子节点，超过一定范围则自动换行…...

编程日记 2025/6/2 6:43:52

1.Spring AI 从入门到实践

​Spring AI 从入门到实践 1.什么是Spring AI 2.使用Spring Boot&Spring AI快速构建AI应用程序 3.ChatClient&Chat Model简化与AI模型的交互 4.Spring AI Prompt:与大模型进行有效沟通 5.结构化输出大模型响应 6.实战:AI聊天机器人 Ben技术站关注Java技术&#x…...

编程日记 2025/5/29 15:36:00

2025年01月蓝桥杯Scratch1月stema选拔赛真题—美丽的图形

美丽的图形 编程实现美丽的图形具体要求: 1)点击绿旗，角色在舞台中心，如图所示； 2)1秒后，绘制一个边长为 140的红色大正方形，线条粗细为 3，正方形的中心为舞台中心，如图所示; 完整题目可点击下…...

编程日记 2025/5/30 21:00:27

FLASK创建下载

html用a标签 <!-- Button to download the image --> <a href"{{ url_for(download_file, filenameimage.png) }}"><button>Download Image</button> </a> 后端&#xff1a;url_for双大括号即是用来插入变量到模板中的语法。也就是绑…...

编程日记 2025/5/31 7:46:28

LDD3学习7--硬件接口I/O端口（以short为例）

1 理论 1.1 基本概念 目前对外设的操作&#xff0c;都是通过寄存器。寄存器的概念&#xff0c;其实就是接口&#xff0c;访问硬件接口&#xff0c;有I/O端口通信和内存映射I/O (Memory-Mapped I/O)&#xff0c;I/O端口通信是比较老的那种&#xff0c;都是老的串口并口设备&am…...

编程日记 2025/5/30 4:43:51

MySQL（高级特性篇） 06 章——索引的数据结构

一、为什么使用索引 索引是存储引擎用于快速找到数据记录的一种数据结构&#xff0c;就好比一本教科书的目录部分&#xff0c;通过目录找到对应文章的页码&#xff0c;便可快速定位到需要的文章。MySQL中也是一样的道理&#xff0c;进行数据查找时&#xff0c;首先查看查询条件…...

编程日记 2025/6/3 13:14:10

【FlutterDart】MVVM（Model-View-ViewModel）架构模式例子-http版本（30 /100）

动图更精彩 MVVM&#xff08;Model-View-ViewModel&#xff09; 特点 Model&#xff1a;负责数据管理和业务逻辑。 View&#xff1a;负责显示数据&#xff0c;通常是一个UI组件。 ViewModel&#xff1a;负责处理用户交互&#xff0c;更新Model&#xff0c;并将数据转换为View可…...

编程日记 2025/6/4 10:48:19

光谱相机的光谱分辨率可以达到多少？

多光谱相机 多光谱相机的光谱分辨率相对较低&#xff0c;波段数一般在 10 到 20 个左右&#xff0c;光谱分辨率通常在几十纳米到几百纳米之间&#xff0c;如常见的多光谱相机光谱分辨率为 100nm 左右。 高光谱相机 一般的高光谱相机光谱分辨率可达 2.5nm 到 10nm 左右&#x…...

编程日记 2025/6/1 23:46:12

.Net8 Avalonia跨平台UI框架——＜vlc:VideoView＞控件播放海康监控、摄像机视频(Windows / Linux)

一、UI效果 二、新建用户控件&#xff1a;VideoViewControl.axaml 需引用&#xff1a;VideoLAN.LibVLC.Windows包 Linux平台需安装&#xff1a;VLC 和 LibVLC &#xff08;sudo apt-get update、sudo apt-get install vlc libvlccore-dev libvlc-dev&#xff09; .axaml 代码 注…...

编程日记 2025/6/3 13:39:33

【论文阅读】基于空间相关性与Stacking集成学习的风电功率预测方法

文章目录 摘要0. 引言1. 空间相关性分析2. 风电功率预测模型2.1 Stacking 集成策略2.2 基学习器2.2.1 基于机器学习算法的基学习器2.2.2 基于神经网络的基学习器2.2.3 基于粒子群优化算法的超参数优化 2.3 元学习器2.4 基于空间相关性与Stacking集成学习的风电功率预测方法 3 算…...

编程日记 2025/5/30 0:07:58

什么是Spring Boot 应用开发？

一、引言 在当今的软件开发领域&#xff0c;Java 依然占据着重要的地位&#xff0c;而 Spring Boot 作为 Java 生态系统中极具影响力的框架&#xff0c;极大地简化了企业级应用的开发流程&#xff0c;提升了开发效率和应用的可维护性。它基于 Spring 框架构建&#xff0c;通过…...

编程日记 2025/5/30 7:18:12

选择saas 还是源码主要考虑

公司业务规模&#xff1a;小型企业可能会发现SaaS提供的即用型解决方案更符合其需求&#xff0c;而大型企业可能需要源码以实现更高的定制性和控制权。 公司技术专长&#xff1a;缺乏技术团队的企业可能会倾向于使用SaaS&#xff0c;而那些拥有强大IT部门的企业可能更适合管理…...

编程日记 2025/6/2 6:30:13

【JAVA 基础 第（19）课】Hashtable 类用法和注意细节，是Map接口的实现类

Map接口&#xff1a;存放的是具有映射关系的键值对&#xff0c;键映射到值&#xff0c;键必须是唯一的 Hashtable 类&#xff0c;Map接口的实现类,键和值都不能为nullHashtable 是同步的&#xff0c;是线程安全的 public class MapTest {public static void main(String[] arg…...

编程日记 2025/5/30 3:46:26

AI时代下 | 通义灵码冲刺备战求职季

AI时代下 | 通义灵码冲刺备战求职季 什么是通义灵码使用智能编程助手备战求职靠谱吗体验心得 AI时代下&#xff0c;备战求职季有了不一样的方法&#xff0c;使用通义灵码冲刺备战求职季&#xff0c;会有什么样的体验&#xff1f; 什么是通义灵码 在开始话题之前&#xff0c;首…...

编程日记 2025/6/3 2:26:03

如何将 session 共享存储到 redis 中

文章目录 一. 分布式 session 登录1.1 什么是分布式&#xff1f;1.2 Session 共享1.3 为什么服务器 A 登录后&#xff0c;请求发到服务器 B&#xff0c;不认识该用户&#xff1f;1.4 共享存储 二. Session 共享实现Redis三. 测试session共享四. cookie设置4.1 前端4.2 后端 一.…...

编程日记 2025/6/2 14:38:42

智能科技与共情能力加持，哈曼重新定义驾乘体验

2025年1月6日&#xff0c;拉斯维加斯&#xff0c;2025年国际消费电子展——想象一下&#xff0c;当您步入一辆汽车&#xff0c;它不仅能响应您的指令&#xff0c;更能理解您的需求、适应您的偏好&#xff0c;并为您创造一个独特且专属的交互环境。作为汽车科技领域的知名企业和…...

编程日记 2025/6/3 16:51:44

第4章 Kafka核心API——Kafka客户端操作

Kafka客户端操作 一. 客户端操作1. AdminClient API 一. 客户端操作 1. AdminClient API...

编程日记 2025/5/5 21:36:16