pyspark将hive数据写入Excel文件中
不多解释直接上代码，少python包的自己直接下载
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
from pyspark.sql import SparkSession
import pandas as pd
import os# 初始化 SparkSession 并启用 Hive 支持
spark = SparkSession.builder \.appName("select_hive_data_to_xlsx") \.master("yarn") \.config("spark.sql.warehouse.dir", "hdfs://1.1.1.1:4007/aaa/hive/warehouse") \.enableHiveSupport() \.config("spark.yarn.queue", "default") \.config("spark.executor.instances", "10") \.config("spark.executor.memory", "5g") \.config("spark.executor.cores", "4") \.config("spark.driver.memory", "6g") \.config("spark.driver.cores", "5") \.config("spark.hadoop.fs.defaultFS", "hdfs://1.1.1.1:4007") \.config("spark.hadoop.fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem") \.config("spark.hadoop.fs.file.impl", "org.apache.hadoop.fs.LocalFileSystem") \.config("spark.hadoop.fs.hdfs.impl.disable.cache", "true") \.getOrCreate()# 读取 Hive 表
df = spark.sql("\
select \
col_1,col_2 \
from tmp.tmp_1")# 将 DataFrame 写入 CSV
df.write.csv("hdfs://1.1.1.1:4007/data/tmp/tmp_1.csv", header=True)# 读取 HDFS 上的 CSV 数据
df = spark.read.option("encoding", "utf-8").csv("hdfs://1.1.1.1:4007/data/tmp/tmp_1.csv", header=True, inferSchema=True)# 将 Spark DataFrame 转换为 Pandas DataFrame
pandas_df = df.toPandas()# 将 Pandas DataFrame 写入本地的 Excel 文件
pandas_df.to_excel("/data/tmp/tmp_1.xlsx", index=False)# 停止 SparkSession
spark.stop()创作不易，觉得还不错，辛苦给个点赞👍🏻，感谢~~
相关文章：
pyspark将hive数据写入Excel文件中
不多解释直接上代码，少python包的自己直接下载 #!/usr/bin/env python # -*- encoding: utf-8 -*- from pyspark.sql import SparkSession import pandas as pd import os# 初始化 SparkSession 并启用 Hive 支持 spark SparkSession.builder \.appName("sel…...
Java大师成长计划之第5天：Java中的集合框架
📢 友情提示： 本文由银河易创AI（https://ai.eaigx.com）平台gpt-4o-mini模型辅助创作完成，旨在提供灵感参考与技术分享，文中关键数据、代码与结论建议通过官方渠道验证。 在 Java 编程中，集合框架…...
rt-linux下的D状态的堆栈抓取及TASK_RTLOCK_WAIT状态
一、背景 在之前的博客 缺页异常导致的iowait打印出相关文件的绝对路径-CSDN博客 里的 2.1 一节里的代码，我们已经有了一个比较强大的抓取D状态和等IO状态超过阈值的waker和wakee的堆栈状态的内核模块。在之前的博客 增加等IO状态的唤醒堆栈打印及缺页异常导致iowa…...
数据结构【堆和链式结构】
堆和链式结构 1.堆的概念和定义1.1堆1.2二叉树的性质 2.堆的实现3.实现链式二叉树3.1链式二叉树的概念3.2前中后遍历3.3遍历（举例） 1.堆的概念和定义 1.1堆 定义：是特殊的二叉树 #mermaid-svg-vWPNPMGSLe0nGNcd {font-family:"trebuch…...
聊一聊自动化测试
目录 一、自动化测试的定义与核心价值 （一）什么是自动化测试 （二）核心价值：从人工到智能的跨越 二、自动化测试的发展阶段 （一）萌芽阶段（早期） （二&…...
vue2 开发一个实习管理系统电脑端-前端静态网站练习
为了快速的掌握vue2的所学习到的知识点，最近又使用vue2和element-ui 做了一个实习管理系统来巩固自己的前端技术，我觉得对于新手来说，多写代码，多找一些项目练习，是提供自己编程能力的一个很好的办法，这也是…...
【Hive入门】Hive基础操作与SQL语法：DML操作全面解析
目录 1 Hive DML操作概述 2 数据加载操作 2.1 LOAD DATA语句 2.2 INSERT语句 3 数据导出操作 3.1 INSERT OVERWRITE DIRECTORY 3.2 使用HDFS命令导出 4 数据更新与删除 4.1 UPDATE语句 4.2 DELETE语句 5 MERGE操作（Hive 2.2） 6 性能优化建议…...
)
C++类和对象(上)
目录 类的定义类定义格式访问限定符类域 实例化实例化概念对象大小 this指针C和C语言实现Stack对比 类的定义 类定义格式 在下面的代码中，class为定义类的关键字，Stack为类的名字，{}中为类的主体， 注意类定义结束时后面分号不能省…...
LS2K0300龙芯开发板——智能车竞赛
开启 LS2K0300 调车之旅（自己写的自己慢慢更，可能写的不好欢迎指教） 欢迎大家一起讨论共同进步！逐飞科技针对 LS2K0300 MCU 开发的开源库，涵盖多种实用功能，助力竞赛与产品开发。以下是快速上手指南&#…...
电子病历高质量语料库构建方法与架构项目（智能质控体系建设篇）
引言 随着人工智能技术的迅猛发展，医疗信息化建设正经历着前所未有的变革。电子病历作为医疗机构的核心数据资产，其质量直接关系到临床决策的准确性和医疗安全。传统的病历质控工作主要依赖人工审核，存在效率低下、主观性强、覆盖面有限等问题。近年来，基于人工智能技术的…...
超级创新思路：基于CBAM-Transformer的强化学习时间序列预测模型（Python\matlab实现）
首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！需要完整代码可私信或评论！ 本方案可用于医疗、金融、交通、零售、光伏功率预测、估计预测、天气预测、流量预测、故障检测等领域！ 目录 首先声明，该模型为原创！原创！原创！且该思…...
JVM——垃圾收集策略
GC的基本问题 什么是GC？ GC 是 garbage collection 的缩写，意思是垃圾回收——把内存（特别是堆内存）中不再使用的空间释放掉；清理不再使用的对象。 为什么要GC？ 堆内存是各个线程共享的空间，…...
从基础到实战的量化交易全流程学习：1.3 数学与统计学基础——概率与统计基础 | 数字特征
从基础到实战的量化交易全流程学习：1.3 数学与统计学基础——概率与统计基础 | 数字特征 第一部分：概率与统计基础 第2节：数字特征：期望值、方差、协方差与相关系数 一、期望值（Expected Value）：…...
【MySQL】数据类型和表的操作
目录 一. 常用的数据类型 1.数值类型 1.1 整形类型 1.2 浮点型类型 2.字符串类型 char和varchar的区别 如何选择char和varchar 3.日期类型 4.二进制类型 二. 表的操作 1.查看所有表 2.表的创建 3.查看表的结构 4.表的修改 4.1 添加新的列 4.2 修改表中现有的列 4…...
Tauri打包时出现WixTools以及NSIS报错
前言 Tauri构建时会通过github下载Wix和NSIS，由于国内网络限制，所以这个过程基本都会失败，而且你无法使用挂代理的方式解决此问题，唯一的办法就是先下载对于的库，然后把库丢到对应的文件夹内来解决此问题。。。 文章目…...
Linux操作系统学习---进程地址空间
前言: 在学习c,c这些偏底层的语言时,我们常常会对一个变量取地址,一遍对他进行一系列的操作 . 可是 , 这真的是真实的物理地址吗 ? 其实并非如此 , 通过了解进程地址空间,我们就能解开这个困惑. 一、虚拟地址空间的概念: 同地址,不同值的代码示例: 下面通过创建子进程来看一个…...
docker compose -p的踩坑经验
刚才启动ragflow解析了几百个文件，再次启动登录时报错 没有这个账户，心疼token几秒。。。 再次回顾之前的启动方式和当前的启动方式，才发现有出入。 问题： 第一次启动sudo docker compose up -d 第二次启动sudo docker compose -…...
深入理解 Linux 用户管理：从基础到实践
在 Linux 操作系统中，用户管理是确保系统安全、合理分配资源的核心环节。无论是个人开发者搭建本地开发环境，还是运维人员管理企业级服务器集群，熟练掌握 Linux 用户管理都是一项必备技能。本文将从用户管理的基础概念出发，结合实…...
Go语言之路————指针、结构体、方法
Go语言之路————指针、结构体、方法 前言指针结构体声明初始化使用组合引用结构体和指针结构体的标签 方法例子结合结构体总结 前言 我是一名多年Java开发人员，因为工作需要现在要学习go语言，Go语言之路是一个系列，记录着我从0开始接触Go…...
【漫话机器学习系列】227.信息检索与数据挖掘中的常用加权技术（TF-IDF）
在自然语言处理（NLP）、信息检索（IR）和数据挖掘（DM）领域中，TF-IDF 是一种非常经典且常用的加权技术。 无论是搜索引擎排序、文本挖掘，还是特征工程，TF-IDF都扮演着重要角色…...
【音视频】FFmpeg过滤器框架分析
ffmpeg的filter⽤起来是和Gstreamer的plugin是⼀样的概念，通过avfilter_link，将各个创建好的filter按⾃⼰想要的次序链接到⼀起，然后avfilter_graph_config之后，就可以正常使⽤。 ⽐较常⽤的滤镜有：scale、trim、over…...
硬盘损坏数据恢复后对python程序的影响
最近硬盘突然间坏掉了，让数据商恢复了2个月今天终于拿到了恢复后的数据。 但是一测试问题就来了： PS E:\geosystem> python manage.py runserver 0.0.0.0:5000 Unhandled exception in thread started by <function check_errors.<locals>.…...
Azure Devops - 尝试一下在Pipeline中使用Self-hosted Windows agent
1.简单介绍 Azure Devops是微软提供的辅助软件的开发，测试，部署以及计划和进度跟踪的平台，通过Azure Devops可以使开发者，项目经理，运维人员在软件的整个生命周期中更紧密地合作，同时借助Continuous Integ…...
Linux红帽：RHCSA认证知识讲解（十 四）分区管理、交换分区，创建逻辑卷与调整逻辑卷的大小
Linux红帽：RHCSA认证知识讲解（十 四）分区管理、交换分区，创建逻辑卷与调整逻辑卷的大小 前言一、分区管理，使用fdisk管理分区1.1 找到硬盘1.2 使用fdisk分区1.3 格式化分区1.4 挂载分区 二、创建逻辑卷，调整…...
详解 Unreal Engine（虚幻引擎）
详解 Unreal Engine（虚幻引擎） Unreal Engine（简称 UE）是由 Epic Games 开发的一款全球领先的实时渲染引擎，自 1998 年随首款游戏《Unreal》问世以来，已发展成为覆盖 游戏开发、影视制作、建筑可视化、汽车…...
【Linux网络】Http服务优化 - 增加请求后缀、状态码描述、重定向、自动跳转及注册多功能服务
📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...
Docker compose 部署微服务项目（从0-1出发纯享版无废话）
目录 一.Docker安装 （1）安装依赖 （2）安装Docker （3）启动Docker服务 （4）系统配置 （5）镜像加速配置 （6）验证安装 二.编写Docke…...
C#学习第19天：多线程
什么是多线程？ 定义：多线程允许一个程序分成多个独立的执行路径来进行并发操作。用途：提高程序的执行效率，特别是在I/O操作、计算密集型任务和用户交互中。 多线程核心概念 1. 创建和管理线程 使用 Thread 类 using System; u…...
day7 python针对心脏病数据集预处理
在数据科学与机器学习领域，数据预处理与可视化是挖掘数据价值的关键前置步骤。本文以 heart1.csv 心脑血管疾病数据集为例，借助 Python 中的 pandas、matplotlib、seaborn 以及 scikit-learn 库，详细演示数据加载、缺失值处理、特征相关性分析…...
树莓派学习专题＜9＞：使用V4L2驱动获取摄像头数据--设定分辨率和帧率
树莓派学习专题＜9＞：使用V4L2驱动获取摄像头数据--设定分辨率和帧率 1. 设定分辨率2. 设定帧率3. 设定分辨率代码解析4. 获取与设定帧率代码解析5. 实测 1. 设定分辨率 使用如下代码设定摄像头的分辨率： #define CAMERA_RESOLUTI…...
模态链：利用视觉-语言模型从多模态人类视频中学习操作程序
25年4月来自谷歌 DeepMind 和斯坦福大学的论文“Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models”。 从人类视频中学习执行操作任务，是一种很有前景的机器人教学方法。然而，许多操作任务…...
JAVAEE初阶01
个人主页 JavaSE专栏 JAVAEE初阶01 操作系统 1.对下（硬件）管理各种计算机设备 2.对上（软件）为各种软件提供一个稳定的运行环境 线程 运行的程序在操作系统中以进程的形式存在 进程是系统分配资源的最小单位 进程与线程的关…...
【网络安全】用 Linux 命令行 CLI 日志文件处理指南
Linux 命令行 CLI 神技回忆录：日志文件处理指南（以 Zeek Logs 为例） 1. CLI简介2. 基础操作3. 文件读取4. 查找与筛选5. 进阶操作6. Zeek 日志骚操作7. 结语 1. CLI简介 在数据分析的世界里，图形界面（GUI）…...
[C++] 高精度乘法
目录 引入: 大整数比较比较方法例题1-青蛙计数题目描述 输入描述输出描述输入输出样例AC代码 高精度乘法模版高精度运算小合集(这集乘法上集加法) 注意: 若还没有学过高精度运算的话先去看高精度加法 引入: 大整数比较 比较方法 大整数比较可以使用此方法比较(注释有讲解): …...
反事实——AI与思维模型【82】
一、定义 反事实思维模型是一种心理认知模型，它指的是人们在头脑中对已经发生的事件进行否定，然后构建出一种可能性假设的思维活动。简单来说，就是思考“如果当时……，那么就会……”的情景。这种思维方式让我们能够超越现实的限制，设想不同的可能性和结果，从而对过去的…...
Java学习手册：Java开发常用的内置工具类包
以下是常用 Java 内置工具包。 • 日期时间处理工具包 • java.time包（JSR 310）：这是 Java 8 引入的一套全新的日期时间 API，旨在替代陈旧的java.util.Date和java.util.Calendar类。其中的LocalDate用于表示不带时区的日期&…...
JAVA多线程（8.0）
目录 线程池 为什么使用线程池 线程池的使用 工厂类Executors（工厂模式） submit 实现一个线程池 线程池 为什么使用线程池 在前面我们都是通过new Thread() 来创建线程的，虽然在java中对线程的创建、中断、销毁、等值等功能提供了支持…...
通过门店销售明细表用Python Pandas得到每月每个门店的销冠和按月的同比环比数据
假设我在本地有Excel销售表，包含ID主键、门店ID、日期、销售员姓名和销售额，需要用Pandas统计出每个月所有门店和各门店销售额最高的人，不一定是一个人，以及他所在的门店ID和月总销售额。 步骤1：导入数据并处理日期 …...
详解最新链路追踪skywalking框架介绍、架构、环境本地部署配置、整合微服务springcloudalibaba 、日志收集、自定义链路追踪、告警等
1.skywalking介绍 多种监控手段，可以通过语言探针和service mesh 获得监控数据支持多种语言自动探针，包含java/net/nodejs轻量高效，无需大数据平台和大量的服务器资源模块化，UI、存储、集群管理都有多种机制可选支持告警优秀的可…...
【OSG学习笔记】Day 11: 文件格式与数据交换
OSG 常用文件格式简介 在开始转换前，先了解 OSG 生态中常见的文件格式： .osg：OSG 标准二进制格式，存储场景图数据，体积小、加载快，适合实时渲染。 .ive：OSG 标准文本格式，可读性强，便于手动编辑或调试场景图结构（本质是 XML 格式的文本描述）。 .osgb：OSG 二进制格…...
2025.04.26-美团春招笔试题-第二题
📌 点击直达笔试专栏 👉《大厂笔试突围》 💻 春秋招笔试突围在线OJ 👉 笔试突围OJ 02. 曼哈顿距离探测器 问题描述 K小姐正在研发一种城市交通探测器，该探测器能够检测城市中任意两个位置之间的曼哈顿距离是否恰好为特定值。曼哈顿距离是在直角坐标系中，两点之间…...
搭建基于火灾风险预测与防范的消防安全科普小程序
基于微信小程序的消防安全科普互动平台的设计与实现，是关于微信小程序的，知识课程学习，包括学习后答题。 技术栈主要采用微信小程序云开发，有下面的模块： 1.课程学习模块 2.资讯模块 3.答题模块 4.我的模块 还需…...
05--Altium Designer（AD）的详细安装
一、软件的下载 Altium Designer官网下载 1、临近五一的假期，想着搞个项目，且这个项目与PCB有关系，所以就下这个软件来玩玩。下面保姆级教大家安装。 2、选择适合自己的版本下载（我安装的是24的） 3、软件安装 1.下…...
药监平台上传数据报资源码不存在
问题：电子监管码上传药监平台提示“导入的资源码不存在” 现象：从生产系统导出的关联关系数据包上传到药监平台时显示： 原因：上传数据包的通道的资源码与数据包的资源码不匹配。 解决方法：检查药监平台和生产系统的药…...
DeepSeek预训练追求极致的训练效率的做法
DeepSeek在预训练阶段通过多种技术手段实现了极致的训练效率，其中包括采用FP8混合精度训练框架以降低计算和内存需求 ，创新性地引入Multi-head Latent Attention（MLA）压缩KV缓存以提升推理效率，以及基于Mixture-of-Experts（MoE）的稀疏计算架构以在保证性能的同时显著降低…...
Windows11系统中GIT下载
Windows11系统中GIT下载 0、GIT背景介绍0.0 GIT概述0.1 GIT诞生背景0.2 Linus Torvalds 的设计目标0.3 Git 的诞生（2005 年）0.4 Git 的后续发展0.5 为什么 Git 能成功？ 1、资源下载地址1.1 官网资源1.2 站内资源 2、安装指导3、验证是否下载完…...
Maven的概念与初识Maven
目录 一、Maven的概念 1. 什么是Maven 2. 项目构建：从代码到部署的标准化流程 2.1 Maven构建生命周期 2.2 传统构建 vs Maven构建 3. 依赖管理：解决“JAR地狱”的利器 3.1 依赖声明 3.2 依赖传递与冲突解决 4. Maven仓库：依赖的存储…...
【Android】app调用wallpaperManager.setBitmap的隐藏权限
这是一个杞人忧天的问题，app中，可以通过wallpaperManager.setBitmap来设置壁纸， private void setWallpaper() {// 获取 WallpaperManager 实例WallpaperManager wallpaperManager WallpaperManager.getInstance(getApplicationContext());t…...
ORACLE数据库备份入门：第四部分：2-备份场景举例
下面以4个常见的场景为例，介绍如何规划备份方案。备份方案没有标准答案，需要根据实现情况来制定，也和管理员的个人使用习惯有很大相关性。 1 交易型数据库备份 以银行的交易系统为例，除了前一章节提到的关于RPO和RTO的指标外&am…...
STL中emplace实现原理是什么？
template <class... Args>void emplace_back (Args&&... args);这个是vector的emplace_back方法，用到的c11的语法有三个，分别是万能引用、完美转发、参数包。 参数包中的参数是用来构造vector<T>中的T对象。 假如我直接传的就是一个…...