当前位置：首页 > news >正文

Spark创建多种数据格式的DataFrame

news 来源：原创 2025/5/16 2:16:42

假如我们要通过RDD[Row]创建一个包含多个列的DataFrame，重点是列的数据类型可能会包含多个，这时候需要有一点技巧。

| uid | user_name | age | income |
|:----|:----------|:----|:-------|
| 1111 | nituchao | 21 | 123.0 |

这个`DataFrame`里包含多个数据类型：
* uid: Long
* user_name: String
* age: Int
* income: Double

我们可以使用下面的方式来构建：

```scala
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.{DoubleType, IntegerType, LongType, StringType, StructField, StructType}

val uidSeq = Seq(1111L)
val nameSeq = Seq("nituchao")
val ageSeq = Seq(21)
val incomeSeq = Seq(123.0)

val rowRDD = spark.sparkContext.parallelize(Seq(Row.fromSeq(uidSeq ++ userNameSeq ++ ageSeq ++ incomeSeq)))

val schema = StructType(Seq(StructField("uid", LongType, nullable = true),
StructField("name", StringType, nullable = true),
StructField("age", IntegerType, nullable = true),
StructField("sex", DoubleType, nullable = true)))

val df = spark.sqlContext.createDataFrame(rowRDD, schema)

df.printSchema()
df.show()
```

输出：
```shell
root
|-- uid: long (nullable = true)
|-- name: string (nullable = true)
|-- age: integer (nullable = true)
|-- sex: double (nullable = true)

+----+---------+---+-----+
| uid|name |age| sex|
+----+---------+---+-----+
|1111| nituchao| 21|123.0|
+----+---------+---+-----+
```

上面的技巧在于，使用`Row.fromSeq()`时，不同类型的数据，要用`Seq()`分别包起来然后`++`拼接后传进去。因为Seq中的元素必须是同类型的，如直接构造成一个Seq则会自动进行类型转换，多种类型数据不能混用。

问题不大，却造成很大困扰。

相关文章：

Spark创建多种数据格式的DataFrame

假如我们要通过RDD[Row]创建一个包含多个列的DataFrame，重点是列的数据类型可能会包含多个，这时候需要有一点技巧。 | uid | user_name | age | income | |:----|:----------|:----|:-------| | 1111 | nituchao | 21 | 123.0 | 这个DataFrame里包含…...

编程日记 2025/5/16 2:16:42

C语言：指针

1. 什么是指针？ 在C语言中，指针是一个变量，用于存储另一个变量的内存地址。指针不是直接保存值，而是保存数据所在的内存位置。语法： type *pointer_name; 例如： int *ptr; 在这个例子中，pt…...

编程日记 2025/5/15 23:53:00

kafka生产者专题（原理+拦截器+序列化+分区+数据可靠+数据去重+事务）

目录生产者发送数据原理参数说明代码示例（同步发送数据）代码示例（异步） 异步和同步的区别同步发送定义与流程特点异步发送定义与流程特点异步回调描述代码示例拦截器描述代码示例消息序列化描述代码示例（自定义序…...

编程日记 2025/5/16 0:18:44

谷歌2025年AI战略与产品线布局

在2024年12月的战略会议上，谷歌高层向员工描绘了2025年的宏伟蓝图，特别是在人工智能（AI）领域。这一年被定位为AI发展的关键转折点，谷歌计划通过一系列新产品和创新来巩固其在全球科技领域的领导地位。本文将深入探讨谷歌的2025年AI战略、重点产品以及竞争策略。一、整体…...

编程日记 2025/5/15 21:14:21

Kernel Stack栈溢出攻击及保护绕过

前言本文介绍Linux内核的栈溢出攻击，和内核一些保护的绕过手法，通过一道内核题及其变体从浅入深一步步走进kernel世界。 QWB_2018_core 题目分析 start.sh qemu-system-x86_64 \-m 128M \-kernel ./bzImage \-initrd ./core.cpio \-append "…...

编程日记 2025/5/16 0:01:26

QT-窗口嵌入外部exe

窗口类： #pragma once #include <QApplication> #include <QWidget> #include <QVBoxLayout> #include <QProcess> #include <QTimer> #include <QDebug> #include <Windows.h> #include <QWindow> #include <…...

编程日记 2025/5/16 0:27:12

38-其他地方使用模式

38-其他地方使用模式模式除了可以在 match 表达式中使用外，还可以使用在变量定义（等号左侧是个模式）和 for in 表达式（for 关键字和 in 关键字之间是个模式）中。但是，并不是所有的模式都能使用在变量定…...

编程日记 2025/5/16 0:11:35

才气小波与第一性原理

才气小波与第一性原理才气小波与第一性原理具身智能云藏山鹰类型物热力学第二定律的动力机械外骨骼诠释才气小波导引社会科学概论软凝聚态数学意气实体过程王阳明代数Wangyangmingian王阳明算符才气语料库命运社会科学概论意气实体过程业务分层框架示例才气小波与第一性原理 …...

编程日记 2025/5/2 20:11:52

104周六复盘（188）UI

1、早上继续看二手书的一个章节，程序开发流程、引擎、AI等内容， 内容很浅，基本上没啥用，算是复习。最大感触就是N年前看同类书的里程碑、AI相关章节时，会感觉跟自己没啥关系， 而如今则密切相关&#xf…...

编程日记 2025/5/16 0:55:40

CDP集群安全指南-动态数据加密

[〇]关于本文集群的动态数据加密主要指的是加密通过网络协议传输的数据，防止数据在传输的过程中被窃取。由于大数据涉及的主机及服务众多。你需要更具集群的实际环境来评估需要为哪些环节实施动态加密。这里介绍一种通过Cloudera Manager 的Auto-TLS功能来为整个…...

编程日记 2025/5/15 23:45:59

C# 设计模式：装饰器模式与代理模式的区别

C# 设计模式：装饰器模式与代理模式的区别在软件设计中，装饰器模式（Decorator Pattern）和代理模式（Proxy Pattern）都是结构型设计模式，它们的目的都是通过对对象进行包装，来增加或改…...

编程日记 2025/5/16 1:13:25

[深度学习] 大模型学习1-大语言模型基础知识

大语言模型（Large Language Model，LLM）是一类基于Transformer架构的深度学习模型，主要用于处理与自然语言相关的各种任务。简单来说，当用户输入文本时，模型会生成相应的回复或结果。它能够完成许多任务&…...

编程日记 2025/5/16 1:51:01

GitLab集成Runner详细版--及注意事项汇总【最佳实践】

一、背景看到网上很多用户提出的runner问题其实实际都不是问题，不过是因为对runner的一些细节不清楚导致了误解。本文不系统性的介绍GitLab-Runner，因为这类文章写得好的特别多，本文只汇总一些常几的问题/注意事项。旨在让新手少弯路。二、…...

编程日记 2025/5/15 8:38:46

STM32-笔记34-4G遥控灯

4G接线一、项目需求服务器通过4G模块远程遥控开关灯。二、项目实现复制项目文件夹38-wifi控制风扇项目重命名为39-4G遥控点灯打开项目文件加载文件 main.c #include "sys.h" #include "delay.h" #include "led.h" #include "ua…...

编程日记 2025/5/8 0:33:33

PHP 使用集合处理复杂数据提升开发效率

文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons：JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram，自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 ？ 5 IDEA必装的插件&…...

编程日记 2025/5/16 0:00:11

AI代码开发实践-微信小程序开发

接上回，本人参加了一次小孩学校组织的护学岗，萌生了开发一个微信小程序的水印相机的想法，说干就干。最近也是在学习用AI编程，索性之前也用一点，今天就尝试一下工具选择，环境搭建阿里-通义灵码通义灵…...

编程日记 2025/5/16 0:26:05

【网络安全 | 漏洞挖掘】私有项目中的账户接管过程

未经许可，不得转载。正文该程序包含多个通配符目标。在逐一搜索后，我最终发现了一个具有 P4 严重级别的 IDOR 漏洞（不正确的直接对象引用），允许我删除其他用户在帖子中的评论。其中一个目标是一个只有单个域名的网站，提供注册、登录和重置密码功能。我尝试寻找任何可…...

编程日记 2025/5/13 17:01:00

【算法不挂科】算法期末考试【选择题专项练习】＜多单元汇总＞

前言大家好吖，欢迎来到 YY 滴算法不挂科系列 ，热烈欢迎！ 本章主要内容面向接触过C的老铁主要内容含： 一.选择题【1】算法绪论 1.算法与程序的区别是( ) A.输出 B.输入 C.确定性 D.有穷性 D 2.算法复杂度分析的两种基本方法…...

编程日记 2025/5/16 0:34:23

分布式消息中间件有哪些知名的产品

首先是Apache Kafka，它是一个分布式流处理平台，专注于高性能、低延迟的实时数据管道和流应用。Kafka通过分区和复制机制实现了高可用性和容错性，支持消息的持久化存储和高效的数据传输。其强大的生态系统还提供了丰富的客户端库和集成工具&am…...

编程日记 2025/5/15 21:52:41

kubernets基础入门

首先通过Kubernets架构图来认识Kubernets各个功能组件之间是怎么相互关联配合工作的。一、Kubernets架构图： 通过上图来介绍集群功能组件通信详细过程： kubernetes api server 作为集群的核心，负责集群各功能模块之间的通信。集群内的各个功…...

编程日记 2025/5/15 21:52:42

【数据库初阶】MySQL数据类型

🎉博主首页： 有趣的中国人 🎉专栏首页： 数据库初阶 🎉其它专栏： C初阶 | C进阶 | 初阶数据结构亲爱的小伙伴们，大家好！在这篇文章中，我们将深入浅出地为大家讲解 MySQL…...

编程日记 2025/5/15 17:39:23

（九千七-星河襟）椭圆曲线加密（ECC, Elliptic Curve Cryptography）及其例题

椭圆曲线加密（ECC）是一种基于椭圆曲线数学的公钥加密技术。它提供了一种高效的加密方法，能够在较小的密钥长度下实现与传统加密算法（如RSA）相同的安全级别。以下是ECC的主要特点和工作原理的总结： 1. 基本…...

编程日记 2025/5/16 0:43:13

LookingGlass使用

背景 Looking Glass 是一款开源应用程序，可以直接使用显卡直通的windows虚拟机。常见环境是Linux hostwindows guest，基本部署结构图： 编译 git clone --recursive https://github.com/gnif/LookingGlass.git编译client mkdir client/b…...

编程日记 2025/5/16 0:17:30

ArcGIS Server 10.2授权文件过期处理

新的一年，arcgis server授权过期了，服务发不不了。查看ecp授权文件，原来的授权日期就到2024.12.31日。好吧，这里直接给出处理方法。 ArcGIS 10.2安装时，有的破解文件中会有含一个这样的注册程序，没有的话&…...

编程日记 2025/5/11 23:08:22

js es6 reduce函数，通过规格生成sku

const specs [{ name: 颜色, values: [红色, 蓝色, 绿色] },{ name: 尺寸, values: [S, M, L] } ];function generateSKUs(specs) {return specs.reduce((acc, spec) > {const newAcc [];for (const combination of acc) {for (const value of spec.values) {newAcc.push(…...

编程日记 2025/5/16 0:29:59

Spring 事务底层原理

61 张图，剖析 Spring 事务，就是要钻到底！ 拜托！面试请不要再问我 Transactional my： AOP Transactional PlatformTransactionManager：数据源隔离 TransactionInterceptor：拦截添加了注解的…...

编程日记 2025/5/16 0:38:38

ruoyi 分页查询超出后还有数据； Mybatis-Plus 分页超出后还有数据

修改：MybatisPlusConfig 类中分页合理化修改为：paginationInnerInterceptor.setOverflow(false);...

编程日记 2025/5/16 0:49:35

基于Java的超级玛丽游戏的设计与实现【源码+文档+部署讲解】

目录 1、绪论 1.1背景以及现状 1.2 Java语言的特点 1.3 系统运行环境及开发软件： 1.4 可行性的分析 1.4.1 技术可行性 1.4.2 经济可行性 1.4.3 操作可行性 2、需求分析 2.1 用户需求分析 2.2功能需求分析 2.3界面设计需求分析…...

编程日记 2025/5/16 0:17:30

智慧工地信息管理与智能预警平台

建设背景与政策导向智慧工地信息管理与智能预警平台的出现，源于工地管理面临的诸多挑战，如施工地点分散、危险区域多、监控手段落后等。随着政府对建筑产业现代化的积极推动，各地纷纷出台政策支持智慧工地的发展，旨在通过信息技…...

编程日记 2025/5/16 0:00:11

使用Apache Mahout制作推荐引擎

目录创建工程基本概念关键概念基于用户与基于项目的分析计算相似度的方法协同过滤基于内容的过滤混合方法创建一个推荐引擎图书评分数据集加载数据从文件加载数据从数据库加载数据内存数据库协同过滤基于用户的过滤基于项目的过滤添加自定…...

编程日记 2025/5/15 13:50:52

记录：导出功能：接收文件流数据进行导出（vue3）

请求接口：一定要加responseType: blob 后端返回数据： api.js export function export() {return request({url: dev/api/export,method: get,responseType: blob,//一定要加}) } vue： import {export} from /api// 导出 const exportTab…...

编程日记 2025/5/14 21:15:18

GraphRAG vs 传统 RAG：如何通过知识图谱提升 AI 检索能力

相比传统 RAG 仅能独立检索文本片段的局限性，GraphRAG通过构建实体关系图谱实现了信息间的连接，让 AI 能更完整地理解和检索复杂的关联信息，从而生成更准确和连贯的回答问题背景: 想象有一本详细记录某人(X)成就的传记,每个章节都描述了他的…...

编程日记 2025/5/16 1:27:42

问题清除指南｜关于num_classes与 BCELoss、BCEWithLogitsLoss 和 CrossEntropyLoss 的关系

前言：关于「 num_classes 1 」引发的探究。 2024年尾声，学弟问到一个问题：在研究工作 CNNDetection 的github开源代码 networks/trainer.py 文件的 line 27 self.model resnet50(num_classes1) 中，变量 num_classes 的值为1&…...

编程日记 2025/5/15 13:52:48

组网实训实现

小型单元网络实现 IP划分： 外网:172.1.1.0/24 172.1.2.0/24 内网：基于192.168.3.0/24的子网划分综合办公楼：192.168.3.00 000000 /26（192.168.3.0-192.168.3.63） 综合一楼：192.168.3.0000 0000 /28&…...

编程日记 2025/5/15 17:20:10

【DevOps】Jenkins部署

Jenkins部署文章目录 Jenkins部署资源列表基础环境一、部署Gilab1.1、安装Gitlab1.2、修改配置文件1.3、加载配置文件1.4、访问Gitlab1.5、修改root登录密码1.6、创建demo测试项目1.7、上传代码1.8、验证上传的代码二、部署Jenkins所需软件2.1、部署JDK2.2、部署Tomcat2.3、部…...

编程日记 2025/5/15 21:49:33

HTML——38.Span标签和字符实体

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>span标签和字符实体</title><style type"text/css">h1{text-align: center;}p{text-indent: 2em;}span{color: red;}</style></head><…...

编程日记 2025/5/16 0:17:30

doris:基于 Arrow Flight SQL 的高速数据传输链路

Doris 基于 Arrow Flight SQL 协议实现了高速数据链路，支持多种语言使用 SQL 从 Doris 高速读取大批量数据。用途从 Doris 加载大批量数据到其他组件，如 Python/Java/Spark/Flink，可以使用基于 Arrow Flight SQL 的 ADBC/JDBC 替代过去…...

编程日记 2025/5/7 12:48:58

文献阅读 | B. S. Carmo 2010

目录一、文献名称二、原文地址三、ABSTRACT主要发现详细观察分岔分析雷诺数依赖性比较见解意义结论四、IINTRODUCTION历史研究回顾计算研究近期研究进展研究空白与目的论文结构一、文献名称二、原文地址研究目的：研究串列排列双圆柱体周围流场中的次级不稳定性…...

编程日记 2025/5/15 23:34:25

GRAPE——RLAIF微调VLA模型：通过偏好对齐提升机器人策略的泛化能力(含24年具身模型汇总)

前言 24年具身前沿模型大汇总过去的这两年，工作之余，我狂写大模型与具身的文章，加之具身大火，每周都有各种朋友通过CSDN私我及我司「七月在线」寻求帮助/指导(当然，也欢迎各大开发团队与我司合作共同交付&#xff09…...

编程日记 2025/5/13 23:49:13

超越YOLO11！DEIM：先进的实时DETR目标检测

DEIM: DETR with Improved Matching for Fast Convergence arXiv: https://arxiv.org/abs/2412.04234 Project webpage：https://www.shihuahuang.cn/DEIM/ GitHub：https://github.com/ShihuaHuang95/DEIM 1 背景：DETR目标检测框架目标检…...

编程日记 2025/5/15 18:28:20

django vue3实现大文件分段续传(断点续传)

前端环境准备及目录结构： npm create vue 并取名为big-file-upload-fontend 通过 npm i 安装以下内容"dependencies": {"axios": "^1.7.9","element-plus": "^2.9.1","js-sha256": "^0.11.0&quo…...

编程日记 2025/5/12 13:25:40

用户注册模块（芒果头条项目进度4）

1 创建⽤户模块⼦应⽤ 1.1 在项⽬包⽬录下创建apps的python包。 1.2 在apps包下创建应⽤userapp $ cd 项⽬包⽬录/apps $ python ../../manage.py startapp userapp 1.3 配置导包路径默认情况下导包路径指向项⽬根⽬录 # 通过下⾯语句可以打印当前导包路径 print(sys.pa…...

编程日记 2025/5/11 3:19:55

Java Map集合、集合的嵌套

一. 概述 1. Map集合称为双列集合，格式：{key1value1, key2value2,.....},一次需要存一对数据作为一个元素。 2. Map集合的每个元素"keyvalue"称为一个键值对/键值对对象/一个Entry对象，Map集合也被称为"键值对集合"。 3.…...

编程日记 2025/5/10 6:14:48

C#中使用系统默认应用程序打开文件

有时您可能希望程序使用默认应用程序打开文件。例如，您可能希望显示 PDF 文件、网页或互联网上的 URL。 System.Diagnostics.Process类的Start方法启动系统与文件关联的应用程序。例如，如果文件扩展名为.txt，则系统会在 NotePad、WordPa…...

编程日记 2025/5/11 20:57:21

论文泛读《LPFHE: Low-Complexity Polynomial CNNs for Secure Inference over FHE》

文章目录 1、摘要2、介绍3、文章结构4、总结 1、摘要 Machine learning as a service (MLaaS) 在客户中越来越受欢迎。为了解决 MLaaS 中的隐私问题，引入了 FHE 来保护客户端的数据。然而，FHE 不能直接评估卷积神经网络 (CNNs) 中的非算数激活函数。…...

编程日记 2025/5/16 1:19:54

基于Spring Boot的IT技术交流和分享平台的设计与实现源码

风定落花生，歌声逐流水，大家好我是风歌，混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的IT技术交流和分享平台的设计与实现。项目源码以及部署相关请联系风歌，文末附上联系信息。项目简介： 基于S…...

编程日记 2025/5/11 9:37:52

力扣hot100——二分查找

35. 搜索插入位置 class Solution { public:int searchInsert(vector<int>& a, int x) {if (a[0] > x) return 0;int l 0, r a.size() - 1;while (l < r) {int mid (l r 1) / 2;if (a[mid] < x) l mid;else r mid - 1;}if (a[l] x) return l;else …...

编程日记 2025/5/16 1:31:34

1月第一讲：WxPython跨平台开发框架之前后端结合实现附件信息的上传及管理

1、功能描述和界面前端（wxPython GUI）： 提供文件选择、显示文件列表的界面。支持上传、删除和下载附件。展示上传状态和附件信息（如文件名、大小、上传时间）。后端（REST API 服务）&#xff1a…...

编程日记 2025/5/15 4:38:50

uniapp:跳转第三方地图

1.跳转第三方高德地图 //跳转地图 toMap(item){uni.navigateTo({url: (window.location.href https://uri.amap.com/navigation?to${item.lng},${item.lat},${item.shopName}&modecar&policy1&srchttps://gawl.gazhcs.com/wap/index.html&callnative0)}) },…...

编程日记 2025/5/13 17:01:10

源码理解 UE4中的 FCookStatsManager::FAutoRegisterCallback RegisterCookStats

官方文档：https://dev.epicgames.com/documentation/zh-cn/unreal-engine/API/Runtime/Core/ProfilingDebugging/FCookStatsManager文档中的注释： When a cook a complete that is configured to use stats (ENABLE_COOK_STATS), it will broadcast this…...

编程日记 2025/5/12 17:32:58