当前位置：首页 > news >正文

Spark SQL核心概念与编程实战：从DataFrame到DataSet的结构化数据处理

news 来源：原创 2025/6/8 5:49:07

一、Spark-SQL是什么
Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。
二、Hive and SparkSQL
SparkSQL 的前身是 Shark，Shark是给熟悉 RDBMS 但又不理解 MapReduce 的技术人员提供的快速上手的工具。 Hive 是早期唯一运行在 Hadoop 上的 SQL-on-Hadoop 工具。但是 MapReduce 计算过程中大量的中间磁盘落地过程消耗了大量的 I/O，降低的运行效率，为了提高 SQL-on-Hadoop 的效率，大量的 SQL-on-Hadoop 工具开始产生，其中表现较为突出的是：
⚫ Drill
⚫ Impala
⚫ Shark
其中 Shark 是伯克利实验室 Spark 生态环境的组件之一，是基于 Hive 所开发的工具，它修改了内存管理、物理计划、执行三个模块，并使之能运行在 Spark 引擎上。
Shark 的出现，使得 SQL-on-Hadoop 的性能比 Hive 有了 10-100 倍的提高。
三、Spark-SQL 特点
1、易整合。无缝的整合了 SQL 查询和 Spark 编程
2、统一的数据访问。使用相同的方式连接不同的数据源
3、兼容 Hive。在已有的仓库上直接运行 SQL 或者 HQL
4、标准数据连接。通过 JDBC 或者 ODBC 来连接
四、DataFrame 是什么
在 Spark 中，DataFrame 是一种以 RDD 为基础的分布式数据集，类似于传统数据库中的二维表格。DataFrame 与 RDD 的主要区别在于，前者带有 schema 元信息，即 DataFrame 所表示的二维表数据集的每一列都带有名称和类型。这使得 Spark SQL 得以洞察更多的结构信息，从而对藏于 DataFrame 背后的数据源以及作用于 DataFrame 之上的变换进行了针对性的优化，最终达到大幅提升运行时效率的目标。反观 RDD，由于无从得知所存数据元素的具体内部结构，Spark Core 只能在 stage 层面进行简单、通用的流水线优化。
同时，与 Hive 类似，DataFrame 也支持嵌套数据类型（struct、array 和 map）。从 API 易用性的角度上看，DataFrame API 提供的是一套高层的关系操作，比函数式的 RDD API 要更加友好，门槛更低。
五、DataSet 是什么
DataSet 是分布式数据集合。DataSet 是 Spark 1.6 中添加的一个新抽象，是 DataFrame 的一个扩展。它提供了 RDD 的优势（强类型，使用强大的 lambda 函数的能力）以及 Spark SQL 优化执行引擎的优点。DataSet 也可以使用功能性的转换（操作 map，flatMap，filter 等等）
➢ DataSet 是 DataFrame API 的一个扩展，是 SparkSQL 最新的数据抽象
➢ 用户友好的 API 风格，既具有类型安全检查也具有 DataFrame 的查询优化特性；
➢ 用样例类来对 DataSet 中定义数据的结构信息，样例类中每个属性的名称直接映射到 DataSet 中的字段名称；
➢ DataSet 是强类型的。比如可以有 DataSet[Car]，DataSet[Person]。
➢ DataFrame 是 DataSet 的特列，DataFrame=DataSet[Row] ，所以可以通过 as 方法将 DataFrame 转换为 DataSet。Row 是一个类型，跟 Car、Person 这些的类型一样，所有的表结构信息都用 Row 来表示。获取数据时需要指定顺序
六、DataFrame
在 spark 的 bin/data 目录中创建 user.json 文件
{"username":"zhangsan","age":20}
{"username":"lisi","age":17}
➢ 读取 json 文件创建 DataFrame
val df = spark.read.json("D:/spark/bin/data/user.json")
展示数据
（一）SQL语法
SQL 语法风格是指我们查询数据的时候使用 SQL 语句来查询，这种风格的查询必须要
有临时视图或者全局视图来辅助
1、读取 JSON 文件创建 DataFrame
val df 1= spark.read.json("D:/spark/bin/data/user.json")
2对 DataFrame 创建一个临时表
df1.createOrReplaceTempView("people")3、通过 SQL 语句实现查询全表
val sqlDF = spark.sql("select * from people")
4、结果展示
sqlDF.show
（二）DSL语法
DataFrame 提供一个特定领域语言(domain-specific language, DSL)去管理结构化的数据。可以在 Scala, Java, Python 和 R 中使用 DSL，使用 DSL 语法风格不必去创建临时视图了。
1、创建一个 DataFrame
val df = spark.read.json("D:/spark/bin/data/user.json")
2、查看 DataFrame 的 Schema 信息
df.printSchema
3、只查看"username"列数据
df.select("username").show()
4、查看"username"列数据以及"age+1"数据
df.select($"username",$"age" + 1).show
df.select('username, 'age + 1).show()
5、查看"age"大于"18"的数据
df.filter($"age">18).show
6、按照"age"分组，查看数据条数
df.groupBy("age").count.show
（三）RDD 转换为 DataFrame
在 IDEA 中开发程序时，如果需要 RDD 与 DF 或者 DS 之间互相操作，那么需要引入 import spark.implicits._ 这里的 spark 不是 Scala 中的包名，而是创建的 sparkSession 对象的变量名称，所以必须先创建 SparkSession 对象再导入。这里的 spark 对象不能使用 var 声明，因为 Scala 只支持 val 修饰的对象的引入。
spark-shell 中无需导入，自动完成此操作。
val idRDD = sc.textFile("D:/spark/bin/data/id.txt")
idRDD.toDF("id").show
实际开发中，一般通过样例类将 RDD 转换为 DataFrame
case class User(name:String, age:Int)
sc.makeRDD(List(("zhangsan",30), ("lisi",40))).map(t=>User(t._1, t._2)).toDF.show
（四）DataFrame 转换为 RDD
DataFrame 其实就是对 RDD 的封装，所以可以直接获取内部的 RDD
val df = sc.makeRDD(List(("zhangsan",30), ("lisi",40))).map(t=>User(t._1, t._2)).toDF
val rdd = df.rdd
val array = rdd.collect
array(0)
array(0)(0)
array(0).getAs[String]("name")
七、DataSet
创建 DataSet
1、使用样例类序列创建 DataSet
case class Person(name: String, age: Long)
val caseClassDS = Seq(Person("zhangsan",2)).toDS()
caseClassDS.show
2、使用基本类型的序列创建 DataSet
val ds = Seq(1,2,3,4,5).toDS
ds.show（一）RDD 转换为 DataSet
SparkSQL 能够自动将包含有 case 类的 RDD 转换成 DataSet，case 类定义了 table 的结构，case 类属性通过反射变成了表的列名。Case 类可以包含诸如 Seq 或者 Array 等复杂的结构。
case class User(name:String, age:Int)
sc.makeRDD(List(("zhangsan",30), ("lisi",49))).map(t=>User(t._1, t._2)).toDS
（二）DataSet 转换为 RDD
DataSet 其实也是对 RDD 的封装，所以可以直接获取内部的 RDD
case class User(name:String, age:Int)
sc.makeRDD(List(("zhangsan",30), ("lisi",49))).map(t=>User(t._1, t._2)).toDS
val rdd = res3.rdd
rdd.collect
（三）DataFrame 转换为 DataSet
case class User(name:String, age:Int)
val df = sc.makeRDD(List(("zhangsan",30), ("lisi",49))).toDF("name","age")
val ds = df.as[User]
（四）DataSet 转换为 DataFrame
val ds = df.as[User]
val df = ds.t
（五）RDD、DataFrame、DataSet 三者的关系
在 SparkSQL 中 Spark 为我们提供了两个新的数据抽象，分别是 DataFrame 和 DataSet。他们和 RDD 有什么区别呢？
首先从版本的产生上来看：
➢ Spark1.0 => RDD
➢ Spark1.3 => DataFrame
➢ Spark1.6 => Dataset
如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不
同是的他们的执行效率和执行方式。在后期的 Spark 版本中，DataSet 有可能会逐步取代 RDD和 DataFrame 成为唯一的 API 接口。
（六）三者的共性
➢ RDD、DataFrame、DataSet 全都是 spark 平台下的分布式弹性数据集，为处理超大型数
据提供便利;
➢ 三者都有惰性机制，在进行创建、转换，如 map 方法时，不会立即执行，只有在遇到
Action 如 foreach 时，三者才会开始遍历运算;
➢ 三者有许多共同的函数，如 filter，排序等;
➢ 在对 DataFrame 和 Dataset 进行操作许多操作都需要这个包:
import spark.implicits._（在创建好 SparkSession 对象后尽量直接导入）
➢ 三者都会根据 Spark 的内存情况自动缓存运算，这样即使数据量很大，也不用担心会
内存溢出
➢ 三者都有分区（partition）的概念
➢ DataFrame 和 DataSet 均可使用模式匹配获取各个字段的值和类型

（七）三者的区别
1) RDD
➢ RDD 一般和 spark mllib 同时使用
➢ RDD 不支持 sparksql 操作
2) DataFrame
➢ 与 RDD 和 Dataset 不同，DataFrame 每一行的类型固定为Row，每一列的值没法直
接访问，只有通过解析才能获取各个字段的值
➢ DataFrame 与 DataSet 一般不与 spark mllib 同时使用
➢ DataFrame 与 DataSet 均支持 SparkSQL 的操作，比如 select，groupby 之类，还能
注册临时表/视窗，进行 sql 语句操作
➢ DataFrame 与 DataSet 支持一些特别方便的保存方式，比如保存成 csv，可以带上表头，这样每一列的字段名一目了然3) DataSet
➢ Dataset 和 DataFrame 拥有完全相同的成员函数，区别只是每一行的数据类型不同。
DataFrame 其实就是 DataSet 的一个特例 type DataFrame = Dataset[Row]
➢ DataFrame 也可以叫 Dataset[Row],每一行的类型是 Row，不解析，每一行究竟有哪
些字段，各个字段又是什么类型都无从得知，只能用上面提到的 getAS 方法或者共性里提到的模式匹配拿出特定字段。而 Dataset 中，每一行是什么类型是不一定的，在自定义了 case class 之后可以很自由的获得每一行的信息。

Spark SQL核心概念与编程实战：从DataFrame到DataSet的结构化数据处理

编程日记 2025/4/28 13:15:00

electron-vite 应用打包自定义图标不显示问题

// 修改electron-builder.yml ... win:executableName: xxx //可执行文件名称icon: build/icon.ico //你的图标路径 ...打包后，自定义图标不显示原因: 1 cannot execute causeexit status 2，安装包无法生成用管理员身份运行，win11右击开始…...

编程日记 2025/4/28 13:14:59

AI中Token的理解与使用总结

AI中Token的理解与使用总结什么是Token 在AI领域，特别是自然语言处理(NLP)中，Token是指将文本分割成的最小处理单元。Tokenization(分词)是将原始文本分解为Token的过程。 Token的几种形式单词级Token：以单词为基本单位示例：“Hello world” → [“Hello”, “world”…...

编程日记 2025/4/28 13:13:54

C++/SDL 进阶游戏开发 —— 双人塔防（代号：村庄保卫战 14）

🎁个人主页：工藤新一 🔍系列专栏：C面向对象（类和对象篇） 🌟心中的天空之城，终会照亮我前方的路 🎉欢迎大家点赞👍评论📝收藏⭐文章文章目录二…...

编程日记 2025/4/28 13:13:53

全栈量子跃迁：当Shor算法破解RSA时，我们如何用晶格密码重构数字世界的信任基岩？

一、量子威胁的降维打击 1. Shor算法的毁灭性力量 # Shor算法量子电路简化示例（Qiskit实现） from qiskit import QuantumCircuit from qiskit.circuit.library import QFTdef shor_circuit(n: int, a: int) -> QuantumCircuit:qc QuantumCircuit(2…...

编程日记 2025/4/28 13:10:34

python实战项目65：drissionpage采集boss直聘数据

python实战项目65：drissionpage采集boss直聘数据一、需求简介二、流程分析三、完整代码一、需求简介 boss直聘网站近期改版，改版之后代码需要做相应的升级维护。drissionpage采集网页数据是一种不错的方式，笔者认为比Selenium好用，使用方法大家可以自行查阅资料。boss直聘…...

编程日记 2025/4/28 13:08:24

常用的性能提升手段--提纲

上一篇文章里，介绍了提升性能的一种优化手段：池化。这篇文章来归纳整理一下其他的常见的提升性能的手段 1. 缓存 (Caching) 缓存可以说是计算机领域的万金油了，它无处不在。举个最简单的例子，CPU -> L1,L2,L3 Cache -> 内存。 CPU的处理速度要比内存快几个数量…...

编程日记 2025/4/28 13:07:20

天梯——现代战争

第一次做的时候，直接暴力，显然最后超时。暴力代码如下： #include<bits/stdc.h> using namespace std; const int N10005; bool mark1[N]{0},mark2[N]{0}; int p[N][N]; int main(){int n,m,k,a,b;cin>>n>>m>>k;fo…...

编程日记 2025/4/28 13:06:14

Codeforces Round 1021 (Div. 2) D. Baggage Claim（建图）

每周五篇博客：（4/5） https://codeforces.com/contest/2098/problem/D 题意每个机场都有一个行李索赔区，巴尔贝索沃机场也不例外。在某个时候，Sheremetyevo的一位管理员提出了一个不寻常的想法：将行李索…...

编程日记 2025/4/28 13:06:13

常用第三方库：shared_preferences数据持久化

常用第三方库：shared_preferences数据持久化前言 shared_preferences是Flutter中最常用的轻量级数据持久化解决方案，它提供了一个简单的key-value存储机制，适合存储用户配置、应用设置等小型数据。本文将从实战角度深入讲解shared_prefere…...

编程日记 2025/4/28 13:04:03

项目驱动 CAN-bus现场总线基础教程》随笔

阅读：《项目驱动 CAN-bus现场总线基础教程》仲裁段的实现有感而发感觉出人意外之处感觉出人意外之处最近在阅读入门的CAN相关书籍时，在介绍仲裁段是如何实现各节点之间，通讯仲裁功能的章节中，有如下一段描述： …...

编程日记 2025/4/28 13:04:02

WPF之XAML基础

文章目录 XAML基础：深入理解WPF和UWP应用开发的核心语言1. XAML简介XAML与XML的关系 2. XAML语法基础元素语法属性语法集合语法附加属性 3. XAML命名空间命名空间映射关系 4. XAML标记扩展静态资源引用数据绑定相对资源引用常见标记扩展对比 5. XAML与代码的关系XAM…...

编程日记 2025/4/28 13:02:55

测试基础笔记第十四天

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、字符串1.字符串2.字符串切片3.查找find（）4.去除两端空白字符 strip5.字符串转换大小写 lower、upper5.拆分 split()6.字符串的其他常见方…...

编程日记 2025/4/28 13:02:54

Java详解LeetCode 热题 100(01):LeetCode 1. 两数之和（Two Sum）详解

文章目录 1. 题目描述2. 理解题目3. 解法一：暴力枚举法3.1 思路3.2 Java代码实现3.3 代码详解3.4 复杂度分析3.5 适用场景 4. 解法二：哈希表法4.1 思路4.2 Java代码实现4.3 代码详解4.4 复杂度分析4.5 适用场景 5. 解法三：两遍哈希表法5.1 思…...

编程日记 2025/4/28 13:01:50

机器学习之三：归纳学习

正如人们有各种各样的学习方法一样，机器学习也有多种学习方法。若按学习时所用的方法进行分类，则机器学习可分为机械式学习、指导式学习、示例学习、类比学习、解释学习等。这是温斯顿在1977年提出的一种分类方法。有关机器学习的基本概念，…...

编程日记 2025/4/28 12:57:33

AI声像融合守护幼儿安全——打骂/异常声音报警系统的智慧防护

幼儿园是孩子们快乐成长的摇篮，但打骂、哭闹或尖叫等异常事件可能打破这份宁静，威胁幼儿的身心安全。打骂/异常声音报警系统，依托尖端的AI声像融合技术，结合语音识别、情绪分析与视频行为检测，为幼儿园筑起一道智能安全…...

编程日记 2025/5/20 21:42:48

2024ICPC网络赛第二场题解

文章目录 F. Tourist(签到)I. Strange Binary(思维)J. Stacking of Goods(思维)A. Gambling on Choosing Regionals(签到)G. Game(数学)L. 502 Bad Gateway(数学)E. Escape(BFS)C. Prefix of Suffixes(kmp结论)K. match(01trie分治多项式乘法组合数) 题目链接 F. Tourist(签到…...

编程日记 2025/4/28 12:56:25

风控策略引擎架构设计全解析：构建智能实时决策系统

摘要本文深入探讨现代风控策略引擎的核心架构设计，结合金融反欺诈、电商交易风控等典型场景，详细解析实时决策、规则引擎、特征计算等关键技术模块的实现方案。通过分层架构设计、分布式计算优化、策略动态编排等创新方法，展示如何构建支撑每秒万级决策的高可用风控系统。…...

编程日记 2025/4/28 12:55:18

TensorFlow 安装全攻略

选择 TensorFlow 的原因： TensorFlow 是一个端到端平台，它提供多个抽象级别，因此您可以根据自己的需求选择合适的级别。您可以使用高阶 Keras API 构建和训练模型，该 API 让您能够轻松地开始使用 TensorFlow 和机器学习。如果您需…...

编程日记 2025/4/28 12:55:16

Dijkstra 算法代码步骤[leetcode.743网络延迟时间]

有 n 个网络节点，标记为 1 到 n。给你一个列表 times，表示信号经过有向边的传递时间。 times[i] (ui, vi, wi)，其中 ui 是源节点，vi 是目标节点， wi 是一个信号从源节点传递到目标节点的时间。现在，…...

编程日记 2025/4/28 12:54:14

Ubuntu22.04/24.04 P104-100 安装驱动和 CUDA Toolkit

硬件环境使用一块技嘉 B85m-DS3H 安装 P104-100, CPU是带集成显卡的i5-4690. 先在BIOS中设置好显示设备优先使用集成显卡(IGX). 然后安装P104-100开机. 登入Ubuntu 后查看硬件信息, 检查P104-100是否已经被检测到 # PCI设备 lspci -v | grep -i nvidia lspci | grep NVIDIA …...

编程日记 2025/4/28 12:53:07

Golang 学习指南

目录变量与常量数据类型与控制结构常用数据结构函数与错误处理指针与并发Gin 框架与 go mod小结与参考资料 1. 变量与常量变量（var） 用于定义可变的值。可以指定类型，也可以自动推断类型。示例：var name string "Golang…...

编程日记 2025/4/28 12:53:02

Ubuntu 磁盘空间占用清理（宝塔）

目录前言1. 基本知识2. 实战前言 🤟 找工作，来万码优才：👉 #小程序://万码优才/r6rqmzDaXpYkJZF 爬虫神器，无代码爬取，就来：bright.cn 本身自搭建了一个宝塔，突然一下子多了好些空…...

编程日记 2025/4/28 12:51:59

AntBio: 2025 AACR Meeting - Charting New Oncology Frontiers Together

AntBio cordially invites you to attend the 2025 AACR Annual Meeting and jointly chart a new course in oncology research! The global benchmark for cancer research and therapeutics—the 2025 American Association for Cancer Research (AACR) Annual Meeting—wi…...

编程日记 2025/4/28 12:51:53

数模学习：二，MATLAB的基本语法使用

注释代码： (1)在每行语句后面加上分号，则不显示该行代码的运算结果。在每行代码前加%，则该行代码会被注释掉 (2) 多行注释： 选中要注释的多行语句，按快捷键Ctrl R (3) 取消注释： 选中要注释的多行语句…...

编程日记 2025/4/28 12:51:52

【Webpack \ Vite】多环境配置

环境变量脚本命令如何通过不同的环境变量或不同的配置文件进行项目区分，动态加载配置。通常，使用环境变量是最简单且灵活的方法，因为它不需要改变构建命令或创建多个配置文件环境变量在根目录下创建 .env.xxx 文件，为不同的环…...

编程日记 2025/4/28 12:50:50

已知漏洞打补丁

. 打补丁根据MS漏洞编号或者CVE漏洞编号都可以找到对应的HotfixID。 1.根据MS漏洞编号可以使用：https://learn.microsoft.com/zh-cn/security-updates/securitybulletins/securitybulletins 即可找到KB编号。 2.根据CVE漏洞编号可以使用：https://cve…...

编程日记 2025/4/28 12:49:44

WGS84(GPS)、火星坐标系（GCJ02）、百度地图（BD09）坐标系转换Java代码

在做基于百度地图、高德地图等电子地图做为地图服务的二次开发时，通常需要将具有WGS84等坐标的矢量数据（如行政区划、地名、河流、道路等GIS地理空间数据）添加到地图上面。然而，在线地图大多使用的是火星坐标系，需要…...

编程日记 2025/4/28 12:49:42

R语言操作n

1.加载安装vegan包 2.查看data(varechem)和data(varespec),探索其维度和结构 3.基于varespec构建物种互作网络，输出gml文件并采用gephi可视化为图片，输出pdf，阈值为r>0.6，p<0.05 4.基于varespec和varechem构建物种-环境互作…...

编程日记 2025/6/2 6:25:54

ChatGPT与DeepSeek在科研论文撰写中的整体科研流程与案例解析

随着人工智能技术的快速发展，大语言模型如ChatGPT和DeepSeek在科研领域展现出强大的潜力，尤其是在论文撰写方面。本文旨在介绍如何利用ChatGPT和DeepSeek提升科研论文撰写的效率与质量，并提供一个具体案例，详细阐述其技术流程及公…...

编程日记 2025/4/28 12:48:37

VScode在 Markdown 编辑器中预览

1. 使用在线 Mermaid 编辑器步骤： 打开 Mermaid Live Editor。将你 .md 文件中的 Mermaid 代码（从 mermaid 到结束的代码块）复制粘贴到编辑器的左侧输入框。编辑器会自动在右侧生成可视化的 ER 图。你可以点击右上角的下载按钮，…...

编程日记 2025/4/28 12:48:35

驱动开发硬核特训 · Day 22（下篇）： # 深入理解 Power-domain 框架：概念、功能与完整代码剖析

一、Power-domain 框架基础概念 ✏️ 什么是 Power-domain？ 在 Linux 内核中，Power-domain（电源域） 是指一组硬件模块的逻辑集合，这些模块可以被统一控制电源状态（上电、断电）。 Linux 内核通…...

编程日记 2025/4/28 12:47:34

无人机超声波避障技术要点与难点！

一、超声波避障技术要点 4. 障碍物建模通过最小二乘法平面拟合，将单点测距数据转化为障碍物表面模型，提高避障准确性。使用队列（wallqueue）存储障碍物信息，并进行去重处理，避免重复避障。 5. 避障轨…...

编程日记 2025/4/28 12:47:33

ASCII字符编码标准及字符表

目录概述 1 标准 ASCII 表（0-127） 2 大写字母（A-Z） 3 小写字母（a-z） 4 说明概述 ASCII（American Standard Code for Information Interchange，美国信息交换标准代码&#xff…...

编程日记 2025/5/27 20:58:06

联想昭阳笔记本风扇一键静音优化操作指南

【联想昭阳笔记本一键静音优化操作指南】第1步：安装官方工具 Lenovo Vantage 打开【开始菜单】→ 搜索【Microsoft Store】，打开。在 Store 里搜索【Lenovo Vantage】，下载安装。安装好后，打开【Lenovo Vantage】。进入【设备…...

编程日记 2025/4/28 12:45:22

go语言八股文（三）

1.java和go的区别 1. 语言设计目标 Java： 通用性：设计为一种通用的、面向对象的编程语言，适用于多种应用场景，如桌面应用、服务器端应用、移动应用等。跨平台性：通过“一次编写，到处运行”（Wr…...

编程日记 2025/5/21 19:29:02

Flutter 学习之旅之 flutter 有时候部分手机【TextField】无法唤起【输入法软键盘】的一些简单整理

Flutter 学习之旅之 flutter 有时候部分手机【TextField】无法唤起【输入法软键盘】的一些简单整理目录 Flutter 学习之旅之 flutter 有时候部分手机【TextField】无法唤起【输入法软键盘】的一些简单整理一、简单介绍二、现象描述三、尝试的解决方案 1、根据应用的…...

编程日记 2025/4/28 12:44:15

【工具】scMultiMap基于单细胞多模态数据实现增强子与靶基因的细胞类型特异性映射

文章目录介绍代码参考介绍在与疾病相关的细胞类型中绘制增强子和靶基因图谱，能够为全基因组关联研究（GWAS）变异的功能机制提供关键见解。单细胞多模态数据能够测量同一细胞中的基因表达和染色质可及性，从而实现细胞类型特异性…...

编程日记 2025/5/30 22:38:30

rt-linux下的cgroup cpu的死锁bug

一、背景 rt-linux系统有其非常大的实时性的优势，但是与之俱来的是该系统上有一些天然的缺陷。由于rt-linux系统允许进程在内核态执行的逻辑里，在持锁期间，甚至持spinlock锁期间，都能被其他进程抢占。这一特性能带来实时性的好处…...

编程日记 2025/5/31 9:47:28

Java 内存泄漏详解

Java 内存泄漏是指程序中某些对象不再被使用，但由于某些原因无法被垃圾回收器（Garbage Collector, GC）回收，导致内存被持续占用，最终可能引发性能问题或 OutOfMemoryError。本文将从底层原理、源码层面详细解释 Java …...

编程日记 2025/4/28 12:43:07

Rabbit MQ的基础认识

零、介绍 MQ：message queue（消息队列：先进先出） Rabbit MQ： 一、优势 1.应用解耦 2.异步提速 3.削峰填谷 4.总结二、劣势...

编程日记 2025/5/3 6:16:42

GIS开发笔记（16）解决基于osg和osgearth三维地图上添加placeNode图标点击不易拾取的问题

一、实现效果二、实现原理在图标添加的位置同时添加一个红色圆球，半径为5000~8000米，图标和圆球挂接到同一个group节点，group节点再挂接到根节点，当点击到圆球时，通过遍历父节点就可以找到被点击的图标节点。三、参考代码 //添加图标代码 #pragma once #include &…...

编程日记 2025/5/29 16:32:06

JDBC 使用流程详解

1. 加载数据库驱动目的：注册数据库驱动类，使 JDBC 能识别特定数据库（如 MySQL、Oracle）。代码示例： // JDBC 4.0 后无需显式加载驱动（SPI 自动发现），但部分旧项目仍需手动加载 C…...

编程日记 2025/5/15 7:38:52

小白学习java第16天（上）: javaWeb

0.背景介绍 1.前言首先我们需要javaweb里面的大概流程是干什么的，怎么才能实现的？，每一部分是靠什么进行的？以及背后实现的功能是干什么的？。。。。对于我来说要是不解决这些，会让我感觉不踏实&#xff…...

编程日记 2025/5/28 10:53:35

vue 打包设置

1、vue webpack配置 filename: [path][base].gz,// 设置成这样就行了 const { defineConfig } require(vue/cli-service)const debug process.env.NODE_ENV ! productionconst CompressionWebpackPlugin require(compression-webpack-plugin)const TerserPlugin require(…...

编程日记 2025/4/28 12:39:53

Excel如何安装使用EPM插件并且汉化？

Excel如何使用EPM插件 Excel如何使用EPM插件一、安装EPM插件二、启动EPM插件三、插件汉化设置 Excel如何使用EPM插件一、安装EPM插件在安装EPM插件时，若运行安装包后出现报错提示，通常是因为系统缺少 Visual Studio 2010 组件，需先安装该…...

编程日记 2025/5/30 22:03:54

在Linux中使用fcntl函数和ioctl函数

特性fcntlioctl作用对象文件描述符（通用文件操作）设备文件（硬件或驱动控制）标准化程度POSIX 标准，行为一致设备相关，无统一标准典型场景文件锁、非阻塞模式、描述符复制终端控制、网络配置、硬件操作移植性…...

编程日记 2025/5/4 3:12:32

ESP32-S3 入门学习笔记（四）：LED实验

ESP32-S3 入门学习笔记（四）：LED实验开发板：正点原子ESP32S3 B站学习链接：link 1. GPIO&LED 简介 1.1 GPIO 简介 GPIO 是负责控制或采集外部器件信息的外设，主要负责输入输出功能。以下是ATK-MWS3S…...

编程日记 2025/5/29 8:46:26

clickhouse#复制修改数据

需求在ClickHouse表中存在一些数据，你需要复制其中几行数据，这个复制不是完全复制，额外需要修改其中某几列数据项。语句 INSERT INTO xxx_table SELECT * REPLACE ({except_value_1} AS {column_name_1},...{except_value_n} AS {colum…...

编程日记 2025/5/7 23:32:10

Java安全之cc链学习集合

CC1 InvokerTransformer https://blog.csdn.net/weixin_53912233/article/details/137786954 LazyMap https://blog.csdn.net/weixin_53912233/article/details/137787763 CC1链学习记录_cc1 链子学习-CSDN博客 Java反序列化Commons-Collections篇02-CC1链补充 | Drunk…...

编程日记 2025/6/3 22:57:50

相关文章：