当前位置：首页 > news >正文

Spark SQL操作

news 来源：原创 2025/7/27 18:45:44

Spark SQL操作

文章目录

- - Spark SQL操作
  - - 一、DataFrame的创建与保存
    - - 1.前提操作
      - 2.数据准备
      - 3.创建
      - 4.保存DataFrame
    - 二、DataFrame的操作
    - - 1.printSchema
      - 2.show
      - 3.select
      - 4.filter
      - 5.groupBy(filed)
      - 6.sort(field)
    - 三、临时表操作
    - - 1.创建临时表
      - 2.通过临时表及SQL语句进行查询
    - 四、从RDD转换得到DataFrame
    - - 1.利用反射机制推断RDD模式
      - 2.使用编程方式定义RDD模式
    - 五、案例：
    - - 1.统计学生成绩
      - 1.请采用RDD编程统计每位学生的总成绩（score_sum）
        2.请采用DataFrame以表的形式展示学生成绩信息
        3.请采用DataFrame以表的形式展示学生成绩信息（根据学号升序排序）
        4.请采用DataFrame以表的形式展示学生成绩信息（根据成绩1降序排序，成绩1相同的则根据成绩二降序排序）

一、DataFrame的创建与保存

1.前提操作

在创建DataFrame之前，为了支持RDD转换为DataFrame及后续的SQL操作，需要通过import语句（即import spark.implicits._）导入相应的包，启用隐式转换。

直接启用隐式转换，即直接执行import spark.implicits._

//启用隐式转换
scala> import spark.implicits._
import spark.implicits._

2.数据准备

直接使用Spark安装目录下的文件

文件路径是/usr/local/src/spark-2.1.0-bin-without-hadoop/examples/src/main/resources

[centos7@master resources]$ pwd
/usr/local/src/spark-2.1.0-bin-without-hadoop/examples/src/main/resources
[centos7@master resources]$ ls
full_user.avsc  kv1.txt  people.json  people.txt  user.avsc  users.avro  users.parquet
[centos7@master resources]$

3.创建

通过people.json文件创建一个DataFrame

scala> val df = spark.read.json("file:///usr/local/src/spark-2.1.0-bin-without-hadoop/examples/src/main/resources/people.json")
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

4.保存DataFrame

保存成功后和RDD的saveAsTextFile保存类似是一个文件夹，文件夹加中有两类文件

①part开头的文件，存储了数据

②_SUCCESS文件，大小为0，只表示成功，如果不存在这个文件则表示保存失败

//保存为json文件
scala> df.write.json("file:///home/centos7/df1")//保存为csv文件
scala> df.write.csv("file:///home/centos7/df2")//保存为parquet文件
scala> df.write.parquet("file:///home/centos7/df3")

二、DataFrame的操作

1.printSchema

打印schema信息（表头及类型）

scala> df.printSchema
root|-- age: long (nullable = true)|-- name: string (nullable = true)

2.show

以表的形式打印DataFrame的内容

scala> df.show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

3.select

选取DataFrame的部分列生成一个新的DataFrame

scala> df.select("name")
res7: org.apache.spark.sql.DataFrame = [name: string]scala> df.select("name").show
+-------+
|   name|
+-------+
|Michael|
|   Andy|
| Justin|
+-------+scala> df.select("age").show
+----+
| age|
+----+
|null|
|  30|
|  19|
+----+scala> df.select("age","name").show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+scala> df.select("age","name","age").show
+----+-------+----+
| age|   name| age|
+----+-------+----+
|null|Michael|null|
|  30|   Andy|  30|
|  19| Justin|  19|
+----+-------+----+//select的括号中可以加DataFrame的名称，也不可不加
scala> df.select(df("name")).show
+-------+
|   name|
+-------+
|Michael|
|   Andy|
| Justin|
+-------+//使用as进行重命名操作
scala> df.select(df("name").as("username")).show
+--------+
|username|
+--------+
| Michael|
|    Andy|
|  Justin|
+--------+

4.filter

过滤，实现条件查询

scala> df.filter(df("age")<20).show
+---+------+
|age|  name|
+---+------+
| 19|Justin|
+---+------+

5.groupBy(filed)

根据某个字段（filed）进行分组

scala> df.groupBy("age").count().show()
+----+-----+
| age|count|
+----+-----+
|  19|    1|
|null|    1|
|  30|    1|
+----+-----+scala> df.groupBy("name").count().show()
+-------+-----+
|   name|count|
+-------+-----+
|Michael|    1|
|   Andy|    1|
| Justin|    1|
+-------+-----+

6.sort(field)

根据某个字段进行排序

//根据age字段进行排序，默认升序
scala> df.sort(df("age")).show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  19| Justin|
|  30|   Andy|
+----+-------+//根据age字段进行排序，加入.asc表示降序
scala> df.sort(df("age").asc).show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  19| Justin|
|  30|   Andy|
+----+-------+//根据age字段进行排序，加入.desc表示升序
scala> df.sort(df("age").desc).show
+----+-------+
| age|   name|
+----+-------+
|  30|   Andy|
|  19| Justin|
|null|Michael|
+----+-------+

三、临时表操作

根据已经存在的DataFrame创建一张临时表，通过sql语句查询

1.创建临时表

格式：DataFrame.createOrReplaceTempView(“临时表名”)

scala> df.create
createGlobalTempView   createOrReplaceTempView   createTempViewscala> df.createOrReplaceTempView("people_tmp")

2.通过临时表及SQL语句进行查询

注意：查询结束后生成一个新的DataFrame

scala> spark.sql("select * from people_tmp")
res26: org.apache.spark.sql.DataFrame = [age: bigint, name: string]scala> spark.sql("select * from people_tmp").show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

四、从RDD转换得到DataFrame

1.利用反射机制推断RDD模式

//定义一个case类，用来转换RDD
scala> case class Person(name:String,age:Int)
defined class Person//创建RDD
scala> val rdd = sc.textFile("file:///usr/local/src/spark-2.1.0-bin-without-hadoop/examples/src/main/resources/people.txt")
rdd: org.apache.spark.rdd.RDD[String] = file:///usr/local/src/spark-2.1.0-bin-without-hadoop/examples/src/main/resources/people.txt MapPartitionsRDD[72] at textFile at <console>:27//显示RDD的内容
scala> rdd.collect
res29: Array[String] = Array(Michael, 29, Andy, 30, Justin, 19)//将RDD中的每一个元素通过逗号拆分，拆分后得到的RDD内的每一个元素都是Array[String]类型
scala> rdd.map(_.split(",")).collect
res30: Array[Array[String]] = Array(Array(Michael, " 29"), Array(Andy, " 30"), Array(Justin, " 19"))//通过.map(x=>Person(x(0),x(1).trim.toInt))将上一步得到的RDD的元素从数组转换为Person对象
//新得到RDD的每一个元素都是一个Person对象
scala> rdd.map(_.trim().split(",")).map(x=>Person(x(0),x(1).trim.toInt)).collect
res32: Array[Person] = Array(Person(Michael,29), Person(Andy,30), Person(Justin,19))//通过.toDF方法将存储Person对象的RDD转换为DataFrame
scala> rdd.map(_.trim().split(",")).map(x=>Person(x(0),x(1).trim.toInt)).toDF
res33: org.apache.spark.sql.DataFrame = [name: string, age: int]//以表的形式展现DataFrame的内容
scala> rdd.map(_.trim().split(",")).map(x=>Person(x(0),x(1).trim.toInt)).toDF.show()
+-------+---+
|   name|age|
+-------+---+
|Michael| 29|
|   Andy| 30|
| Justin| 19|
+-------+---+

2.使用编程方式定义RDD模式

步骤三步走：

①制作表头

②制作表的记录

③拼接表头和表的记录

//引入types，为了后面使用StructType、StructField
scala> import org.apache.spark.sql.types._
import org.apache.spark.sql.types._//引入Row，为了后续转换RDD时，将RDD的元素类型设置为Row
scala> import org.apache.spark.sql.Row
import org.apache.spark.sql.Row//定义表头信息
//StructField("name",StringType,true)  "name"表示字段名，StringType表示字符串，true表示允许为空
scala> val fields = Array(StructField("name",StringType,true), StructField("age",IntegerType,true))
fields: Array[org.apache.spark.sql.types.StructField] = Array(StructField(name,StringType,true), StructField(age,IntegerType,true))//将上一步的表头信息转换为StructType类型
scala> val schema = StructType(fields)
schema: org.apache.spark.sql.types.StructType = StructType(StructField(name,StringType,true), StructField(age,IntegerType,true))//创建RDD
scala> val rdd = sc.textFile("file:///usr/local/src/spark-2.1.0-bin-without-hadoop/examples/src/main/resources/people.txt")
rdd: org.apache.spark.rdd.RDD[String] = file:///usr/local/src/spark-2.1.0-bin-without-hadoop/examples/src/main/resources/people.txt MapPartitionsRDD[85] at textFile at <console>:30//拆分
scala> rdd.map(_.split(",")).collect
res35: Array[Array[String]] = Array(Array(Michael, " 29"), Array(Andy, " 30"), Array(Justin, " 19"))//将拆分后的RDD转换为Row对象
scala> rdd.map(_.split(",")).map(x=>Row(x(0),x(1).trim.toInt)).collect
res36: Array[org.apache.spark.sql.Row] = Array([Michael,29], [Andy,30], [Justin,19])//使用rows变量接受转换后的Row对象，（rows即为“表记录信息”）
scala> val rows = rdd.map(_.split(",")).map(x=>Row(x(0),x(1).trim.toInt))
rows: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[90] at map at <console>:33//显示rows这个RDD的内容
scala> rows.collect
res37: Array[org.apache.spark.sql.Row] = Array([Michael,29], [Andy,30], [Justin,19])//将表头信息和表记录信息拼接在一起形成DataFrame
scala> spark.createDataFrame(rows,schema)
res40: org.apache.spark.sql.DataFrame = [name: string, age: int]//以表的形式展现DataFrame的内容
scala> spark.createDataFrame(rows,schema).show
+-------+---+
|   name|age|
+-------+---+
|Michael| 29|
|   Andy| 30|
| Justin| 19|
+-------+---+

五、案例：

1.统计学生成绩

现有一个学生成绩文件score.txt如下

现在有一个学生成绩信息文本文件（score.txt），这个文本文件的内容如下

2103080003,张三,male,20,88,77,100
2103080006,赵六,male,20,100,88,100
2103080005,王五,male,20,99,100,77
2103080007,孙七,male,20,88,88,100

score.txt对应标题为：

学号，姓名，性别，年龄，成绩1，成绩2，成绩3

stuid,name,gender,age,score1,score2,score3

1.请采用RDD编程统计每位学生的总成绩（score_sum）

//创建RDD
scala> val rdd = sc.textFile("file:///home/centos7/score.txt")
rdd: org.apache.spark.rdd.RDD[String] = file:///home/centos7/score.txt MapPartitionsRDD[1] at textFile at <console>:24//查看RDD内容
scala> rdd.collect
res0: Array[String] = Array(2103080003,张三,male,20,88,77,100, 2103080006,赵六,male,20,100,88,100, 2103080005,王五,male,20,99,100,77, 2103080007,孙七,male,20,88,88,100)//拆分
scala> rdd.map(_.split(",")).collect
res1: Array[Array[String]] = Array(Array(2103080003, 张三, male, 20, 88, 77, 100), Array(2103080006, 赵六, male, 20, 100, 88, 100), Array(2103080005, 王五, male, 20, 99, 100, 77), Array(2103080007, 孙七, male, 20, 88, 88, 100))//求和
scala> rdd.map(_.split(",")).map(x=>(x(0),x(1),x(2),x(3),x(4).toInt+x(5).toInt+x(6).toInt)).collect
res2: Array[(String, String, String, String, Int)] = Array((2103080003,张三,male,20,265), (2103080006,赵六,male,20,288), (2103080005,王五,male,20,276), (2103080007,孙七,male,20,276))//打印
scala> rdd.map(_.split(",")).map(x=>(x(0),x(1),x(2),x(3),x(4).toInt+x(5).toInt+x(6).toInt)).foreach(println(_))
(2103080003,张三,male,20,265)
(2103080006,赵六,male,20,288)
(2103080005,王五,male,20,276)
(2103080007,孙七,male,20,276)

2.请采用DataFrame以表的形式展示学生成绩信息

方法一：通过反射机制推断RDD模式

//定义一个case类，用来转换RDD
scala> case class Score(stuid:String,name:String,gender:String,age:Int,score1:Int,score2:Int,score3:Int)
defined class Score//从文件创建RDD
scala> val rdd = sc.textFile("file:///home/centos7/score.txt")
rdd: org.apache.spark.rdd.RDD[String] = file:///home/centos7/score.txt MapPartitionsRDD[13] at textFile at <console>:24//显示RDD内容
scala> rdd.collect
res8: Array[String] = Array(2103080003,张三,male,20,88,77,100, 2103080006,赵六,male,20,100,88,100, 2103080005,王五,male,20,99,100,77, 2103080007,孙七,male,20,88,88,100)//拆分
scala> rdd.map(_.split(",")).collect
res9: Array[Array[String]] = Array(Array(2103080003, 张三, male, 20, 88, 77, 100), Array(2103080006, 赵六, male, 20, 100, 88, 100), Array(2103080005, 王五, male, 20, 99, 100, 77), Array(2103080007, 孙七, male, 20, 88, 88, 100))//将上一步得到的RDD的元素从数组转换为Score对象
scala> rdd.map(_.split(",")).map(x=>Score(x(0),x(1),x(2),x(3).trim.toInt,x(4).trim.toInt,x(5).trim.toInt,x(6).trim.toInt)).collect
res10: Array[Score] = Array(Score(2103080003,张三,male,20,88,77,100), Score(2103080006,赵六,male,20,100,88,100), Score(2103080005,王五,male,20,99,100,77), Score(2103080007,孙七,male,20,88,88,100))//将RDD转化为DataFrame
scala> var df = rdd.map(_.split(",")).map(x=>Score(x(0),x(1),x(2),x(3).trim.toInt,x(4).trim.toInt,x(5).trim.toInt,x(6).trim.toInt)).toDF
df: org.apache.spark.sql.DataFrame = [stuid: string, name: string ... 5 more fields]//以表的形式展现DataFrame的内容
scala> df.show()
+----------+----+------+---+------+------+------+
|     stuid|name|gender|age|score1|score2|score3|
+----------+----+------+---+------+------+------+
|2103080003|  张三|  male| 20|    88|    77|   100|
|2103080006|  赵六|  male| 20|   100|    88|   100|
|2103080005|  王五|  male| 20|    99|   100|    77|
|2103080007|  孙七|  male| 20|    88|    88|   100|
+----------+----+------+---+------+------+------+

方法二：使用编程方式定义RDD模式

//引入types，为了后面使用StructType、StructField
scala> import org.apache.spark.sql.types._
import org.apache.spark.sql.types._//引入Row，为了后续转换RDD时，将RDD的元素类型设置为Row
scala> import org.apache.spark.sql.Row
import org.apache.spark.sql.Row//定义表头信息
scala> val fields = Array(StructField("stuid",StringType,true),StructField("name",StringType,true),StructField("gender",StringType,true), StructField("age",IntegerType,true), StructField("score1",IntegerType,true), StructField("score2",IntegerType,true), StructField("score3",IntegerType,true))
fields: Array[org.apache.spark.sql.types.StructField] = Array(StructField(stuid,StringType,true), StructField(name,StringType,true), StructField(gender,StringType,true), StructField(age,IntegerType,true), StructField(score1,IntegerType,true), StructField(score2,IntegerType,true), StructField(score3,IntegerType,true))//将上一步的表头信息转换为StructType类型
scala> val schema = StructType(fields)
schema: org.apache.spark.sql.types.StructType = StructType(StructField(stuid,StringType,true), StructField(name,StringType,true), StructField(gender,StringType,true), StructField(age,IntegerType,true), StructField(score1,IntegerType,true), StructField(score3,IntegerType,true), StructField(score3,IntegerType,true))//创建RDD
scala> val rdd = sc.textFile("file:///home/centos7/score.txt")
rdd: org.apache.spark.rdd.RDD[String] = file:///home/centos7/score.txt MapPartitionsRDD[23] at textFile at <console>:28//将拆分
scala> rdd.map(_.split(",")).collect
res12: Array[Array[String]] = Array(Array(2103080003, 张三, male, 20, 88, 77, 100), Array(2103080006, 赵六, male, 20, 100, 88, 100), Array(2103080005, 王五, male, 20, 99, 100, 77), Array(2103080007, 孙七, male, 20, 88, 88, 100))//将拆分后的RDD转换为Row对象
scala> rdd.map(_.split(",")).map(x=>Row(x(0),x(1),x(2),x(3).trim.toInt,x(4).trim.toInt,x(5).trim.toInt,x(6).trim.toInt)).collect
res13: Array[org.apache.spark.sql.Row] = Array([2103080003,张三,male,20,88,77,100], [2103080006,赵六,male,20,100,88,100], [2103080005,王五,male,20,99,100,77], [2103080007,孙七,male,20,88,88,100])//使用rows变量接受转换后的Row对象，（rows即为“表记录信息”）
scala> val rows = rdd.map(_.split(",")).map(x=>Row(x(0),x(1),x(2),x(3).trim.toInt,x(4).trim.toInt,x(5).trim.toInt,x(6).trim.toInt))
rows: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[28] at map at <console>:30//显示rows这个RDD的内容
scala> rows.collect
res14: Array[org.apache.spark.sql.Row] = Array([2103080003,张三,male,20,88,77,100], [2103080006,赵六,male,20,100,88,100], [2103080005,王五,male,20,99,100,77], [2103080007,孙七,male,20,88,88,100])//将表头信息和表记录信息拼接在一起形成DataFrame
scala> var df = spark.createDataFrame(rows,schema)
df: org.apache.spark.sql.DataFrame = [stuid: string, name: string ... 5 more fields]//以表的形式展现DataFrame的内容
scala> df.show
+----------+----+------+---+------+------+------+
|     stuid|name|gender|age|score1|score2|score3|
+----------+----+------+---+------+------+------+
|2103080003|  张三|  male| 20|    88|    77|   100|
|2103080006|  赵六|  male| 20|   100|    88|   100|
|2103080005|  王五|  male| 20|    99|   100|    77|
|2103080007|  孙七|  male| 20|    88|    88|   100|
+----------+----+------+---+------+------+------+//以SQL语句显示
//创建临时表
scala> spark.sql("select * from score_tmp")
res15: org.apache.spark.sql.DataFrame = [stuid: string, name: string ... 5 more fields]//查询
scala> spark.sql("select * from score_tmp").show
+----------+----+------+---+------+------+------+
|     stuid|name|gender|age|score1|score2|score3|
+----------+----+------+---+------+------+------+
|2103080003|  张三|  male| 20|    88|    77|   100|
|2103080006|  赵六|  male| 20|   100|    88|   100|
|2103080005|  王五|  male| 20|    99|   100|    77|
|2103080007|  孙七|  male| 20|    88|    88|   100|
+----------+----+------+---+------+------+------+

3.请采用DataFrame以表的形式展示学生成绩信息（根据学号升序排序）

//方法一：采用上一步的DataFrame，使用DataFrame操作直接显示
scala> df.sort(df("stuid")).show
+----------+----+------+---+------+------+------+
|     stuid|name|gender|age|score1|score2|score3|
+----------+----+------+---+------+------+------+
|2103080003|  张三|  male| 20|    88|    77|   100|
|2103080005|  王五|  male| 20|    99|   100|    77|
|2103080006|  赵六|  male| 20|   100|    88|   100|
|2103080007|  孙七|  male| 20|    88|    88|   100|
+----------+----+------+---+------+------+------+//方法二：采用上一步的临时表，使用SQL语句查询
scala> spark.sql("select * from score_tmp order by stuid").show
+----------+----+------+---+------+------+------+
|     stuid|name|gender|age|score1|score2|score3|
+----------+----+------+---+------+------+------+
|2103080003|  张三|  male| 20|    88|    77|   100|
|2103080005|  王五|  male| 20|    99|   100|    77|
|2103080006|  赵六|  male| 20|   100|    88|   100|
|2103080007|  孙七|  male| 20|    88|    88|   100|
+----------+----+------+---+------+------+------+

4.请采用DataFrame以表的形式展示学生成绩信息（根据成绩1降序排序，成绩1相同的则根据成绩二降序排序）

//方法一：采用第2步DataFrame
//只以score1降序
scala> df.sort(df("score1").desc).show
+----------+----+------+---+------+------+------+
|     stuid|name|gender|age|score1|score2|score3|
+----------+----+------+---+------+------+------+
|2103080006|  赵六|  male| 20|   100|    88|   100|
|2103080005|  王五|  male| 20|    99|   100|    77|
|2103080003|  张三|  male| 20|    88|    77|   100|
|2103080007|  孙七|  male| 20|    88|    88|   100|
+----------+----+------+---+------+------+------+//score1降序，score1相同时以score2降序
scala> df.sort(df("score1").desc,df("score2").desc).show
+----------+----+------+---+------+------+------+
|     stuid|name|gender|age|score1|score2|score3|
+----------+----+------+---+------+------+------+
|2103080006|  赵六|  male| 20|   100|    88|   100|
|2103080005|  王五|  male| 20|    99|   100|    77|
|2103080007|  孙七|  male| 20|    88|    88|   100|
|2103080003|  张三|  male| 20|    88|    77|   100|
+----------+----+------+---+------+------+------+//方法二：采用第2步临时表
//只以score1降序
scala> spark.sql("select * from score_tmp order by score1 desc ").show
+----------+----+------+---+------+------+------+
|     stuid|name|gender|age|score1|score2|score3|
+----------+----+------+---+------+------+------+
|2103080006|  赵六|  male| 20|   100|    88|   100|
|2103080005|  王五|  male| 20|    99|   100|    77|
|2103080003|  张三|  male| 20|    88|    77|   100|
|2103080007|  孙七|  male| 20|    88|    88|   100|
+----------+----+------+---+------+------+------+//score1降序，score1相同时以score2降序
scala> spark.sql("select * from score_tmp order by score1 desc, score2 desc ").show
+----------+----+------+---+------+------+------+
|     stuid|name|gender|age|score1|score2|score3|
+----------+----+------+---+------+------+------+
|2103080006|  赵六|  male| 20|   100|    88|   100|
|2103080005|  王五|  male| 20|    99|   100|    77|
|2103080007|  孙七|  male| 20|    88|    88|   100|
|2103080003|  张三|  male| 20|    88|    77|   100|
+----------+----+------+---+------+------+------+

Spark SQL操作

Spark SQL操作文章目录 Spark SQL操作一、DataFrame的创建与保存1.前提操作2.数据准备3.创建4.保存DataFrame 二、DataFrame的操作1.printSchema2.show3.select4.filter5.groupBy(filed)6.sort(field) 三、临时表操作1.创建临时表2.通过临时表及SQL语句进行查询四、从RDD转换…...

编程日记 2025/7/27 18:45:44

【大模型】LLaMA: Open and Efficient Foundation Language Models

链接：https://arxiv.org/pdf/2302.13971 论文：LLaMA: Open and Efficient Foundation Language Models Introduction 规模和效果 7B to 65B，LLaMA-13B 超过 GPT-3 (175B)Motivation 如何最好地缩放特定训练计算预算的数据集和模型大小&…...

编程日记 2025/7/27 15:19:22

聚焦AI存储，联想凌拓全力奔赴

【全球存储观察 ｜ 科技热点关注】每一个时代，都有每一个时代的骄傲。在信息化时代，NAS文件存储肩负着非结构化数据管理与存储的重任，NetApp以其创新实力，赢得了全球存储市场的极高声誉。在数智化时代，…...

编程日记 2025/7/26 23:29:19

ansible常用模块

一.ansible常用模块 ansible [主机or组列表] -m 模块 -a "参数"1.shell:类似于在终端上直接输入命令,支持bash特性2.command(默认模块):使用的变量需要事先定义好,不支持bash特性，如管道、重定向3.script: 执行脚本,支持python,shell脚本4.file:用于在被控…...

编程日记 2025/7/27 18:35:54

window11编译pycdc.exe

一、代码库和参考链接在对python打包的exe文件进行反编译时，会使用到uncompyle6工具，但是这个工具只支持python3.8及以下，针对更高的版本的python则不能反编译。关于反编译参考几个文章： Python3.9及以上Pyinstaller 反编译教…...

编程日记 2025/7/27 18:35:55

C语言——break、continue、goto

目录一、break 二、continue 1、在while循环中 2、在for循环中三、go to 一、break 作用是终止循环，在循环内遇到break直接就跳出循环。注： 一个break语句只能跳出一层循环。代码演示： #include<stdio.h>void test01() {for (…...

编程日记 2025/7/27 18:36:31

实战OpenCV之人脸识别

基础入门随着计算机视觉技术和深度学习的发展，人脸识别已经成为一项广泛应用的技术，涵盖了从安全监控、身份验证、智能家居到大型公共安全项目等多个领域。人脸识别技术通常包括以下几个主要步骤。图像采集：通过摄像头或其他图像采集设备，捕获包含人脸的图像或视频帧。 …...

编程日记 2025/7/27 18:43:26

记录第一次安装laravel项目

window系统 Laravel中文文档：https://laravel-docs.catchadmin.com/docs/11/getting-started/installation 1.使用composer安装全局laravel composer global require laravel/installer2.安装完成后在命令行输入laravel，如果报错：laravel不是…...

编程日记 2025/7/27 17:54:54

AWTK-WEB 快速入门(1) - C 语言应用程序

先安装 AWTK Designer 用 AWTK Designer 新建一个应用程序 2.1. 新建应用程序这里假设应用程序的名称为 AwtkApplicationC，后面会用到，如果使用其它名称，后面要做相应修改。在窗口上放置一个按钮将按钮的名称改为 “close”将按钮的文本改…...

编程日记 2025/7/26 23:41:26

《操作系统 - 清华大学》4 -5：非连续内存分配：页表一反向页表

文章目录 1. 大地址空间的问题2. 页寄存器（ Page Registers ）方案3. 基于关联内存(associative memory )的反向页表（inverted page table）4. 基于哈希（hashed）查找的反向页表5. 小结 1. 大地址空间的问题 …...

编程日记 2025/7/27 18:36:31

数据可视化复习1-Matplotlib简介属性和创建子图

1.Matplotlib简介 Matplotlib是一个Python的2D绘图库，它可以在各种平台上以各种硬拷贝格式和交互环境生成具有出版品质的图形。通过Matplotlib，开发者可以仅需要几行代码，便可以生成绘图、直方图、功率谱、条形图、错误图、散点图等。以下…...

编程日记 2025/7/27 18:37:03

98. 验证二叉搜索树【力扣(LeetCode) 】

文章目录零、原题链接一、题目描述二、测试用例三、解题思路四、参考代码零、原题链接 98. 验证二叉搜索树一、题目描述给你一个二叉树的根节点 root ，判断其是否是一个有效的二叉搜索树。有效二叉搜索树定义如下： 节点的左子树只包含小于当…...

编程日记 2025/7/27 15:01:53

github中banch和tag的应用

GitHub 中的 Branch 和 Tag 之间的关系在 GitHub 和 Git 中，**Branch（分支）**和**Tag（标签）**都是用来管理和标记代码的概念，但它们在版本控制中扮演不同的角色和有不同的用途。 --- 名词解释 1. 分支…...

编程日记 2025/7/27 18:37:39

鸿蒙HarmonyOS开发：一次开发，多端部署（工程级）三层工程架构

文章目录一、工程创建1、先创建出最基本的项目工程。2、新建common、features、 products 目录二、工程结构三、依赖关系1、oh-package.json52、配置ohpm包依赖四、引用ohpm包中的代码1、定义共享资源2、在common模块index文件中导出3、在phone模块oh-package.json5文件中引…...

编程日记 2025/7/27 18:37:38

无插件H5播放器EasyPlayer.js视频流媒体播放器如何开启electron硬解码Hevc（H265）

在数字化时代，流媒体播放器技术正经历着前所未有的变革。随着人工智能、大数据、云计算等技术的融合，流媒体播放器的核心技术不断演进，为用户提供了更加丰富和个性化的观看体验。 EasyPlayer.js H5播放器，是一款能够同时支持HTTP、…...

编程日记 2025/7/27 15:53:07

关于vue生命周期理解示例代码

在业务运作时，特定的逻辑代码，需要在特定的阶段去执行，所以需要理解Vue的生命周期，以及各个周期内的方法，才能明确业务代码的编写概述：Vue生命周期，指一个vue实例从创建到销毁的过程。分为四…...

编程日记 2025/7/27 18:39:14

【MySQL数据库】C#实现MySQL数据库最简单的查询和执行函数

文章目录前言一、查询方法二、执行方法前言 C#和MySQL数据库是常见的数据交互，标准的查询和执行方法如下，做个记录。一、查询方法 private static int QueryTable(string tableName, DateTime today, string stepName){int result 0; // 返回数据…...

编程日记 2025/7/27 18:42:08

深度学习笔记之BERT(二)BERT精简变体:ALBERT

深度学习笔记之BERT——BERT精简变体:ALBERT 引言回顾：ResNet对于反向传播的作用BERT的配置BERT的问题/缺陷ALBERTALBERT的策略BERT VS ALBERT 引言上一节从 Word2vec \text{Word2vec} Word2vec上下文信息的局限性角度出发，介绍了 BERT \text{BERT} BE…...

编程日记 2025/7/9 4:29:09

Easyexcel（5-自定义列宽）

相关文章链接 Easyexcel（1-注解使用）Easyexcel（2-文件读取）Easyexcel（3-文件导出）Easyexcel（4-模板文件）Easyexcel（5-自定义列宽） 注解 ColumnWidth Data…...

编程日记 2025/7/24 21:03:23

Linux 安装 Git 服务器

一、安装 Git 1. 在 CentOS/RHEL 中使用以下命令： sudo yum update -y # 或者 sudo dnf update -y (在较新的系统中) sudo yum install git -y验证安装：git --version 2. 配置 Git 用户 git config --global user.name "Your Name" git co…...

编程日记 2025/7/27 7:08:30

C#学习笔记——窗口停靠控件WeifenLuo.WinFormsUI.Docking使用-腾讯云开发者社区-腾讯云

C#学习笔记——窗口停靠控件WeifenLuo.WinFormsUI.Docking使用-腾讯云开发者社区-腾讯云 C#学习笔记——窗口停靠控件WeifenLuo.WinFormsUI.Docking使用发布于 2021-06-10 00:10:59 7.1K0 举报文章被收录于专栏：c#学习笔记一、介绍 DockPanelSuite是托管在…...

编程日记 2025/7/26 8:20:54

c++-有关输出、信息输入、趣味输入应用、运算符、变量、浮点数数据类型的基础知识

C是一种功能强大且广泛使用的编程语言，它可以用于开发各种类型的应用程序。在这篇文章中，我们将介绍C程序的输出、信息输入、趣味输入应用、运算符、变量和浮点数数据类型的基础知识。目录输出信息输入趣味输入应用运算符变量浮点数数据类…...

编程日记 2025/7/25 11:19:43

STM32-- keil 的option for target使用

keil版本号 1.device界面如：stm32f103c8t6的工程，可以直接在device这里修改成stm32f103vct6，虽然引脚不一样，但是很多一样的地方，可以直接使用，有些不修改也可以下载程序。 2.target xtal的设置不起作用了…...

编程日记 2025/7/26 23:34:12

Python 使用 Token 认证方案连接 Kubernetes (k8s) 的详细过程

在 Kubernetes 中，使用 Token 认证是一种常见的客户端身份验证方式，尤其适用于 ServiceAccount。以下是详细的步骤，包括如何查看 Token、获取 API 服务地址、配置远程连接，以及如何在 Python 中连接 k8s。 1. 获取 Token 首先&a…...

编程日记 2025/7/25 23:49:23

神经网络（系统性学习二）：单层神经网络（感知机）

此前篇章： 神经网络中常用的激活函数神经网络（系统性学习一）：入门篇单层神经网络（又叫感知机） 单层网络是最简单的全连接神经网络，它仅有输入层和输出层，没有隐藏层。即&#x…...

编程日记 2025/7/23 21:54:24

3D Gaussian Splatting在鱼眼相机中的应用与投影变换

paper：Fisheye-GS 1.概述 3D 高斯泼溅 (3DGS) 因其高保真度和实时渲染而备受关注。然而，由于独特的 3D 到 2D 投影计算，将 3DGS 适配到不同的相机型号（尤其是鱼眼镜头）带来了挑战。此外，基于图块的泼溅效率低下，尤其是对于鱼眼镜头的极端曲率和宽视野，这对于其更广泛…...

编程日记 2025/7/27 5:17:58

MATLAB的语音信号采集与处理分析

1、基本描述本文描述的系统是一个全面而精细的语音信号处理平台，核心组件由MATLAB的高级功能模块构建而成。系统的核心交互界面，借助于MATLAB的uifigure函数搭建，为用户提供了一个直观且响应迅速的操作环境。通过设计的GUI按钮，如…...

编程日记 2025/7/25 21:16:22

H.265流媒体播放器EasyPlayer.js H5流媒体播放器如何验证视频播放是否走硬解

随着技术的不断进步和5G网络的推广，中国流媒体播放器行业市场规模以及未来发展趋势都将持续保持稳定的增长，并将在未来几年迎来新的发展机遇。流媒体播放器将继续作为连接内容创作者和观众的重要桥梁，推动数字媒体产业的创新和发展。 EasyPla…...

编程日记 2025/7/25 14:04:54

深度学习：ResNet每一层的输出形状

其中 /**在输出通道数为64、步幅为2的7 7卷积层后，接步幅为2的3 3的最大汇聚层,与GoogLeNet区别是每个卷积层后增加了批量规范层**/ b1 nn.Sequential(nn.Conv2d(1, 64, kernel_size7, stride2, padding3),nn.BatchNorm2d(64), nn.ReLU(),nn.MaxPool2d(kernel_s…...

编程日记 2025/7/25 22:00:54

牛客题库 21738 牛牛与数组

牛牛与数组题目链接题目大意牛牛喜欢这样的数组： 1：长度为n 2：每一个数都在1到k之间 3：对于任意连续的两个数A，B，A<=B 与（A % B != 0）两个条件至少成立一个请问一共有多少满足条件的数组，对 1 e 9 + 7 1e^9+7 1e9+7 取模输入格式输入两个整数 n , k n,k n,…...

编程日记 2025/7/23 20:27:04

学会Lambda，让程序Pythonic一点

Lambda是Python里的高阶用法，要把代码写得Pythonic，就需要了解这些高阶用法，想说自己是一名真正的Python程序员，先要把代码写得Pythonic。今天聊下Lambda的用法，写篇简短的用法说明。 Lambda是匿名函数的意思&#…...

编程日记 2025/7/23 13:12:46

旋转向量v和旋转矩阵R

旋转向量v和旋转矩阵R 旋转向量 v 和旋转矩阵 R 是三维空间中描述旋转的两种数学表示方式。两者的关系通过 Rodrigues 公式建立。 1. 旋转向量v 2. 旋转矩阵R 3. 旋转向量v和旋转矩阵R的关系两者通过 Rodrigues 公式和特殊的矩阵运算互相转换： 4. 代码示例 1…...

编程日记 2025/7/23 23:13:36

CSS浮动：概念、特性与应用

CSS浮动是网页设计和开发中常见的布局技术之一，以下是CSS浮动相关的所有重要知识点： 一、浮动的定义与语法浮动（float）属性可以指定一个元素应沿其容器的左侧或右侧放置，允许文本和内联元素环绕它。浮动属性最初只用…...

编程日记 2025/7/27 7:57:17

类和对象（下）

1.取地址运算符重载 1.1 const成员函数 • 将const修饰的成员函数称之为const成员函数，const修饰成员函数放到成员函数参数列表的后⾯。 • const实际修饰该成员函数隐含的this指针，表明在该成员函数中不能对类的任何成员进行修改。 const 修饰D…...

编程日记 2025/7/22 12:38:47

重要点引入包别引用错了 import com.fasterxml.jackson.databind.annotation.JsonSerialize; import com.fasterxml.jackson.annotation.JsonProperty; import lombok.Data;JsonSerialize Data public class Item {JsonProperty(value "Token")private String token…...

编程日记 2025/7/21 12:11:41

Android仿前端分页组件pagination

仿前端pagination Android仿前端分页组件pagination 最近Android原生有个需求就是做个分页组件，不用上拉加载，因为数据量太大用户喜欢前端的方式，UI主要是拼凑比较简单，主要补充了一些判断越界和数据不全的细节，记录方…...

编程日记 2025/7/25 4:08:27

网络安全中常用浏览器插件、拓展

引言现在的火狐、Edge（ Chromium内核）、Chrome等浏览器带有插件、拓展（Plugin）的功能。这些插件中有的可以过滤广告，有的提供便捷的翻译，有的提供JavaScript脚本支持，方便用户的使用也大大的增…...

编程日记 2025/7/23 21:02:00

Vue 使用 Cropper.js 实现图片裁剪功能

前言图片裁剪功能无论是用户头像的裁剪，还是图片内容的精确调整，都成为了提升用户体验的关键一环。Vue.js 结合 Cropper.js 这一功能丰富的图片裁剪库，可以轻松实现高效、直观的图片裁剪功能。本文将详细介绍如何在 Vue.js 项目中集成并使用…...

编程日记 2025/7/25 18:50:23

Python 3 和 JSON 数据格式

Python 3 和 JSON 数据格式 Python 3 是一种广泛使用的编程语言，以其简洁明了的语法和强大的功能而闻名。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。Python 3 提供了内置的 json 模块，使得在 Python 程序…...

编程日记 2025/7/26 23:33:22

Halo 正式开源: 使用可穿戴设备进行开源健康追踪

在飞速发展的可穿戴技术领域，我们正处于一个十字路口——市场上充斥着各式时尚、功能丰富的设备，声称能够彻底改变我们对健康和健身的方式。然而，在这些光鲜的外观和营销宣传背后，隐藏着一个令人担忧的现实：大多数这些…...

编程日记 2025/7/25 9:14:10

第一个autogen与docker项目

前提条件：在windows上安装docker 代码如下： import os import autogen from autogen import AssistantAgent, UserProxyAgentllm_config {"config_list": [{"model": "GLM-4-Plus","api_key": "your api…...

编程日记 2025/7/26 13:14:37

React第四节组件的三大属性之state

前言状态 state适用于类式组件中，而再函数式组件中需要使用 useState HOOK 模拟状态; React的组件就是一个状态机，通过与用户的交互，实现不同的状态，根据不同的状态展现出不一样的UI视图并不是组件中所有的属性都是组件的状态…...

编程日记 2025/7/27 6:29:18

在 CentOS 系统上直接安装 MongoDB 4.0.25

文章目录步骤 1：配置 MongoDB 官方源步骤 2：安装 MongoDB步骤 3：启动 MongoDB 服务步骤 4：验证安装步骤 5：可选配置注意事项以下是在 CentOS 系统上直接安装 MongoDB 4.0.25 的详细步骤： 步骤 1&#x…...

编程日记 2025/7/26 14:20:36

C++知识点总结(58)：序列型动态规划

动态规划Ⅰ 一、基础1. 意义2. 序列 dp 解法二、例题1. 最大子段和2. 删数最大子段和（数据强度：pro max）3. 最长上升子序列（数据强度：pro max）4. 3 或 5 的倍数序列5. 数码约数序列一、基础 1. 意义动…...

编程日记 2025/7/23 5:40:05

【系统架构设计师】真题论文: 论网络安全体系设计（包括解题思路和素材）

更多内容请见：备考系统架构设计师-专栏介绍和目录文章目录真题题目（2014年试题4）解题思路论文素材参考网络安全体系设计目标与原则网络安全体系的主要组成部分网络安全体系设计流程真题题目（2014年试题4）随着社会信息化的普及，计算机网络已经在各行各业得到了广泛…...

编程日记 2025/7/26 19:56:38

TypeScript学习笔记(三)

类型详细介绍七、常用类型与语法 1.any any 的含义是：任意类型，一旦将变量类型限制为 any , 那就意味着放弃了对该变量的类型检查。 // 明确的表示a的类型是 any —— 【显式的any】 let a: any // 以下对a的赋值，均⽆警告 a 100 a 你…...

编程日记 2025/7/27 11:28:30

logstash 解析数组格式json数据：split, json

1，需求说明原始数据格式： 1条 （2*2）》4个指标数据 [{"app":"aa","url":"www.1.com","metrics":[{"name":"cpu","value":11},{"name&quo…...

编程日记 2025/7/25 23:31:29

修改一下达梦disql 提示符

经常用disql的有时某些信息希望提示一下，默认的只显示SQL> 为了方便使用，可以在 glogin.sql 中增加些内容。 vi $DM_HOME/bin/disql_conf/glogin.sql增加以下几行 set time on set lineshow offcol global_name new_value global_name SELECT ins…...

编程日记 2025/7/26 17:35:52

Vue通用组件设计原则

在 Vue.js 开发中，设计通用组件是一项重要的任务，可以提升代码的复用性和可维护性。以下是通用组件设计的主要原则和最佳实践： 1. 清晰的职责划分通用组件应该具有单一的职责，专注于完成某一类特定功能，而不依赖具体…...

编程日记 2025/7/25 16:31:22

uniapp页面样式和布局和nvue教程详解

uniapp页面样式和布局和nvue教程尺寸单位 uni-app 支持的通用 css 单位包括 px、rpx px 即屏幕像素。rpx 即响应式px，一种根据屏幕宽度自适应的动态单位。以750宽的屏幕为基准，750rpx恰好为屏幕宽度。屏幕变宽，rpx 实际显示效果会等比放大…...

编程日记 2025/7/23 22:12:54

Spark SQL操作

文章目录

一、DataFrame的创建与保存

1.前提操作

2.数据准备

3.创建

4.保存DataFrame

二、DataFrame的操作

1.printSchema

2.show

3.select

4.filter

5.groupBy(filed)

6.sort(field)

三、临时表操作

1.创建临时表

2.通过临时表及SQL语句进行查询

四、从RDD转换得到DataFrame

1.利用反射机制推断RDD模式

2.使用编程方式定义RDD模式

五、案例：

1.统计学生成绩

1.请采用RDD编程统计每位学生的总成绩（score_sum）

2.请采用DataFrame以表的形式展示学生成绩信息

3.请采用DataFrame以表的形式展示学生成绩信息（根据学号升序排序）

4.请采用DataFrame以表的形式展示学生成绩信息（根据成绩1降序排序，成绩1相同的则根据成绩二降序排序）

相关文章：