当前位置：首页 > news >正文

Spark入门（Python）

news 来源：原创 2025/5/19 13:14:41

一、安装Spark

二、Spark基本操作

一、安装Spark

pip3 install pyspark

二、Spark基本操作

# 导入spark的SparkContext,SparkConf模块
from pyspark import SparkContext, SparkConf
# 导入os模块
import os
# 设置PYSPARK的python环境
os.environ['PYSPARK_PYTHON'] = "C:\\Users\\Administrator\\AppData\\Local\\Programs\\Python\\Python310\\python.exe"# 构建SparkConf()设置AppName和Master
conf = SparkConf().setAppName("myapp").setMaster("local")
# 构建入口对象SparkContext对象sc
sc = SparkContext(conf=conf)# 定义列表对象
list1 = [1, 2, 3, 4, 5]
# 构建list对象的RDD对象
rdd1 = sc.parallelize(list1)
print(rdd1.collect())# 定义元祖tuple对象
tuple1 = (1, 2, 3, 4, 5)
# 构建tuple对象的RDD对象
rdd2 = sc.parallelize(tuple1)
print(rdd2.collect())# 定义字典对象
dict1 = {'a': 1, 'b': 2, 'c': 3}
# 构建dict对象的RDD对象
rdd3 = sc.parallelize(dict1)
print(rdd3.collect())# 定义集合对象
set1 = {1, 2, 3, 4, 5}
# 构建集合对象的RDD对象
rdd4 = sc.parallelize(set1)
print(rdd4.collect())# 定义字符串对象
string1 = "Hello, World!"
# 构建字符串对象的RDD对象
rdd5 = sc.parallelize(string1)
print(rdd5.collect())# 通过textFile方法构建RDD对象
# data.txt文件内容如下：
# python java python python java
# java python C pascal java
# C java python pascal basic
# basic C java python python
# C C java basic java
rdd6 = sc.textFile('./data.txt')
print(rdd6.collect())# 使用flatMap算子将rdd6中的元素进行解构拆分
rdd7 = rdd6.flatMap(lambda x: x.split(' '))
print(rdd7.collect())# 使用map算子将rdd7中的元素进行结构转换
# 构造成(x,1)的元祖
rdd8 = rdd7.map(lambda x:(x,1))
print(rdd8.collect())# 使用reduceByKey算子对rdd8中的元素进行聚合
rdd9 = rdd8.reduceByKey(lambda x,y:x+y)
print(rdd9.collect())# 使用sortBy算子对rdd9中的元素进行排序
rdd10 = rdd9.sortBy(lambda x:x[1],ascending=False,numPartitions=1)
print(rdd10.collect())# 使用filter算子对rdd10中的元素进行过滤
rdd11 = rdd10.filter(lambda x:x[0] == 'java')
print(rdd11.collect())# def add(x):
#     return x + 1
#
# rdd = rdd1.map(add).map(lambda x: x * 10)
#
# print(rdd.collect())# rdd = sc.parallelize(['a', 'b', 'd', 'd'])
#
# rdd2 = rdd.map(lambda x:(x,1))
#
# print(rdd2.collect())
#
# rdd3 = rdd2.reduceByKey(lambda x,y:x+y)
#
# print(rdd3.collect())
#
# rdd4 = rdd2.countByKey()
#
# print(rdd4)sc.stop()

Spark入门（Python）

目录一、安装Spark 二、Spark基本操作一、安装Spark pip3 install pyspark 二、Spark基本操作 # 导入spark的SparkContext,SparkConf模块 from pyspark import SparkContext, SparkConf # 导入os模块 import os # 设置PYSPARK的python环境 os.environ[PYSPARK_PYTHON] &…...

编程日记 2025/5/19 13:14:41

.NET Core缓存

目录缓存的概念客户端响应缓存 cache-control 服务器端响应缓存内存缓存（In-memory cache） 用法 GetOrCreateAsync 缓存过期时间策略缓存的过期时间解决方法： 两种过期时间策略： 绝对过期时间滑动过期时间两…...

编程日记 2025/5/17 18:47:35

IoTDB 2025 春节值班与祝福

2025 春节快乐瑞蛇迎吉庆，祥光映华年，2025 春节已近在眼前。社区祝福 IoTDB 的所有关注者、支持者、使用者 2025 新年快乐，“蛇”来运转！ IoTDB 团队的春节放假时间为 2025 年 1 月 27 日至 2 月 4 日，1 月 25 日、26…...

编程日记 2025/5/19 13:10:14

Qt Ribbon使用实例

采用SARibbon创建简单的ribbon界面实例代码如下所示： 1、头文件： #pragma once #include <SARibbonBar.h> #include "SARibbonMainWindow.h" class QTextEdit; class SAProjectDemo1 : public SARibbonMainWindow { Q_OBJECT pub…...

编程日记 2025/5/19 13:13:19

maven的打包插件如何使用

默认的情况下，当直接执行maven项目的编译命令时，对于结果来说是不打第三方包的，只有一个单独的代码jar，想要打一个包含其他资源的完整包就需要用到maven编译插件，使用时分以下几种情况第一种：当只是想单纯…...

编程日记 2025/5/18 5:21:39

Linux——rzsz工具

rzsz这个工具用于 windows 机器和远端的 Linux 机器通过 XShell 传输文件. 安装完毕之后可以通过拖拽的方式将文件上传过去. 安装rzsz工具 rz：从Windows机器上传到远程Linux机器（或者直接把文件托进Xshell中） sz：将文件从Linux远…...

编程日记 2025/5/8 5:21:42

航空客户价值的数据挖掘与分析（numpy+pandas+matplotlib+scikit-learn）

文章目录航空客户价值的数据挖掘与分析（numpy+pandas+matplotlib+scikit-learn）写在前面背景与挖掘目标1.1 需求背景1.2 挖掘目标1.3 项目概述项目分析方法规划2.1 RFM模型2.2 LRFMC模型指标2.3 分析总体流程图数据抽取探索及预处理3.1 数据抽取3.2 数据探索分析3.3 数据预处…...

编程日记 2025/5/19 12:56:17

【文星索引】搜索引擎项目测试报告

目录一、项目背景二、项目功能2.1 数据收集与索引2.2 API搜索功能2.3 用户体验与界面设计2.4 性能优化与维护三、测试报告3.1 功能测试3.2 界面测试3.3 性能测试3.4 兼容性测试3.5 自动化测试四、测试总结4.1 功能测试方面4.2 性能测试方面4.3 用户界面测试方面一、项目背…...

编程日记 2025/5/19 12:47:51

【C++】特殊类设计、单例模式与类型转换

目录一、设计一个类不能被拷贝 （一）C98 （二）C11 二、设计一个类只能在堆上创建对象 （一）将构造函数私有化，对外提供接口 （二）将析构函数私有化三、设计一个类只…...

编程日记 2025/5/19 12:42:14

Nxopen 直齿轮参数化设计

NXUG1953 Visualstudio 2019 参考论文： A Method for Determining the AGMA Tooth Form Factor from Equations for the Generated Tooth Root Fillet //FullGear// Mandatory UF Includes #include <uf.h> #include <uf_object_types.h>// Internal I…...

编程日记 2025/5/11 9:43:37

Vue.js组件开发-实现HTML内容打印

在Vue项目中实现打印功能，可以借助vue-html-to-paper插件来完成。步骤创建Vue项目：如果还没有Vue项目，可以使用Vue CLI来创建一个新的项目。 npm install -g vue/cli vue create vue-print-template cd vue-print-template安装vue-html-…...

编程日记 2025/5/19 12:42:14

大模型GUI系列论文阅读 DAY4续：《Large Language Model Agent for Fake News Detection》

摘要在当前的数字时代，在线平台上虚假信息的迅速传播对社会福祉、公众信任和民主进程构成了重大挑战，并影响着关键决策和公众舆论。为应对这些挑战，自动化假新闻检测机制的需求日益增长。预训练的大型语言模型（LLMs&#xff0…...

编程日记 2025/5/18 21:05:15

Day27-【13003】短文，线性表两种基本实现方式空间效率、时间效率比较？兼顾优点的静态链表是什么？如何融入空闲单元链表来解决问题？

文章目录本次内容总览第四节，两种基本实现方式概览两种基本实现方式的比较元素个数n大于多少时，使用顺序表存储的空间效率才会更高？时间效率比较？*、访问操作，也就是读运算，读操作1、插入，2、删…...

编程日记 2025/5/16 9:24:39

Scrapy如何设置iP,并实现IP重用, IP代理池重用

前置知识 1/3乐观锁 2/3 Scrapy流程(非全部) 3/3 关于付费代理我用的"快代理", 1000个ip, 每个ip1min的有效期, 你用的时候, 把你的链接, 用户名填上去就行设置代理IP 🔒 & 帮助文档: ①meta ②meta#proxy$ 语法: ①proxy的设置: Request对象中…...

编程日记 2025/5/19 12:52:55

动手学图神经网络（4）：利用图神经网络进行图分类

利用图神经网络进行图分类：从理论到实践引言在之前的学习中，大家了解了如何使用图神经网络（GNNs）进行节点分类。本次教程将深入探讨如何运用 GNNs 解决图分类问题。图分类是指在给定一个图数据集的情况下，根据图的一些结构属性对整个图进行分类，而不是对图中的节点进…...

编程日记 2025/5/19 12:52:54

C++游戏开发深度解析

引言在本篇文章中，我们将深入探讨C在游戏开发中的应用，包括内存管理、面向对象编程（OOP）、模板使用等，并通过实际代码示例来帮助理解。内存管理与智能指针 cpp 深色版本 #include <iostream> #include <…...

编程日记 2025/5/19 12:54:42

ultralytics 是什么？

ultralytics 是一个用于计算机视觉任务的 Python 库，专注于提供高效、易用的目标检测、实例分割和图像分类工具。它最著名的功能是实现 YOLO（You Only Look Once） 系列模型，特别是最新的 YOLOv8。 1. YOLO 是什么？ YO…...

编程日记 2025/5/18 17:38:22

【从零到一，C++项目实战】CineShare++（基于C++的视频点播系统）

🌈个人主页： 南桥几晴秋 🌈C专栏： 南桥谈C 🌈C语言专栏： C语言学习系列 🌈Linux学习专栏： 南桥谈Linux 🌈数据结构学习专栏： 数据结构杂谈 🌈数据…...

编程日记 2025/5/19 10:40:46

kaggle-ISIC 2024 - 使用 3D-TBP 检测皮肤癌-学习笔记

问题描述： 通过从 3D 全身照片 (TBP) 中裁剪出单个病变来识别经组织学确诊的皮肤癌病例数据集描述： 图像临床文本信息评价指标： pAUC，用于保证敏感性高于指定阈值下的AUC 主流方法分析（文本） 基于CatBoo…...

编程日记 2025/5/19 7:09:49

C语言深入解析 printf的底层源码实现

深入解析 printf 的底层源码实现 printf 是 C 标准库中最常用的函数之一，用于格式化输出字符串。它的底层实现复杂且高效，包含多个模块化的函数和机制。本文结合 GNU C Library（glibc）的源码，详细分析 printf 的实现原…...

编程日记 2025/5/19 13:11:53

IPhone14 Pro 设备详情

目录产品宣传图内部图——后设备详细信息产品宣传图内部图——后设备详细信息信息收集于HubWeb.cn...

编程日记 2025/5/19 12:45:38

vim多文件操作如何同屏开多个文件

[rootxxx ~]# vimdiff aa.txt bb.txt cc.txt #带颜色比较的纵向排列打开的同屏多文件操作示例： [rootxxx ~]# vimdiff -o aa.txt bb.txt cc.txt #带颜色比较的横向排列打开的同屏多文件操作示例： [rootxxx ~]# vim -O aa.txt bb.txt c…...

编程日记 2025/5/19 12:47:50

18款炫酷烟花合集

系列专栏《Python趣味编程》《C/C趣味编程》《HTML趣味编程》《Java趣味编程》写在前面 Python、C/C、HTML、Java等4种语言实现18款炫酷烟花的代码。 Python Python烟花① 完整代码：Python动漫烟花（完整代码）-CSDN博客 Python烟…...

编程日记 2025/5/19 12:52:54

服务器虚拟化技术详解与实战：架构、部署与优化

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 引言在现代 IT 基础架构中，服务器虚拟化已成为提高资源利用率、降低运维成本、提升系统灵活性的重要手段。通过服务…...

编程日记 2025/5/19 13:08:31

01.双Android容器解决方案

目录写在前面一，容器 1.1 容器的原理 1.1.1 Namespace 1.1.2 Cgroups（Control Groups） 1.1.3 联合文件系统（Union File System） 1.2 容器的应用 1.2.1 微服务架构 1.2.2 持续集成和持续部署（CI/C…...

编程日记 2025/5/19 12:51:11

C++封装红黑树实现mymap和myset和模拟实现详解

文章目录 map和set的封装map和set的底层 map和set的模拟实现insertiterator实现的思路operatoroperator- - map和set的封装介绍map和set的底层实现 map和set的底层一份模版实例化出key的rb_tree和pair<k,v>的rb_tree rb_tree的Key和Value不是我们之前传统意义上的key/…...

编程日记 2025/5/19 12:40:13

嵌入式知识点总结 Linux驱动 (一)-指令-常用Linux指令 GCC指令 GDB调试指令驱动开发指令

针对于嵌入式软件杂乱的知识点总结起来，提供给读者学习复习对下述内容的强化。目录 1.怎么查看当前进程？怎么执行退出？怎么查看当前路径？ 2.ls命令执行有什么功能？可以带哪些参数？ 3.创建目录用什么命令…...

编程日记 2025/5/19 12:43:58

数字化创新者如何利用开源2+1链动模式AI智能名片S2B2C商城小程序源码重塑市场地位

摘要：在数字化转型的浪潮中，数字化创新者正通过整合前沿技术，重塑行业格局，引领市场变革。本文深入探讨了开源21链动模式、AI智能名片以及S2B2C商城小程序源码等技术在数字化创新中的应用，旨在揭示这些技术如何助力企业…...

编程日记 2025/5/19 12:43:59

以用户为中心，优化 B 端界面设计

在数字化转型的进程中，B 端产品已成为企业高效运营的关键支撑，而 B 端界面设计则是决定其成败的核心要素。以用户为中心优化 B 端界面，不仅能提升员工操作体验，还能为企业运营注入强大动力。以用户为中心，意味着深入洞…...

编程日记 2025/5/5 8:22:39

微服务学习-服务调用组件 OpenFeign 实战

1. OpenFeign 接口方法编写规范 1.1. 在编写 OpenFeign 接口方法时，需要遵循以下规范 1.1.1.1. 接口中的方法必须使用 RequestMapping、GetMapping、PostMapping 等注解声明 HTTP 请求的类型。 1.1.1.2. 方法的参数可以使用 RequestParam、RequestHeader、PathVa…...

编程日记 2025/5/15 14:40:20

使用国内镜像加速器解决 Docker Hub 拉取镜像慢或被屏蔽的问题

一、问题背景 Docker Hub 是 Docker 默认的镜像仓库，但由于网络限制，国内用户直接拉取镜像可能面临以下问题： 下载速度极慢（尤其是大镜像）。连接超时或完全被屏蔽（部分网络环境）。依赖国外源的…...

编程日记 2025/5/15 17:25:44

反向代理模块。。

1 概念 1.1 反向代理概念反向代理是指以代理服务器来接收客户端的请求，然后将请求转发给内部网络上的服务器，将从服务器上得到的结果返回给客户端，此时代理服务器对外表现为一个反向代理服务器。对于客户端来说，反向代理就相当于…...

编程日记 2025/5/14 21:44:07

《十七》浏览器基础

浏览器：是安装在电脑里面的一个软件，能够将页面内容渲染出来呈现给用户查看，并让用户与网页进行交互。常见的主流浏览器： 常见的主流浏览器有：Chrome、Safari、Firefox、Opera、Edge 等。输入 URL，浏览…...

编程日记 2025/5/17 16:53:57

飞致云开源社区月度动态报告（2025年1月）

自2023年6月起，中国领先的开源软件公司飞致云以月度为单位发布《飞致云开源社区月度动态报告》，旨在向广大社区用户同步飞致云旗下系列开源软件的发展情况，以及当月主要的产品新版本发布、社区运营成果等相关信息。飞致云开源运营数据概览&…...

编程日记 2025/5/18 3:35:11

【PyQt5】数据库连接失败: Driver not loaded Driver not loaded

报错内容如下： 可以看到目前所支持的数据库驱动仅有[‘QSQLITE’, ‘QMARIADB’, ‘QODBC’, ‘QODBC3’, ‘QPSQL’, ‘QPSQL7’] 我在网上查找半天解决方法未果，其中有一篇看评论反馈是可以使用的，但是PyQt5的版本有点低，5.12…...

编程日记 2025/5/18 23:29:39

Linux之内存管理前世今生（一）

一个程序（如王者荣耀）平常是存储在硬盘上的，运行时才把这个程序载入内存，CPU才能执行。问题： 这个程序载入内存的哪个位置呢？载入内核所在的空间吗？系统直接挂了。一、虚拟内存 1.1 内存分…...

编程日记 2025/5/16 10:40:04

【cran Archive R包的安装方式】

cran Archive R包的安装方式添加链接描述 1.包被cran移除 2.包要求的R语言版本与你电脑上的版本不相符 ad archive包的网址或者是下载到工作目录下，ad等于文件名 install,packages(ad repos NULL)...

编程日记 2025/5/18 16:16:13

Python中容器类型的数据（上）

若我们想将多个数据打包并且统一管理，应该怎么办? Python内置的数据类型如序列(列表、元组等)、集合和字典等可以容纳多项数据，我们称它们为容器类型的数据。序列序列 (sequence) 是一种可迭代的、元素有序的容器类型的数据。序列包括列表 (list)…...

编程日记 2025/5/15 19:57:19

2025美赛美国大学生数学建模竞赛A题完整思路分析论文（43页）（含模型、可运行代码和运行结果）

2025美国大学生数学建模竞赛A题完整思路分析论文目录摘要一、问题重述二、问题分析三、模型假设四、模型建立与求解 4.1问题1 4.1.1问题1思路分析 4.1.2问题1模型建立 4.1.3问题1样例代码（仅供参考） 4.1.4问题1样例代码运行结果&…...

编程日记 2025/5/17 9:16:26

OneDrive同步桌面实现文件备份

Target 将笔记本桌面与OneDrive同步，当Desktop的文件发生变动时，自动更新到OneDrive。取消旧的OneDrive账号与本机的关联点击logo，弹出界面，点击设置。随后打开OneDrive界面，点击“同步与备份”，“备…...

编程日记 2025/5/15 14:40:57

14.模型，纹理，着色器

模型、纹理和着色器是计算机图形学中的三个核心概念，用通俗易懂的方式来解释： 1. 模型：3D物体的骨架通俗解释： 模型就像3D物体的骨架，定义了物体的形状和结构。比如，一个房子的模型包括墙、屋顶、窗户等…...

编程日记 2025/5/17 21:51:50

用C++编写一个2048的小游戏

以下是一个简单的2048游戏的实现。这个实现使用了控制台输入和输出，适合在终端或命令行环境中运行。 2048游戏的实现 1.游戏逻辑 2048游戏的核心逻辑包括： • 初始化一个4x4的网格。 • 随机生成2或4。 • 处理玩家的移动操作（上、下、左、…...

编程日记 2025/5/15 6:15:07

python -m pip和pip的主要区别

python -m pip和pip的主要区别在于它们与Python环境的关联方式和安装路径。‌ ‌与Python环境的关联方式‌： pip 是直接使用命令行工具来安装Python包，不指定特定的Python解释器。如果系统中存在多个Python版本，可能会导致安装的包被安装到…...

编程日记 2025/5/17 6:28:20

linux监控脚本+自动触发邮件发送

linux脚本需求： CPU 负载：使用 uptime 命令，我们可以清楚地了解系统的 CPU 负载情况。这个命令会显示系统在过去 1 分钟、5 分钟和 15 分钟的平均负载。高负载可能意味着系统正在处理大量的任务，可能会导致性能下降或服务响应延迟…...

编程日记 2025/5/18 2:15:40

Mybaties缓存机制

Mybatis缓存机制在 MyBatis 中，缓存机制是用来提高查询效率的一种方式。MyBatis 提供了两种内置的缓存机制：一级缓存和二级缓存。 1. 一级缓存（Local Cache） 一级缓存是基于 SqlSession 的。当你在同一个 SqlSession 中执行相…...

编程日记 2025/5/12 8:23:15

面试题-Java集合框架

前言 Java集合框架（Java Collections Framework）是Java平台提供的一套用于表示和操作集合的统一架构。它位于java.util包中，并且自Java 1.2（也称为Java 2平台，标准版，即Java SE 2）起成为Java平…...

编程日记 2025/5/17 11:26:05

半波整流和全波整流电路汇总及电路仿真

0 前言 0.1 引言整流电路是将交流电（AC）转换为直流电（DC）的电路，广泛应用于电源设计、信号处理和电力电子等领域。整流电路的基本功能是将交流电的正半周或负半周转换为直流电，从而为电子设备提供稳定的直流电源。本文将详细介绍半波整流和全波整流电路的工作原理、电…...

编程日记 2025/5/17 17:35:47

04-机器学习-网页数据抓取

网络爬取（Web Scraping）深度指南 1. 网络爬取全流程设计一个完整的网络爬取项目通常包含以下步骤： 目标分析： 明确需求：需要哪些数据（如商品价格、评论、图片）？网站结构分析&…...

编程日记 2025/5/16 21:21:27

豆包MarsCode：前缀和计算问题

问题描述思路分析问题理解小S的任务是计算一个整数数组 nums 的前缀和。前缀和是指从数组开始到某个位置的所有元素的累加值，形成一个新数组。例如： 输入数组：nums [4, 5, 1, 6]前缀和数组：[4, 9, 10, 16] 4 49 4 510 …...

编程日记 2025/5/14 3:46:22

MySQL中InnoDB逻辑存储结构

在MySQL中，InnoDB是最常用的存储引擎之一，它具有高度的事务支持、行级锁、ACID特性以及自动崩溃恢复等特性。InnoDB的逻辑存储结构可以分为多个层次，下面是详细的解析。 1. 表空间 (Tablespace) InnoDB的物理存储结构以表空间为基础。表空间…...

编程日记 2025/5/14 17:24:20

一、安装Spark

二、Spark基本操作

相关文章：