当前位置：首页 > news >正文

【Spark】Spark Join类型及Join实现方式

news 来源：原创 2025/6/26 6:59:43

如果觉得这篇文章对您有帮助，别忘了点赞、分享或关注哦！您的一点小小支持，不仅能帮助更多人找到有价值的内容，还能鼓励我持续分享更多精彩的技术文章。感谢您的支持，让我们一起在技术的世界中不断进步！

`Spark Join类型`

在这里插入图片描述

1. Inner Join (内连接)

示例：

val result = df1.join(df2, df1("id") === df2("id"), "inner")

执行逻辑：只返回那些在两个表中都有匹配的行。

2. Left Join (左外连接)

示例：

val result = df1.join(df2, df1("id") === df2("id"), "left")

执行逻辑：返回左表的所有记录，并且右表的匹配行，若右表没有匹配行则返回 null。

3. Right Join (右外连接)

示例：

val result = df1.join(df2, df1("id") === df2("id"), "right")

执行逻辑：返回右表的所有记录，并且左表的匹配行，若左表没有匹配行则返回 null。

4. Full Join (全外连接)

示例：

val result = df1.join(df2, df1("id") === df2("id"), "outer")

执行逻辑：返回左表和右表的所有记录，若某一方没有匹配，另一方则填充 null。

5. Left Semi Join (左半连接)

示例：

val result = df1.join(df2, df1("id") === df2("id"), "left_semi")

执行逻辑：返回左表中与右表匹配的行，只返回左表数据，不返回右表。

6. Left Anti Join (左反连接)

示例：

val result = df1.join(df2, df1("id") === df2("id"), "left_anti")

执行逻辑：返回左表中不与右表匹配的行。

7. Cross Join (笛卡尔积连接)

示例：
```
val result = df1.crossJoin(df2)
```
执行逻辑：返回两表的笛卡尔积，左表的每一行与右表的每一行组合。

`Spark Join实现方式`

在 Spark 中，Join 操作有多种实现方式，每种方式的实现原理、适用场景和执行性能有所不同。接下来我们详细讨论以下几种常见的
Join 实现方式：

在这里插入图片描述

1. CPJ（Cartesion Product Join）笛卡尔积连接

工作原理：

笛卡尔积连接是最基础的连接方式，它将两个数据集的每一条记录与另一个数据集的每一条记录进行配对，从而生成一个新的结果集。这个操作是非常低效的，因为它会产生
N * M 条记录（N 和 M 分别是两个数据集的行数）。
这种方式不需要连接条件，因此通常不是我们期望的连接类型。

执行性能：

效率低：当两个数据集的大小很大时，计算量将急剧增加。通常，笛卡尔积连接仅在明确需要时使用（例如，计算所有可能的配对）。

Spark 选择笛卡尔积的情况：

笛卡尔积连接在 Spark 中通常是显式调用 crossJoin() 时使用。

2. SMJ（Shuffle Sort Merge Join）排序归并连接

工作原理：

排序归并连接首先对两个数据集按照连接键进行排序，然后使用 merge 操作将排序后的数据集进行合并。数据集会被按连接键进行 shuffle，然后在每个分区内执行归并操作。
这种方法非常适合处理大规模的分布式数据，尤其是当两个数据集都很大并且有良好的分区时。

执行性能：

效率较高：适合大数据量的连接，尤其当连接键有排序特性时。
由于需要对数据进行排序和 shuffle，这会增加网络和磁盘的 I/O 成本。

Spark 选择 SMJ 的情况：

当数据集较大并且 Spark 能够进行有效的 shuffle 操作时，Spark 会选择 SMJ。
如果连接的表已经分区或有排序字段，则 Spark 会优先选择该方式。

3. SHJ（Shuffle Hash Join）哈希连接

工作原理：

哈希连接（SHJ） 是一种基于哈希表的连接方式。其基本思想是将一个表（通常是较小的表）哈希到内存中，然后通过哈希表查找另一个表的匹配记录。该方法特别适合处理大规模的数据集，尤其是当连接的两个数据集都比较大时，或者当连接键不具有顺序或排序特性时。
执行步骤：
分区阶段（Shuffle）：首先，Spark 会将两个数据集根据连接键进行 shuffle（重分区），确保具有相同连接键的记录被发送到同一个节点。此时，数据会按照连接键进行重分区。
构建哈希表：选择较小的表（通常是内表），在每个节点上对该表进行哈希，构建哈希表。哈希表存储连接键及其对应的记录。
匹配查找：然后，在同一个节点上扫描较大的表（外表），对于每一条记录，使用相同的连接键查找哈希表中的匹配项。如果匹配，则生成结果。

执行性能：

高效：相比传统的嵌套循环连接（NLJ），哈希连接通常在处理大数据集时更为高效，特别是当连接条件是等值连接时。

Spark 选择 SHJ 的情况：

外表大小至少是内表的3倍且内表的数据分片平均大小要小于广播变量阈值，Spark 会选择 Shuffle Hash Join。

4. BNLJ（Broadcast Nested Loop Join）广播嵌套循环连接

工作原理：

广播嵌套循环连接是嵌套循环连接的一种优化形式，针对连接的一个表较小的情况。它首先将较小的表（通常是内表）广播到所有执行节点，然后对大表（通常是外表）进行扫描。在每个节点上，将小表加载到内存中，并在每个分区上与外表进行连接。

执行性能：

高效：相比于传统的嵌套循环连接（Nested Loop Join），广播嵌套循环连接的效率较高，因为它通过将小表广播到每个节点，避免了全局的 shuffle 操作，减少了数据传输的延迟。
适合当一个表非常小（例如，broadcast() 小表时）时，执行性能特别好。

Spark 选择 BNLJ 的情况：

Spark 会自动选择 Broadcast Nested Loop Join，当数据集中的一个表较小（可以放入内存）时，Spark 会选择该表进行广播，从而提高连接操作的性能。通常，Spark
会根据表的大小和内存限制来决定是否使用广播 join。

5. BHJ（Broadcast Hash Join）广播哈希连接

工作原理：

广播哈希连接通过将一个小表广播到所有执行节点，从而避免了全局的 shuffle 操作。大的数据集会被分配到多个节点，而小的数据集会被广播到每个节点。
这种方式非常高效，适用于连接一个大表和一个小表的情况。

执行性能：

效率非常高：适用于大表和小表连接，避免了大规模的 shuffle 操作。
适合当一个表非常小（例如，broadcast() 小表时）时，执行性能特别好。

Spark 选择 BHJ 的情况：

如果其中一个表很小，Spark 会选择 BHJ，因为将小表广播到所有节点可以大大减少 shuffle 的开销。

Spark 如何选择 Join 策略？

1. 等值 Join

在等值数据关联中，Spark 会尝试按照以下顺序选择最优的连接策略：

BHJ（Broadcast Hash Join）
SMJ（Shuffle Sort Merge Join）
SHJ（Shuffle Hash Join）

适用场景：

BHJ（Broadcast Hash Join）：连接类型不能是全连接（Full Outer Join），基表需要足够小，能够放入内存并通过广播发送到所有节点。
SMJ（Shuffle Sort Merge Join）与 SHJ（Shuffle Hash Join）：支持所有连接类型，如Full Outer Join，Anti join

为什么SHJ比SMJ执行效率高，排名却不如SMJ靠前

相比 SHJ，Spark优先选择SMJ的原因在于，SMJ的实现方式更加稳定，更不容易OOM
在 Spark 中，SHJ（Shuffle Hash Join）策略要想被选中，需要满足以下两个先决条件：
a. 外表大小至少是内表的 3 倍：只有当内外表的尺寸悬殊到一定程度时，SHJ 的性能优势才会明显超过 SMJ。
b. 内表的数据分片平均大小要小于广播变量阈值：内表的数据分片必须足够小，以便能够通过广播传递到各个节点，而不引起内存溢出或性能问题。

相比 SHJ，SMJ没有这么多的附加条件，无论是单表排序，还是两表做归并关联，都可以借助磁盘来完成。内存中放不下的数据，可以临时溢出到磁盘

2. 非等值 Join

在非等值数据关联中，Spark可选的Join策略只有BNLJ(Broadcast Nested Loop Join)和CPJ(Cartesion Product Join),BNLJ适合内表满足广播情况，否则只能用CPJ兜底

【Spark】Spark Join类型及Join实现方式

如果觉得这篇文章对您有帮助，别忘了点赞、分享或关注哦！您的一点小小支持，不仅能帮助更多人找到有价值的内容，还能鼓励我持续分享更多精彩的技术文章。感谢您的支持，让我们一起在技术的世界中不断进步！ Sp…...

编程日记 2025/6/26 6:59:43

docker安装、升级、以及sudo dockerd --debug查看启动失败的问题

1、docker安装包tar下载地址 Index of linux/static/stable/x86_64/ 2、下载tgz文件并解压 tar -zxvf docker-24.0.8.tgz 解压后docker文件夹下位docker相关文件 3、将老版本docker相关文件，备份将 /usr/bin/docker下docker相关的文件，mv到备份目录…...

编程日记 2025/6/26 6:39:42

做T和做T+0有什么区别

做T和做T0在股市中实际上有紧密的联系，但也有所区别。以下是对两者的详细比较： 一、定义与原理做T： 广义上，做T指的是一种通过低买高卖或高卖低买来赚取差价的交易策略。这种策略可以应用于不同的交易周期，包括日内交…...

编程日记 2025/6/26 6:44:22

【JAVA项目】基于ssm的【美食推荐管理系统】

【JAVA项目】基于ssm的【美食推荐管理系统】技术简介：采用JSP技术、B/S架构、SSM框架、MySQL技术等实现。系统简介：美食推荐管理系统，在系统首页可以查看首页、热门美食、美食教程、美食店铺、美食社区、美食资讯、我的、跳转到后台等内容。…...

编程日记 2025/6/26 6:45:42

从零开始学docker(五)-可用的docker镜像

最近docker镜像都不能访问，目前亲测可用的docker镜像可用，并拉取mysql测试完成。 [缺点] docker search 查不到镜像的索引列表，只能手动查询索引目录（解决方案在最后）。 linux服务器vim打开镜像文件daemon.json vim /e…...

编程日记 2025/5/31 23:04:12

repmgr集群部署-PostgreSQL高可用保证

📢📢📢📣📣📣 作者：IT邦德中国DBA联盟(ACDU)成员，10余年DBA工作经验， Oracle、PostgreSQL ACE CSDN博客专家及B站知名UP主，全网粉丝10万擅长主流Oracle、My…...

编程日记 2025/6/26 6:47:19

2020数字中国创新大赛-虎符网络安全赛道丨Web Writeup

本文是i春秋论坛作家「OPLV1H」表哥参加2020数字中国创新大赛-虎符网络安全赛道线上初赛的赛后总结，关于Web的Writeup记录，感兴趣的小伙伴快来学习吧。 1、hash_file — 是使用给定文件的内容生成哈希值，和文件名称无关。 2、jwt令牌结构和j…...

编程日记 2025/6/25 19:36:06

手动部署前后端项目到LInux上面

一：部署后端工程在本地的idea中先启动当前的工程，然后访问一下，看看工程是否正常访问。执行package指令，进行打包操作，将当前的springboot项目，打成一个jar包。  …...

编程日记 2025/6/26 6:50:50

【一本通】intervals

【一本通】intervals 💐The Begin💐点点关注，收藏不迷路💐 给出n个闭区间[ai,bi]和n个整数c1,……,cn。令Z表示一个整数集合，Z集合中最少要包含多少个整数可以使得每个区[ai,bi]都至少有ci个整数位于Z集合中。输入 …...

编程日记 2025/6/26 4:15:09

测试脚本并发多进程：pytest-xdist用法

参考：https://www.cnblogs.com/poloyy/p/12694861.html pytest-xdist详解： https://www.cnblogs.com/poloyy/p/14708825.html 总 https://www.cnblogs.com/poloyy/category/1690628.html...

编程日记 2025/6/25 16:15:15

ALOHA 协议详解

注：本文为 “ALOHA 协议” 相关文章合辑。未去重整理。动态分配信道（ALOHA 协议、CSMA 协议） QuantumYou 于 2021-07-27 09:32:04 发布 ALOHA 协议纯 ALOHA 协议 -纯 ALOHA 协议思想：不监听信道，不按时间槽发送…...

编程日记 2025/6/25 8:23:09

ios h5中在fixed元素中的input被focus时，键盘遮挡input (van-popup、van-feild)

问题描述： 前提：我使用的是vant组件库，其中一个页面中有一个van-popup组件，van-popup组件中又嵌套了一个van-field组件预期结果：当点击van-feild输入框时，键盘弹起，输入框显示在键盘上方实际结…...

编程日记 2025/6/22 7:02:28

【Mysql】索引下推、索引合并详解

文章目录 1. 索引下推（Index Condition Pushdown, ICP）定义工作机制实现过程优化的典型场景 2. 索引合并（Index Merge）定义索引合并方式使用限制 3. 对比与应用场景选用建议这篇文章就简单的给大家介绍下索引下推、索引合并 1. 索…...

编程日记 2025/6/22 13:10:42

简易记事本项目—基于SSM+Vue前后端分离

🌈🌈🌈今天给大家分享的是：基于SSMVue的简易记事本项目目录引言技术栈介绍项目概述 1. 用户注册 2. 用户登录 3. 用户退出 4. 事件分类 5. 事件管理项目主要图片引言在快节奏的现代生活中，我们常常被…...

编程日记 2025/6/20 14:45:26

Java转C之C/C++ 的调试和内存分析

C/C 的调试和内存分析工具非常丰富，这些工具可以帮助开发者定位错误、分析程序行为，以及检测内存问题（如内存泄漏、非法访问等）。下面将详细介绍常见的调试器和内存分析工具，并进行分类讲解。一、调试器 1. GDB (GNU…...

编程日记 2025/6/24 6:32:50

Python 面向对象编程全面解析与深度探索

目录类和对象的概念类（Class） 对象（Object） (一）属性（Attributes） （a).实例属性（Instance Attributes） （b).类属性（Class Att…...

编程日记 2025/6/22 15:45:14

零配置打包工具 Parcel 的详细使用指南

前言在前端开发中，选择一个高效且易用的打包工具至关重要。Parcel 作为一款零配置的 Web 应用打包工具，凭借其卓越的性能和简单的使用体验，赢得了众多开发者的青睐。它不仅能够自动处理依赖关系和代码打包，还支持热模块替换和多…...

编程日记 2025/6/25 21:11:37

freeswitch(开启支持MCU视频会议,使用mod_av模块)

亲测版本centos 7.9系统–》 freeswitch1.10.9 本人freeswitch安装路径（根据自己的路径进入） /usr/local/freeswitch/etc/freeswitch场景说明：有些场景想使用视频会议MCU融合画面进行开会使用方法：第一步：下载插件 yum install -y epel-release yum install...

编程日记 2025/6/23 0:17:06

Quant connect的优势和不足,学习曲线难

Quant connect的优势和不足 Quant connect作为一个成熟的算法交易平台，具有许多优势，包括： 强大的回测功能：Quant connect提供了丰富的数据源和回测功能，可以对各种交易策略进行全面的回测和分析。容易上手&#xf…...

编程日记 2025/6/25 21:11:09

对rust的全局变量使用drop方法

文章目录 rust处理全局变量的策略方法1：在main中自动Drop全局变量参考 rust处理全局变量的策略 Rust 的静态变量不会在程序退出时自动调用 Drop，因为它们的生命周期与进程绑定。 use std::sync::OnceLock;struct GlobalData {content: String, }impl …...

编程日记 2025/6/24 21:40:34

使用FastGPT制做一个AI网站日志分析器

越来越的多网站面临每天上千次的扫描和各类攻击，及时发现攻击IP，并有效的屏蔽不良访问成为网站安全的重要保障，这里我们使用AI来完成对网站日志的日常分析。我们来使用FastGPT来制做一个AI网站日志析器，下面就开始： …...

编程日记 2025/6/24 1:47:44

无限次使用 cursor pro

github地址 cursor-vip 使用方式在 MacOS/Linux 中，请打开终端； 在 Windows 中，请打开 Git Bash。然后执行以下命令来安装： 部分电脑可能会误报毒，需要关闭杀毒软件/电脑管家/安全防护再进行方式1：通过…...

编程日记 2025/6/24 1:47:46

vuex 作用及五大组成部分

Vuex 是 Vue.js 的官方状态管理库，旨在帮助开发者构建大型应用时更好地管理和共享全局状态。它提供了一种集中式存储和管理应用所有组件的状态的方式，并且遵循单一状态树的原则。通过 Vuex，可以更容易地实现状态的可预测性和调试。一、Vuex…...

编程日记 2025/6/25 1:29:38

Centos7上Jenkins+Docker+Git+SpringBoot自动化部署

文章目录 1.宿主机安装maven2.安装jenkins3.配置Jenkins4.Jenkins脚本自动安装JDK（可选） 1.宿主机安装maven wget https://dlcdn.apache.org/maven/maven-3/3.9.9/binaries/apache-maven-3.9.9-bin.tar.gz mv apache-maven-3.9.9-bin.tar.gz /usr/local…...

编程日记 2025/6/24 3:32:00

MATLAB图卷积神经网络GCN处理分子数据集节点分类研究

全文链接：https://tecdat.cn/?p38570 本文主要探讨了如何利用图卷积网络（GCN）对图中的节点进行分类。介绍了相关的数据处理、模型构建、训练及测试等环节，通过对分子数据集的操作实践，展示了完整的节点分类流程&#…...

编程日记 2025/6/25 15:52:16

高级Python游戏开发：创建一款多人对战坦克大战

在本教程中，我们将用Python的Pygame库开发一款高级的坦克大战游戏。这款游戏支持多人对战、碰撞检测、子弹射击以及地图障碍生成，适合作为学习Python高级游戏开发的练习项目。一、游戏功能概述多人对战模式：玩家可以操作坦克，在同一屏幕上互相攻击。子弹射击：坦克可以发…...

编程日记 2025/6/20 5:02:09

网站访问的基础-HTTP超文本传输协议

BS架构浏览器Browser⬅➡服务器Server 浏览器和服务器之间通过 IP 地址进行通信，实现数据的请求和传输。例如，当用户在浏览器中访问一个网站时，浏览器会根据用户输入的网址（通过 DNS 解析得到服务器 IP 地址）向服…...

编程日记 2025/6/25 21:11:13

使用Hydra库简化配置管理

使用Hydra库简化配置管理简介在现代软件开发中，配置管理是至关重要的。应用程序的灵活性和可维护性很大程度上取决于其如何处理配置。Hydra是一个由Facebook AI Research (FAIR) 开发的Python库，它旨在简化复杂应用的配置过程。Hydra使得开发者可以轻…...

编程日记 2025/6/23 19:35:14

Java对集合的操作方法

1. 数组转集合 //数组转集合 String[] split quickRechargeAmount.split(","); List<String> stringList Stream.of(split).collect(Collectors.toList()); 2. 对List集合数据内容进行分组 //对List集合数据内容进行分组 Map<String, List<LiveAppGi…...

编程日记 2025/6/21 11:31:26

WordPress酱茄主题开源版博客资讯自媒体网站模板

一款免费开源的WordPress主题，主题专为WordPress博客、资讯、自媒体网站而设计运行环境支持WordPress版本：5.6 兼容Chrome、Firefox、Safari等主流浏览器支持设备：响应式布局，不同设备不同展示效果服务器环境建议&#x…...

编程日记 2025/6/24 20:59:54

【SickOs1.1靶场渗透】

文章目录一、基础信息二、信息收集三、反弹shell 四、提权一、基础信息 Kali IP：192.168.20.146 靶机IP：192.168.20.150 二、信息收集端口扫描 nmap -sS -sV -p- -A 192.168.20.150 开放了22、3128端口，8080端口显示关闭 22端…...

编程日记 2025/6/20 4:42:42

Javaweb web后端maven介绍作用安装

自动导入到这个项目 src是源代码 main主程序，核心代码 java是Java源代码 resources是项目配置文件 test测试相关的 maven概述介绍依赖在本地仓库查找，如果本地仓库有，用本地仓库的依赖，本地没有，连接中央仓库&…...

编程日记 2025/6/20 2:00:56

Input Action (输入动作) 在虚幻引擎中常用的值类型

1. Digital (bool) 含义: Digital 类型代表一个离散的、二元的输入状态，它只有两种可能的值：true（按下，激活）或 false（未按下，未激活）。用途: 最常用于表示按键或按钮的按下状态。适合于开关类型的操作，比如：跳跃（按键按下时跳跃，松开时不跳跃）奔跑/行走切换 …...

编程日记 2025/6/23 2:21:29

LabVIEW汽车综合参数测量

系统基于LabVIEW虚拟仪器技术，专为汽车带轮生产中的质量控制而设计，自动化测量和检测带轮的关键参数。系统采用PCIe-6320数据采集卡与精密传感器结合，能够对带轮的直径、厚度等多个参数进行高精度测量，并通过比较测量法判定产品合…...

编程日记 2025/6/24 4:54:57

快速且靠谱的简单安装 PostgreSQL 15 yum 安装postgis3.3

快速且靠谱的简单安装 PostgreSQL 15 yum 安装postgis3.3 1、确保已经安装了PostgreSQL数据库。2、添加PostGIS的EPEL仓库3、使用YUM安装PostGIS4、以下为其他安装方式，一个个去找源码的编译安装，过程较为繁琐（不熟路的不推荐） 要…...

编程日记 2025/6/2 1:21:41

MySQL八股文

MySQL 自己学习过程中的MySQL八股笔记。主要来源于小林coding 牛客MySQL面试八股文背诵版以及b站和其他的网上资料。 MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言–结构化查询语言（SQL&…...

编程日记 2025/5/31 7:33:17

Python高性能web框架-FastApi教程：(1)创建一个简单的FastApi

（1）创建一个简单的FastApi 1. 导入必要的库 from fastapi import FastAPI import uvicornFastAPI 是一个用于构建现代、快速（高性能）的Web API的Python框架。uvicorn 是一个ASGI服务器，用于运行异步的Python Web应用…...

编程日记 2025/6/20 10:37:03

多模态机器学习综述论文|Multimodal Machine Learning: A Survey and Taxonomy

1. 引言多模态机器学习是一个跨学科领域，它涉及到从多种感官模态（如视觉、听觉、触觉等）中提取信息，并构建能够处理和关联这些信息的模型。这种学习方式对于人工智能理解复杂世界至关重要。名词解释： 模态Modality…...

编程日记 2025/6/24 15:05:26

CentOS8：英伟达显卡驱动与CUDA安装

挺偶然的，同事在CentOS8版本的GPU服务器上安装英伟达的显卡驱动和CUDA遇到了问题，于是协助进行了安装，顺便记录下此次安装过程与心得。目录显卡驱动安装步骤简述详细步骤 1、官网下载需要的驱动 2、驱动软件包上传并加权 3、安装…...

编程日记 2025/6/1 7:11:04

【IDEA】启动报错

今天启动IDEA报错报错信息： Cannot connect to already running IDE instance. Exception: Process 5,444 is still running 打开任务管理器，关掉进程ID5444的任务...

编程日记 2025/5/30 15:58:07

Opencv之图像梯度处理和绘制图像轮廓

一、梯度处理的sobel算子函数处理示意 Sobel 算子是一种常用的图像边缘检测方法，结合了一阶导数和高斯平滑，用于检测图像的梯度信息。 1、功能 Sobel 算子用于计算图像在 x 和 y 方向的梯度，主要功能包括： 强调图像中灰度值的…...

编程日记 2025/6/24 16:51:03

5.2章节python字符串的格式化三种方式

在Python中，格式化字符串是编程中常见的任务，它用于将变量或表达式的值嵌入到字符串中。以下是三种常见的格式化字符串的方式： 1.百分号（%）格式化： 这是Python早期版本中常用的字符串格式化方法。通过在字…...

编程日记 2025/6/24 4:28:14

.NET Core 各版本特点、差异及适用场景详解

随着 .NET Core 的不断发展，微软推出了一系列版本来满足不同场景下的开发需求。这些版本随着时间的推移逐渐演变为统一的 .NET 平台（从 .NET 5 开始）。本文将详细说明每个版本的特点、差异以及适用场景，帮助开发者更好地选择和使用…...

编程日记 2025/6/24 18:22:38

2024.12.14 TCP/IP 网络模型有哪几层?

2024.12.14 TCP/IP 网络模型有哪几层? 2024.12.14 今天周六看到大伙都在考六级，我来复盘小林coding的计算机网络的知识点： TCP/IP 网络模型有哪几层? 问大家，为什么要有 TCP/IP 网络模型? 对于同一台设备上的进程间通信，有…...

编程日记 2025/6/24 21:56:16

基于SpringBoot的嗨玩旅游网站：一站式旅游信息服务平台的设计与实现

摘要在旅游需求日益增长的今天，一个全面、便捷的旅游信息服务平台显得尤为重要。嗨玩旅游网站正是为了满足这一需求而设计的在线平台，它提供了包括景点信息、旅游线路、商品信息、社区信息和活动推广等在内的丰富旅游目的地信息，旨在帮助用…...

编程日记 2025/6/25 8:45:16

HQChart使用教程30-K线图如何对接第3方数据42-DRAWTEXTREL,DRAWTEXTABS数据结构

HQChart使用教程30-K线图如何对接第3方数据42-DRAWTEXTREL,DRAWTEXTABS数据结构效果图DRAWTEXTREL示例数据结构说明nametypecolorDrawVAlignDrawAlignDrawDrawTypeDrawDataFont DRAWTEXTABS示例数据结构说明nametypecolorDrawVAlignDrawAlignDrawDrawTypeDrawDataFont 效果图 …...

编程日记 2025/6/20 2:02:20

VMware ESXi上创建Ubuntu虚拟机并实现远程SSH访问全攻略

文章目录前言1. 在VMware ESXI中创建Ubuntu虚拟机2. Ubuntu开启SSH远程服务3. 安装Cpolar工具4. 使用SSH客户端远程访问Ubuntu5. 固定TCP公网地址前言本文主要介绍如何在VMware ESXi上创建一台Ubuntu 22.04虚拟机，并通过Cpolar内网穿透工具配置公网地址&#xf…...

编程日记 2025/6/24 17:34:55

进制的转换

前言 ‌进制‌是一种进位计数制，是人为定义的带进位的计数方法。不同的进制使用不同数量的符号，以及不同的规则来组合这些符号以表示不同的数值。一、进制类型二进制:由一串0和1组成的数字，逢二进一八进制:0 1 2 3 4 5 6 7，…...

编程日记 2025/6/23 13:03:28

迁移学习中模型训练加速（以mllm模型为例），提速15%以上

根据模型训练过程的显存占用实测的分析，一个1g参数的模型（存储占用4g）训练大约需要20g的显存，其中梯度值占用的显存约一半。博主本意是想实现在迁移学习（冻结部分参数）中模型显存占用的降低，结果不太满意，只能实现训练速度提升，但无法实现显存占用优化。预计是在现有的…...

编程日记 2025/6/25 17:17:20

Spark Join类型

1. Inner Join (内连接)

2. Left Join (左外连接)

3. Right Join (右外连接)

4. Full Join (全外连接)

5. Left Semi Join (左半连接)

6. Left Anti Join (左反连接)

7. Cross Join (笛卡尔积连接)

Spark Join实现方式

1. CPJ（Cartesion Product Join）笛卡尔积连接

2. SMJ（Shuffle Sort Merge Join）排序归并连接

3. SHJ（Shuffle Hash Join）哈希连接

4. BNLJ（Broadcast Nested Loop Join）广播嵌套循环连接

5. BHJ（Broadcast Hash Join）广播哈希连接

Spark 如何选择 Join 策略？

1. 等值 Join

2. 非等值 Join

相关文章：

`Spark Join类型`

`Spark Join实现方式`

Spark 如何选择 `Join` 策略？