当前位置：首页 > news >正文

【Hive入门】Hive与Spark SQL深度集成：执行引擎性能全面对比与调优分析

news 来源：原创 2025/7/18 1:59:23

引言

1 Hive执行引擎架构演进

1.1 Hive执行引擎发展历程

1.2 执行引擎架构对比

1.2.1 MapReduce引擎架构

1.2.2 Tez引擎架构

1.2.3 Spark引擎架构

2 执行引擎切换与配置指南

2.1 引擎切换配置方法

2.1.1 全局配置

2.1.2 会话级配置

2.2 资源管理配置

2.2.1 Tez资源配置

2.2.2 Spark资源配置

3 Spark SQL集成深度解析

3.1 Hive on Spark架构

3.2 优化器集成机制

3.3 数据交换优化

4 生产环境调优实践

4.1 执行引擎选择策略

4.2 混合引擎部署方案

4.3 关键性能参数调优

4.3.1 Spark引擎核心参数

4.3.2 Tez引擎核心参数

5 疑难问题解决方案

5.1 常见集成问题排查

5.2 高级调优技巧

6 总结

引言

在大数据生态系统中，Hive作为数据仓库基础设施，与Spark SQL作为现代分析引擎的集成已成为企业级数据平台的标配。

1 Hive执行引擎架构演进

1.1 Hive执行引擎发展历程

Hive的执行引擎经历了三个主要发展阶段：

MapReduce引擎（传统）：

最初设计基于Hadoop MapReduce
高延迟，适合批处理
缺乏高效的流水线执行

Tez引擎（过渡）：

引入DAG（有向无环图）执行模型
减少中间结果落盘
支持任务链式执行

Spark引擎：

内存计算为核心
完善的查询优化器（Catalyst）
支持交互式查询和流批一体

1.2 执行引擎架构对比

1.2.1 MapReduce引擎架构

特点：

严格的Map-Phase和Reduce-Phase分离
每个阶段间数据必须持久化到HDFS
高延迟，适合大规模批处理

1.2.2 Tez引擎架构

特点：

将作业建模为DAG
顶点(Vertex)表示处理阶段
边(Edge)表示数据移动方式
支持内存管道传输

1.2.3 Spark引擎架构

特点：

基于RDD/Dataset的弹性分布式数据集
Catalyst优化器执行逻辑和物理优化
全阶段代码生成(WholeStage Codegen)
内存优先的执行策略

2 执行引擎切换与配置指南

2.1 引擎切换配置方法

2.1.1 全局配置

在hive-site.xml中永久生效配置：

<!-- 使用MapReduce引擎 -->
<property><name>hive.execution.engine</name><value>mr</value>
</property><!-- 使用Tez引擎 -->
<property><name>hive.execution.engine</name><value>tez</value>
</property><!-- 使用Spark引擎 -->
<property><name>hive.execution.engine</name><value>spark</value>
</property>

2.1.2 会话级配置

在Hive会话中临时切换：

-- 切换到Tez
SET hive.execution.engine=tez;
-- 切换到Spark
SET hive.execution.engine=spark;

2.2 资源管理配置

2.2.1 Tez资源配置

<!-- tez-site.xml -->
<property><name>tez.am.resource.memory.mb</name><value>4096</value>
</property><property><name>tez.task.resource.memory.mb</name><value>2048</value>
</property>

2.2.2 Spark资源配置

-- 在Hive中设置Spark参数
SET spark.executor.memory=4g;
SET spark.executor.cores=2;
SET spark.executor.instances=10;
SET spark.dynamicAllocation.enabled=true;

3 Spark SQL集成深度解析

3.1 Hive on Spark架构

HiveServer2：接收查询请求
Spark Client：提交作业到集群
Spark Cluster：执行物理计划
Data Sources：读写外部存储

3.2 优化器集成机制

Hive与Spark SQL的优化器协作流程：

HiveQL解析：生成Hive抽象语法树
AST转换：转为Spark SQL的语法树
Catalyst优化：应用规则优化逻辑计划
物理执行：生成Spark RDD操作

3.3 数据交换优化

Hive与Spark间的数据传输模式：

直接HDFS读取：

Spark直接读取Hive表数据文件
零拷贝，最高效的方式

通过HiveServer2传输：

用于元数据获取和小量数据传输
应尽量减少这种模式

4 生产环境调优实践

4.1 执行引擎选择策略

场景特征	推荐引擎	理由
超大规模批处理	MapReduce	稳定性高，资源隔离好
中等规模ETL	Tez	平衡资源使用和性能
交互式分析	Spark	亚秒级响应
机器学习特征提取	Spark	与MLlib无缝集成
小文件密集型查询	Spark	高效内存处理小文件

4.2 混合引擎部署方案

各层引擎选择：

ODS层：使用MapReduce保证数据加载稳定性
DWD层：使用Tez进行中等复杂度转换
DWS/ADS层：使用Spark实现高性能聚合

4.3 关键性能参数调优

4.3.1 Spark引擎核心参数

-- 并行度控制
SET spark.sql.shuffle.partitions=200;  -- 适合集群规模
-- 内存管理
SET spark.memory.fraction=0.6;
SET spark.memory.storageFraction=0.5;
-- 执行策略
SET spark.sql.adaptive.enabled=true;  -- 开启动态调整
SET spark.sql.join.preferSortMergeJoin=true;

4.3.2 Tez引擎核心参数

<!-- tez-site.xml -->
<property><name>tez.grouping.split-count</name><value>200</value>  
</property><property><name>tez.runtime.io.sort.mb</name><value>1024</value>
</property>

5 疑难问题解决方案

5.1 常见集成问题排查

问题1：Spark作业提交失败

ERROR SparkClient: Failed to submit spark job

解决方案：

检查Spark集群资源可用性
验证Hive与Spark版本兼容性
检查spark-defaults.conf配置

问题2：性能不如预期

5.2 高级调优技巧

数据倾斜处理：

-- 倾斜键识别
SELECT key, COUNT(*) 
FROM table 
GROUP BY key 
ORDER BY 2 DESC 
LIMIT 10;
-- 倾斜处理方案
SET spark.sql.adaptive.skewJoin.enabled=true;
SET spark.sql.adaptive.skewJoin.skewedPartitionFactor=5;

内存优化技巧：

-- 控制广播阈值
SET spark.sql.autoBroadcastJoinThreshold=10485760;  -- 10MB
-- 序列化优化
SET spark.serializer=org.apache.spark.serializer.KryoSerializer;

6 总结

Hive与Spark SQL的深度集成为企业数据平台提供了从传统批处理到现代交互式分析的全栈能力。Spark引擎在大多数场景下显著优于MapReduce和Tez，特别是在需要低延迟和复杂分析的场景。然而，Tez仍然在某些中等规模ETL作业中保持着资源利用率上的优势，而MapReduce在大规模稳定批处理中仍有其价值。

在实际生产环境中，建议采用混合引擎策略，根据不同的数据流程阶段和工作负载特征选择最合适的执行引擎。同时，通过合理的参数调优和架构设计，可以充分发挥各引擎的优势，构建高性能、高效率的数据处理平台。

【Hive入门】Hive与Spark SQL深度集成：执行引擎性能全面对比与调优分析

目录引言 1 Hive执行引擎架构演进 1.1 Hive执行引擎发展历程 1.2 执行引擎架构对比 1.2.1 MapReduce引擎架构 1.2.2 Tez引擎架构 1.2.3 Spark引擎架构 2 执行引擎切换与配置指南 2.1 引擎切换配置方法 2.1.1 全局配置 2.1.2 会话级配置 2.2 资源管理配置 2.2.1 T…...

编程日记 2025/7/18 1:59:23

【算法基础】快速排序算法 - JAVA

一、算法基础 1.1 什么是快速排序快速排序（Quick Sort）是一种高效的分治排序算法，由英国计算机科学家Tony Hoare于1960年提出。它的核心思想是： 选择一个基准元素（pivot）将数组分成两部分：小…...

编程日记 2025/6/29 5:14:51

Ubuntu 24.04 通过 update-alternatives 切换GCC版本

在 Ubuntu 中编译项目, 会遇到项目依赖于某个特定版本 GCC 的情况, 例如 Ubuntu 24.04 的默认 GCC 版本是 13, 但是有一些项目需要 GCC11才能正常编译, 在 Ubuntu 24.04 默认的环境下编译会报错. 这时候可以通过 update-alternatives 切换GCC版本. all 展示全部用--all参数会…...

编程日记 2025/7/18 1:45:27

Linux中的时间同步

一、时间同步服务扩展总结 1. 时间同步的重要性多主机协作需求：在分布式系统、集群、微服务架构中，时间一致性是日志排序、事务顺序、数据一致性的基础。安全协议依赖：TLS/SSL证书、Kerberos认证等依赖时间有效性，时间偏差可能…...

编程日记 2025/7/18 1:26:56

数据赋能（209）——质量管理——时效性原则

概述数据时效性原则在数据收集、处理、分析和应用的过程中确保数据在特定时间范围内保持其有效性和相关性，为决策提供准确、及时的依据。在快速变化的市场环境中，数据时效性对于企业的竞争力和决策效率具有决定性的影响。原则定义数据时效性原则&a…...

编程日记 2025/7/18 1:30:08

AnimateCC教学：照片旋转飞舞并爆炸....

1.核心代码: <!DOCTYPE html> <html><head><meta charset="UTF-8" /><title>旋转照片演示</title><script src="https://code.createjs.com/1.0.0/createjs.min.js"></script><script src="http…...

编程日记 2025/7/18 1:27:57

1 混元-DiT所需的模型大小一共是41G https://huggingface.co/Tencent-Hunyuan/HunyuanDiT https://colab.research.google.com/ HunyuanDiT_jupyter.ipynb %cd /content !GIT_LFS_SKIP_SMUDGE1 git clone -b dev https://github.com/camenduru/HunyuanDiT %cd /content/Hun…...

编程日记 2025/7/18 1:21:33

优化高搜索量还是低竞争关键词？SEO策略解析

在2025年的SEO环境中，关键词研究仍然是优化网站排名的基石。然而，一个常见的问题困扰着SEO从业者：在使用谷歌关键词规划师（Google Keyword Planner）进行关键词研究时，是否应该优先选择月搜索量较高的关键词…...

编程日记 2025/7/18 1:45:26

对比表格：数字签名方案、密钥交换协议、密码学协议、后量子密码学——密码学基础

文章目录一、数字签名方案1.1 ECDSA：基于椭圆曲线的数字签名算法1.2 EdDSA：Edwards曲线数字签名算法1.3 RSA-PSS：带有概率签名方案的RSA1.4 数字签名方案对比二、密钥交换协议2.1 Diffie-Hellman密钥交换2.2 ECDH：椭圆曲线Diffi…...

编程日记 2025/7/18 1:37:30

在MySQL中建索引时需要注意哪些事项？

在 MySQL 中建立索引是优化查询性能的重要手段，但不当的索引设计可能导致资源浪费、性能下降甚至拖慢写入速度。所以我们我们首先要判断对于一个字段或者一些字段要不要建立索引。适合建立索引的字段通常是： 主键字段：MySQL 会自动为主键…...

编程日记 2025/6/29 5:45:36

dstack 是 Kubernetes 和 Slurm 的开源替代方案，旨在简化 ML 团队跨顶级云、本地集群和加速器的 GPU 分配和 AI 工作负载编排

一、软件介绍文末提供程序和源码下载 dstack 是 Kubernetes 和 Slurm 的开源替代方案，旨在简化顶级云和本地集群中 ML 团队的 GPU 分配和 AI 工作负载编排。二、Accelerators 加速器 dstack 支持 NVIDIA 开箱即用的、 AMD 、 Google TPU 和 Intel Gaudi 加速器…...

编程日记 2025/7/18 1:41:40

Linux 的 epoll 与 Windows 的 IOCP 详解

如果你在搞网络编程或者高性能服务器，一定要搞懂这两个模型——它们都是用来解决“多路复用”问题的工具，让你同时处理大量的网络连接变得高效又可控。一、什么是“多路复用”？简单说，就是你手里有很多任务（比如很多客户端的请求），但系统的核心（线程或者进程）资源…...

编程日记 2025/6/29 5:15:02

C# 方法(控制流和方法调用)

本章内容: 方法的结构方法体内部的代码执行局部变量局部常量控制流方法调用返回值返回语句和void方法局部函数参数值参数引用参数引用类型作为值参数和引用参数输出参数参数数组参数类型总结方法重载命名参数可选参数栈帧递归控制流方法包含了组成程序的…...

编程日记 2025/7/18 1:32:26

Webug4.0靶场通关笔记11- 第15关任意文件下载与第16关MySQL配置文件下载

目录一、文件下载二、第15关任意文件下载 1.打开靶场 2.源码分析 3.渗透实战三、第16关 MySQL配置文件下载 1.打开靶场 2.源码分析 3.渗透实战 （1）Windows系统 （2）Linux系统四、渗透防御一、文件下载本文通过…...

编程日记 2025/6/29 5:27:12

More Effective C++学习笔记

条款1 指针与引用的区别条款2 尽量使用C风格的类型转换条款3 不要对数组使用多态条款4 避免无用的缺省构造函数条款5 谨慎定义类型转换函数条款6 自增(increment)、自减(decrement)操作符前缀形式与后缀形式的区别条款7 不要重载“&&”,“||”, 或“,” 条款8 理…...

编程日记 2025/7/18 1:52:44

如何设计抗Crosstalk能力强的PCB镀穿孔

一个高速PCB通道通常包含芯片SerDes IP、走线、穿层Via、连接器和Cable。其中内层走线对于Crosstalk影响甚微（请参考什么？ Stripline的FEXT为0！ Why？ ），而Via与连接器由于其参考路径较差的关系&#xff0c…...

编程日记 2025/7/18 1:31:11

多线程系列三：这就是线程的状态？

1.认识线程的状态 NEW：Thread对象已经创建好了，但还没有调用start方法在系统中创建线程 RUNNABLE：就绪状态，表示这个线程正在CPU上执行，或准备就绪，随时可以去CPU上执行 BLOCKED：表示由于锁竞争…...

编程日记 2025/7/18 1:42:39

生成对抗网络（GAN, Generative Adversarial Network）

定义：一种通过对抗训练让两个神经网络（生成器与判别器）相互博弈的深度学习模型，用于生成逼真的数据（如图像、音频、文本等）。一、核心思想：对抗博弈 GAN的核心是让两个神…...

编程日记 2025/7/18 1:33:17

用可视化学习逆置法

1.逆置法思路目标：将这个彩色数组向右旋转3步 🔴1 → 🟠2 → 🟡3 → 🟢4 → 🔵5 → 🟣6 → ⚪7我们希望得到 🔵5 → 🟣6 → ⚪7 → 🔴1 → 🟠…...

编程日记 2025/7/18 1:40:36

家用服务器 Ubuntu 服务器配置与 Cloudflare Tunnel 部署指南

Ubuntu 服务器配置与 Cloudflare Tunnel 部署指南本文档总结了我们讨论的所有内容，包括 Ubuntu 服务器配置、硬盘扩容、静态 IP 设置以及 Cloudflare Tunnel 的部署步骤。目录硬盘分区与扩容设置静态 IPCloudflare Tunnel 部署SSH 通过 Cloudflare Tunnel常见…...

编程日记 2025/7/18 1:50:29

【C++篇】类和对象(上）

目录类的定义格式： 内敛函数： 类与struct的区别： 类的访问权限： 类域： 类的实例化： 对象大小： 计算对象的大小时，也存在内存对齐（与结构体一样）&…...

编程日记 2025/7/17 9:58:12

ES6/ES11知识点续一

模板字符串在 ECMAScript（ES）中，模板字符串（Template Literals）是一种非常强大的字符串表示方式，它为我们提供了比传统字符串更灵活的功能，尤其是在处理动态内容时。模板字符串通过反引号&…...

编程日记 2025/6/29 7:47:37

ES6入门---第二单元模块二：关于数组新增

一、扩展运算符。。。 1、可以把ul li转变为数组 <script>window.onloadfunction (){let aLi document.querySelectorAll(ul li);let arrLi [...aLi];arrLi.pop();arrLi.push(asfasdf);console.log(arrLi);};</script> </head> <body><ul><…...

编程日记 2025/7/18 1:42:39

使用python加edge-tts实现文字转语音

文章目录使用python加edge-tts实现文字转语音1. 使用 Python 安装 Edge-TTS2. 进一步优化3. 使用说明3.1 查看语音列表3.2 单语音转换3.3 批量生成所有语音3.4 改进亮点4. 使用教程最终代码文章创作不易使用python加edge-tts实现文字转语音 Edge-TTS（edge-tts Python 模块）本…...

编程日记 2025/7/18 1:23:30

如何用CSS实现HTML元素的旋转效果：从基础到高阶应用

在网页设计中，元素的动态效果能显著提升用户体验，而旋转效果是其中最常用的交互方式之一。CSS的transform属性提供了强大的旋转功能，结合动画（animation）和过渡（transition），开发者可…...

编程日记 2025/7/9 20:47:58

轻量级RTSP服务模块：跨平台低延迟嵌入即用的流媒体引擎

在音视频流媒体系统中，RTSP（Real-Time Streaming Protocol）服务模块通常扮演着“视频分发中心”的角色，它将编码后的音视频内容转为标准的流媒体格式，供客户端（播放器、云端平台、AI模块等）拉流…...

编程日记 2025/7/18 1:41:41

AVInputFormat 再分析

AVInputFormat 是 FFmpeg 中用于描述输入格式（如文件容器、设备流等）的核心结构体，属于 libavformat 库的一部分。其主要功能是定义解封装（demuxing）过程中如何解析不同格式的输入数据。以下是其关键特性与使用方式的总…...

编程日记 2025/7/18 1:53:43

wpf CommandParameter 传递MouseWheelEventArgs参数

在 WPF 中通过 CommandParameter 传递 MouseWheelEventArgs 参数时，需结合 ‌事件到命令的转换机制‌ 和 ‌参数转换器‌ 来实现。以下是具体实现方案及注意事项： 一、核心实现方法 1. ‌使用 EventToCommand 传递原始事件参数‌ 通过 Interaction.Tr…...

编程日记 2025/7/18 1:30:07

摆脱养生误区泥沼，拥抱科学养生阳光

在养生的道路上，人们总是满怀热忱地追寻健康之道，然而，诸多似是而非的养生误区却如同泥沼一般，让不少人深陷其中，难以自拔。只有奋力摆脱这些误区的束缚，才能拥抱科学养生的温暖阳光，真正实现身…...

编程日记 2025/7/18 1:31:10

FreeRtos实战从入门到精通--任务创建和删除（动态方法）--事了拂衣去，深藏功与名

FreeRtos是之前的一些聪明的工程师写的免费且开源的嵌入式实时操作系统代码，由于我们实际工作中不需要再去写rtos，我们只需要用就行了，所以博主这里只分享项目工程实战相关的内容，具体rtos源码，可以无需理会&#xff0…...

编程日记 2025/6/29 6:48:22

卷积神经网络进化史：从LeNet-5到现代架构的完整发展脉络

摘要本文系统梳理卷积神经网络(CNN)从诞生到繁荣的发展历程。从1998年Yann LeCun开创性的LeNet-5出发，重点解析2012年引爆深度学习革命的AlexNet，并详细拆解后续演进的五大技术方向：网络深度化(VGG)、卷积功能强化(ResNet)、检测任务迁移(F…...

编程日记 2025/7/16 12:42:06

《Qt C++ 项目中升级 GCC 版本的完整指南》

Qt C++ 项目中升级 GCC 版本的完整指南在 Qt C++ 项目中升级 GCC 版本可能会影响编译工具链、Qt 库兼容性以及项目配置。以下是针对不同操作系统的升级步骤和注意事项：一、为什么需要升级 GCC 版本？ C++ 标准支持：新版本 GCC 支持 C++17/20 等新标准特性性能优化：编译速…...

编程日记 2025/6/29 8:00:14

Baklib赋能企业知识管理数字化转型

Baklib驱动知识智慧转化在数字化浪潮中，企业知识资产的碎片化与低效流转已成为制约业务创新的核心瓶颈。Baklib作为新一代知识中台，通过构建智能化的知识治理体系，将分散的文档、数据与经验转化为可复用的业务智慧。其核心能力体现在多模态…...

编程日记 2025/6/29 5:41:17

LeetCode240. 搜索二维矩阵 II（巧妙转换）

编写一个高效的算法来搜索m x n矩阵 matrix 中的一个目标值 target 。该矩阵具有以下特性： 每行的元素从左到右升序排列。每列的元素从上到下升序排列。题目中最关键的信息就是每行从左到右升序，每列从左到右升序，如果暴力的话就用不到…...

编程日记 2025/6/29 7:24:17

AVFormatContext 再分析二

说明 ：将 avfromatContext 的变量依次打印分析，根据ffmpeg 给的说明，猜测，结合网上的文章字节写测试代码分析二。 37 AVInputFormat *iformat; /** * The input container format. * * Demuxing only, set by avfo…...

编程日记 2025/6/29 5:21:55

leetcode0096. 不同的二叉搜索树-medium

1 题目：不同的二叉搜索树官方标定难度：中给你一个整数 n ，求恰由 n 个节点组成且节点值从 1 到 n 互不相同的二叉搜索树有多少种？返回满足题意的二叉搜索树的种数。示例 1： 输入：n 3 输出&#xf…...

编程日记 2025/6/29 6:10:55

【科研绘图系列】R语言绘制世界地图（map plot）

禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者! 文章目录介绍加载R包数据下载导入数据数据预处理画图输出图片系统信息介绍【科研绘图系列】R语言绘制世界地图（map plot）加载R包 library(ggmap) library(RColorBrewer) library(pals) …...

编程日记 2025/7/9 4:02:23

【原创】风云扫描王[特殊字符]OCR识别翻译！证件照

📣文字识别，文字提取，扫描翻译，证件扫描，表格识别，PDF加水印等一体的扫描应用。扫描任何东西，包括文件、纸质笔记、收据和书籍，把它们扫描成清晰的PDF文件和图像。使用OCR技术将图像…...

编程日记 2025/7/5 12:05:49

Fabrice Bellard（个人网站：‌bellard.org‌）介绍

Fabrice Bellard 是法国人，国际知名程序员。 Fabrice Bellard（个人网站：‌bellard.org‌）是计算机领域最具影响力的程序员之一，其贡献跨越多个技术领域并持续推动开源生态发展。以下是其关键成就与技术贡献的梳理&…...

编程日记 2025/6/29 6:27:41

Linux电源管理(5)_Hibernate和Sleep功能介绍

原文：Linux电源管理(5)_Hibernate和Sleep功能介绍 1. 前言 Hibernate和Sleep两个功能是Linux PM的核心功能，它们的目的是类似的：暂停使用——>保存上下文——>关闭系统以节电>恢复系统——>恢复上下文——>继续使用。本文…...

编程日记 2025/7/13 12:23:34

【C/C++】Linux的futex锁

文章目录 Linux Futex1. 概述2. 核心设计思想3. Futex 系统调用接口4. 核心操作4.1 阻塞等待 (FUTEX_WAIT)4.2 唤醒线程 (FUTEX_WAKE)4.3 进阶操作 5. Futex 的使用场景5.1 实现用户态互斥锁 (Mutex)5.2 实现条件变量 (Condition Variable) 6. Futex 的优缺点7. Futex 与传统同…...

编程日记 2025/7/9 4:02:38

ChatGPT：重塑人工智能交互范式的破晓之作

2022年11月30日，总部位于旧金山的研究公司OpenAI正式发布了ChatGPT——一款以病毒式传播速度席卷全球的AI聊天机器人。它不仅能像人类一样生成内容、回答问题和解决问题，更在推出后的两个月内吸引了超过1亿月活跃用户，刷新了消费级技术应用的…...

编程日记 2025/6/29 7:14:22

java面向对象编程【高级篇】之特殊类

目录 🚀前言🌟final关键字💯常量 🦜单例类💯饿汉式单例类💯懒汉式单例类 ✍️枚举类🐍抽象类💯应用场景💯模版方法设计模式 ⚙️接口💯实现类💯接…...

编程日记 2025/6/29 7:55:59

JVM 一文详解

目录 JVM 简介 JVM 中的内存区域划分 1. 堆（一个进程只有一份 ------ 线程共享） 2. 栈（一个进程可以有 N 份 ------ 线程私有） Java 虚拟机栈： 本机方法栈： 3. 程序计数器（一个线程可以…...

编程日记 2025/7/8 10:36:04

PVD中断检测掉电

文章目录概述配置掉电擦写注意概述 STM32 PVD功能具体可以检测到上电、掉电瞬间，其处理方式有中断响应及事件响应。掉电设置为上升沿触发，上电为下降沿触发配置 1.开启PVD中断并设置其优先级 2.配置响应中断或事件的阈值电压 3.配置响应模式生成…...

编程日记 2025/6/29 5:18:28

Nginx — 防盗链配置

防盗链简述防盗链是一种保护网络资源所有者权益的技术手段，旨在防止未经授权的用户或网站通过直接链接的方式盗用资源，以下是关于防盗链的简述： 原理基于请求头验证：服务器通过检查请求头中的特定字段，如Referer字…...

编程日记 2025/6/29 7:38:49

题解：P2485 [SDOI2011] 计算器

### 思路本题是一个比较模板化的题目。 #### 一操作考虑使用快速幂。快速幂，只需要把 $k$ 变成二进制即可实现 $\Theta(\log k)$ 的时间复杂度。实现方法： cpp long long qmi(long long a,long long k,long long p){ long long res 1; …...

编程日记 2025/6/29 6:13:15

【算法刷题笔记day one】滑动窗口（定长基础版）

前言 hello大家好呀好久不见，上次更新是去年12月份的事情了。这段时间好好沉淀了一下，打了几场比赛，论文也写了一些，也收集了不少信息，对未来方向也有了不一样的计划。这个算法系列可以说是接着我之前的数据结构系…...

编程日记 2025/6/29 6:55:07

Redis从入门到实战实战篇2

面试重点：本篇包含悲观锁，乐观锁，多线程以及分布式锁的知识目录 3.优惠卷秒杀 3.1 -全局唯一ID 3.2 -Redis实现全局唯一Id 3.3 添加优惠卷 3.4 实现秒杀下单 3.5 库存超卖问题分析 3.6 乐观锁解决超卖问题 3.7 优惠券秒杀-一人一单 …...

编程日记 2025/6/29 7:53:44

代码随想录算法训练营Day43

力扣300.最长递增子序列力扣674.最长连续递增子序列【easy】力扣1143.最长公共子序列【medium】力扣718.最长重复子数组【medium】一、力扣300.最长递增子序列【medium】题目链接：力扣300.最长递增子序列视频链接：代码随想录题解链接&#xff1a…...

编程日记 2025/6/29 6:15:12

引言

1 Hive执行引擎架构演进

1.1 Hive执行引擎发展历程

1.2 执行引擎架构对比

1.2.1 MapReduce引擎架构

1.2.2 Tez引擎架构

1.2.3 Spark引擎架构

2 执行引擎切换与配置指南

2.1 引擎切换配置方法

2.1.1 全局配置

2.1.2 会话级配置

2.2 资源管理配置

2.2.1 Tez资源配置

2.2.2 Spark资源配置

3 Spark SQL集成深度解析

3.1 Hive on Spark架构

3.2 优化器集成机制

3.3 数据交换优化

4 生产环境调优实践

4.1 执行引擎选择策略

4.2 混合引擎部署方案

4.3 关键性能参数调优

4.3.1 Spark引擎核心参数

4.3.2 Tez引擎核心参数

5 疑难问题解决方案

5.1 常见集成问题排查

5.2 高级调优技巧

6 总结

相关文章：