当前位置：首页 > news >正文

大数据学习（112）-HIVE中的窗口函数

news 来源：原创 2025/7/20 19:46:31

🍋🍋大数据学习🍋🍋

🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

在 Apache Hive 中，窗口函数（Window Functions）是一类强大的 SQL 函数，用于对查询结果集的一个“窗口”或“分组”进行计算，而不减少结果集的行数。以下是 Hive 中常用的窗口函数分类及示例：

1. 排名函数

函数	描述
`ROW_NUMBER()`	为结果集中的每一行分配一个唯一的行号，行号从 1 开始。
`RANK()`	为结果集中的每一行分配一个排名，遇到相同值时跳过排名。
`DENSE_RANK()`	为结果集中的每一行分配一个排名，遇到相同值时不跳过排名。
`NTILE(n)`	将结果集划分为 `n` 个桶，并为每一行分配一个桶号。

示例

SELECT 
employee_id,
salary,
RANK() OVER (PARTITION BY department_id ORDER BY salary DESC) AS rank_in_department,
DENSE_RANK() OVER (PARTITION BY department_id ORDER BY salary DESC) AS dense_rank_in_department,
ROW_NUMBER() OVER (PARTITION BY department_id ORDER BY salary DESC) AS row_number_in_department
FROM employees;

2. 聚合函数（作为窗口函数）

函数	描述
`SUM()`	计算窗口内数值的总和。
`AVG()`	计算窗口内数值的平均值。
`MIN()`	返回窗口内的最小值。
`MAX()`	返回窗口内的最大值。
`COUNT()`	计算窗口内的行数。

SELECT 
employee_id,
department_id,
salary,
SUM(salary) OVER (PARTITION BY department_id) AS total_salary_in_department,
AVG(salary) OVER (PARTITION BY department_id) AS avg_salary_in_department
FROM employees;

3. 分析函数

函数	描述
`LAG(column, n, default)`	返回当前行之前第 `n` 行的值，如果超出范围则返回 `default`。
`LEAD(column, n, default)`	返回当前行之后第 `n` 行的值，如果超出范围则返回 `default`。
`FIRST_VALUE(column)`	返回窗口内第一行的值。
`LAST_VALUE(column)`	返回窗口内最后一行的值（需结合 `ROWS BETWEEN` 子句使用）。
`NTH_VALUE(column, n)`	返回窗口内第 `n` 行的值。

SELECT 
employee_id,
salary,
LAG(salary, 1, 0) OVER (PARTITION BY department_id ORDER BY salary) AS prev_salary,
LEAD(salary, 1, 0) OVER (PARTITION BY department_id ORDER BY salary) AS next_salary,
FIRST_VALUE(salary) OVER (PARTITION BY department_id ORDER BY salary) AS first_salary_in_department
FROM employees;

4. 累积函数

函数	描述
`CUME_DIST()`	计算当前行在窗口内的累积分布（小于等于当前值的比例）。
`PERCENT_RANK()`	计算当前行在窗口内的百分比排名。

SELECT 
employee_id,
salary,
CUME_DIST() OVER (PARTITION BY department_id ORDER BY salary) AS cume_dist_in_department,
PERCENT_RANK() OVER (PARTITION BY department_id ORDER BY salary) AS percent_rank_in_department
FROM employees;

5. 窗口定义

窗口函数通常与 OVER 子句一起使用，OVER 子句定义了窗口的范围和排序方式。

OVER (
[PARTITION BY column1, column2, ...]
[ORDER BY column3 [ASC|DESC], column4 [ASC|DESC], ...]
[ROWS|RANGE BETWEEN ... AND ...]
)

PARTITION BY：将结果集划分为多个分区，窗口函数在每个分区内独立计算。
ORDER BY：定义窗口内的排序顺序。
ROWS|RANGE BETWEEN：定义窗口的边界（可选）。

SELECT 
employee_id,
salary,
SUM(salary) OVER (
PARTITION BY department_id 
ORDER BY hire_date 
ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
) AS cumulative_salary_in_department
FROM employees;

6. 窗口边界

UNBOUNDED PRECEDING：窗口从分区的第一行开始。
UNBOUNDED FOLLOWING：窗口到分区的最后一行结束。
CURRENT ROW：窗口仅包含当前行。
n PRECEDING：窗口包含当前行之前的 n 行。
n FOLLOWING：窗口包含当前行之后的 n 行。

SELECT 
employee_id,
salary,
AVG(salary) OVER (
PARTITION BY department_id 
ORDER BY hire_date 
ROWS BETWEEN 2 PRECEDING AND CURRENT ROW
) AS moving_avg_salary_in_department
FROM employees;

总结

Hive 中的窗口函数为数据分析提供了强大的工具，可以用于排名、聚合、累积计算、前后值比较等操作。常见的窗口函数包括：

排名函数：ROW_NUMBER()、RANK()、DENSE_RANK()、NTILE()
聚合函数：SUM()、AVG()、MIN()、MAX()、COUNT()
分析函数：LAG()、LEAD()、FIRST_VALUE()、LAST_VALUE()、NTH_VALUE()
累积函数：CUME_DIST()、PERCENT_RANK()

大数据学习（112）-HIVE中的窗口函数

🍋🍋大数据学习🍋🍋 🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一…...

编程日记 2025/7/20 19:46:31

Hive学习

一、Hive 核心原理 1. Hive 架构与执行流程 Hive 是基于 Hadoop 的数据仓库工具，将 SQL 转化为分布式计算任务（MapReduce/Tez/Spark），核心组件如下： 元数据存储（Metastore）：存储表…...

编程日记 2025/7/18 21:48:49

前端开发核心知识详解：Vue2、JavaScript 与 CSS

一、Vue2 核心知识点 1. Vue2 的双向绑定原理 Vue2 实现双向绑定主要依赖数据劫持与发布 - 订阅者模式。利用Object.defineProperty方法对数据对象的属性进行劫持，为每个属性定义getter和setter。getter用于收集依赖，当视图中使用到该属性时&#xf…...

编程日记 2025/6/29 12:12:01

仅追加KV数据库

仅追加KV数据库 6.1 我们将要做什么在本章中，我们将创建一个基于文件的键值存储（KV Store），其核心是一个写时复制（Copy-on-Write, CoW）B 树。这种设计的目标是实现数据的持久性和原子性。 1. 设计概述 …...

编程日记 2025/6/29 19:34:16

【Java面试笔记：基础】8.对比Vector、ArrayList、LinkedList有何区别？

在Java中，Vector、ArrayList和LinkedList均实现了List接口，但它们在线程安全、数据结构、性能特性及应用场景上存在显著差异。 1. Vector、ArrayList 和 LinkedList 的区别 Vector： 线程安全：Vector 是线程安全的动态数组&#…...

编程日记 2025/6/29 19:37:36

Git分支管理方案

成都众望智慧有限公司Git分支管理方案采用轻量级Git Flow 敏捷版本控制策略，在保证稳定性的同时提升开发效率。以下是优化后的方案： 1. 精简分支模型（相比6-8人团队减少分支层级） 分支类型作用生命周期devops生产环境代码&am…...

编程日记 2025/6/29 19:33:52

SQL Tuning Advisor

什么是SQL Tuning Advisor STA可以用来优化那些已经被发现的高负载SQL. 默认情况下, Oracle数据库在自动维护窗口中自动认证那些有问题的SQL并且执行优化建议，找寻提升高负载SQL执行计划性能的方法. ** 如何查看自动优化维护窗口产生的报告? ** SQL> set ser…...

编程日记 2025/6/29 19:34:47

联易融出席深圳链主企业供应链金融座谈会，加速对接票交所系统

近日，深圳市委金融办组织召开全市链主企业供应链金融高质量发展座谈会。联易融作为供应链金融企业代表，与虾皮信息科技、电子元器件和集成电路国际交易中心等代表性机构以及行业协会、金融机构参加了会议。发展供应链金融是破解中小微企业融资难、融资…...

编程日记 2025/6/29 19:42:12

【前端记事】关于electron的入门使用

electron入门使用背景how to start第一步创建一个vite-vue3项目第二步装各种依赖第三步配置vite.config.jspackage.jsonelectron入口启动重写关闭、隐藏、最大化最小化背景最近对electron比较感兴趣，折腾一段时间后有了点眉目，记录一下 how to …...

编程日记 2025/6/29 19:37:52

【日历控件设计】 #include <QApplication> #include <QWidget> #include <QVBoxLayout> #include <QCalendarWidget> #include <QHBoxLayout> #include <QSpinBox> #include <QPushButton> #include <QLabel> #include <Q…...

编程日记 2025/6/29 19:35:21

Pycharm（十五）面向对象程序设计基础

目录一、定义类及使用类的成员二、self关键字介绍三、在类内部调用类中的函数 class 类名： 属性（类似于定义变量） 行为（类似于定义函数，只不过第一个形参要写self） 一、面向对象基本概述属性&…...

编程日记 2025/6/29 19:32:59

【C++游戏引擎开发】第21篇：基于物理渲染（PBR）——统计学解构材质与光影

引言宏观现象：人眼观察到的材质表面特性（如金属的高光锐利、石膏的漫反射柔和），本质上是微观结构对光线的统计平均结果。微观真相：任何看似平整的表面在放大后都呈现崎岖的微观几何。每个微表面（Microfacet）均为完美镜面，但大量微表面以不同朝向分布时，宏观上会表…...

编程日记 2025/6/29 19:37:44

flutter_slidable 插件使用

简介 flutter_slidable 是一个用于创建可滑动列表项的 Flutter 插件，它允许用户通过滑动来显示隐藏的操作按钮，比如删除、分享等功能。安装在 pubspec.yaml 中添加依赖（并运行 flutter pub get）： dependencies:fl…...

编程日记 2025/6/29 19:33:27

[论文阅读]ConfusedPilot: Confused Deputy Risks in RAG-based LLMs

ConfusedPilot: Confused Deputy Risks in RAG-based LLMs [2408.04870] ConfusedPilot: Confused Deputy Risks in RAG-based LLMs DEFCON AI Village 2024 文章是针对Copilot这样一个RAG服务提供平台的攻击在企业环境中整合人工智能工具（如 RAG）会…...

编程日记 2025/6/29 11:17:37

诠视科技MR眼镜如何使用头瞄点和UGUI交互

诠视科技MR眼镜如何使用头瞄点和UGUI交互要实现头瞄点计算单元确认键操作UGUI,最快捷的方式，右键直接添加XvHeadGazeInputController。添加以后会自动生成XvHeadGazeInputController到Head节点下面去。重要的几个参数讲解： scaleFactor&#xff1a…...

编程日记 2025/6/29 10:50:59

数据赋能（204）——原则与原理——原理方法

原理更多地关注事物本身的客观规律，而原则侧重于指导人们的行为和决策。原则与原理是两个常常被提及，但有所区别的概念。原则和原理在各个领域中都发挥着重要的作用。原理概念原理，则通常指的是自然科学和社会科学中具有普遍意义的基本规…...

编程日记 2025/6/29 10:30:53

代码随想录算法训练营第五十六天 | 108.冗余连接 109.冗余连接II

108.冗余连接题目链接：108. 冗余的边文章讲解：代码随想录思路： 题目说是无向图，返回一条可以删去的边，使得结果图是一个有着N个节点的树，如果有多个答案，则返回二维数组中最后出现的边。 …...

编程日记 2025/6/29 9:38:25

Git入门

一、Git 基础概念 1. 版本控制系统分类本地版本控制：如RCS，仅在本机保存历史版本集中式版本控制：如SVN，单一中央服务器管理代码分布式版本控制：如Git，每个开发者都有完整的仓库副本 2. Git 核心概念概…...

编程日记 2025/6/29 12:24:32

5G + 物联网：智能世界的催化剂，如何用Python打造下一代IoT应用？

5G 物联网：智能世界的催化剂，如何用Python打造下一代IoT应用？ 在数字化时代，物联网（IoT） 已成为智能产业的关键技术。从智能家居到智慧城市，再到工业4.0，我们的世界正在变得越来越…...

编程日记 2025/6/29 10:47:53

从单点突破到链式攻击：XSS 的渗透全路径解析

在网络安全领域，跨站脚本攻击（Cross-Site Scripting，简称 XSS）早已不是新鲜话题。然而，随着网络技术的迭代与应用场景的复杂化，攻击者不再满足于单一的 XSS 漏洞利用，而是将 XSS 与其他安全漏洞…...

编程日记 2025/6/29 10:28:49

spark和hadoop的对比和联系

一、Apache Hadoop 简介 Hadoop是一个由Apache基金会开发的开源分布式计算平台。它主要由Hadoop分布式文件系统（HDFS）和MapReduce计算框架组成。HDFS是为大规模数据存储而设计的，它将文件分割成多个数据块（block）&…...

编程日记 2025/6/29 10:38:26

【Vue3 / TypeScript】项目兼容低版本浏览器的全面指南

在当今前端开发领域，Vue3 和 TypeScript 已成为主流技术栈。然而，随着 JavaScript 语言的快速演进，许多现代特性在低版本浏览器中无法运行。本文将详细介绍如何使 Vue3 TypeScript 项目完美兼容 IE11 等低版本浏览器。一、理解兼容性挑战 …...

编程日记 2025/6/29 10:34:38

从零开始搭建你的个人博客：使用 GitHub Pages 免费部署静态网站

🌐 从零开始搭建你的个人博客：使用 GitHub Pages 免费部署静态网站在互联网时代，拥有一个属于自己的网站不仅是一种展示方式，更是一种技术能力的体现。今天我们将一步步学习如何通过 GitHub Pages 搭建一个免费的个人博客或简历…...

编程日记 2025/6/29 9:38:28

java 设计模式原型模式

简介原型模式（Prototype Pattern） 是一种创建型设计模式，它通过复制现有对象来生成新对象，而不是通过 new 关键字创建。核心思想是减少对象创建的开销，尤其是当对象初始化过程复杂或代价较高时。原型模式的核心实现…...

编程日记 2025/6/29 12:06:54

分别配置Github，Gitee的SSH链接

文章目录前言一、为第二个账号生成新的密钥对二、配置 SSH config 文件1.引入库使用 Host 别名进行 clone/push/pull注意扩展前言之前已经在电脑配置过Github一个仓库ssh链接，今天想配一个Gitee仓库的ssh链接。运行 ssh-keygen -t rsa提示已经存在&#xff0c…...

编程日记 2025/6/29 10:42:27

从零开始搭建Django博客②--Django的服务器内容搭建

本文主要在Ubuntu环境上搭建，为便于研究理解，采用SSH连接在虚拟机里的ubuntu-24.04.2-desktop系统搭建，当涉及一些文件操作部分便于通过桌面化进行理解，通过Nginx代理绑定域名，对外发布。此为从零开始搭建Django博客…...

编程日记 2025/6/29 12:09:50

如何用python脚本读取本地excel表格Workbook.xlsx将里面B2:B8内容，发给本地ollama大模型改写内容后写入对应C2:C8？

环境： python3.10 Win10专业版 ollama 火山引擎影刀问题描述：如何用python脚本读取本地excel表格Workbook.xlsx将里面B2:B8内容，发给本地ollama大模型改写内容后写入对应C2:C8？解决方案： 1.制作一个python脚本如下： import openpyxl import requests import…...

编程日记 2025/6/29 9:38:37

webpack详细打包配置，包含性能优化、资源处理...

以下是一个详细的 Webpack 5 配置示例，包含常见资源处理和性能优化方案： const path require(path); const webpack require(webpack); const { BundleAnalyzerPlugin } require(webpack-bundle-analyzer); const TerserPlugin require(terser-webp…...

编程日记 2025/6/29 10:34:14

MYSQL的binlog

用于备份恢复和主从复制 binlog 有 3 种格式类型，分别是 STATEMENT（默认格式）、ROW、 MIXED： STATEMENT：每一条修改数据的 SQL 都会被记录到 binlog 中（相当于记录了逻辑操作，所以针对这种格式…...

编程日记 2025/6/29 12:06:39

Saliency Driven Perceptual Image Compression阅读

2021 WACV 创新点常用的评估指标如MS-SSIM和PSNR不足以判断压缩技术的性能，它们与人类对相似性的感知不一致(2和3的MS-SSIM更高，但文字反而没那么清晰)。考虑显著区域的压缩（a）将更多的比特分配给显著区域（b&#…...

编程日记 2025/6/29 11:29:46

【C++ 类和数据抽象】构造函数

目录一、构造函数的基本概念 1.1 构造函数核心特性 1.2 构造函数的作用 1.3 构造函数类型体系二、构造函数的类型 2.1 默认构造函数 2.2 带参数的构造函数 2.3 拷贝构造函数 2.4 移动构造函数（C11 及以后） 三、初始化关键技术 3.1 成员初始…...

编程日记 2025/6/29 9:38:38

kotlin的kmp编程中遇到Unresolved reference ‘java‘问题

解决办法打开 File → Project Structure → Project 确保 Project SDK 是与你的 jvmToolchain 保持一致如果没有，点击右上角 Add SDK 添加 JDK 路径同步Sync 然后就正常了。 package org.example.projectimport androidx.compose.animation.AnimatedVi…...

编程日记 2025/6/29 11:55:13

鸿蒙Flutter仓库停止更新？

停止更新熟悉 Flutter 鸿蒙开发的小伙伴应该知道，Flutter 3.7.12 鸿蒙化 SDK 已经在开源鸿蒙社区发布快一年了， Flutter 3.22.x 的鸿蒙化适配一直由鸿蒙突击队仓库提供，最近有小伙伴反馈已经 2 个多月没有停止更新了，不少人以为停…...

编程日记 2025/6/29 10:37:51

【Ultralytics 使用yolo12 读取tiff 数据异常解决】

Ultralytics 使用yolo12 读取tiff 数据解决 Ultralytics 使用yolo12 读取tiff 数据异常解决 Ultralytics 使用yolo12 读取tiff 数据异常解决 Lib\site-packages\ultralytics\utils\patches.py def imread(filename: str, flags: int cv2.IMREAD_COLOR):"""Read…...

编程日记 2025/6/29 9:38:47

画布交互系统深度优化：从动态缩放、小地图到拖拽同步的全链路实现方案

画布交互系统深度优化：从动态缩放、小地图到拖拽同步的全链路实现方案在可视化画布系统开发中，高效的交互体验与稳定的性能表现是核心挑战。本文针对复杂场景下的五大核心需求，提供完整的技术实现方案，涵盖鼠标中心缩放、节点尺寸…...

编程日记 2025/6/29 9:40:50

GTS-400 系列运动控制器板（七）----修改限位开关触发电平

运动控制器函数库的使用运动控制器驱动程序、dll 文件、例程、Demo 等相关文件请通过固高科技官网下载，网址为：www.googoltech.com.cn/pro_view-3.html 1 Windows 系统下动态链接库的使用在 Windows 系统下使用运动控制器，首先要安装驱动程序。在安装前需要提前下载…...

编程日记 2025/6/29 9:53:59

学习前端（前端技术更新较快，需持续关注技术更新）

目录 1. 基础三件套 1.1 HTML 1.2 CSS 1.3 JavaScript 2. 前端框架 2.1 React 2.2 Vue 2.3 Angular 3. 工程化工具 3.1 构建工具 3.2 代码质量 4. 网络和安全 4.1 HTTP/HTTPS 4.2 性能优化 5. 前沿技术 5.1 TypeScript 5.2 WebAssembly 5.3 微前端 5.4 可视…...

编程日记 2025/6/29 10:43:24

视频转换为MP4格式,小白工具批量转换,在线操作,简单快捷,超实用

小白工具https://www.xiaobaitool.net/videos/convert-to-mp4/ 是一款适合在线将视频转换为MP4格式的工具，尤其适合希望快速转换且无需下载安装软件的用户。以下是对该工具的详细推荐及使用建议： 一、工具特点在线操作，无需下载用户只需通…...

编程日记 2025/6/29 10:48:15

PDF处理控件Aspose.PDF指南：使用 Python 将 EPUB 转换为 PDF

EPUB是一种流行的电子书格式，用于可重排内容，而PDF则广泛用于固定版式文档，非常适合共享和打印。如果您想使用 Python 将 EPUB 转换为 PDF，Aspose.PDF for Python 提供了一个简单可靠的解决方案。在本教程中，我们将向您…...

编程日记 2025/6/29 10:28:16

超级扩音器手机版：随时随地，大声说话

在日常生活中，我们常常会遇到手机音量太小的问题，尤其是在嘈杂的环境中，如KTV、派对或户外活动时，手机自带的音量往往难以满足需求。今天，我们要介绍的超级扩音器手机版，就是这样一款由上海聚告德业文化发…...

编程日记 2025/7/20 13:27:50

Jenkins的地位和作用

所处位置 Jenkins 是一款开源的自动化服务器，广泛应用于软件开发和测试流程中，主要用于实现持续集成（CI）和持续部署（CD）。它在开发和测试中的位置和作用可以从以下几个方面来理解： 1. 在开发和测…...

编程日记 2025/7/14 14:42:46

NumPy进阶：广播机制、高级索引与通用函数详解

目录一、广播机制：不同形状数组间的运算 1. 概念 2. 广播规则 3. 实例二、高级索引：布尔索引与花式索引 1. 布尔索引 （1）创建布尔索引 （2）布尔索引的应用 2. 花式索引 （1&#xff0…...

编程日记 2025/6/29 11:52:30

Trino分布式 SQL 查询引擎

Trino（以前称为 PrestoSQL）是一个开源的分布式 SQL 查询引擎，专为交互式分析查询设计，可对大规模数据集进行快速查询。以下从多个方面详细介绍 Trino： 主要特点多数据源支持：Trino 能够连接多种不同类型…...

编程日记 2025/6/29 12:24:39

Oracle DBA 高效运维指南：高频实用 SQL 大全

大家好，这里是 DBA学习之路，专注于提升数据库运维效率。目录前言Top SQL表空间使用率RMAN 备份DataGuard等待事件行级锁在线日志切换用户信息ASM 磁盘组DBLink数据文件收缩AWR 写在最后前言作为一名 Oracle DBA，在日常数据库运维工作中&…...

编程日记 2025/6/29 12:02:24

SpringBoot原生实现分布式MapReduce计算

一、架构设计调整核心组件替换方案： 1、注册中心 → 数据库注册表 2、任务队列 → 数据库任务表 3、分布式锁 → 数据库行级锁 4、节点通信 → HTTP REST接口二、数据库表结构设计节点注册表 CREATETABLE compute_nodes (node_id VARCHAR(36)PRIMARYKEY,last_…...

编程日记 2025/6/29 9:41:06

可吸收聚合物：医疗科技与绿色未来的交汇点

可吸收聚合物（Biodegradable Polymers）作为生物医学工程的核心材料，正引领一场从“金属/塑料植入物”到“智能降解材料”的范式转移。根据QYResearch（恒州博智）预测，2031年全球可吸收聚合物市场销售额将突破…...

编程日记 2025/7/16 11:21:23

Java从入门到“放弃”（精通）之旅——抽象类和接口⑨

Java从入门到“放弃”（精通）之旅🚀——抽象类和接口⑨ 引言在Java面向对象编程中，抽象类和接口是两个非常重要的概念。它们为代码提供了更高层次的抽象能力，是设计灵活、可扩展系统的关键工具。 🟦一、抽…...

编程日记 2025/6/29 10:37:44

游戏引擎学习第239天:通过 OpenGL 渲染游戏

回顾并为今天的内容做准备今天，我想继续完成这部分内容，因为实际上我们已经完成了大部分工作，剩下的部分并不复杂。我计划今天完成这部分实现，至少是那些不涉及纹理的部分。正如昨天所说，纹理部分才是唯一比较复杂的…...

编程日记 2025/6/29 10:50:37

基于Python的多光谱遥感数据处理与分类技术实践—以农作物分类与NDVI评估为例

多光谱遥感数据包含可见光至红外波段的光谱信息，Python凭借其丰富的科学计算库（如rasterio、scikit-learn、GDAL），已成为处理此类数据的核心工具。本文以Landsat-8数据为例，演示‌辐射校正→特征提取→监督分类→精度评…...

编程日记 2025/6/29 9:38:45

数字空间与VR有什么关系？什么是数字空间？

数字空间与VR的关系数字空间与虚拟现实（VR）之间存在着紧密而复杂的关系，它们相互影响、共同促进发展。为了深入理解这一关系，我们需要明确数字空间的基本概念及其与VR技术的相互作用。数字空间的概念数字空间，通常…...

编程日记 2025/6/29 10:29:51