当前位置：首页 > news >正文

【Hive入门】Hive查询语言(DQL)完全指南：从基础查询到高级分析

news 来源：原创 2025/6/29 5:50:55

1 Hive查询执行架构全景

2 SELECT基础查询详解

2.1 基本查询结构

2.2 条件查询流程图

3 聚合函数与GROUP BY实战

3.1 聚合执行模型

3.2 GROUP BY数据流

4 排序操作深度解析

4.1 ORDER BY执行流程

4.2 排序算法对比

5 高级技巧与注意事项

5.1 嵌套查询与CTE

5.2 常见错误排查

6 总结

1 Hive查询执行架构全景

流程说明：

解析阶段：将SQL转换为抽象语法树(AST)
编译阶段：生成逻辑执行计划
优化阶段：应用谓词下推等优化规则
执行阶段：转换为物理执行计划并运行

2 SELECT基础查询详解

2.1 基本查询结构

基础查询示例

-- 基本结构
SELECT [ALL|DISTINCT] column1, column2...
FROM table_name
[WHERE condition]
[GROUP BY columns]
[HAVING condition]
[ORDER BY columns [ASC|DESC]]
[LIMIT n];-- 实际示例
SELECT employee_id, name, salary 
FROM employees
WHERE department = 'IT'
ORDER BY salary DESC
LIMIT 10;

2.2 条件查询流程图

WHERE条件优化

优先使用分区字段过滤
避免在WHERE中使用函数

-- 不推荐
SELECT * FROM logs WHERE SUBSTRING(dt, 1, 6) = '202504';
-- 推荐
SELECT * FROM logs WHERE dt LIKE '202504%';

3 聚合函数与GROUP BY实战

3.1 聚合执行模型

常用聚合函数

函数	说明	示例
COUNT	计数	COUNT(DISTINCT user_id)
SUM	求和	SUM(revenue)
AVG	平均值	AVG(score)
MAX	最大值	MAX(temperature)
MIN	最小值	MIN(price)

3.2 GROUP BY数据流

GROUP BY示例

-- 基础分组
SELECT department, AVG(salary) as avg_salary
FROM employees
GROUP BY department;-- 多列分组
SELECT year, month, SUM(sales) 
FROM sales_data
GROUP BY year, month;-- 配合HAVING过滤
SELECT product_id, AVG(rating) as avg_rating
FROM product_reviews
GROUP BY product_id
HAVING AVG(rating) > 4.0;

4 排序操作深度解析

4.1 ORDER BY执行流程

排序优化技巧

使用LIMIT减少排序数据量

-- 只排序前100条
SELECT * FROM users ORDER BY reg_date DESC LIMIT 100;

分区表排序时先过滤

SELECT * FROM logs 
WHERE dt='202504'
ORDER BY click_count DESC;

4.2 排序算法对比

排序类型示例

-- 全局排序(单Reducer)
SELECT * FROM employees ORDER BY salary DESC;-- 分区间排序(多Reducer)
SELECT * FROM employees 
DISTRIBUTE BY department 
SORT BY salary DESC;-- 局部排序(单个Reducer内)
SELECT * FROM employees SORT BY salary DESC;-- 分桶排序(等同于DISTRIBUTE+SORT)
SELECT * FROM employees CLUSTER BY department;

5 高级技巧与注意事项

5.1 嵌套查询与CTE

CTE示例

WITH high_value_users AS (SELECT user_id FROM users WHERE total_spend > 1000
),
active_users AS (SELECT DISTINCT user_idFROM user_actionsWHERE dt > '20230101'
)
SELECT a.user_id, b.order_count
FROM high_value_users a
JOIN (SELECT user_id, COUNT(1) as order_countFROM ordersGROUP BY user_id
) b ON a.user_id = b.user_id;

5.2 常见错误排查

错误处理示例

-- 类型转换示例
SELECT CAST(price AS DECIMAL(10,2)) 
FROM products;-- 内存调整示例
SET mapreduce.map.memory.mb=2048;
SET mapreduce.reduce.memory.mb=4096;

6 总结

通过本指南，我们了解了Hive DQL的核心要点，实际应用中建议：

结合EXPLAIN分析执行计划
监控长时间运行查询
定期收集表统计信息
根据数据特点选择最优方案

【Hive入门】Hive查询语言(DQL)完全指南：从基础查询到高级分析

目录 1 Hive查询执行架构全景 2 SELECT基础查询详解 2.1 基本查询结构 2.2 条件查询流程图 3 聚合函数与GROUP BY实战 3.1 聚合执行模型 3.2 GROUP BY数据流 4 排序操作深度解析 4.1 ORDER BY执行流程 4.2 排序算法对比 5 高级技巧与注意事项 5.1 嵌套查询与CTE 5.…...

编程日记 2025/6/29 5:50:55

【学习笔记】文件包含漏洞--相关习题

第一关伪协议用代码执行命令查看目录所含文件，发现flag.php 法一题目代码含有include，写入文件包含指令： php://filter/readconvert.base64-encode/resourceflag.php 解码即可得到flag。法二法三法二可以用php：//input&…...

编程日记 2025/5/29 12:57:41

蓝桥杯 20. 压缩变换

压缩变换原题目链接题目描述小明最近在研究压缩算法。他知道，压缩时如果能够使数值很小，就能通过熵编码得到较高的压缩比。然而，要使数值变小是一个挑战。最近，小明需要压缩一些正整数序列，这些序列的特点是&a…...

编程日记 2025/5/27 6:37:16

BY免费空间去掉?i=1

BY免费空间去掉?i1 使用说明支持域名：tae.dpdns.org 前提绑定主机，申请主机–控制面板选择–子域名，绑定xxx.tae.dpdns.org子域名默认开启DDoS防御，无防火墙规则，建议用.htaccess来防御默认去掉访问统计?i1 …...

编程日记 2025/6/29 5:40:01

中篇：深入剖析 L2CAP 与 ATT 协议模块（约5000字）

引言在 BLE 协议栈中，L2CAP 与 ATT 承担了关键的数据分发、协议复用与属性访问职责。对多协议并存和大数据场景的应用，深入理解这两层协议的分片重组、流控机制、MTU/MTU 协商和 ATT 操作流程，对于提升系统性能与稳定性至关重要。本篇将全面拆解 L2CAP 与 ATT 的原理与实战…...

编程日记 2025/5/20 12:50:12

【C语言】C语言结构体：从基础到高级特性

前言在C语言的世界里，结构体是一种强大而灵活的自定义数据类型，它能够将不同类型的数据组合在一起，形成一个逻辑上的整体。从简单的数据聚合到复杂的内存对齐优化，再到高效的位段操作，结构体在系统编程、嵌入式开发和…...

编程日记 2025/6/2 0:14:50

电控---JTAG协议

一、物理层架构与信号特性 1. 引脚定义与电气规范核心引脚： TCK（测试时钟）：频率范围0.1MHz至50MHz（如Xilinx Spartan-6支持25MHz），上升沿采样数据。TMS（测试模式选择）…...

编程日记 2025/5/30 8:48:11

FreeRTOS【3】任务调度算法

重要概念在运行的任务，被称为"正在使用处理器"，它处于运行状态。在单处理系统中，任何时间里只能有一个任务处于运行状态。非运行状态的任务，它处于这 3 中状态之一：阻塞(Blocked)、暂停(Suspended)、就绪…...

编程日记 2025/5/29 16:09:40

高德地图API + three.js + Vue3基础使用与使用 + 标记不显示避坑

three.js小白的学习之路。最近闲来无事，突然想起来之前好像项目有需求说是要将模型放在地图上。加上在浏览别的大佬写的博客时，也找到了一些大佬写的相关文章。基本上都是使用的高德地图开放平台的JS API。我也随之开启了自己的学习之路。先简单学习…...

编程日记 2025/5/29 8:56:36

书籍推荐：《价值心法》一姜胡说

书名 ：《价值心法》一姜胡说摘录每天问问自己，如果今天只做一件事，这件事是什么？找到它。拿出2—3个小时，专门处理这件事。其他所有事全部排在那2—3个小时之外。集中一段时间用来做最重要的事。这段时…...

编程日记 2025/5/30 12:01:22

Linux GPIO驱动开发实战：Poll与异步通知双机制详解

1. 引言在嵌入式Linux开发中，GPIO按键驱动是最基础也最典型的案例之一。本文将基于一个支持poll和异步通知双机制的GPIO驱动框架，深入剖析以下核心内容： GPIO中断与防抖处理环形缓冲区设计Poll机制实现异步通知(SIGIO)实现应用层交互方式 …...

编程日记 2025/6/1 19:39:48

x-cmd install | brows - 终端里的 GitHub Releases 浏览器，告别繁琐下载！

目录核心功能与优势安装适用场景还在为寻找 GitHub 项目的特定 Release 版本而苦恼吗？还在网页上翻来覆去地查找下载链接吗？现在，有了 brows，一切都将变得简单高效！ brows 是一款专为终端设计的 GitHub Releases 浏览…...

编程日记 2025/6/4 6:28:21

一天学完Servlet！！！（万字总结）

文章目录前言Servlet打印Hello ServletServlet生命周期 HttpServletRequest对象常用api方法请求乱码问题请求转发request域对象 HttpServletResponse对象响应数据响应乱码问题请求重定向请求转发与重定向区别 Cookie对象Cookie的创建与获取Cookie设置到期时间Cookie注意点Cook…...

编程日记 2025/5/11 3:19:56

c#-命名和书写规范

文章目录 1. 接口名称以大写 I 开头2. 属性类型以单词 Attribute 结尾3. 枚举类型对非标记使用单数名词，对标记使用复数名词4. 标识符不应包含两个连续下划线（__）字符5. 对变量、方法和类使用有意义的描述性名称6. 将 PascalCase 用于类名和方法名称7. 对方法参数和局部变量…...

编程日记 2025/5/16 16:08:34

【双指针】和为s的两个数字

57. 和为target的两个数字剑指 Offer 57. 和为s的两个数字输入一个递增排序的数组和一个数字target，在数组中查找两个数，使得它们的和正好是target。如果有多对数字的和等于target，则输出任意一对即可。示例 1： 输入&…...

编程日记 2025/5/5 23:03:33

【Vue】TypeScript与Vue3集成

个人主页：Guiat 归属专栏：Vue 文章目录 1. 前言2. 环境准备与基础搭建2.1. 安装 Node.js 与 npm/yarn/pnpm2.2. 创建 Vue3 TypeScript 项目2.2.1. 使用 Vue CLI2.2.2. 使用 Vite（推荐）2.2.3. 目录结构简述 3. Vue3 TS 基础语法整…...

编程日记 2025/6/29 5:49:48

win11中wsl在自定义位置安装ubuntu20.04 + ROS Noetic

wsl的安装环境自定义位置安装指定ubuntu版本VsCodeROS备份与重载备份重新导入常用命令参考文章环境搜索启用或关闭 Windows 功能勾选这2个功能，然后重启自定义位置安装指定ubuntu版本从网上找到你所需要的相关wsl ubuntu版本的安装包，一般直…...

编程日记 2025/6/29 5:38:39

【数据可视化-29】食物营养成分数据可视化分析

🧑 博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN…...

编程日记 2025/5/29 19:02:05

手动实现legend 与 echarts图交互通过js事件实现图标某项的高亮显示与隐藏

通过html实现legend的样式提供调用echarts的api实现与echarts图表交互的效果实现饼图element实现类似于legend与echartstu表交互效果效果图配置代码 <template><div style"height: 400px; width: 500px;background-color: #CCC;"><v-chart:opti…...

编程日记 2025/5/15 15:39:09

C语言编程--16.删除链表的倒数第n个节点

题目： 给你一个链表，删除链表的倒数第 n 个结点，并且返回链表的头结点。示例 1： 输入：head [1,2,3,4,5], n 2 输出：[1,2,3,5] 示例 2： 输入：head [1], n 1 输出&#xff1a…...

编程日记 2025/5/19 9:22:56

centos7使用certbot完成nginx ssl证书续期

没有废话纯干货 yum源配置（配置好的可以跳过） #到/etc/yum.repos.d/下mkdir bak，将所用东西mv到bak下 cd /etc/yum.repos.d/ mkdir bak mv ./* bak/ wget https://mirrors.aliyun.com/repo/Centos-7.repo 没有安装nginx的话，配…...

编程日记 2025/5/29 13:39:12

ECharts学习之 toolbox 工具栏

toolbox: {show: true,feature: {//数据视图工具，可以展现当前图表所用的数据dataView: {title: "数据视图",readOnly: false, //是否不可编辑，即只读lang:[数据视图,关闭,刷新] //数据视图上有三个话术},magicType: {type: ["line"…...

编程日记 2025/5/16 9:27:07

修改el-select背景颜色 /* 修改el-select样式--直接覆盖默认样式（推荐） */ ::v-deep .el-select .el-input__inner {background-color: #1d2b72 !important; /* 修改输入框背景色 */color: #fff; } ::v-deep .el-select .el-input__wrapper {background-…...

编程日记 2025/5/22 8:02:54

Qt 使用 MySQL 数据库的基本方法

在 Qt 中，使用 MySQL 数据库的基本方法主要是通过 QSqlDatabase、QSqlQuery 等类来进行数据库的连接、查询和数据操作。以下是 Qt 中连接和操作 MySQL 数据库的基本步骤。 1. 安装 MySQL 驱动首先，确保您的 Qt 环境已经配置了 MySQL 驱动。通常&#…...

编程日记 2025/5/29 8:55:02

BLIP 系列论文（BLIP、BLIP-2、InstructBLIP）

BLIP BLIP 是 Salesforce 团队在多模态领域中的经典工作，影响力巨大，BLIP 系列包括：BLIP、BLIP-2、InstructBLIP。 BLIP 在多模态大模型之前，多模态领域中最流行的是视觉-语言预训练（Vision-Language Pre-training,…...

编程日记 2025/5/29 9:41:09

【玩转全栈】—— 无敌前端究极动态组件库--Inspira UI

目录 Inspira UI 介绍配置环境使用示例效果： Inspira UI 学习视频： 华丽优雅 | Inspira UI快速上手_哔哩哔哩_bilibili 官网：https://inspira-ui.com/ Inspira UI 介绍 Inspira UI 是一个设计精美、功能丰富的用户界面库，专为…...

编程日记 2025/5/16 5:09:21

Java24新增特性

Java 24（Oracle JDK 24）作为Java生态的重要更新，聚焦AI开发支持、后量子安全、性能优化及开发者效率提升，带来20余项新特性和数千项改进。以下是核心特性的分类解析： 一、语言特性增强：简化代码与模式匹配 …...

编程日记 2025/5/29 20:27:40

Git多人协作与企业级开发模型

目录 1.多人协作一 2.多人协作二 3.远程分⽀删除后，本地gitbranch-a依然能看到的解决办法 4.企业级开发模型 4.1.Git的重要性 4.2.系统开发环境 4.3.Git 分⽀设计规范 1.多人协作一⽬前，我们所完成的⼯作如下： 基本完成Git的所有本…...

编程日记 2025/5/20 10:46:39

Android学习总结之扩展基础篇（一）

一、IdleHandler工作原理 1. IdleHandler 接口定义 IdleHandler 是 MessageQueue 类中的一个接口，定义如下： public static interface IdleHandler {/*** 当消息队列空闲时会调用此方法。* return 如果返回 true，则该 IdleHandler 会保留在…...

编程日记 2025/5/29 15:27:52

C语言教程（十六）： C 语言字符串详解

一、字符串的表示在C语言中，字符串是由一系列字符组成，并且以空字符 \0 作为结束标志。字符串通常用字符数组来表示。例如： char str[] {H, e, l, l, o, \0};也可以使用字符串字面量来初始化字符数组：char str[] "Hello&…...

编程日记 2025/5/19 7:24:03

Redis LFU 策略参数配置指南

一、基础配置步骤‌ 设置内存上限‌ 在 redis.conf 配置文件中添加以下指令，限制 Redis 最大内存使用量（例如设置为 4GB）： maxmemory 4gb选择 LFU 淘汰策略‌ 根据键的作用域选择策略： # 所有键参与淘汰 maxmemory-…...

编程日记 2025/6/1 13:31:55

Pikachu靶场-unsafe upfileupload

不安全的文件上传漏洞防御与对抗方式对照表防御方式防御实现攻击者对抗方式对抗原理文件类型白名单验证仅允许指定扩展名（如 .jpg, .png） if (!in_array($ext, [jpg, png])) { die(); } 伪造文件类型： 1. 修改文件头（…...

编程日记 2025/5/29 13:34:33

Python基础语法：查看数据的类型type()，数据类型转换，可变和不可变类型

目录查看数据类型type() 使用type()语句查看数据的类型变量无类型而数据有类型数据类型转换在字符串，整型，浮点数之间相互转换可变类型和不可变类型查看数据类型type() 使用type()语句查看数据的类型 Python中使用type(被查看数据的类型)语…...

编程日记 2025/5/29 14:52:15

高防IP是如何防护DDoS攻击和CC攻击的

高防IP是一种针对网络攻击（如DDoS和CC攻击）设计的防护服务，其核心原理是通过流量调度、智能清洗和分布式防护节点等技术，将恶意流量拦截在目标服务器之外。以下是其防护DDoS和CC攻击的具体机制： 一、防御DDoS攻击的机制…...

编程日记 2025/5/17 2:39:11

从认证到透传：用 Nginx 为 EasySearch 构建一体化认证网关

在构建本地或云端搜索引擎系统时，EasySearch 凭借其轻量、高性能、易部署等优势，逐渐成为众多开发者和技术爱好者的首选。但在实际部署过程中，如何借助 Nginx 为 EasySearch 提供高效、稳定且安全的访问入口，尤其是在身份认证方面…...

编程日记 2025/4/25 12:58:19

利用deepseek快速生成甘特图

一、什么是甘特图甘特图（Gantt Chart）是一种直观的项目管理工具，广泛应用于多个领域，主要用于时间规划、任务分配和进度跟踪。直观性：时间轴清晰展示任务重叠或延迟。灵活性：支持…...

编程日记 2025/4/25 12:58:16

突破厚铜PCB阻抗控制难题：多级阻抗实现方法

随着电子技术的发展，电子设备对电路板的性能要求越来越高。其中，阻抗控制是电路板设计中的一个重要环节，尤其是对于高频、高速的电子设备。厚铜电路板由于其优良的导电性能和机械强度，被广泛应用于各种高端电子设备中。然而&#…...

编程日记 2025/5/10 21:59:30

JCP官方定义的Java技术体系组成部分详解

JCP官方定义的Java技术体系组成部分详解 1. Java平台规范（Java Platform Specifications） 定义：由JCP制定的Java平台核心规范，包括Java SE（标准版）、Java EE（企业版，现为Jakarta EE…...

编程日记 2025/4/25 12:53:53

如何在 Windows上安装 Python 3.6.5？

Windows 系统安装步骤下载安装包安装包下载链接：https://pan.quark.cn/s/9294ca0fd46a 运行安装程序双击下载的 .exe 文件（如 python-3.6.5.exe）。勾选 Add Python 3.6 to PATH（重要！这将自动配置环境变量&…...

编程日记 2025/6/4 12:00:30

OpenHarmony 开源鸿蒙北向开发——hdc工具使用及常用命令（持续更新）

hdc（OpenHarmony Device Connector）是为开发人员提供的用于设备连接调试的命令行工具，该工具需支持部署在 Windows/Linux/Mac 等系统上与 OpenHarmony 设备（或模拟器）进行连接调试通信。简单来讲，hdc 是 Op…...

编程日记 2025/5/30 10:40:13

【C语言】C语言动态内存管理

前言在C语言编程中，内存管理一直是程序员需要重点关注的领域。动态内存管理更是如此，它不仅涉及到内存的灵活分配和释放，还隐藏着许多潜在的陷阱。本文将从动态内存分配的基础讲起，逐步深入到常见的错误、经典笔试题分析&#x…...

编程日记 2025/6/1 10:46:03

Java 运算符：深度解析

前言作为Java开发者，运算符是我们每天都会接触的基础元素。然而，很多开发者对运算符的理解仅停留在表面层次。本文将全面深入地剖析Java中的各类运算符，揭示其底层原理、使用技巧和最佳实践，帮助您成为真正的Java运算符专家。 …...

编程日记 2025/4/25 12:49:23

健康养生小窍门

健康养生是我们对美好生活的追求，掌握一些实用的小窍门，能让我们轻松拥抱健康。在生活起居方面，要注重环境的营造。卧室的窗帘选择遮光性好的材质，保证睡眠时的黑暗环境，有助于提高睡眠质量。在室内放置一些绿植&…...

编程日记 2025/5/4 5:14:28

4月24号

网络编程: //IP的对象一台电脑的对象 InetAddress address InetAddress.getByName("DESKTOP-5OJJSAM"); System.out.println(address); String name address.getHostName(); System.out.println(name);//DESKTOP-5OJJSAM String ip address.getHostAddress(); Sys…...

编程日记 2025/4/25 12:48:18

【RocketMq源码篇-01】环境搭建、基本使用、可视化界面

RocketMq源码核心篇整体栏目内容链接地址【一】环境搭建、基本使用、可视化界面https://zhenghuisheng.blog.csdn.net/article/details/147481401 环境搭建、基本使用、可视化界面一，RocketMq源码分析1. docker安装rocketMq2. rocketMq基本使用2.1，创建…...

编程日记 2025/4/25 12:48:17