当前位置：首页 > news >正文

Hive PredicatePushDown 谓词下推规则的计算逻辑

news 来源：原创 2025/6/26 2:44:44

1. PredicatePushDown 谓词下推

谓词下推的处理顺序是先处理子节点的操作，子节点都处理完，然后处理父节点。

select web_site_sk from (select web_site_sk,web_name  from web_site where web_city='Pleasant Hill' ) 
t 
where web_name <> 'site_1';

这个sql 生成的操作树是

TS[0]](web_site)||\/
Filter[1](web_city='Pleasant Hill')||\/
SELECT[2](web_site_sk,web_name)||\/
Filter[3](web_name <> 'site_1')||\/
SELECT[4](web_site_sk)||\/
FileSink[5](web_site_sk)

从 FileSink 开始，FileSink 使用 DefaultPPD，什么操作也没有。
SELECT 也使用DefaultPPD
Filter 使用 FilterPPD, 把条件 web_name <> ‘site_1’ 下推，并把Filter 对象放到 candidateFilterOps 中。
SELECT(web_site_sk,web_name) 把 predicate 传递下去。
Filter(web_city=‘Pleasant Hill’) 把当前的 predicate 和传递过来的 predicate 合并，把当前 Filter 对象放到 candidateFilterOps。
TableScan 创建新的 filter，并把 candidateFilterOps 的 filter 删除。

优化后变为

TS[0](web_site)||\/
Filter[6](web_city='Pleasant Hill' and web_name <> 'site_1')||\/
SELECT[2](web_site_sk,web_name)||\/
SELECT[4](web_site_sk)||\/
FileSink(web_site_sk)

谓词下推是最常见和最有效的SQL优化方式。
以最常见的下推说明。

FilterPPD

从 where 的表达式中，决定哪些可以下推，并且和子节点下推过来的过滤条件合并。

select web_site_sk from (select web_site_sk,web_name  from web_site where web_city='Pleasant Hill' ) 
t 
where web_name <> 'site_1';

JoinPDD

基于 ANSI SQL 语法规则。Join 操作是从左往右计算。“a RIGHT OUTER JOIN b LEFT OUTER JOIN c INNER JOIN d” 解释为 “((a RIGHT OUTER JOIN b) LEFT OUTER JOIN c) INNER JOIN d”。
对于 inner join, 关联的两边都可以下推。
对于 right outer join，右边的可以下推。
对于 left outer join，左边的可以下推。
对于 full outer join，两边都不可以下推

以left join 解释为什么右表的条件不可以下推。
t1 表有字段 key，记录为

key1
key2

t2 表有字段 key，记录为

key1

两张表先左关联的结果是：

select t1.key,t2.key left join t2 on t1.key = t2.key;

t1.key  t2.key
key1    key1
key2    null

因为 left outer join，左表关联不上的记录，也在结果里。
对于

select t1.key,t2.key 
from t1 
left join t2 on t1.key = t2.key 
where t1.key='key1';

关联后过滤 t1.key='key1' 后的结果是

t1.key  t2.key
key1    key1

所以这条语句等价于

select t1.key,t2.key 
from (select key from t1 where t1.key='key1') t1
left join t2 on t1.key = t2.key;

但是 left outer join，右表关联不上的记录，不在最终结果里
如以下语句，

select t1.key,t2.key 
from t1 left join t2 
on t1.key = t2.key 
where t2.key='key1';

不等价于

select t1.key,t2.key 
from t1 left join 
(select key from t2 where t2.key='key1') t2 
on t1.key = t2.key 
;

先关联后过滤的结果是

t1.key  t2.key
key1    key1

先过滤后关联
t2 过滤后的结果是 key1。
和 t1 关联后的结果是。

t1.key t2.key
key1    key1
key2    null

结论，右表过滤后再关联，左边表的记录都存在。如果先关联再过滤，左表的记录可能会过滤掉。所以左关联右表的判断条件不能下推。

TableScan PPD

创建新的 filter，并把 candidateFilterOps 的 filter 删除。

Partition Table Function PPD(PTFPdd)

explain select * from (
select web_city,web_site_sk, rank() over (partition by web_city order by web_site_sk asc) rk
from web_site)t
where rk <= 2;

生成的执行计划如下：
把 rank_window_0 <= 2 推到PTF Operator 之后。

Vertex dependency in root stage
Reducer 2 <- Map 1 (SIMPLE_EDGE)Stage-0Fetch Operatorlimit:-1Stage-1Reducer 2File Output Operator [FS_8]Select Operator [SEL_4] (rows=10 width=375)Output:["_col0","_col1","_col2"]Filter Operator [FIL_9] (rows=10 width=375)predicate:(rank_window_0 <= 2)PTF Operator [PTF_3] (rows=32 width=375)Function definitions:[{},{"name:":"windowingtablefunction","order by:":"_col0 ASC NULLS FIRST","partition by:":"_col19"}]Select Operator [SEL_2] (rows=32 width=375)Output:["_col0","_col19"]<-Map 1 [SIMPLE_EDGE]SHUFFLE [RS_1]PartitionCols:web_cityTableScan [TS_0] (rows=32 width=99)tpcds_hdfs_orc_3@web_site,web_site,Tbl:COMPLETE,Col:COMPLETE,Output:["web_city","web_site_sk"]

不能下推的情形:

Limit 不能下推

select web_city, count(1) from web_site group by web_city limit 2;

Script 操作不能下推

Hive PredicatePushDown 谓词下推规则的计算逻辑

1. PredicatePushDown 谓词下推谓词下推的处理顺序是先处理子节点的操作，子节点都处理完，然后处理父节点。 select web_site_sk from (select web_site_sk,web_name from web_site where web_cityPleasant Hill ) t where web_name <> site_…...

编程日记 2025/6/26 2:44:44

2024东北四省ccpc

F题解题思路数论有限小数的条件 p q \frac{p}{q} qp 在 k k k 进制下是有限小数，当且仅当 q q q 的所有质因数都是 p p p 或 k k k 的质因数。即，若 q q q 的质因数分解为 q ∏ i p i a i q \prod_{i} p_i^{a_i} q∏ipiai&#x…...

编程日记 2025/6/26 2:41:20

【C语言】初阶数据结构相关习题（二）

🎆个人主页：夜晚中的人海今日语录：知识是从刻苦劳动中得来的，任何成就都是刻苦劳动的结果。——宋庆龄文章目录 🎄一、链表内指定区间翻转🎉二、从链表中删去总和值为零的节点🚀三、链表求和&…...

编程日记 2025/6/25 23:30:57

DeepSeek执行流程加速指南：跨框架转换与编译优化的核心策略全解析

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan 的首页,持续学…...

编程日记 2025/6/26 2:36:27

解决 Conda 安装 PyTorch 1.1.0 报错：excluded by strict repo priority（附三种解决方案）

# 💥解决 Conda 安装 PyTorch 1.1.0 报错问题：excluded by strict repo priority在使用旧版本 PyTorch（例如 1.1.0）时，有些开发者会遇到以下 conda 安装报错：LibMambaUnsatisfiableError: package pytorch-…...

编程日记 2025/5/28 16:26:51

面试从微前端拓展到iframe是如何通信的

一、跨域通信 1、父页面发消息给 iframe const iframe document.getElementById(myIframe); iframe.contentWindow.postMessage(form parent, https://iframe-domain.com)// iframe 接收 window.addEventListener(message, (event) > {if (event.origin ! https://paren…...

编程日记 2025/6/25 22:14:56

PyTorch循环神经网络（Pytotch）

文章目录循环神经网络（RNN）简单的循环神经网络长短期记忆网络（LSTM）门控循环单元（GRU） 循环神经网络（RNN） 循环神经网络（RecurrentNeuralNetwork，RNN&#…...

编程日记 2025/6/26 2:34:47

django中用 InforSuite RDS 替代memcache

在 Django 项目中，InforSuite RDS（关系型数据库服务）无法直接替代 Memcached，因为两者的设计目标和功能定位完全不同： 特性MemcachedInforSuite RDS核心用途高性能内存缓存，临时存储键值对数据持久化关系型…...

编程日记 2025/6/26 2:34:46

Git 常用命令详解

Git 常用命令详解（含详细示例） 本文整理了 Git 日常使用中最常用的命令，适合初学者和日常查阅，如有错误，敬请指正，谢谢！ ☁️ Git 使用流程入门（从 pull 和 push 开始） …...

编程日记 2025/6/24 20:08:33

AI、机器学习、深度学习：一文厘清三者核心区别与联系

AI、机器学习、深度学习：一文厘清三者核心区别与联系前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，可以分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/ccc 前言在人工智能技术席卷全球的今天&…...

编程日记 2025/6/26 2:27:35

《数字藏品社交化破局：React Native与Flutter的创新实践指南》

NFT，这种非同质化代币，赋予了数字资产独一无二的身份标识，从数字艺术作品到限量版虚拟物品，每一件NFT数字藏品都承载着独特的价值与意义。当React Native和Flutter这两大跨平台开发框架遇上NFT数字藏品，一场技术与创意…...

编程日记 2025/6/26 2:27:36

工业操作系统核心技术揭秘

摘要随着工业 4.0 与智能制造的深入推进，工业操作系统作为工业数字化转型的核心支撑，其技术发展备受关注。本文深入剖析工业操作系统的核心技术，包括实时性保障机制、硬件抽象层设计、多任务管理策略等，结合技术原理与实际应用场…...

编程日记 2025/6/26 2:42:59

Python logging模块使用指南

Python 的 logging 模块是一个灵活且强大的日志记录工具，广泛应用于应用程序的调试、运行监控和问题排查。它提供了丰富的功能，包括多级日志记录、多种输出方式、灵活的格式配置等。以下是详细介绍： 一、为什么使用 logging 模块？…...

编程日记 2025/6/24 21:25:02

沃伦森智能无功补偿系统解决电力电容器频繁投切的隐患

在现代电力系统中，无功补偿设备的稳定运行直接影响电网质量。然而，电力电容器的频繁投切问题长期存在，如同电网的“慢性病”，不仅加速设备老化，还可能引发系统性风险。作为电力电子领域的领军企业，沃伦森电…...

编程日记 2025/6/26 2:30:30

【HarmonyOS 5】鸿蒙mPaaS详解

【HarmonyOS 5】鸿蒙mPaaS详解一、mPaaS是什么？ mPaaS 是 Mobile Platform as a Service 的缩写，即移动开发平台。蚂蚁移动开发平台mPaaS ，融合了支付宝科技能力，可以为移动应用开发、测试、运营及运维提供云到端的一站式解决…...

编程日记 2025/6/26 2:39:44

PyTorch中.item()函数：提取单元素张量值

PyTorch中，.item()函数是什么在PyTorch代码中，.item() 主要用于从一个只包含单个元素的张量（Tensor）中提取出对应的Python标量值，具体作用和使用场景如下：作用获取数值：当通过计算得到一个张量，且该张量仅包含一个元素时，使用 .item() 方法可以方便地将这个元素…...

编程日记 2025/6/23 20:52:21

PyTorch LSTM练习案例：股票成交量趋势预测

文章目录案例介绍源码地址代码实现导入相关库数据获取和处理搭建LSTM模型训练模型测试模型绘制折线图主函数绘制结果案例介绍本例使用长短期记忆网络模型对上海证券交易所工商银行的股票成交量做一个趋势预测，这样可以更好地掌握股票买卖点，从而提高…...

编程日记 2025/6/26 2:30:30

ARM A64 LDR指令

ARM A64 LDR指令 1 LDR (immediate)1.1 Post-index1.2 Pre-index1.3 Unsigned offset 2 LDR (literal)3 LDR (register)4 其他LDR指令变体4.1 LDRB (immediate)4.1.1 Post-index4.1.2 Pre-index4.1.3 Unsigned offset 4.2 LDRB (register)4.3 LDRH (immediate)4.3.1 Post-index…...

编程日记 2025/6/26 2:28:55

一些问题杂记

1. 在 SSH 会话/bash中仅使用cat命令查看文件后使用umount命令提示挂载点繁忙，lsof命令查看是bash有占用，但是并没有打开文件之类的情况原因：当前工作目录仍在挂载点内，使用cat查看文件时，可能当前工作目录&#xff…...

编程日记 2025/6/26 2:33:09

【OpenGL学习】（一）创建窗口

文章目录【OpenGL】（一）创建窗口【OpenGL】（一）创建窗口 GLFW OpenGL 本身只是一套图形渲染 API，不提供窗口创建、上下文管理或输入处理的功能。 GLFW 是一个支持创建窗口、处理键盘鼠标输入和管理 OpenGL 上下文的…...

编程日记 2025/6/26 2:31:53

RTSP 播放器技术探究：架构、挑战与落地实践

RTSP 播放器为什么至今无法被淘汰？ 在实时视频传输领域，RTSP（Real-Time Streaming Protocol）作为最基础、最常见的协议之一，至今依然被广泛用于监控设备、IP Camera、视频服务器等设备中。然而，要构建一个稳…...

编程日记 2025/6/25 18:49:08

【问题记录】08 MAC电脑，安装HP打印机驱动，提示：此更新需要macOS版本15.0或更低版本

问题描述： MAC电脑，升级了新系统之后（v15.4.1）。这时，安装惠普（HP）打印机驱动，提示：This update requires macOS version 15.0 or earlier（此更新需要macOS…...

编程日记 2025/6/26 2:27:36

场景新零售：基于开源AI大模型AI智能名片S2B2C商城小程序源码的商业本质回归与创新

摘要：本文聚焦场景新零售，探讨在新生代消费群体推动下传统零售模式的创新升级。通过分析新生代消费群体的特点以及场景新零售的发展趋势，阐述开源AI大模型AI智能名片S2B2C商城小程序源码在场景新零售中的应用优势，包括精准营销、供…...

编程日记 2025/6/20 17:40:07

16.2 VDMA视频转发实验之模拟源

文章目录 1 实验任务2 系统框图3 硬件设计3.1 IP核配置3.2 注意事项3.3 自定义IP核源码 1 实验任务基于14.1，相较于16.1，使用自定义IP核vid_gen_motion替换Xilinx TPG IP核。 2 系统框图基于14.1，添加自定义IP核vid_gen_motion作为视频源…...

编程日记 2025/6/20 23:31:49

PADS 9.5安装教程

1.安装包 https://pan.baidu.com/s/1bt6vE3y8VEmlFwJfoV32nA?pwdj2cg 2.PADS 9.5安装教程 PADS 9.5安装教程（Windows11、超详细版）_pads9.5-CSDN博客 3.出现的问题 1.打开无法使用鼠标滚轮 Win10 pads卡死问题解决，输入法的兼容性问…...

编程日记 2025/6/21 21:25:16

趣味编程：钟表

目录 1. 效果展示 2. 源码展示 3. 逻辑概述 3.1 表针绘制函数（DrawHand） 3.2 表盘绘制函数 3.3 主程序逻辑 4. 小结概述：本篇博客主要介绍简易钟表的绘制。 1. 效果展示该钟表会随着系统的时间变化而变化，动态的效…...

编程日记 2025/6/23 14:38:08

.NET 通过命令行解密web.config配置

在.NET应用系统中，保护数据库连接字符串的安全性至关重要。.NET 提供了一种通过 DataProtectionConfigurationProvider 加密连接字符串的方法，以防止敏感数据泄露。然而，在内网信息收集阶段，攻击者只需在目标主机上运行aspnet_regiis.exe这个命令行工具即可完成解密，获取数…...

编程日记 2025/6/25 1:24:43

【MySQL】多表连接查询

个人主页：Guiat 归属专栏：MySQL 文章目录 1. 多表连接查询概述1.1 连接查询的作用1.2 MySQL支持的连接类型 2. 内连接 (INNER JOIN)2.1 内连接的特点2.2 内连接语法2.3 内连接实例2.4 多表内连接 3. 左外连接 (LEFT JOIN)3.1 左外连接的特点3.2 左外连接…...

编程日记 2025/6/20 1:49:33

【AI论文】用于评估和改进大型语言模型中指令跟踪的多维约束框架

摘要：接下来的指令评估了大型语言模型（LLMs）生成符合用户定义约束的输出的能力。然而，现有的基准测试通常依赖于模板化的约束提示，缺乏现实使用的多样性，并限制了细粒度的性能评估。为了填补这一空白&…...

编程日记 2025/6/22 6:30:10

应用BERT-GCN跨模态情绪分析：贸易缓和与金价波动的AI归因

本文运用AI量化分析框架，结合市场情绪因子、宏观经济指标及技术面信号，对黄金与美元指数的联动关系进行解析，揭示本轮贵金属回调的深层驱动因素。周三，现货黄金价格单日跌幅达2.1%，盘中触及3167.94美元/盎司关键价位&…...

编程日记 2025/6/26 1:08:17

低成本高效图像生成：GPUGeek和ComfyUI的强强联合

一、时代背景在如今的数字化时代，图像生成技术正不断发展和演变，尤其是在人工智能领域。无论是游戏开发、虚拟现实，还是设计创意，图像生成已成为许多应用的核心技术之一。然而，随着图像质量需求的提升，生成…...

编程日记 2025/6/23 2:02:04

React 第四十二节 Router 中useLoaderData的用途详解

一、前言 useLoaderData，用于在组件中获取路由预加载的数据。它通常与路由配置中的 loader 函数配合使用，用于在页面渲染前异步获取数据（如 API 请求），并将数据直接注入组件，从而简化数据流管理。二、us…...

编程日记 2025/6/23 22:56:31

【NLP 74、最强提示词工程 Prompt Engineering 从理论到实战案例】

一定要拼尽全力，才能看起来毫不费劲 —— 25.5.15 一、提示词工程 1.提示词工程介绍 Ⅰ、什么是提示词所谓的提示词其实就是一个提供给模型的文本片段，用于指导模型生成特定的输出或回答。提示词的目的是为模型提供一个任务的上下文，以便模…...

编程日记 2025/6/21 6:14:00

GPUGeek云平台实战：DeepSeek-R1-70B大语言模型一站式部署

随着人工智能技术的迅猛发展，特别是在自然语言处理领域，大型语言模型如DeepSeek-R1-70B的出现，推动了各行各业的变革。为了应对这些庞大模型的计算需求，云计算平台的普及成为了关键，特别是基于GPU加速的云平台&#xf…...

编程日记 2025/6/25 4:50:34

【抽丝剥茧知识讲解】引入mybtis-plus后，mapper实现方式

目录前言一、传统 Mapper 接口方式二、继承 BaseMapper 的方式三、自定义通用 Mapper 的方式四、使用 MyBatis-Plus 的 ActiveRecord 模式五、使用 MyBatis-Plus 的 IService 接口六、使用建议前言 mapper文件，作为Mybatis框架中定义SQL语句和映射关系的配置文件&…...

编程日记 2025/6/23 10:58:32

AI浪潮：开启科技新纪元

AI 的多面应用 AI 的影响力早已突破实验室的围墙，在众多领域落地生根，成为推动行业变革的重要力量。在医疗领域，AI 宛如一位不知疲倦的助手，助力医生提升诊疗效率与准确性。通过对海量医学影像的深度学习，AI 能够快…...

编程日记 2025/6/22 18:25:56

制造业工厂的三大核心系统：ERP+PLM+MES

对于一家制造业工厂来说，要实现数字化转型，哪几个系统最重要？答案是：ERP，PLM和MES这三个核心系统最为重要！本文就为你快速地概览地介绍一下这三个系统以及它们之间的关联关系。 ERP：企业资源计划 ERP的全称是Enterprise Resource Planning，即企业资源计划系统。它…...

编程日记 2025/6/22 23:49:17

驱动-定时-秒-字符设备

文章目录目的相关资料参考实验驱动程序-timer_dev.c编译文件-Makefile测试程序-timer.c分析加载驱动-运行测试程序总结目的通过定时器timer_list、字符设备、规避竞争关系-原子操作，综合运用实现一个程序，加深之前知识的理解。实现字符设备驱动框…...

编程日记 2025/6/21 8:20:06

（面试）Handler消息处理机制原理

Handler是用于实现线程间通信和任务调度的一种机（Handler、 Looper、MessageQueue、 Message）。Handler 允许线程间发送Message或Runnable对象进行通信。在Android中UI修改只能通过UI Thread，子线程不能更新UI。如果子线程想更新UI&#xff0…...

编程日记 2025/6/22 8:16:19

WebRTC 通话原理：从协商到通信

在实时音视频通信领域，WebRTC（Web Real-Time Communication）凭借其开源、无需插件且能在浏览器中直接实现高质量通信的特性，成为开发者的热门选择。本文将深入解析 WebRTC 通话原理，涵盖媒体协商、网络协商、网络穿越&…...

编程日记 2025/6/23 7:52:10

InforSuite AS 可以发布django和vue项目是否可行

InforSuite AS 是浪潮推出的企业级中间件平台，主要用于应用集成、流程管理、数据交换等场景，其核心功能更偏向于 Java EE 应用的部署和管理（如支持 WAR/EAR 包）。关于能否直接发布 Django（Python 框架）和 V…...

编程日记 2025/6/24 10:08:10

【中级软件设计师】网络攻击（附软考真题）

【中级软件设计师】网络攻击（附软考真题） 目录【中级软件设计师】网络攻击（附软考真题）一、历年真题二、考点：网络攻击1、拒绝服务攻击（DoS攻击）2、重放攻击3、特洛伊木马4、网络监听5、SQL注入…...

编程日记 2025/6/19 20:21:28

CSS图片垂直居中问题解决方案

在 CSS 中，使用 vertical-align: middle 导致图片略微向下偏移的现象，本质上是由于行内元素的基线对齐规则和父容器上下文环境共同作用的结果。以下是具体原因和解决方案： 原因详解 1. vertical-align: middle 的真实含义该属性不会让…...

编程日记 2025/6/22 5:23:00

P1601 A+B Problem（高精）

题目描述高精度加法，相当于 ab problem，不用考虑负数。输入格式分两行输入。a,b≤10500。输出格式输出只有一行，代表 ab 的值。输入输出样例输入 1 1 输出 2 输入 1001 9099 输出 10100 说明/提示 20% 的测试数据…...

编程日记 2025/6/25 5:19:12

鸿蒙OSUniApp实现个性化的搜索框与搜索历史记录#三方框架 #Uniapp

使用UniApp实现个性化的搜索框与搜索历史记录在移动端应用开发中，搜索功能几乎是标配，而一个好的搜索体验不仅仅是功能的实现，更是用户留存的关键。本文将分享如何在UniApp框架下打造一个既美观又实用的搜索框，并实现搜索历史记录…...

编程日记 2025/6/23 12:14:22

鸿蒙OSUniApp 制作自定义弹窗与模态框组件#三方框架 #Uniapp

UniApp 制作自定义弹窗与模态框组件前言在移动应用开发中，弹窗和模态框是用户交互的重要组成部分，它们用于显示提示信息、收集用户输入或确认用户操作。尽管 UniApp 提供了基础的交互组件如 uni.showModal() 和 uni.showToast()，但这些原…...

编程日记 2025/6/24 19:28:15

web第一次课后作业--运行一个java web项目

一、创建java web项目 1.新建java EE --> 模版：Web应用程序 2.选择版本：Java EE 8 3. 配置tomcat 二、页面效果默认页面跳转页面三、代码 3.1 默认页面 <% page contentType"text/html; charsetUTF-8" pageEncoding"UTF-8…...

编程日记 2025/6/22 6:14:01

工业互联网

工业互联网全景解析工业互联网是工业数字化、网络化、智能化转型升级的重要抓手，是实现中国制造 2025 战略目标的重要路径，对于推动我国实体经济高质量、可持续发展，建设制造强国、网络强国，意义重大。2017 年，我国提…...

编程日记 2025/6/21 10:38:54

论QT6多线程技术

前言以前我多线程使用传统的继承qthread重写run()或者继承qrunable类把对象丢到线程池解决。经过昨天的面试让我了解到新的技术，我之前看到过只不过没有详细的去了解movetotread技术，这个技术是qt5推出的，qt6还在延续使用代码结构以下是…...

编程日记 2025/6/22 8:15:50

TensorFlow深度学习实战（16）——注意力机制详解

TensorFlow深度学习实战（16）——注意力机制详解 0. 前言1. 引入注意力机制2. 注意力机制2.1 注意力机制原理2.2 注意力机制分类 3. 添加注意机制的 Seq2Seq 模型3.1 数据处理3.2 模型构建与训练3.3 模型性能评估小结系列链接 0. 前言在传统的神经网络…...

编程日记 2025/6/23 14:52:50