当前位置：首页 > news >正文

Go语言从零构建SQL数据库(9)-数据库优化器的双剑客

news 来源：原创 2025/7/21 18:41:22

数据库优化器的双剑客：谓词下推与列裁剪

在数据库查询优化的世界里，有两位特别重要的"超级英雄"：谓词下推和列裁剪。这两种优化技术虽然简单，却能带来惊人的性能提升。今天，我们就来揭开它们的神秘面纱，一探究竟。

为什么需要查询优化？

想象一下这个场景：你需要从一个包含1000万条客户记录的表中，找出所有来自北京、年龄超过30岁的客户的姓名和电话。

SELECT name, phone
FROM customers
WHERE city = 'Beijing' AND age > 30;

不加优化的执行流程可能是这样的：

这个过程存在明显浪费：

读取了全表的所有列，而最终只需要name和phone
先读取所有数据，再进行过滤，处理了大量不必要的数据

谓词下推：提前筛选，减少数据量

谓词下推的核心思想非常简单：尽早过滤，尽量减少后续处理的数据量。

谓词下推的工作原理

我们的谓词下推优化器实现了这些关键功能：

基本下推：将过滤条件直接推向表扫描节点
连接操作优化：针对JOIN操作，智能地将条件下推到合适的表
与索引选择结合：下推到表扫描的条件可以充分利用索引

实现中的关键函数

谓词下推优化器包含以下核心组件：

func (r *ImprovedPredicatePushDown) Apply(plan types.LogicalPlan) types.LogicalPlan
func (r *ImprovedPredicatePushDown) pushFilterDown(condition types.Expression, child types.LogicalPlan) types.LogicalPlan
func (r *ImprovedPredicatePushDown) pushFilterThroughJoin(condition types.Expression, join *logical.Join) types.LogicalPlan

其中最有趣的是连接操作的谓词下推。例如，当处理这样的查询时：

SELECT * FROM employees e JOIN departments d
ON e.dept_id = d.id
WHERE e.salary > 5000 AND d.location = 'Beijing'

优化器会将条件e.salary > 5000下推给employees表，将d.location = 'Beijing'下推给departments表。

列裁剪：只读需要的，不取多余的

列裁剪的核心思想同样简洁有力：只读取和处理查询真正需要的列。

列裁剪的工作原理

列裁剪优化器实现了这些核心功能：

需求分析：自顶向下分析哪些列是查询真正需要的
精确裁剪：仅保留需要的列，减少I/O和内存占用
递归应用：对计划树中的每一层都应用裁剪

列依赖收集

列裁剪的关键是准确收集每个操作符所依赖的列。例如，考虑以下查询：

SELECT name, age + 1 AS next_age
FROM customers
WHERE city = 'Beijing' AND salary > 5000

我们需要的列有：

name：直接在SELECT中使用
age：用于计算next_age
city和salary：用于过滤条件

而其他列如phone、email等都可以被裁剪掉。

两种优化的协同效应

当谓词下推和列裁剪一起工作时，效果会更加显著：

考虑以下查询：

SELECT c.name, o.order_date
FROM customers c JOIN orders o ON c.id = o.customer_id
WHERE c.city = 'Beijing' AND o.total > 1000

在1000万客户和5000万订单的数据集上：

优化策略	执行时间	I/O量	内存使用
无优化	30秒	2GB	800MB
仅谓词下推	10秒	200MB	300MB
仅列裁剪	15秒	800MB	200MB
两种都用	3秒	80MB	50MB

实现这些优化的技术挑战

实现这些看似简单的优化实际上面临一些技术挑战：

表达式分析：需要准确分析表达式中引用了哪些列
计划树重写：需要能够安全地重写计划树，保持语义不变
特殊情况处理：例如外连接时的谓词下推需要特别小心

案例分析：性能大幅提升

一个真实世界的例子可以说明这些优化的威力：

SELECT c.name, c.phone
FROM customers c
JOIN orders o ON c.id = o.customer_id
JOIN products p ON o.product_id = p.id
WHERE c.city = 'Beijing' AND o.order_date > '2023-01-01'AND p.category = 'Electronics';

在千万级数据量下，优化前后的对比：

未来优化方向

尽管我们实现的谓词下推和列裁剪已经很强大，但仍有改进空间：

基于统计信息的选择性估算：优先下推高选择性谓词
谓词分解与合并：更智能地处理复杂条件
外连接优化：增强外连接的谓词下推能力
支持窗口函数：增强列裁剪对窗口函数的支持
索引覆盖扫描：与索引选择更紧密结合

结论

谓词下推和列裁剪是数据库优化器中的"基础设施"，它们简单而强大，为查询性能带来数量级的提升。通过将过滤条件尽早应用和只读取必要的列，我们可以显著减少I/O、内存使用和计算量。

这些优化技术的实现展示了现代数据库引擎的精妙设计思想：通过计划重写和智能决策，在不改变查询语义的前提下大幅提升性能。这正是软件设计中"不要做无用功"原则的完美体现。

下一次当你的查询从几分钟变成几秒钟，别忘了可能是这两位"优化超级英雄"在默默工作！

Go语言从零构建SQL数据库(9)-数据库优化器的双剑客

数据库优化器的双剑客：谓词下推与列裁剪在数据库查询优化的世界里，有两位特别重要的"超级英雄"：谓词下推和列裁剪。这两种优化技术虽然简单，却能带来惊人的性能提升。今天，我们就来揭开它们的神秘面纱&…...

编程日记 2025/7/21 18:41:22

C++中什么是函数指针？

在C中，函数指针是一个指向函数的指针变量。通过函数指针，我们可以像使用函数一样调用它所指向的函数，常用于实现回调函数、函数指针数组等功能。以下是一个简单的C代码示例，展示了函数指针的使用： cpp #include <…...

编程日记 2025/7/21 18:25:47

Python工具链UV整合环境管理

Python工具链UV整合环境管理终极Python工具链UV：从依赖管理到项目开发的全维度解析一、引言：重新定义Python开发的大一统时代二、深度安装指南：多场景适配方案1. 官方独立安装器（推荐方案）2. 进阶安装方式3. 安装验证…...

编程日记 2025/7/21 18:25:47

RuoYi-v4.7.8 jar/war部署

准备条件 jdk-8u73-windows-x64.exe mysql5.7 apache-tomcat-9.0.60 apache-maven-3.8.1 RuoYi-v4.7.8.zip （官网 RuoYi） 登录gitee,选择标签要下载的版本好，点击克隆下载zip压缩文件安装maven Apache Archive Distribution Directory…...

编程日记 2025/7/21 18:29:39

基于SpringBoot的小区停车位管理系统

作者：计算机学姐开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码精品专栏：…...

编程日记 2025/7/14 12:37:15

张量并行优质博客

必读图解系列1 比较全面的相关文献总结博客，可以重点看一下其中的行列切分算子2 # 图解大模型训练之：张量模型并行(TP)，Megatron-LM ↩︎ # 大规模分布式 AI 模型训练系列——张量并行 ↩︎...

编程日记 2025/7/16 1:57:19

汽车诊断简介

历史 20世纪80年代，由于美国西海岸严重的雾霾问题，CARB（加州空气资源委员会）通过了一项法律，要求对机动车辆进行车载监测诊断。这推动了OBD-I的引入，并在1990年代被OBD II取代。与此同时，欧洲也…...

编程日记 2025/7/21 18:41:22

suricata之规则去重

一、环境和背景 1.1 环境 OS: Ubuntu 22.04.5 LTS IDE: vscode suricata: suricata 7.0.5 1.2 背景在添加规则时，为了给规则分类，将不同类别的规则写入不同的文件。在规则加载时两条不同的规则却被认为是重复的，因此记录一下去重逻辑。…...

编程日记 2025/7/20 1:35:24

接口在函数参数和对象类型中的应用

在 TypeScript 中，接口（interface）是一种强大的工具，用于定义和约束对象的结构。它不仅可以用于描述对象类型，还能够用于定义函数的参数和返回类型。接口可以提高代码的可读性、可维护性，并帮助捕捉潜在的错…...

编程日记 2025/7/18 21:10:02

Javascript:数组和函数

数组创建数组使用new创建 let arrnew array(数组大小); 直接赋值创建 let Arr2[];let Arr3[1,A,"HELLLO"]; 这里JS的数组里面的元素属性可以各不相同演示代码 <script>let Arr1new Array(5);let Arr2[];let Arr3[1,A,"HELLLO"];console.…...

编程日记 2025/7/18 19:55:05

Vue Router

Vue Router：前端路由跳转的魔法什么是Vue Router Vue Router是Vue官方的路由管理器，它允许我们在不重新加载页面的情况下更改浏览器中显示的内容，实现单页应用(SPA)的无缝导航体验。 📊 Vue Router工作流程图 #mermaid-svg-xNtkA0qYMjB0lvUt {font-family:"trebu…...

编程日记 2025/7/17 1:26:34

谷歌与微软的AI战争：搜索、云服务与生态布局

谷歌与微软的AI战争：搜索、云服务与生态布局系统化学习人工智能网站（收藏）：https://www.captainbed.cn/flu 文章目录谷歌与微软的AI战争：搜索、云服务与生态布局摘要引言技术路线对比1. AI基础设施：算力…...

编程日记 2025/7/19 9:31:02

robomaster机甲大师--电调电机

文章目录 C620电调ID设置速率电调发送报文电调接收报文cubemx程序初始化发送接收 C620电调 ID设置速率 1Mbps 电调发送报文发送的数据为控制电机的输出电流，需要将can数据帧的ID设置为0x200 电调接收报文机械角度：电机的0到360度映射到0到几千转…...

编程日记 2025/7/21 18:28:00

菜鸟之路day31一一MySQL之多表设计

菜鸟之路day31一一MySQL之多表设计作者：blue 时间：2025.5.9 文章目录菜鸟之路day31一一MySQL之多表设计0.概述一.多表设计1.1一对多1.2一对一1.3多对多 0.概述内容学习自黑马程序员BV1m84y1w7Tb 一.多表设计 1.1一对多一对多关系实现&#xff…...

编程日记 2025/7/18 1:08:34

害怕和别人发生冲突怎么办? --deepseek

害怕与他人发生冲突是一种常见的心理状态，可能源于对关系破裂、被否定或情绪失控的担忧。但这种恐惧长期存在会影响自我表达和人际关系。以下是分步骤的应对策略，帮助你逐步建立应对冲突的自信： 第一步：理解你的恐惧根源自我提问…...

编程日记 2025/7/20 1:35:25

Go语言——kratos微服务框架使用

文章目录一、安装依赖二、创建项目三、初始化项目四、使用git_bash命令终端运行命令五、创建自己的项目1、修改app.proto3、internal/service/app.go4、修改internal/service/service.go文件5、创建internal/biz/content.go文件6、修改internal/biz/biz.go文件7、创建internal…...

编程日记 2025/7/20 21:29:34

无人机飞控算法开发实战：从零到一构建企业级飞控系统

简介无人机飞控算法是实现稳定飞行和精确控制的核心技术，涉及飞行动力学建模、传感器数据处理、状态估计和控制策略等多个环节。本实战指南将系统讲解四旋翼无人机飞控算法的开发流程，包括飞行动力学模型建立、传感器校准与数据融合、主流控制算法实现（PID、ADRC、EKF）以…...

编程日记 2025/7/21 18:28:02

MiniMind：3块钱成本 + 2小时！训练自己的0.02B的大模型。minimind源码解读、MOE架构

大家好，我是此林。目录 1. 前言 2. minimind模型源码解读 1. MiniMind Config部分 1.1. 基础参数 1.2. MOE配置 2. MiniMind Model 部分 2.1. MiniMindForCausalLM: 用于语言建模任务 2.2. 主干模型 MiniMindModel 2.3. MiniMindBlock: 模型的基本构建块…...

编程日记 2025/7/21 18:28:00

每日算法刷题 Day3 5.11:leetcode数组2道题，用时1h(有点慢)

5.LC 零矩阵(中等) 面试题 01.08. 零矩阵 - 力扣（LeetCode） 思想: 法一: 利用两个集合分别储存要清0的行和列索引另外两种原地优化空间的做法暂时不是目前刷题目标，故不考虑代码 c: class Solution { public:void setZeroes(vector&l…...

编程日记 2025/7/13 13:55:45

POSIX信号量

目录一、相关概念回顾 1.信号量 2.多线程使用资源的两种情况 3.P操作和V操作二、CP && 基于环形队列的生产者消费者模型 1.环形队列的介绍编辑 2.基于环形队列的生产者消费者模型的默认规则（通过信号量实现规则的成立） 3.相关的结论…...

编程日记 2025/7/18 1:12:17

前端Web开发HTML5+CSS3+移动web（基础-flex）

网页设计套路：从上到下，从整体到局部 １：HTML定义： （1）超文本是点击可以页面来回切换的链接 （2）标记就是标签语言 ２：标签的语法 （1&…...

编程日记 2025/7/19 5:14:05

Java 原生异步编程与Spring 异步编程详解

简介 Java 异步编程是现代高性能应用开发的核心技术之一，它允许程序在执行耗时操作（如网络请求、文件 IO）时不必阻塞主线程，从而提高系统吞吐量和响应性。异步 vs 同步同步：任务按顺序执行，后续任务需…...

编程日记 2025/7/21 18:37:37

AUTOSAR图解==＞AUTOSAR_TR_HWTestManagementIntegrationGuide

AUTOSAR硬件测试管理集成指南启动和关闭阶段硬件测试管理的规范与集成目录文档概述 1.1 文档范围 1.2 局限性目标与动机 2.1 目标 2.2 动机 2.3 用例约束与假设缩略语与术语相关文档HTMSS AUTOSAR集成方法HTMSS功能描述AUTOSAR架构解决方案 8.1 HTMSS系统架构 8.2 HTMSS启动…...

编程日记 2025/7/21 18:39:27

Day22 Kaggle泰坦尼克号训练实战

作业自行学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码 kaggle泰坦里克号人员生还预测一、流程思路概述数据加载 ：读取泰坦尼克号的训练集和测试集。数据预处理 ：处理缺失值、对分类变量进行编码、…...

编程日记 2025/7/17 1:23:43

基于大核感知与非膨胀卷积的SPPF改进—融合UniRepLK的YOLOv8目标检测创新架构

在当前目标检测领域中，YOLO系列模型因其优异的速度-精度平衡能力而被广泛部署于工业界与科研场景。YOLOv8作为该系列的最新版本，在主干网络与特征金字塔结构上进行了多项优化，进一步提升了其实时性与鲁棒性。然而，其核心组件—SPP…...

编程日记 2025/7/21 12:04:21

[Linux]从零开始的STM32MP157 Busybox根文件系统构建

一、前言在上一篇教程中，已经教了大家如何使用Buildroot构建根文件系统，并且在最后我们已经完整的构建了一个可以运行的根文件系统。但是，Buildroot的集成度太高了，不利于小白理解根文件系统，所以本次教程&#xff0c…...

编程日记 2025/7/19 22:26:50

C++ RAII机制

RAII（Resource Acquisition Is Initialization）是一种编程范式，核心思想是：资源的生命周期与对象绑定——对象创建时获取资源，对象销毁时自动释放资源。这种机制通过构造函数和析构函数的配对执行，确保资源…...

编程日记 2025/7/19 21:52:41

spring中的@Value注解详解

一、核心功能与作用 Value是Spring框架中用于动态注入属性值的注解，支持从配置文件、环境变量、SpEL表达式等来源注入数据，实现代码与配置的解耦。注入类型覆盖广泛基本类型：字符串、数值（int/double）、布尔值等。 …...

编程日记 2025/7/21 12:26:46

模型欠拟合是什么?

模型的欠拟合：全面解析一、定义与核心概念欠拟合（Underfitting）是指模型在训练数据、验证数据和测试数据上均表现不佳的现象。其本质是模型过于简单或学习能力不足，无法捕捉数据中的潜在规律和复杂关系，导致泛化能力差。例如，用线性模型拟合非线性数据时，模型无法描…...

编程日记 2025/7/21 1:14:31

IC ATE集成电路测试学习——电流测试的原理和方法

电流测试我们可以通过电流来判断芯片的工作状态时，首先先了解下芯片的电流是如何产生的。静态电流理论上，CMOS结构的芯片静态时几乎不耗电 CMOS基本结构：Pmos Nmos 串联当逻辑电平稳定时： ➜ 要么Pmos导通，Nmo…...

编程日记 2025/7/16 23:09:10

Wordpress头像无法加载太慢问题解决方式 1、找到我们当前使用的主题目录中找到functions.php文件在文件最后面添加以下代码 if ( ! function_exists( get_cravatar_url ) ) {/***替换Gravatar头像为Cravatar头像** param string $url** return string*/function get_cravatar…...

编程日记 2025/7/16 15:26:20

《大模型微调实战：Llama 3.0全参数优化指南》

全参数微调（Full Parameter Fine-Tuning）是推动大模型适应垂直领域任务的核心技术，尤其对于Llama 3.0这类千亿级参数模型而言，其性能优化与场景适配能力直接决定了实际应用价值。然而，全参数微调面临计算成本高、内存占…...

编程日记 2025/7/17 19:26:09

ActiveMQ 生产环境问题排查与调优指南（二）

五、调优策略与实践 5.1 JVM 调优 JVM 调优对于提升 ActiveMQ 性能至关重要，合理的 JVM 配置可以使 ActiveMQ 更高效地利用系统资源，减少性能瓶颈。设置合理的堆内存大小是 JVM 调优的关键步骤。堆内存是 JVM 中用于存储对象实例的区域，其…...

编程日记 2025/7/18 1:06:11

AugmentCode 非常昂贵的新定价

AugmentCode 现在的价格比 Cursor 和 Windsurf 的总和还要贵。 AugmentCode 曾是我开发工作流程的常用工具。出乎意料的是，他们改变了定价结构，让开发者们震惊不已。原来的30 美元月费已经增长为50 美元月费，这是一个67%的增长。改变我看法的不仅仅是价格上涨，还有他…...

编程日记 2025/7/20 19:24:41

Unity 红点系统

首先明确一个，即红点系统的数据结构是一颗树，并且红点的数据结构的初始化需要放在游戏的初始化中，之后再是对应的红点UI侧的注册，对应的红点UI在销毁时需要注销对红点UI的显示回调注册，但是不销毁数据侧的红点注册 - …...

编程日记 2025/7/19 20:50:28

Python-UV多环境管理

Python-UV多环境管理 Python使用UV进行环境管理，系统了解UV的使用文章目录 Python-UV多环境管理 [toc]1-学习要点2-核心知识点3-UV多环境管理4-venv和uv脚本对比1-venv环境管理2-uv环境管理3-venv对比uv 1-学习要点 1-熟悉【UV环境管理】2-熟悉【UV和Venv脚本区别…...

编程日记 2025/7/20 11:30:55

多空短线决策+飞云分仓操盘，两个副图指标组合操盘技术，短线更精准有效

如上图，两个副图指标，第一个【短线多空决策】，第二个副图指标【飞云分仓操盘】，指标组合使用，精准性和有效性更加有效。如上图，两个指标组合使用，我们选择第二个副图指标出现红色和紫色区域的标…...

编程日记 2025/7/20 16:06:34

istio in action之应用弹性与容错机制

在分布式系统中，服务间的依赖关系就像一张错综复杂的网络，任何一个节点的抖动都可能引发连锁反应。这也是为什么我们需要强调弹性，因为在分布式系统中，服务之间通过网络进行通信，这本身就引入了无数个潜在的失败点。我…...

编程日记 2025/7/18 23:23:12

将PyQt5设计的程序打包成.exe文件

打包教程因为打包的机制是会把当前的解释器的包也打包上，而我的环境经常会有一些较大的包，比如torch之类的。所以这里会创建一个单独的环境。 conda create -n image_process python3.8 激活环境 conda activate image_process 现在先安装我需要安装…...

编程日记 2025/7/17 14:53:16

Java原生结合MQTTX---完成心跳对话（附带源码）

简言：✨当Java遇上MQTT：打造会"隔空传话"的魔法程序✨ 导语：想不想让两个Java程序像哈利波特里的双面镜一样实时对话？今天我们将用MQTT协议EMQX，在Ubuntu上搭建一个魔法邮局，再亲手编写会传信的…...

编程日记 2025/7/20 23:52:00

redis数据结构-06（LRANGE、LINDEX、LSET、LREM）

列表操作：LRANGE、LINDEX、LSET、LREM Redis 列表不仅仅是简单的数组；它们是一种强大的数据结构，可以高效地操作有序数据。本课将深入探讨使用 Redis 列表的四个基本命令： LRANGE 、 LINDEX 、 LSET 和 LREM 。掌握这些命令将使您…...

编程日记 2025/7/15 22:52:53

4.4 os模块

os模块： chdir:修改工作路径 --- 文件所在位置的标识 getcwd():返回当前路径，如果修改了则显示修改后的路径 curdir:获取当前目录的表示形式 cpu_count():返回当前cpu的线程数 getppid(): 获取当前进程编号 getppid()：获取当前进程的父进…...

编程日记 2025/7/20 18:09:24

在 Windows 系统上选择与部署 DICOM 医学影像开发工具与库

🧑 博主简介：CSDN博客专家、CSDN平台优质创作者，高级开发工程师，数学专业，10年以上C/C++, C#, Java等多种编程语言开发经验，拥有高级工程师证书；擅长C/C++、C#等开发语言，熟悉Java常用开发技术，能熟练应用常用数据库SQL server,Oracle,mysql,postgresql等进行开发应用…...

编程日记 2025/7/21 10:55:37

MYSQL数据库集群高可用和数据监控平台（详细版）

项目说明概述该项目共分为2个子项目，由MYSQL集群高可用和数据监控平台两部分组成 MYSQL集群高可用属于云原生高级课数据库运维部分的知识数据监控平台属于云原生拔高项目，旨在让学生增加知识面，提高项目实习经历，充实简历 …...

编程日记 2025/7/21 15:11:41

学习通刷课稳定版（美化面板+完全免费）

学习通刷 （美化面板完全免费） 安装教程方法一源码文件方法二提示结尾安装教程方法一我们首先在浏览器打开脚本猫网站并获取该插件（浏览器以Edge为例） 脚本猫首页：https://scriptcat.org/zh-CN/ 第一步&#xff…...

编程日记 2025/7/18 14:39:40

python 实现sha加密

在Python中，SHA（Secure Hash Algorithm）是一种加密哈希函数，通常用于生成数据的哈希值。SHA算法是单向的，这意味着它只能用于加密（生成哈希值），而不能用于解密。因此，SHA…...

编程日记 2025/7/15 10:55:25

Linux epoll 详解：概念、使用、数据结构、流程及应用

epoll是什么？ epoll 是从 Linux 2.6 起，Linux内核提供的一种高性能I/O事件通知机制，用于解决传统 select 和 poll 在处理大量并发连接时遍历、最大数量限制、频繁拷贝数据等问题。epoll 可以用来监听多个文件描述符（socket、管道…...

编程日记 2025/7/21 6:45:04

Kubernetes排错(十一)：lsof命令实战场景

在Kubernetes生产环境中，lsof作为Linux系统的"透视眼"，是排查容器级疑难杂症的必备工具。本文将深入解析其在容器化场景下的高阶用法，助你快速定位隐藏问题。一、基础环境准备 1. 容器内安装lsof # 临时进入容器安装&#xff0…...

编程日记 2025/7/15 13:12:28

Java基础语法之循环结构

循环结构 1.定义控制一段代码重复执行多次 2.分类 2.1 for循环 2.1.1 定义控制一段代码反复执行很多次。 2.1.2 for循环格式 for (初始化语句; 循环条件; 迭代语句) { 循环体语句(重复执行的代码); }示例 // 输出3次HelloWorld for (int i 0; i < 3; i) { System…...

编程日记 2025/7/16 23:34:50

冒泡排序的原理

冒泡排序是一种简单的排序算法，它通过重复地遍历待排序的列表，比较相邻的元素并交换它们的位置来实现排序。具体原理如下： 冒泡排序的基本思想冒泡排序的核心思想是通过相邻元素的比较和交换，将较大的元素逐步“冒泡”到列表的…...

编程日记 2025/7/19 18:01:15