当前位置：首页 > news >正文

Oracle最佳实践-优化硬解析

news 来源：原创 2025/6/26 19:17:13

前段时间参加oracle CAB，oracle高级服务部门做了一个数据库最佳实践的报告，其中就有一项就是解决未使用绑定变量但执行次数很多的SQL；对于一个数据库来说如果不知道该如何优化，那么最简单最有效的优化就是减少硬解析，当然这部分优化对于DBA来说推动起来会有些难度，毕竟修改代码需要开发和业务部分配合，但是相对来说优化的难度低（绑定变量），带来的收益高，这里来介绍一下如何优化硬解析。

1. sql的执行路径

在优化之前首先要了解sql的执行路径，只有了解了sql的执行路径才能更好的了解硬解析和软解析。

1.1 SQL 解析（Parsing）

语法检查：验证 SQL 语句的语法是否正确。

语义检查：检查语义的合法性（如表、列是否存在，权限是否满足）。

共享池检查：在共享池中查找相同的 SQL 语句，避免重复解析（软解析）。

生成执行计划：如果是首次执行（硬解析），优化器会生成最佳的执行计划。

1.2 SQL 绑定（Binding）

如果 SQL 包含绑定变量（如 :1 或 :2），将实际的变量值替换到绑定变量的位置。

确保 SQL 在执行时能够正确应用输入参数。

1.3 SQL 优化（Optimization）

使用优化器（基于成本CBO或规则）评估多种执行计划。

选择具有最低成本的计划，用于后续执行。

1.4 执行计划生成（Execution Plan Generation）

确定具体的访问路径（如全表扫描、索引扫描）。

确定连接方法（如嵌套循环、哈希连接）。

1.5 SQL 执行（Execution）

根据执行计划，读取所需的数据块。

完成逻辑操作（如过滤、排序、连接）。

1.6 数据返回（Fetching）

如果是查询操作，按需从缓冲区或磁盘中提取数据。

数据按行或批量形式返回给客户端。

oracle sql执行流程图

2.硬解析VS软解析VS软软解析

通用整体性sql优化，我认为最容易最有效的方式就是减少系统的硬解析比例，使用绑定变量减少硬解析的比例可以有效提升系统的整体性能。

硬解析，软解析和软软解析对比

类型	硬解析（Hard Parsing）	软解析（Soft Parsing）	软软解析（Fast Parsing）
定义	SQL 无匹配计划，需重新生成执行计划。	SQL 匹配到已有计划，但需部分验证。	SQL 完全命中缓存，直接使用执行计划。
触发条件	不使用绑定变量或缓存中无匹配。	使用绑定变量，计划部分验证通过。	使用绑定变量，计划完全匹配，无需验证。
资源消耗	最高（CPU、内存开销大）。	较低（部分解析验证）。	最低（几乎无消耗）。
性能	最差（增加解析时间、锁竞争）。	中等（解析步骤减少，性能提升）。	最优（完全缓存命中，解析效率最高）。
优化方法	统一 SQL 语句结构、使用绑定变量、增加库缓存大小。	减少库缓存竞争、优化游标共享设置。	高效利用绑定变量和共享游标机制。

3.了解系统整体的解析情况

最常用的办法是通过AWR报表来了解系统的整体的解析情况，其中关键的指标如下几个指标

Parses（SQL）：每秒or事务解析次数，反应了系统的繁忙层度，数据来源v$sysstat statistics parse count (total)

Hard parses（SQL）：每秒or事务硬解析次数，反应了系统硬解析的整体状况，数据来源v$sysstat statistics parse count (hard)

Soft Parse%：最重要的一个指标， 软解析比例，无需多说的经典指标，数据来源v$sysstat statistics的parse count(total)和parse count(hard)。合理值>95% Soft Parse %是AWR中另一个重要的解析指标，该指标反应了快照时间内软解析次数和总解析次数 (soft+hard 软解析次数+硬解析次数)的比值，若该指标很低，那么说明了可能存在剧烈的hard parse硬解析，大量的硬解析会消耗更多的CPU时间片并产生解析争用(此时可以考虑使用cursor_sharing=FORCE)；理论上我们总是希望 Soft Parse % 接近于 100%，但并不是说100%的软解析就是最理想的解析状态，通过设置 session_cached_cursors参数和反复重用游标我们可以让解析来的更轻量级，即通俗所说的利用会话缓存游标实现的软软解析(fast parse)

Execute to Parse%:Execute to Parse% 指标反映了执行解析比计算方法 1-(parse/execute) , 目标为100% 即接近于只执行而不解析。数据来源v$sysstat statistics parse count (total) 和execute count

在oracle中解析往往是执行的先提工作，但是通过游标共享可以解析一次执行多次，执行解析可能分成多种场景：

解析与执行的场景

硬解析 SQL（Hard Coding）：
- 特点：硬解析一次，执行一次。
- 表现：
  - 执行解析比接近 1:1。
  - Execute to Parse% 接近 0（极差）。
  - 软解析率（Soft Parse%） 也接近 0%。
- 问题：高频硬解析会显著增加系统资源消耗。
绑定变量但仍需软解析：
- 特点：每次执行前仍需软解析。
- 表现：
  - 执行解析比接近 1:1。
  - Execute to Parse% 仍接近 0（差）。
  - 软解析率（Soft Parse%） 可能很高。
- 问题：虽然比硬解析略好，但解析开销仍然较高。
高效的解析与执行（理想场景）：
- 特点：通过静态SQL、绑定变量、session_cached_cursor、open_cursors等技术，实现“解析一次，执行多次”。
- 表现：
  - 执行解析比为 N:1（N 越大越好）。
  - Execute to Parse% 趋近于 100%。
  - 软解析比例降低，解析开销显著减少。
- 优化效果：非常适合 OLTP 环境。

通俗地说 soft parse% 反映了软解析率，而软解析在oracle中仍是较昂贵的操作，我们希望的是解析1次执行N次，如果每次执行均需要软解析，那么虽然soft parse%=100% 但是parse time仍可能是消耗DB TIME的大头。 Execute to Parse反映了执行解析比，Execute to Parse和soft parse% 都很低那么说明确实没有绑定变量，而如果 soft parse% 接近99% 而Execute to Parse 不足90% 则说明执行解析比低，可以通过静态SQL、动态绑定、session_cached_cursor、open cursors等技术减少软解析。

Parse CPU To Parse Elapsd:该指标反映了快照内解析CPU时间和总的解析时间的比值(Parse CPU Time/ Parse Elapsed Time)；若该指标水平很低，那么说明在整个解析过程中实际在CPU上运算的时间是很短的，而主要的解析时间都耗费在各种其他非空闲的等待事件上了(如latch:shared pool,row cache lock之类等) 数据来源 V$sysstat 的 parse time cpu和parse time elapsed

4.查询未绑定变量的高频 SQL

V$SQL 视图包含每个 SQL 语句的执行统计信息，可以用以下 SQL 查询未绑定变量的高频 SQL

SELECT     sql_id,    executions,    parse_calls,    sql_text,    module,    parsing_schema_name,    ROUND(executions / (parse_calls + 1), 2) AS execution_to_parse_ratioFROM     v$sqlWHERE     executions > 1000   -- 执行次数大于 1000（可调整）    AND parse_calls > 0 -- 存在解析调用    AND executions / (parse_calls + 1) < 10 -- 执行与解析比值较低（表示未使用绑定变量）ORDER BY     executions DESC;

-- 说明

-- executions：SQL 语句的执行次数。

-- parse_calls：SQL 被解析的次数（高解析调用可能是未绑定变量的症状）。

-- execution_to_parse_ratio：执行次数与解析次数的比值，越低越可能是未绑定变量。

-- sql_text：SQL 文本，可以查看具体内容。

重点关注用户schema下的高频sql

检查具体 SQL 的绑定变量使用情况

SELECT *   FROM    v$sql_bind_captureWHERE sql_id = '&SQL_ID';

VALUE_STRING 最近一次捕获的绑定变量值（以字符串形式存储）。

5.检查高负载 SQL

使用 Oracle 提供的 Active Session History（ASH）或 AWR 报告分析高负载 SQL：

ASH：分析活跃会话中的高频 SQL
AWR 报告：查看执行次数最多的 SQL 列表
根据查出的结果在针对sql做具体的分析

在AWR中可以按各种维度来定位top sql 然后再做针对性优化

查询 AWR 中执行次数最多的 SQL

-- 查询 AWR 中执行次数最多的 SQLSELECT * FROM dba_hist_sqlstatWHERE executions_delta > 1000 -- 根据执行次数筛选ORDER BY executions_delta DESC;

查询平均执行时间超过10秒的sql

 SELECT     SQL_ID,    ELAPSED_TIME / 1000000 AS ELAPSED_SECONDS,    EXECUTIONS,    SQL_TEXTFROM     V$SQLWHERE     EXECUTIONS > 0 -- 排除未执行的SQL    AND (ELAPSED_TIME / EXECUTIONS) / 1000000 > 10 -- 平均执行时间超过10秒ORDER BY     ELAPSED_SECONDS DESC;

利用sql_monitor优化

----sql monitor---------SELECT DBMS_SQLTUNE.report_sql_monitor(sql_id => '&sql_id', type => 'TEXT') AS report FROM dual;

被sql monitor监控的触发条件

执行时间>5秒

SQL 的累计执行时间（CPU 时间 + I/O 时间）超过 5秒。

这个时间阈值可以通过参数 SQLMON_THRESHOLD 调整：

ALTER SESSION SET "_sqlmon_threshold" = 2; -- session级别设置阈值为 2 秒ALTER SESSION SET "_sqlmon_threshold" = 2; --系统级别设置阈值为2秒

并行执行（Parallel Execution）：

SQL 使用了并行执行计划（Parallel Execution）。

即使执行时间较短，但因为使用了并行，SQL 会自动被监控。

被强制要求监控：

通过 SQL Hints 强制启用 SQL Monitor

SELECT /*+ MONITOR */ ... FROM table_name;

Oracle最佳实践-优化硬解析

前段时间参加oracle CAB，oracle高级服务部门做了一个数据库最佳实践的报告，其中就有一项就是解决未使用绑定变量但执行次数很多的SQL； 对于一个数据库来说如果不知道该如何优化，那么最简单最有效的优化就是减少硬解析，…...

编程日记 2025/6/26 19:17:13

Java 实现给pdf文件指定位置盖章功能

Java 实现给pdf文件指定位置盖章功能开发中遇到一个需求, 需要给用户上传的的pdf文件, 指定位置上盖公章的功能, 经过调研和对比, 最终确定实现思路. 这里是使用pdf文件中的关键字进行章子的定位, 之所以这样考虑是因为如果直接写死坐标的话, 可能会出现因pdf大小, 缩放, 盖章…...

编程日记 2025/6/27 5:13:22

前端通过 jspdf 和 html2canvas 工具将网页生成 pdf

由于 html2canvas 的性能问题，该方案对于页数比较多的场景生成的非常慢，可以试着使用 modern-screenshot 工具看是否性能会得到提升。 import html2canvas from html2canvas import { jsPDF } from jspdfasync function exportPdf(){const pages docume…...

编程日记 2025/6/24 8:22:55

网络安全—部署CA证书服务器

网络拓扑两台服务器在同一网段即可，即能够互相ping通。安装步骤安装证书系统首先我们对计算机名进行确认，安装了证书系统后我们是不能随意更改计算机名字的，因为以后颁发的证书都是和计算机也就是这一台的服务器名字有关。修改完成后开…...

编程日记 2025/6/24 9:39:55

用Keytool和OpenSSL生成和签发数字证书

一）keytool生成私钥文件(.key)和签名请求文件(.csr)，openssl签发数字证书 J2SDK在目录%JAVA_HOME%/bin提供了密钥库管理工具Keytool，用于管理密钥、证书和证书链。Keytool工具的命令在JavaSE6中已经改变，不过以前的命令仍然支持。Keytool也可以用来管理对称加密算法中…...

编程日记 2025/6/25 10:35:56

《CSS 知识点》大屏卡片布局思路：弹性布局 flex-grow

思路大屏左右两侧高宽一致，内部卡片可按比例设置！ 使用弹性布局和属性 flex-grow 设置比例；间隔使用 margin-bottom 设置，最后一个卡片不设置； 效果如图代码说明 CSS代码 26 - 30，左右两侧设置弹性布…...

编程日记 2025/6/27 4:41:03

ceph单节点部署方式

准备一台单节点虚拟机，2C4G 三个50G的SCSi类型的磁盘 0. 关闭防火墙/关闭SELinux/下载podman/配置时间同步 systemctl disable --now firewalld setenforce 0 vim /etc/sysconfig/selinux SELINUXenforcing 修改为 SELINUXdisabled yum install podman -y sed -…...

编程日记 2025/6/24 9:10:52

【人工智能】OpenAI O1模型：超越GPT-4的长上下文RAG性能详解与优化指南

在人工智能（AI）领域，长上下文生成与检索（RAG） 已成为提升自然语言处理（NLP）模型性能的关键技术之一。随着数据规模与应用场景的不断扩展，如何高效地处理海量上下文信息，成…...

编程日记 2025/6/26 9:01:17

Qt如何将字串显示成二维码以供扫码识别

在Qt中可以使用QRcode来生成二维码，本质上说，其实是把一串信息生成二维码形式的图片。首先介绍下QRcode，QRCode原本是一个用于生成二维码的 JavaScript 库，在Qt中大佬们将其改成C语言实现。现直接放出来，使用的时候直…...

编程日记 2025/6/22 13:58:15

【Golang】如何读取并解析SQL文件

一、背景在数据库开发与维护过程中，我们经常需要执行大量的SQL语句。有时，这些SQL语句会被保存在一个文件中，以便于批量执行。为了方便地在Go语言中处理这些SQL文件，我们可以编写一个函数来读取并解析SQL文件中的语句。二、实…...

编程日记 2025/6/27 4:30:51

图形学笔记 - 5. 光线追踪 - RayTracing

Whitted-Style Ray tracing 为什么要光线追踪光栅化不能很好地处理全局效果软阴影尤其是当光线反射不止一次的时候栅格化速度很快，但质量相对较低光线追踪是准确的，但速度很慢光栅化：实时，光线追踪：离线~10K …...

编程日记 2025/6/26 10:09:53

WHY - 为什么选择 Rsbuild

目录一、介绍二、工具对比三、性能 https://rsbuild.dev/zh/guide/start/index 一、介绍 Rsbuild 是由 Rspack 驱动的高性能构建工具，它默认包含了一套精心设计的构建配置，提供开箱即用的开发体验，并能够充分发挥出 Rspack 的性能优势。二…...

编程日记 2025/6/24 21:26:21

前端(模块化)

未使用模块化定义两个js文件simple1.js和simple2.js let a11; let a11; 两个js文件变量重名在html测试传统引入js文件 <script src"./simple1.js"></script> <script src"./simple2.js"></script> 浏览器报错使用模块…...

编程日记 2025/6/27 4:38:18

Elasticsearch:Mapping-映射

一、创建索引自动生成索引字段数据类型即自动映射创建之前，先删除索引防止重复创建删除索引: DELETE product_mapping创建索引 product_mapping并且赋值 PUT /product_mapping/_doc/1 {"name": "xiaomi phone","desc": "s…...

编程日记 2025/6/26 18:32:25

掘金电影市场的新机遇：开发特惠电影票小程序api文档

随着电影市场的不断扩大，特惠电影票小程序成为创业者和企业争相布局的新蓝海。本文将带你深入了解特惠电影票小程序的开发要点，以及如何通过这个项目实现盈利。项目背景及市场分析电影市场规模的不断扩大为特惠电影票小程序提供了广阔的市场空间。根…...

编程日记 2025/6/25 1:23:23

EFAK kafka可视化管理工具部署使用

简介：EFAK是开源的可视化和管理软件。它允许您查询、可视化、提醒和探索您的指标，无论它们存储在何处。简单来说，它为您提供了将 Kafka 集群数据转换为漂亮的图形和可视化效果的工具。环境：①操作系统：CentOS7.6&…...

编程日记 2025/6/26 1:12:04

---mysql server: Ubuntu Linux下最最基本的操作

作为开发人员你不需要做复杂的mysql server的各种维护操作, 只是想在本机或虚拟机做个server，然后整测试性数据库. 下面我给出最最简单的基本操作: Ubuntu安装完mysql server, 并且后，可以做如下基本操作，就表示可以了你可以在这个基…...

编程日记 2025/6/26 12:58:27

Ariba Procurement: Administration_Master data

采购主数据集成Procurement Master Data Integration 注意：并非所有元素都是必需的，数据元素的名称可能根据ERP的不同，有所不同。 Types of Master Data Accounting 在SAP Ariba中的各种会计元素字段中，填充有效值选择列表。建…...

编程日记 2025/6/26 23:11:10

Not using native diff for overlay2, this may cause degraded performance……

问题现象案例：Anolis 8.9（4.19.91-26.an8.x86_64） Overlay2存储驱动程序） 当我们安装好Docker之后，通过systemctl status docker -l 会发现有一个告警信息：levelwarning msg"Not using native dif…...

编程日记 2025/6/27 5:06:56

【自然语言处理与大模型】使用llama.cpp将HF格式大模型转换为GGUF格式

llama.cpp的主要目标是在本地和云端的各种硬件上以最小的设置和最先进的性能实现LLM推理。是一个专为大型语言模型（LLM）设计的高性能推理框架，完全使用C和C编写，没有外部依赖，这使得它可以很容易地被移植到不同的操作系…...

编程日记 2025/6/24 10:24:51

item2 for macos

安装Item2 brew install iterm2 查看终端类型 cat /etc/shells Mac OS X 10.15 已经将默认的shell从Bash换成了zsh，所以不用安装，10.15以前的可以使用下面的命令进行安装 brew install zsh 安装Oh My ZSH # curl sh -c "$(curl -fsSL https://ra…...

编程日记 2025/6/27 4:42:19

docker命令

目录 docker buildwgetdocker rundocker compose为什么docker compose比docker build 和run快很多？ docker build docker build -t mineru:latestdocker build 命令是 Docker 的核心命令之一，用于从 Dockerfile 构建新的 Docker 镜像。 docker build&am…...

编程日记 2025/6/26 17:30:38

OrangePi Zero2 驱动开发

目录一. 芯片手册 1. 资料下载地址 2. 阅读芯片手册 2.1 GPIO 寄存器的基地址是（0x0300B000） 2.2 PC_CFG0 寄存器的偏移量（0x0048） 2.3 PC_CFG1 的偏移量（0x004C） 2.4 PC_CFG2 的偏移量（0x0050） 2.5 PC_DAT寄存器的偏移量（0x0058）二. 驱动代码调试 2.1 …...

编程日记 2025/6/24 19:40:31

C/C++字符数组与字符串操作

C/C字符数组与字符串操作录入字符 scanf("%c",&字符变量); 字符变量 getchar(); #include <stdio.h> int main() {char ch;while ((ch getchar()) ! EOF) {putchar(ch);}return 0; }上述程序会在文件结尾后结束循环，在命令行中运行&#…...

编程日记 2025/6/26 10:38:32

动手学深度学习---线性神经网络

一、线性回归解析解：模型的解可以用一个公式简单的表示，这类解叫做解析解。超参数：可以调整但不在训练过程中更新的参数称为超参数。调参是选择超参数的过程。超参数通常是我们根据训练迭代结果来调整的。在无法得到解析解的情况下…...

编程日记 2025/6/27 2:11:15

24计算机考研，东南大学和电子科技大学如何选择？

针对题主的情况，更推荐成电。成电上岸更为简单，就业前景也非常不错，性价比相当高。如果基础很扎实、更注重学校牌子、或是未来想在江浙沪发展的同学，东南大学是个很好的选择。下面就从学校综合实力、招录情况、考试难度来详细对比…...

编程日记 2025/6/27 5:08:21

Redis应用-在用户数据里的应用

1.社区电商的业务闭环接下来介绍的社区电商是以Redis作为主体技术、以MySQL和RocketMQ作为辅助技术实现的。 (1)社区电商运作模式社区电商的关键点在于社区，而电商则是辅助性质(次要地位，流量变现)。社区可以分成很多种社区，比如美食社区、美妆社区、影评社区、妈妈社区…...

编程日记 2025/6/25 17:49:13

STL容器-map P3613【深基15.例2】寄包柜普及-

题目来源：洛谷题库文章目录 map例题map知识点map使用注意：map的常用用法 map例题 P3613【深基15.例2】寄包柜普及- 题意根据数据插入/查询思路 map键值对可以根据柜子编号查找物品，但是柜子又有很多个，考虑数组或者map数组…...

编程日记 2025/6/27 4:36:56

excel使用笔记

1.工作表1计算工作表2某列的和假设我们有两个工作表，分别命名为“Sheet1”和“Sheet2”，我们想要求和这两个工作表中A1到A**单元格的数据，可以在任意一个工作表的单元格中输入以下公式： SUM(Sheet1!A1:A10, Sheet2!A1:A10) SUM…...

编程日记 2025/6/23 19:18:20

EasyGBS点对点穿透P2P远程访问技术在安防视频监控中的应用

随着信息技术的快速发展，安防视频监控系统在公共安全领域的应用变得越来越广泛。传统的视频监控系统多依赖于中心服务器进行视频流的集中处理和分发，这不仅增加了网络带宽的负担，还可能成为系统性能瓶颈。为了解决这些问题，P2P&am…...

编程日记 2025/6/26 12:38:46

【MySQL中多表查询和函数】

目录 1.多表查询 1.1 外键 1.2 链接查询 2.MySQL函数内置函数简介数值函数字符串函数时间日期函数条件判断操作开窗函数 1.多表查询本质：把多个表通过主外键关联关系链接（join）合并成一个大表，在去单表查询操作…...

编程日记 2025/6/27 4:54:00

Polars数据聚合与旋转实战教程

在这篇博文中，我们的目标是解决数据爱好者提出的一个常见问题：如何有效地从Polars DataFrame中创建汇总视图，以便在不同时间段或类别之间轻松进行比较。我们将使用一个实际的数据集示例来探索实现这一目标的各种方法。 Polars简介 Polars 是…...

编程日记 2025/6/22 7:02:55

SpringBoot【十三(准备篇)】集成在线接口文档Swagger2

一、前言🔥 环境说明：Windows10 Idea2021.3.2 Jdk1.8 SpringBoot 2.3.1.RELEASE 二、swagger介绍我就不卖关子啦，相信在座的各位很多都已经用过，但是没关系，只要全世界还有一个没用过，我都会给他讲。那…...

编程日记 2025/6/27 5:03:59

CKA认证 | Day6 K8s网络

第六章 Kubernetes网络 1、Service 控制器在 Kubernetes (K8S) 中，Service 控制器是一个关键组件，负责管理 Kubernetes 服务的生命周期和实现其功能。Service 控制器确保服务能够正确地将流量路由到后端 Pod，并处理服务的负载均衡和 DNS …...

编程日记 2025/6/27 4:46:05

基于Llamaindex的网页内容爬取实战

目的本文不关注如何解析网页 html 元素和各种 python 爬虫技术，仅作为一种网页数据的预处理手段进行研究。Llamaindex 也并不是爬虫技术的集大成者，使用它是为了后续的存查一体化。安装依赖 pip install llama-index-readers-web # pip install llam…...

编程日记 2025/6/27 4:31:58

springboot429校运会管理系统(论文+源码)_kaic

摘要传统办法管理信息首先需要花费的时间比较多，其次数据出错率比较高，而且对错误的数据进行更改也比较困难，最后，检索数据费事费力。因此，在计算机上安装校运会管理系统软件来发挥其高效地信息处理的作用&#xff…...

编程日记 2025/6/21 22:29:17

tcpdump编译

https://github.com/westes/flex/releases/download/v2.6.4/flex-2.6.4.tar.gz tar -zxvf flex-2.6.4.tar.gz ./configure CFLAGS-D_GNU_SOURCE make sudo make installwget http://ftp.gnu.org/gnu/bison/bison-3.2.1.tar.gz ./configure make sudo make install以上两个库是…...

编程日记 2025/6/26 20:50:59