当前位置：首页 > news >正文

mysql、postgresql、oceanbase调优

news 来源：原创 2025/6/28 20:26:17

一、mysql

1、my.cnf

[mysqld_safe]
log-error=/data/mysql/log/mysql.log
pid-file=/data/mysql/run/mysqld.pid[client]
socket=/data/mysql/run/mysql.sock
default-character-set=utf8[mysqld]
basedir=/usr/local/mysql
tmpdir=/data/mysql/tmp
datadir=/data/mysql/data
socket=/data/mysql/run/mysql.sock
port=3306
user=root
default_authentication_plugin=mysql_native_password
ssl=0 #关闭ssl
max_connections=2000  #设置最大连接数
back_log=2048  #设置会话请求缓存个数
performance_schema=OFF #关闭性能模式
max_prepared_stmt_count=128000#file
innodb_file_per_table=on #设置每个表一个文件
innodb_log_file_size=1500M #设置logfile大小
innodb_log_files_in_group=32 #设置logfile组个数
innodb_open_files=4000 #设置最大打开表个数#buffers
innodb_buffer_pool_size=230G #设置buffer pool size,一般为服务器内存60%
innodb_buffer_pool_instances=16 #设置buffer pool instance个数，提高并发能力
innodb_log_buffer_size=64M #设置log buffer size大小#tune
sync_binlog=1 #设置每次sync_binlog事务提交刷盘
innodb_flush_log_at_trx_commit=1 #每次事务提交时MySQL都会把log buffer的数据写入log file，并且flush(刷到磁盘)中去
innodb_use_native_aio=1 #开启异步IO
innodb_spin_wait_delay=180 #设置spin_wait_delay 参数，防止进入系统自旋
innodb_sync_spin_loops=25  #设置spin_loops 循环次数，防止进入系统自旋
innodb_spin_wait_pause_multiplier=25 #设置spin lock循环随机数
innodb_flush_method=O_DIRECT #设置innodb数据文件及redo log的打开、刷写模式
innodb_io_capacity=20000 # 设置innodb后台线程每秒最大iops上限
innodb_io_capacity_max=40000 #设置压力下innodb后台线程每秒最大iops上限
innodb_lru_scan_depth=9000 #设置page cleaner线程每次刷脏页的数量
innodb_page_cleaners=16  #设置将脏数据写入到磁盘的线程数
table_open_cache_instances=32 #设置打开句柄分区数
table_open_cache=30000 #设置打开表的数量#perf special
innodb_flush_neighbors=0 #检测该页所在区(extent)的所有页，如果是脏页，那么一起进行刷新，SSD关闭该功能
innodb_write_io_threads=16 #设置写线程数
innodb_read_io_threads=16 #设置读线程数
innodb_purge_threads=32  #设置回收已经使用并分配的undo页线程数
innodb_adaptive_hash_index=0sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_AUTO_VALUE_ON_ZERO,STRICT_ALL_TABLES

2、调优参数

innodb_thread_concurrency	该参数用于控制InnoDB存储引擎在执行查询时使用的并发线程数。	高并发场景，可调整该参数，减少InnoDB层的资源争用。建议取默认值为0，它表示默认情况下不限制线程并发执行的数量。
innodb_read_io_threads	该参数用于控制InnoDB存储引擎在执行读操作时使用的IO线程数。	可以根据CPU核数及读写比例设置该参数来提高性能。
innodb_write_io_threads	该参数用于控制InnoDB存储引擎在执行写操作时使用的IO线程数。	可以根据CPU核数及读写比例设置该参数来提高性能。
innodb_buffer_pool_instances	该参数用于控制InnoDB缓冲池的实例数量。	增加缓冲池实例数可以减少内存热点页面的争用，从而提高内存读取的并发性。建议设置为8～32。
innodb_open_files	在innodb_file_per_table模式下，该参数用于指定InnoDB存储引擎打开的最大文件数。	建议此值调大一些，尤其是表特别多的情况。
innodb_buffer_pool_size	该参数指定了InnoDB缓冲池的大小。InnoDB缓冲池是一个内存区域，用于存储InnoDB表的数据和索引。	增加该参数，可使更多数据Cache在内存，减少IO操作。建议设置为物理内存的70%左右。
innodb_log_buffer_size	该参数用于控制InnoDB事务日志缓冲池的大小。	如果该参数设置得太小，InnoDB事务日志缓冲池可能会频繁地刷新到磁盘，导致性能下降。如果该参数设置得太大，会占用过多的内存资源，导致系统的稳定性受到影响。合理增加日志缓冲池大小，可提升事务提交效率，尤其在大事务和高并发场景，减少日志刷盘的次数。通过查看innodb_log_wait值，来调整innodb_log_buffer_size值。以下两种情况可以考虑调大innodb_log_buffer_size参数的值：如果innodb_log_wait值不等于0并且持续增长时，表明InnoDB存储引擎的日志缓冲池（innodb_log_buffer）空间不足，导致innodb_log_buffer需要等待。如果innodb_log_wait值较高，说明InnoDB存储引擎需要更多的日志缓冲池空间。默认值是64MB。
innodb_io_capacity	该参数定义了InnoDB后台线程每秒可用的IO操作数，即IOPS。	建议设置为磁盘IOPS总能力的75%（磁盘IOPS是指innodb_page_size大小的数据块时的IOPS）。
innodb_log_files_in_group	该参数用于指定InnoDB日志文件组中的日志文件数量。	-
innodb_log_file_size	该参数用于设置InnoDB日志文件的大小。	如果存在大量写操作，建议增加日志文件大小，但日志文件过大，会影响数据恢复时间。如果是非生产环境，测试极限性能时，尽量调大日志文件。如果是商用场景，需要考虑数据恢复时间，综合折中后设置日志文件大小。

mysql、postgresql、oceanbase调优

一、mysql 1、my.cnf [mysqld_safe] log-error=/data/mysql/log/mysql.log pid-file=/data/mysql/run/mysqld.pid[client] socket=/data/mysql/run/mysql.sock default-character-set=utf8[mysqld] basedir=/usr/local/mysql tmpdir=/data/mysql/tmp datadir=/data/mysql/dat…...

编程日记 2025/6/28 20:26:17

【Flux.jl】卷积神经网络

Flux.jl 是包含卷积神经网络的，但是官方API文件中没有给出一个完整的程序框架，只是对所需神经元给了局部解释，此外对 model-zoo 模型动物园中的案例没有及时跟着 Flux.jl 的版本更新，也无法运行出来结果。因此本文搭建了一个完整可训练的卷积神经网络。 Conv 卷积算子…...

编程日记 2025/6/28 19:54:27

数字证书管理工具 openssl keytool

OPENSSL 命令 openssl command [ command_opts ] [ command_args ] 常用command: version 用于查看版本信息 enc 用于加解密 ciphers 列出加密套件 genrsa 用于生成私钥 -des|-des3|-idea：用来加密私钥文件的三种对称加密算法。 rsa …...

编程日记 2025/6/28 18:32:15

notify和notifyAll

notify和notifyAll 简单来说： notify()：只唤醒一个等待的线程，如果有多个线程在等待，那么被唤醒的线程是随机选择的。 notifyAll()：唤醒在该对象监视器上等待的所有线程，但是这些被唤醒的线程仍然需要竞争…...

编程日记 2025/6/28 18:30:38

删除MySQL的多余实例步骤

删除 MySQL 的多余实例通常意味着我们希望卸载或停止某个 MySQL 服务器实例，并从系统中完全移除它。这通常涉及到几个步骤，包括但不限于停止服务、删除数据目录、卸载软件（如果适用）等。 1.基于 Linux 的系统上删除 MySQL 的多余…...

编程日记 2025/6/28 18:00:41

LDR6500应用：C转DP线材双向投屏开启全新体验

在当今这个科技日新月异、蓬勃发展的时代，高清视频传输以及显示技术已经深深融入到我们日常生活与工作的方方面面，其重要性不言而喻。不管是在商务场合的会议演示，还是教育领域的娱乐享受，以及充满激情的游戏竞技领域，…...

编程日记 2025/6/28 18:00:42

商业化大前端在性能优化领域的探索与实践

导读：在业务飞速发展的过程中，用户体验是必不可少的一个环节，而页面性能是直接影响用户体验的重要因素。当页面加载时间过长、交互操作不流畅时，意味着业务可能会出现转化率降低、用户流失等业务问题。在过去一年，为了…...

编程日记 2025/6/28 18:01:46

FinClip | 2024年11月产品大事记

FinClip 的使命是使您（业务专家和开发人员）能够通过小程序解决关键业务流程挑战，并完成数字化转型的相关操作。不妨让我们看看在11月的产品与市场发布亮点，看看是否有助于您实现目标。产品方面的相关动向👇&#x1f…...

编程日记 2025/6/28 19:16:38

EasyPlayer.js在同一个http的mp4视频流地址，浏览器可以播放，播放器中却播放不了

流媒体技术正站在数字化时代的前沿，随着互联网技术的不断进步和市场需求的日益增长，其发展前景显得尤为广阔。随着全球数字化转型的不断深入，流媒体行业将迎来更加繁荣的未来，成为信息传播和娱乐消费的主要渠道。用户遇到在同一个…...

编程日记 2025/6/28 18:01:19

探索云原生安全解决方案的未来

我们是否充分意识到云端所面临的网络安全威胁？ 在当今互联互通的世界中，维护安全的环境至关重要。云的出现扩大了潜在威胁的范围，因为它催生了机器身份（称为非人类身份 (NHI)）及其秘密。随着组织越来越多地转向云原生…...

编程日记 2025/6/28 19:32:04

发愿和许愿的区别是什么？

在许多宗教和文化中，发愿和许愿都是人们表达内心愿望、祈求神灵保佑的重要方式。尽管这两个词在日常生活中经常被交替使用，但它们在含义和实践上存在一些重要的区别。本文就来详细说说发愿和许愿的区别，并提供相关的背景信息和建议。 1. 定义…...

编程日记 2025/6/28 18:00:46

【IntelliJ IDEA 集成工具】TalkX - AI编程助手

前言在数字化时代，技术的迅猛发展给软件开发者带来了更多的挑战和机遇。为了提高技术开发群体在繁多项目中的编码效率和质量，他们需要一个强大而专业的工具来辅助开发过程，而正是为了满足这一需求，TalkX 应运而生。一、概述 1…...

编程日记 2025/6/28 18:00:48

【故障处理--修改CI流水线】

背景：研发同事反映CI流水线卡顿严重，判断是移动云镜像仓库的带宽太小，故在公有云搭建一个harbor仓库，这就意味着CI流水线有些配置需要改动 1、CI流水线的介绍 helm-chart/pcas-appstore-hy存放的是chart包需要的文件 Dockerfile…...

编程日记 2025/6/28 19:35:17

Android 使用 Gson + OkHttp 实现 API 的常规使用（个人心得）

学习笔记一、依赖和权限的添加网络权限：在 Android 中进行网络请求时，必须声明权限，确保应用具有访问互联网的能力。 <uses-permission android:name="android.permission.INTERNET"/> 依赖项：确保在 build.gradle 中添加以下依赖： dependencies …...

编程日记 2025/6/28 18:55:55

MR30分布式 IO 模块：硅晶行业电池片导片机的智能 “心脏”

硅晶产业作为全球能源和电子领域的基石，其生产规模庞大且工艺复杂。从硅料的提纯、拉晶，到硅片的切割、电池片的制造，每一个环节都要求高精度与高稳定性。在电池片生产环节，导片机承担着硅片传输与定位的重要任务，其运…...

编程日记 2025/6/28 19:55:39

mysql高级篇 | 尚硅谷 | 第2章_数据库和文件系统的关系

二、数据库和文件系统的关系文章目录二、数据库和文件系统的关系1、查看默认数据库2、数据库在文件系统中的表示3、表在文件系统中的表示①InnoDB存储引擎模式②表中数据和索引②MyISAM存储引擎模式 4、小结 1、查看默认数据库查看一下在我的计算机上当前有哪些数据库&…...

编程日记 2025/6/28 18:00:47

React 生命周期

React 生命周期可以分为三个主要阶段：挂载（Mounting）、更新（Updating）和卸载（Unmounting） 挂载（Mounting） 当组件实例被创建并插入到 DOM 中时，会依次调用以…...

编程日记 2025/6/28 18:01:07

OpenCV--图像查找

OpenCV--图像查找代码和笔记代码和笔记 import cv2 import numpy as np""" 图像查找--特征匹配的应用，通过特征匹配和单应性矩阵单应性变换：描述物体在世界坐标系（原图）和像素坐标系（对比图&#x…...

编程日记 2025/6/27 21:08:05

数据保护策略：如何保障重要信息的安全

一、什么是数据安全？ 数据安全是保护数字信息免遭盗窃、未经授权的访问和恶意修改的过程。这是一个持续的过程，负责监督信息的收集、存储和传输。机密性：保护数据免遭未授权方访问。完整性：保护数据免遭未经授权的修改、损坏…...

编程日记 2025/6/28 19:36:06

AI生成图表化：深入探索Mermaid

引言在使用生成式AI时，只要你提出让AI帮你生成mermaid图，AI的生成就会出现丰富的图形！ 在现代文档编写中，图表的使用不仅能增强文档的可读性，还能更直观地表达复杂的概念和流程。Mermaid 作为一款开源的图表绘制工具…...

编程日记 2025/6/28 17:54:15

模型训练中梯度累积步数（gradient_accumulation_steps）的作用

模型训练中梯度累积步数（gradient_accumulation_steps）的作用 flyfish 在使用训练大模型时，TrainingArguments有一个参数梯度累积步数（gradient_accumulation_steps） from transformers import TrainingArguments梯…...

编程日记 2025/6/28 18:00:58

jenkins安装（jdk1.8已安装）

1. 下载对应jenkins版本 https://mirrors.jenkins.io/war/ 2. 上传至服务器目录并启动 mkdir -p /root/jenkins cd /root/jenkins 上传文件启动：nohup java -jar jenkins.war --httpPort9090 &> jenkins.log & 访问：http://ip:9090 选…...

编程日记 2025/6/28 18:02:23

爬虫实战：获取1688接口数据全攻略

引言在电商领域，数据的重要性不言而喻。1688作为中国领先的B2B电商平台，提供了海量的商品数据。通过爬虫技术获取这些数据，可以帮助企业进行市场分析、价格监控和供应链管理。本文将详细介绍如何使用Python爬虫技术合法合规地获取1688接口数…...

编程日记 2025/6/28 19:49:13

基于Mybatis，MybatisPlus实现数据库查询分页功能

基于Mybatis，MybatisPlus实现数据库查询分页功能目录基于Mybatis，MybatisPlus实现数据库查询分页功能使用Mybatis插件实现分页数据库准备分页插件配置和使用常用数据： 使用MybatisPlus插件实现分页数据库准备分页插件配置和使用自定义分页查…...

编程日记 2025/6/28 18:00:49

【C++】求第二大的数详细解析

博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 💯前言💯题目描述💯输入描述💯解题思路分析1. 题目核心要求2. 代码实现与解析3. 核心逻辑逐步解析定义并初始化变量遍历并处理输入数据更新最大值与次大值输…...

编程日记 2025/6/28 18:00:44

Ubuntu18安装后基本配置操作

1. 关掉自动更新不关掉自动更新，会将你的ubuntu系统更新到更高版本，一些配置就不能用了，所以要关掉自动更新。在“软件和更新”中将“自动检查更新”设置为从不。 2. ubuntu换国内源参考链接换源按照这个换源这个换源好使 ，…...

编程日记 2025/6/28 19:52:43

【Azure 架构师学习笔记】- Azure Function (1) --环境搭建和背景介绍

本文属于【Azure 架构师学习笔记】系列。本文属于【Azure Function 】系列。前言随着无服务计算的兴起和大数据环境中的数据集成需求， 需要使用某些轻量级的服务，来实现一些简单操作。因此Azure Function就成了微软云上的一个必不可少的组成部分。 …...

编程日记 2025/6/28 18:02:38

【ubuntu】将Chroma配置为LINUX服务

Chroma是一个轻量级向量数据库。既然是数据库，那么我希望它是能够长时间运行。最直接的方式是配置为service服务。可惜官方没有去提供配置为服务的办法，而鄙人对docker又不是特别感冒。所以自己研究了下chroma配置为服务的方式。系统：ubu…...

编程日记 2025/6/28 18:00:50

Linux24.04 安装企业微信

今天工作需要把windows系统换成了linux，但是公司的沟通工具是企业微信。去企业微信官网看了，没有linux版本，只能想办法解决了，不然再换回去就太坑了。方案 1、使用docker容器，2、使用deepin-wine 本人对docker不太熟…...

编程日记 2025/6/28 19:02:33

路由引入问题（双点双向路由回馈问题）

简介总所周知，路由引入import又称路由重分发redistribute，为了解决不同路由协议进程间路由信息不互通而使用的技术，由于不同路由协议的算法、机制、开销等因素的差异，它们之间无法直接交换路由信息。因此，路由引入技…...

编程日记 2025/6/28 18:45:15

Redis 实现分布式锁

单实例条件下的分布式锁 -- 加锁操作 -- KEYS[1]: 锁的键（lock_key） -- ARGV[1]: 当前客户端的标识（client_id） -- ARGV[2]: 锁的过期时间（毫秒）if (redis.call(EXISTS, KEYS[1]) 0) then-- 如果锁不存在…...

编程日记 2025/6/28 18:02:36

Redis客户端（Jedis、RedisTemplate、Redisson）

1. 简介 Redis作为一个当下很火热的非关系型数据库，Java从业人员基本都离不开对Redis的使用。在Java程序中该数据库，需要借助于市面上的开源客户端，如Jedis、Spring Data Redis、Redisson，它们可以作为操作Redis非关系型数据库的桥…...

编程日记 2025/6/28 18:00:51

虚幻引擎内各个组件的关系

1. GameMode: 关系: GameMode 是游戏规则的制定者和管理者，GameState 则是游戏状态的记录者和同步者。GameMode 通常负责创建和初始化 GameState。交互: GameMode 可以直接访问和修改 GameState 的属性，例如更新游戏分数、切换游戏阶段等。GameState 的变化会通过 GameMode …...

编程日记 2025/6/28 20:23:25

Python Flask Web框架快速入门

Flask 入门Demo Flask 开发环境搭建，执行如下指令： pip install flask# 第一节: Flask 快速入门from flask import Flask app Flask(__name__)app.route(/flask) def hello_flask():return Hello Flaskapp.run()核心代码剖析： 从flask包导…...

编程日记 2025/6/28 18:02:02

【java学习笔记】Set接口实现类-LinkedHashSet

一、LinkedHashSet的全面说明 （就是把数组不同位置的链表当成一个节点然后相连）...

编程日记 2025/6/28 18:00:52

阿里云ACP云计算模拟试题（附答案解析）

1、将基础设施作为服务的云计算服务类型是_____服务。 A.laas B.Paas C.SaaS D.Daas 答案：A 解析：基础设施即服务有时缩写为 IaaS，包含云 IT 的基本构建块，通常提供对联网功能、计算机（虚拟或专用硬件&#x…...

编程日记 2025/6/28 18:02:07

java 缓存篇2

缓存的部署方式单机主从哨兵集群特性主从（Master-Slave）哨兵（Sentinel）集群（Cluster）数据分片不支持不支持支持，基于 slot 进行水平分片高可用性部分支持（手动故障转移&#xff…...

编程日记 2025/6/28 19:38:27

12.11-12.12总结（约瑟夫问题机器翻译滑动窗口）

12.11 刷题《算法竞赛》这本书看了很多了，但是题目没咋做，所以今天来刷一下题 P1996约瑟夫问题还依稀记得大一的时候被约瑟夫支配的恐惧（哭），但是现在做就感觉很简单（虽然也敲了一会，今早感…...

编程日记 2025/6/28 5:50:58

Elasticsearch+Kibana+IK分词器+拼音分词器安装

目录 ES报错 Kibanaik分词器拼音分词器安装都比较简单，可以参考这几篇博客 ES 如何在 Linux，MacOS 及 Windows 上进行安装 Elasticsearch 报错 ES启动报错error downloading geoip database [GeoLite2-ASN.mmdb] Kibana KIBANA的安装教程&#xff…...

编程日记 2025/6/28 19:15:04

2020 年“泰迪杯”数据分析职业技能大赛A 题教育平台的线上课程智能推荐策略

2020 年“泰迪杯”数据分析职业技能大赛A 题教育平台的线上课程智能推荐策略完整代码请私聊博主一、背景近年来，随着互联网与通信技术的高速发展，学习资源的建设与共享呈现出新的发展趋势，各种网课、慕课、直播课等层出不穷&#xff0c…...

编程日记 2025/6/28 18:52:17

运维面试题

1 deployment和statefulset区别 Kubernetes (k8s) 中的 Deployment 和 StatefulSet 是两种不同类型的控制器，用于管理应用的生命周期，但它们适用于不同的应用场景。以下是它们在存储、调度顺序和网络分配方面的区别： 存储 Deployment: 适用…...

编程日记 2025/6/28 14:22:09

计算机网络之网络层超详细讲解

个人主页：C忠实粉丝欢迎点赞👍 收藏✨ 留言✉ 加关注💓本文由 C忠实粉丝原创计算机网络之网络层超详细讲解收录于专栏【计算机网络】本专栏旨在分享学习计算机网络的一点学习笔记，欢迎大家在评论区交流讨论💌 …...

编程日记 2025/6/28 18:02:00

Windows桌面系统管理2：VMware Workstation使用和管理

Windows桌面系统管理0：总目录-CSDN博客 Windows桌面系统管理1：计算机硬件组成及组装-CSDN博客 Windows桌面系统管理2：VMware Workstation使用和管理 Windows桌面系统管理3：Windows 10操作系统部署与使用-CSDN博客 Windows桌面系统管理4：Windows 10操作系统运维管理-…...

编程日记 2025/6/28 19:06:07

深入理解 CSS 文本换行： overflow-wrap 和 word-break

前言正常情况下，在固定宽度的盒子中的中文会自动换行。但是，当遇到非常长的英文单词或者很长的 URL 时，文本可能就不会自动换行，而会溢出所在容器。幸运的是，CSS 为我们提供了一些和文本换行相关的属性；今…...

编程日记 2025/6/28 18:00:55

【Linux】Ubuntu：安装系统后配置

hostname：更改主机名打开终端。使用hostnamectl命令更改主机名。 sudo hostnamectl set-hostname 新的主机名你可以使用hostnamectl 命令来验证更改是否成功： hostnamectlChrome：更换默认浏览器以下是从 Ubuntu 中移除预装的 Snap 版 Fi…...

编程日记 2025/6/28 18:02:03

我们来学mysql -- MSI安装（安装篇）

主题书接上文，在《探讨win安装方式》中官方推荐MSI要是把大厂的标准奉为圭臬，说啥认啥，他一翻脸，小丑不就是咱了再说了，都干到家门口了8.4版本官方文档，还不给他梭罗下 MSI 点击**.msi弹出MySQL Install…...

编程日记 2025/6/28 18:00:54

MySQL其一，概念学习，可视化软件安装以及增删改查语句

目录 MySQL 1、数据库的概念 2、数据库分类 3、MySQL的安装 4、安装过程中的问题 DataGrip的使用： SQLynx的使用： 5、编写SQL语句 6、DDL语句 7、DML 新增数据： 删除数据： 修改数据： MySQL SQL其实是一门…...

编程日记 2025/6/27 21:06:27

SpringCloud 题库

这篇文章是关于 SpringCloud 面试题的汇总，包括微服务的概念、SpringCloud 的组成及相关技术，如服务注册与发现、负载均衡、容错等，还涉及 Nacos 配置中心、服务注册表结构等原理，以及微服务架构中的日志采集、服务网关、相关概念…...

编程日记 2025/6/28 19:51:13

【ETCD】[源码阅读]深度解析 EtcdServer 的 processInternalRaftRequestOnce 方法

在分布式系统中，etcd 的一致性与高效性得益于其强大的 Raft 协议模块。而 processInternalRaftRequestOnce 是 etcd 服务器处理内部 Raft 请求的核心方法之一。本文将从源码角度解析这个方法的逻辑流程，帮助读者更好地理解 etcd 的内部实现。方法源码 …...

编程日记 2025/6/28 18:49:18

数据分析与机器学习全解析

一、数据分析基础要点 （一）数据收集确定数据源：明确是内部数据库、外部公开数据、传感器采集还是用户调研等来源，不同来源数据质量与获取难度各异。例如内部销售数据可直接获取，而市场调研数据需设计问卷并投入人力收…...

编程日记 2025/6/28 19:25:52

一、mysql

1、my.cnf

2、调优参数

相关文章：