YashanDB共享集群产品能力观测:细节足见功底
本文基于前泽塔数科研发总监-王若楠2024年11月在“2024年国产数据库创新生态大会”-“根”技术专场的演讲整理形成,主要对崖山共享集群YAC的架构、功能、高可用性、性能四大方面进行全面测试,并分享了测试环境和测试结论。
年初,基于某些商业考量,我们团队对崖山共享集群数据库(YAC)进行了测试。起初,我持有怀疑态度,这既源于近年来数据库领域出现的乱象,也因为我作为共享存储架构研发人员,深知其中的技术难度。经过全面的测试后,崖山共享集群YAC的稳定性、成熟度、独特性均超出了我们的预期。
共享存储集群架构为什么如此重要?
以Oracle RAC为代表的共享存储集群架构,常被用于金融、电力等行业的核心系统上。目前国产替代已逐步进入深水区,面临的首要挑战之一就是Oracle RAC架构的替代。
用户在进行国产替代时,首要考虑的因素是确保关键业务系统实现长期稳定的运行以及服务的连续性。用户最担心发生软件BUG、硬件故障或掉电、网络中断、介质失效等故障时,出现数据丢失破坏或服务长时间中断的情况。因此**国产数据库必须满足两方面的诉求,一是数据高可用****,企业级要求数据零损失,RPO=0;二是服务高可用,服务中断时间RTO尽可能短。**除了满足上述高可用的前提下,用户还会追求性能及扩展性的最大化。相较于单机和分布式数据库集群,共享存储集群架构在高可用性、扩展性以及成本效益方面展现出更为显著的优势。
综上所述,核心业务系统中的功能性需求可以通过简单的修改和调整来满足。然而,高可用性、性能以及扩展性等问题,必须依赖于数据库的核心技术来解决。
YAC产品到底能力如何?
我们团队对崖山共享集群数据库(YAC)进行了全面的测试,覆盖了单机到四个节点的场景,具体包括产品架构、功能完整性、高可用性保障、性能表现四大方面。
1测试环境
128核X86架构,详细配置如下。
2架构层面
测试目标
-
测试YAC是否为全对称架构,每个节点都可进行读写。
-
测试产品的独特性。
测试项
-
针对第一点,我们主要对各个节点的读写性能表现进行了多种反复观测,发现四个节点的读写性能表现是相似的,四个节点均具备读写能力。
-
针对第二点我们主要查看了其进线程结构、存储结构、文件系统等,其存储文件系统进线程结构均不同于市面其他产品,具有自己的独特性与原创性。
测试结论
YAC产品架构完备。架构及表现与RAC相同,四个节点均具备读写能力,读写性能表现相似。同时,产品存储结构、线程结构不同于市面上其他产品,具有自己的独特性。
3功能层面
测试目标
-
测试与Oracle的兼容度。
-
测试功能的完整性。
测试项
测试结论
产品系统表、系统视图、DBA视图、PL/SQL、事务、非自动提交及回滚方式、功能等与Oracle高度兼容。
在保持与Oracle和MySQL在细节功能及使用习惯上的一致性的同时,也对功能进行了丰富。
4高可用性
测试目标
测试YAC产品在性能极限的负载下,当系统故障时(软件BUG、硬件故障或掉电、网络中断、介质失效等),是否能做到数据不丢失(RPO=0),服务中断时间很短(RTO<30S)。
测试项
测试结论
YAC产品在性能极限的负载下做高可用测试,所测故障场景均可做到正确的识别切换,RPO=0,RTO<15S,一致性正确。
5性能层面
测试目标
-
测试单机的极限性能值。
-
测试集群对单节点性能的影响。
-
测试YAC扩展性。
测试结论
-
YashanDB单机最高性能202万,且CPU占用率接近65%左右;
-
YAC集群单实例最优194万,相对单机202万可知YAC集群架构几乎对单节点的性能没有影响;
-
YAC四节点集群随节点数的增加,性能基本呈线性增长,四节点性能高达520万tpmC。
一句话评价:细节足见功底
从一个多年从事数据库内核研发工程师的角度看崖山数据库:细节足见功底。
测试过程中,我深刻感受到了崖山数据库的稳定。这个稳定既来源于产品的工程化能力和成熟度,也得益于在设计阶段对资源控制的精细考量。崖山数据库的这三个细节展示了其精细化的资源控制:
一是库内连接池功能亮眼。测试中崖山数据库的库内连接池功能是亮眼的,该功能对于维持系统不达到过高的压力水平和稳定性起到了至关重要的作用。
**二是资源申请的极致控制。**在面临高压、高并发以及大内存使用的极端条件下,YAC都展现出了出色的稳定性,未发生内存溢出(OOM)等异常情况,且性能波动维持在极低水平。深入分析其参数配置,可以发现YAC对内存管理进行了精细划分与优化,包括更为合理的内存区域分配及大小设置,并采用了大页内存技术等高级策略。
**三是资源及性能的可观测性。**该点也是常常被忽略,崖山数据库拥有与Oracle相似AWR性能报告,其独特之处在于采用了与Oracle相同的基于DB Time统计评估逻辑,这一特性使得性能监测更为全面且精准,为用户提供了极具指导价值的性能洞察。
同时测试中发现了崖山数据库具备一些少见的功能。比如闪回不但支持了Oracle的功能,同时还新增支持truncate闪回、本地swap表空间等功能,提升性能的同时,再一次体现了其精细资源管理的理念。
相关文章:
YashanDB共享集群产品能力观测:细节足见功底
本文基于前泽塔数科研发总监-王若楠2024年11月在“2024年国产数据库创新生态大会”-“根”技术专场的演讲整理形成,主要对崖山共享集群YAC的架构、功能、高可用性、性能四大方面进行全面测试,并分享了测试环境和测试结论。 年初,基于某些商业…...
游戏引擎学习第50天
仓库: https://gitee.com/mrxiao_com/2d_game Minkowski 这个算法有点懵逼 回顾 基本上,现在我们所处的阶段是,回顾最初的代码,我们正在讨论我们希望在引擎中实现的所有功能。我们正在做的版本是初步的、粗略的版本,涵盖我们认…...
前端部署实战:从人工发布到全自动化流程
"又发错环境了!"周四下午,测试同学小李急匆匆地找到我。原来是开发人员手动部署时,不小心把测试代码发布到了生产环境。这已经是本月第二次类似的事故了。 回想起每次发布时的场景:手动打包、手动上传、手动替换文件...每一步都战战兢兢,生怕…...
JVM系列之内存区域
每日禅语 有一位年轻和尚,一心求道,多年苦修参禅,但一直没有开悟。有一天,他打听到深山中有一古寺,住持和尚修炼圆通,是得道高僧。于是,年轻和尚打点行装,跋山涉水,千辛万…...
如何用3个月零基础入门网络安全?_网络安全零基础怎么学习
🤟 基于入门网络安全/黑客打造的:👉黑客&网络安全入门&进阶学习资源包 前 言 写这篇教程的初衷是很多朋友都想了解如何入门/转行网络安全,实现自己的“黑客梦”。文章的宗旨是: 1.指出一些自学的误区 2.提供…...
易语言OCR证件照文字识别
一.引言 文字识别,也称为光学字符识别(Optical Character Recognition, OCR),是一种将不同形式的文档(如扫描的纸质文档、PDF文件或数字相机拍摄的图片)中的文字转换成可编辑和可搜索的数据的技术。随着技…...
【人工智能】基于Python的自然语言处理:深入实现文本相似度计算
解锁Python编程的无限可能:《奇妙的Python》带你漫游代码世界 文本相似度计算是自然语言处理(NLP)中的核心任务,广泛应用于搜索引擎、推荐系统、问答系统等领域。本文全面解析文本相似度计算的核心技术,使用Python中的spaCy和sentence-transformers库实现多种方法,包括基…...
基于wifi的火焰报警系统设计(论文+源码)
1 总体方案设计 在本次基于wifi模板的火焰报警系统中,整个系统架构如图2.1所示,其采用STM32F103单片机作为控制器,并结合DS18B20温度传感器,火焰传感器,ESP8266 WiFi通信模块,蜂鸣器,OLED液晶构成整个系统,…...
【第三节】Git 基本操作指南
目录 前言 一、获取与创建项目 1.1 git init 1.2 git clone 二、基本快照操作 2.1 git add 2.2 git status 2.3 git diff 2.4 git commit 2.5 git reset HEAD 三、 文件管理 3.1 git rm 3.2 git mv 四、Git 文件状态 5.1 工作目录 5.2 暂存区 5.3 本地仓库 5…...
GaLore和Q-GaLore:一种记忆高效的预训练和微调策略,用于大型语言模型(LLMs)
GaLore和Q-GaLore:一种记忆高效的预训练和微调策略,用于大型语言模型(LLMs) GaLore和Q-GaLore的设计背景、工作原理及其优势 设计背景 随着大型语言模型(LLMs)的发展,模型的规模和复杂性不断…...
免费开源了一个图床工具 github-spring-boot-starter
文章目录 第一步,新建一个SpringBoot项目第二步,在pom文件里面引入jar包第三步,配置你的github信息github.authorization1、进入github官网,登录账号,点击头像,选择setting2、选择[Developer Settings](htt…...
Android显示系统(13)- 向SurfaceFlinger提交Buffer
Android显示系统(01)- 架构分析 Android显示系统(02)- OpenGL ES - 概述 Android显示系统(03)- OpenGL ES - GLSurfaceView的使用 Android显示系统(04)- OpenGL ES - Shader绘制三角…...
python小课堂(一)
基础语法 1 常量和表达式2 变量和类型2.1 变量是什么2.2 变量语法 3 变量的类型3.1 动态类型特性 4 注释4.1注释是什么 5 输入输出5.1 print的介绍5.2 input 6 运算符6.1 算术运算符在这里插入图片描述6.2 关系运算符6.3 逻辑运算符6.4赋值运算符 1 常量和表达式 在print()中可…...
【原创教程】西门子1500TCP_UDP通信说明大全(下篇)
2.3.3 TRCV故障说明 通讯无法正常连接时,ERROR引脚和STATUS引脚得状态有助于我们判断错误得原因,根据下表得提示,快速排除问题。 2.3.4 TRCV使用 点击TRCV指令得右上角蓝色图标,打开开始组态画面,按照控制要求填写 EN_R:用于激活接收的控制参数,及何时使用TRCV的接收功…...
【报错记录】Ubuntu22.04解决开机卡在 /dev/sda5 : clean , *files , *blocks
一个愿意伫立在巨人肩膀上的农民...... 一、错误现象 本人的电脑安装Windows10和Ubuntu22.04双系统,一次训练中电脑死机无法开机,重启之后便出现如下错误,在网上寻找过很多方法均无效,在root下禁用了samba服务,也无济…...
JumpServer开源堡垒机搭建及使用
目录 一,产品介绍 二,功能介绍 三,系统架构 3.1 应用架构 3.2 组件说明 3.3 逻辑架构 3.3 逻辑架构 四,linux单机部署及方式选择 4.1 操作系统要求(JumpServer-v3系列版本) 4.1.1 数据库 4.1.3创建数据库参考 4.2 在线安装 4.2.1 环境访问 4.3 基于docker容…...
libilibi项目总结(17)Elasticsearch 的使用
这段代码定义了一个 EsSearchComponent 类,主要用于与 Elasticsearch 进行交互,执行一些基本的操作,如创建索引、保存、更新和删除文档,及搜索操作。以下是对每部分代码的详细解释: 1. 类的依赖注入 Resource privat…...
C++ 模版函数 函数模版 区别
C中,函数模板(Function Template)和模板函数(Template Function)是同一个概念,通常没有区分,但为了避免混淆,有时我们可以从不同的角度来看待它们。 1. 函数模板 (Function Templat…...
SpringBoot 3.4.x踩坑记录及解决方案(持续更新)
废话 最近使用JDK17Spring Boot3.4.0 做新项目遇到的一些坑,记录并且给出一些实际的解决方案 一、集成Mybatis Plus 3.5.9的问题 第一:不能只引入mybatis-plus-spring-boot3-starter依赖了,需要配合mybatis-plus-jsqlparser <dependenc…...
Linux文件属性 --- 七种文件类型---文件.目录、软硬链接、字符设备文件
目录 七种文件类型 1、普通文件和目录 2、链接文件 2.1硬链接 2.2软链接 3、字符设备文件 一、七种文件类型 Linux的文件属性中一共有以下七种类型 : 符号类型含义解释-普通文件纯文本文件(ASCII)和二进制文件(binaryÿ…...
C# 读取EXCEL的数据批量插入单个PDF里的多个位置
C# 读取EXCEL的数据批量插入单个PDF里的多个位置 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Diagnostics; using System.Drawing; using System.IO; using System.Linq; using System.Reflection; usin…...
ARM Linux 虚拟环境搭建
一、目标 在没有arm硬件的情况下,使用QEMU模拟器,在PC上模拟一块ARM开发板,对ARM Linux进行学习。 二、搭建步骤 首先先有一个Linux 开发环境,我目前使用的是Ubuntu20. 首先安装qemu,qemu的官网:https:…...
【功能安全】安全确认
目录 01 功能安全确认介绍 02 安全确认用例 03 安全确认模板 01 功能安全确认介绍 定义: 来源...
LruCache(本地cache)生产环境中遇到的问题及改进
问题:单机qps增加时请求摘要后端,耗时也会增加,因为超过了后端处理能力(最大qps,存在任务堆积)。 版本一 引入LruCache。为了避免数据失效,cache数据的时效性要小于摘要后端物料的更新时间&…...
【21天学习AI底层概念】day8 什么是类意识?
类意识(Quasi-Consciousness) 是一个用来描述人工智能或复杂系统表现出的类似意识的行为或特性的概念。虽然这种系统不具备真正的意识(即主观体验、情感和自我觉知),但在外部表现上,它们可能表现出与有意识…...
PostgreSQL JSON/JSONB 查询与操作指南
PostgreSQL 提供了强大的 JSON 和 JSONB 数据类型及相关操作,适用于存储和查询半结构化数据。本文将详细介绍其常用操作。 1. 基础操作 1.1 JSON 属性访问 ->: 返回 JSON 对象中的值,结果为 JSON 格式。 SELECT {"a": {"b": 1…...
SamOutV2 0.18B模型发布
项目地址 SamOutV2 0.18B模型 采取 em参数共享在参数量减半的情况下将维度从1024 拉升到了1536sft 单论对话 loss 保持1.8如果未来匹配state 推理代码性能不变的同时推理任意长度使用资源空间保持不变 模型代码 import torchclass MaxState(torch.nn.Module):def __init__(…...
〔 MySQL 〕事务管理
事务代码目录 1. 设置事务隔离级别 2. 开启事务 3. CRUD操作 3.1 创建(Create) 3.2 读取(Read) 3.3 更新(Update) 3.4 删除(Delete) 4. 提交或回滚事务 5. 示例:…...
centOS定时任务-cron服务
最近在训练模型的过程中,经常会因为内存爆炸而停止模型训练过程,而且因为内存占满停止的训练进程甚至都没有任何的报错提示。 1、需要减少num_worker的数量,降低需要占用内存的数据数量 2、可以通过free -h监控内存的占用情况 3、可以通过lin…...
ubuntu22.04.5本地apt源部署
很多情况下,内网服务器无法连接互联网,这样如果原始系统只是最基本的下载安装包,因为存在依赖包不全的情况,难以对其进行更新及通过apt安装包 所以为解决不能联网的问题,首先先通过可以联网的机器制造好源,…...
CSS 实现带tooltip的slider
现代 CSS 强大的令人难以置信 这次我们来用 CSS 实现一个全功能的滑动输入器,也就是各大组件库都有的slider,效果如下 还可以改变一下样式,像这样 特别是在拖动时,tooltip还能跟随拖动的方向和速度呈现不同的倾斜角度,…...
【LeetCode每日一题】——220.存在重复元素 III
文章目录 一【题目类别】二【题目难度】三【题目编号】四【题目描述】五【题目示例】六【题目提示】七【解题思路】八【时空频度】九【代码实现】十【提交结果】 一【题目类别】 数组 二【题目难度】 困难 三【题目编号】 220.存在重复元素 III 四【题目描述】 给你一个…...
Git命令
目录 一、创建版本库 二、pwd 命令是用于显示当前的目录 三、通过命令 git init 把这个目录变成git可以管理的仓库 四、ll 五、添加文件和修改提交文件 1.创建文件test.txt --- 此刻文件在工作区(WorkSpace) 2.使用命令 git add test.txt添加到暂…...
2024第十六届蓝桥杯模拟赛(第二期)-Python
# 2024第十六届蓝桥杯模拟赛(第二期)-Python题解 # 自己改注释# -----------------------1------------------------ # def prime(x): # if x < 2: # return 0 # for i in range(2, int(x ** 0.5) 1): # if x % i 0: # …...
数据结构:Win32 API详解
目录 一.Win32 API的介绍 二.控制台程序(Console)与COORD 1..控制台程序(Console): 2.控制台窗口坐标COORD: 3.GetStdHandle函数: (1)语法: (2)参数: 4.GetConsoleCursorInf…...
Hive-4.0.1数据库搭建(可选配置用户名密码远程连接,涵盖切换为tez引擎)
一、hive搭建(所依赖的Hadoop集群参照文章:最新版hadoop-3.4.0集群安装和配置(目前论坛的都是老古董了,看我的准没错!!!)这里以三台服务器为例_hadoop 3.4安装-CSDN博客)…...
【从零开始入门unity游戏开发之——C#篇13】命名规范——驼峰命名法和帕斯卡命名法,函数(方法)的使用介绍
文章目录 一、命名规范1、**驼峰命名法(Camel Case)**用途: 2、**帕斯卡命名法(Pascal Case)**用途: 3、**C# 中命名约定的最佳实践**3.1 **类、结构体、接口、枚举、委托**3.2 **方法、属性、事件**3.3 **…...
Android 写排行榜,顶部前三
activity_step_rank.xml <?xml version"1.0" encoding"UTF-8"?> <FrameLayout android:layout_height"match_parent" android:layout_width"match_parent" android:id"id/fragment_parent" android:orientation…...
sql server一些冷知识
1. Sql Server冷知识 (1) 删除表内容的方法 truncate table 表名 (清除表记录,这个快) (2) 列出所有数据库 sp_redatabases (3) 存储过程的参数命名 参数一定要以开头&am…...
【功能安全】随机硬件失效导致违背安全目标的评估(FMEDA)
目录 01 随机硬件失效介绍 02 FMEDA介绍 03 FMEDA模板 01 随机硬件失效介绍 GBT 34590 part5...
【Qt】信号、槽
目录 一、信号和槽的基本概念 二、connect函数:关联信号和槽 例子: 三、自定义信号和槽 1.自定义槽函数 2.自定义信号函数 例子: 四、带参的信号和槽 例子: 五、Q_OBJECT宏 六、断开信号和槽的连接 例子: …...
二叉树、平衡二叉树、红黑树、BTree、B+Tree的区别
一、二叉查找树 二叉树具有以下性质:左子树的键值小于根的键值,右子树的键值大于根的键值。 如下图所示就是一棵二叉查找树, 对该二叉树的节点进行查找发现深度为1的节点的查找次数为1,深度为2的查找次数为2,深度为n…...
【Rust自学】3.1. 变量与可变性
3.1.0. 写在正文之前 欢迎来到Rust自学的第三章,一共有6个小节,分别是: 变量与可变性(本文)数据类型:标量类型数据类型:复合类型函数和注释控制流:if else控制流:循环 通过第二章…...
如何使用生成式AI实现跨领域内容生成
文章目录 引言生成式AI的基本概念定义与分类技术发展现状 跨领域内容生成的技术实现数据准备模型选择与设计训练策略 应用案例分析教育培训新闻媒体文化创意产业 实践建议确定明确的目标构建合适的团队持续迭代改进遵守法律法规 结论 引言 在当今数字化时代,信息的…...
ubuntu无网络图标无法上网解决方案
1.打开/etc/resolv.conf,在其中添加需要配置的DNS地址,根据自己的电脑情况配置IP和网关 # interfaces(5) file used by ifup(8) and ifdown(8) auto lo iface lo inet loopback#网卡2,双网卡的话eth0、eth1 auto eth1 iface eth1 inet stat…...
手写Redis分布式锁+RedisUtil二次封装
文章目录 1.手写Redis分布式锁1.RedisShareLockUtil2.使用方式 2.RedisUtil二次封装1.RedisUtil2.使用案例 1.手写Redis分布式锁 1.RedisShareLockUtil package com.sunxiansheng.redis.util;import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springfra…...
APP测试中ios和androis的区别,有哪些注意点
一、运行机制不同 IOS采用的是沙盒运行机制,安卓采用的是虚拟机运行机制。 1、沙盒机制: 概念:沙盒是一种安全机制,用于防止不同应用之间互相访问 作用:就是存储数据,每个沙盒就相当于每个每个应用的系…...
Qt编译MySQL数据库驱动
目录 Qt编译MySQL数据库驱动 测试程序 Qt编译MySQL数据库驱动 (1)先找到MySQL安装路径以及Qt安装路径 C:\Program Files\MySQL\MySQL Server 8.0 D:\qt\5.12.12 (2)在D:\qt\5.12.12\Src\qtbase\src\plugins\sqldrivers\mysql下…...
Springboot中使用Retrofit
Retrofit官网 https://square.github.io/retrofit/ 配置gradle implementation("com.squareup.okhttp3:okhttp:4.12.0")implementation ("com.squareup.retrofit2:retrofit:2.11.0")implementation ("com.squareup.retrofit2:converter-gson:2.11.0…...
字体子集化实践探索
最近项目rust生成PDF组件printpdf需要内嵌完整字体导致生成的PDF很大,需要做压缩,但是rust的类库allsorts::subset::subset不支持windows,所以做了一些windows下字体子集化的尝试 方案一:node.js做子集化 fontmin 缺点是也需要集…...