当前位置：首页 > news >正文

存算分离是否真的有必要？从架构之争到 Doris 实战解析

news 来源：原创 2025/8/5 11:14:25

引言：一场关于 “存与算” 的N年辩论

在数据库与大数据领域，“存算一体” 与 “存算分离” 的架构之争从未停歇。有人质疑：“存算分离真的有必要吗？本地盘性能难道不够？” 答案并非非黑即白 —— 技术选型的关键，在于业务场景与资源诉求的精准匹配。本文以 Apache Doris 为例，为你拆解两种架构的本质差异、优劣对比及落地场景。

一、存算一体 vs 存算分离：核心概念与演进逻辑

存算一体：紧耦合的 “全能战士”

定义：数据存储与计算资源绑定在同一节点（如本地磁盘 + 服务器），通过本地化读写减少网络开销，典型代表如 Hadoop 早期架构、传统 OLTP 数据库。

历史渊源：早期 IT 系统数据量小（如 1960 年代 IBM 大型机），单机即可满足存储与计算需求，天然形成存算一体架构。

存算分离：解耦的 “黄金搭档”

定义：存储层（如对象存储、HDFS）与计算层（如云服务器、容器集群）独立扩展，通过高速网络连接实现数据共享。典型代表如云原生数据库 Snowflake、Doris 存算分离模式。

驱动力：数据量指数级增长、云计算弹性需求、成本精细化管控。

二、架构对决：性能、成本与弹性的终极博弈

存算一体的优势与短板

优势

极简部署：无需依赖外部存储系统，单机即可运行，适合快速试水或中小规模场景（如 Doris 存算一体模式仅需部署 FE/BE 进程）。

极致性能：本地化读写减少网络延迟，适合高并发低延迟场景。（如Doris 存算一体在YCSB场景下可达 3W QPS，且99分位延迟低至0.6ms）

短板

扩展不灵活：存储与计算需同步扩容，易造成资源浪费（如 CPU 闲置但磁盘已满）。

成本高昂：本地 SSD 盘价格高，且冗余备份增加硬件投入（如 Doris 存算一体版本需要三副本来保证数据高可靠性）。

存算分离的突破与挑战

优势

弹性伸缩：计算资源按需扩缩容，存储独立扩展（如 Doris 计算组动态增减节点）。

成本优化：共享存储（如对象存储）成本低至本地盘的 1/3，支持冷热数据分层管理。

高可用性：存储层独立容灾，计算节点故障无数据丢失风险。

挑战

网络瓶颈：远程读写可能引入延迟（需依赖智能缓存优化）。

运维复杂度：需管理共享存储（如 HDFS、S3）及网络稳定性。

三、场景为王：如何选择最适合的架构？

存算一体的 “主战场”

中小规模实时分析：数据量在 TB 级以内，追求低延迟（如 Doris 高并发查询场景）。

独立业务线：无专职 DBA 团队，需简单运维（如初创企业试水数据分析）。

无云环境依赖：本地化部署且无可靠共享存储资源。

存算分离的 “杀手锏场景”

云原生与弹性需求：公有云 / 混合云环境，需按需付费（如 Doris 云原生版本支持 K8s 容器化）。

海量数据湖仓：PB 级数据存储，多计算集群共享同一数据源（如金融风控、电商用户画像）。

成本敏感型业务：历史数据归档、冷数据低成本存储（如 Doris 冷热分层技术）。

四、Doris 实战启示：鱼与熊掌可以兼得？

作为新一代实时分析型数据库，Apache Doris 同时支持存算一体与存算分离模式，成为架构灵活性的标杆：

存算一体模式

适用场景：开发测试、中小规模实时分析。

案例：极越汽车数字化运营和营销方向亿级用户量查询实现毫秒级响应。

存算分离模式

技术亮点

共享存储：支持 HDFS/S3，数据主存与计算节点解耦。

本地缓存：BE 节点缓存热数据，抵消网络延迟。

案例

云原生时代的架构革新，Apache Doris 存算分离如何实现弹性与性能双重提升

五、结论：没有绝对最优，只有最适匹配

存算分离并非 “万能解药”，存算一体也非 “过时产物”。技术决策应回归业务本质：

选择存算一体：当性能敏感、数据规模可控、运维资源有限时。

拥抱存算分离：当成本与弹性成为核心诉求，且具备云原生技术栈时。

未来，随着存储网络（如 RDMA）和智能缓存技术的突破，存算分离的 “性能天花板” 将被进一步打破，而 Doris 等开源技术的持续演进，正为这场架构之争提供更多可能性。

存算分离是否真的有必要？从架构之争到 Doris 实战解析

引言：一场关于 “存与算” 的N年辩论在数据库与大数据领域，“存算一体” 与 “存算分离” 的架构之争从未停歇。有人质疑：“存算分离真的有必要吗？本地盘性能难道不够？” 答案并非非黑即白 —— 技术选型的关键&…...

编程日记 2025/8/5 11:14:25

卸载conda，poetry常用命令，vscode使用poetry虚拟环境

~/miniconda3/bin/conda init bash ~/miniconda3/bin/conda init zsh conda info 查看当前环境的配置信息 conda install package-name conda install package-nameversion 安装依赖包 conda uninstall package-nameversion 卸载依赖包 conda update package-name 更新依赖包…...

编程日记 2025/8/5 11:04:41

【总结】Pytest vs Behave，BDD 测试框架哪家强？

引言在测试驱动开发(TDD)和行为驱动开发(BDD)流行的今天，Pytest和 Behave 成为了 Python 生态中最常见的自动化测试框架。那么，究竟该选择哪一个？它们各自有哪些优缺点？本篇文章将为你全面解析！ 1. 什么是 Pytest&a…...

编程日记 2025/7/30 12:40:07

INT202 Complexity of Algroithms 算法的复杂度 Pt.2 Search Algorithm 搜索算法

文章目录 1.树的数据结构1.1 有序数据(Ordered Data)1.1.1 有序字典（Ordered Dictonary）1.1.1.1 排序表（Sorted Tables） 1.2 二分查找（Binary Search）1.2.1 二分查找的时间复杂度 1.3 二叉搜索树&#xff0…...

编程日记 2025/8/4 12:52:24

springmvc中使用interceptor拦截

HandlerInterceptor 是Spring MVC中用于在请求处理之前、之后以及完成之后执行逻辑的接口。它与Servlet的Filter类似，但更加灵活，因为它可以访问Spring的上下文和模型数据。HandlerInterceptor 常用于日志记录、权限验证、性能监控等场景。 ### **1. 创…...

编程日记 2025/7/26 15:38:57

C++编译汇编八股总结

汇编的四个阶段？ 预编译（预处理）： 预编译是源代码在编译之前进行的一些处理，主要包括宏定义展开、条件编译指令处理和头文件展开等。编译： 编译器根据源代码的语法和语义规则，将源代码进行词法…...

编程日记 2025/8/3 15:52:44

基于ArcGIS和ETOPO-2022 DEM数据分层绘制全球海陆分布

第〇部分前言一幅带有地理空间参考、且包含海陆分布的DEM图像在研究区的绘制中非常常见，本文将实现以下图像的绘制关键步骤： （1）NOAA-NCEI官方下载最新的ETOPO-2022 DEM数据 （2）在ArcGIS（…...

编程日记 2025/8/3 3:41:23

【LangChain入门 4 Prompts组件】提示词追加示例 FewShotPromptTemplate和示例选择器ExampleSelector

文章目录一、提示词追加示例 FewShotPromptTemplate二、使用示例选择器 example_selector三、关键类介绍3.1 PromptTemplate3.2 FewShotPromptTemplate3.3 SemanticSimilarityExampleSelector 提示词中包含交互样本的作用是为了帮助模型更好地理解用户的意图，从而更…...

编程日记 2025/8/1 20:47:03

Android Compose 切换按钮深度剖析：从源码到实践(六)

Android Compose 切换按钮深度剖析：从源码到实践一、引言在现代 Android 应用开发中，用户交互体验至关重要。切换按钮（Toggle Button）作为一种常见的交互组件，允许用户在两种状态之间进行切换，例如开 /…...

编程日记 2025/7/22 2:22:54

挖矿病毒应急响应处置手册

挖矿病毒应急响应处置手册文章目录挖矿病毒应急响应处置手册0x00 概述0x01 了解基本情况1.1 如何发现1.1.1 异常外联1.1.2 主机异常1.2 事件的时间节点1.3 临时处置情况1.4 网络拓扑情况0x02 判断是否属于挖矿2.1 属于挖矿2.1.1 根据告警和流量信息初步判断挖矿类型2.1.2 win…...

编程日记 2025/8/4 14:43:10

VSCode - 查看 PDF 文件

VSCode 原生并不支持查看 PDF 文件，需要额外安装插件。这里我使用 vscode-pdf，效果还不错，有需要的可以搜索安装。效果： 2025-03-18（二）...

编程日记 2025/7/19 9:53:18

vue3:八、登录界面实现-忘记密码

该文章实现登录界面的忘记密码功能，点击忘记密码文本，打开dialog对话框一、页面效果加入忘记密码，在记住密码的同一行中，实现flex-between 二、对话框实现 1、新建组件页面 2、引入dialog组件到组件页面参考路径 Dialog 对…...

编程日记 2025/8/3 22:49:23

Python Django入门(创建其他网页)

在本章中，你将学习如何使用 Django（http://djangoproject.com/ ）来开发一个名为“学习笔记”（Learning Log）的项目，这是一个在线日志系统，让你能够记录所学习的有关特定主题的知识。我们将为这…...

编程日记 2025/8/5 8:28:05

Windows安装MySQL5.7.26教程图解

Windows安装MySQL5.7.26教程图解零、准备工作下载MySQL软件包 ①、官网下载：程序员常用软件汇总 - 超人那个超~ - 博客园 ②、百度云下载：链接：百度网盘请输入提取码提取码：chao 一、彻底删除MySQL 从电脑里卸载旧的MYSQL数据库服务时，首先先在WINDOWS服务里…...

编程日记 2025/7/29 17:12:42

FreGS: 3D Gaussian Splatting with Progressive Frequency Regularization论文学习记录

3. 提出的方法我们提出了FreGS，一种具有渐进频率正则化的新型3D高斯溅射方法，它是首个从频率角度缓解3D高斯溅射过度重建问题的方法。图2展示了FreGS的概览。第3.1节简要介绍了原始的3D高斯溅射方法（3D-GS），包括高斯…...

编程日记 2025/8/3 12:59:55

汽车行业敏捷开发实践：基于Atlassian工具链的全流程解决方案（Jira、Confluence、Jira Service Management等）

直播回顾在数字化浪潮席卷全球的今天，各行各业都在积极寻求转型与突破，汽车行业也不例外。近日，在“Atlassian助力企业破局：数字化协作与全球市场拓展”的线上直播活动中，龙智资深顾问张晓乐深入探讨了汽车行业数字…...

编程日记 2025/8/2 19:36:02

遇到一个奇怪问题,页面请求不到后端

背景页面有两个请求,第一个接口获取令牌,第二个接口根据令牌去获取数据, 突然发现获取数据接口校验令牌的时候一直报错而且报错的时候服务器没有获取令牌请求而且发现偶尔是正常的,正常的发现服务器ip和异常的不一样,同事定位可能是域名解析问题解决最后定位是腾讯cdn解…...

编程日记 2025/7/30 0:40:03

【C++】：C++11详解 —— 线程库

目录线程库（thread） 线程对象的构造函数构造函数的用法示例参数传递的关键细节构造函数的异常行为线程对象的使用互斥量库（mutex） 互斥量类型锁管理类（RAII 封装） 条件变量（…...

编程日记 2025/7/28 15:46:08

招聘面试季--一文顿悟，Java中字节流和字符流的区别及使用场景上的差异

‌一、核心区别‌ ‌特性‌‌字节流‌‌字符流‌‌数据单位‌以字节（8-bit）为单位处理数据（如0xA1）以字符（16-bit Unicode）为单位处理数据（如A, 你）‌基类‌InputStream / OutputSt…...

编程日记 2025/8/5 1:23:54

在 ARM 嵌入式 Linux 下使用 C/C++ 实现 MQTT

在 ARM 嵌入式 Linux 下使用 C/C 实现 MQTT 通信是一个常见的需求，尤其是在资源受限的环境中。以下是一个详细的教程，使用 Eclipse Paho C Client 库来实现 MQTT 客户端。 1. 安装 Eclipse Paho C Client 库 Eclipse Paho C Client 是一个轻量级的 MQTT…...

编程日记 2025/8/3 1:16:45

C++20 中 `constexpr` 的强大扩展：算法、工具与复数库的变革

文章目录一、constexpr 在 <algorithm> 中的应用1. 编译时排序2. 编译时查找二、constexpr 在 <utility> 中的应用1. 编译时交换2. 编译时条件交换三、constexpr 在 <complex> 中的应用1. 编译时复数运算四、总结 C20 对 constexpr 的增强是其最引人注目…...

编程日记 2025/7/31 5:58:17

C++ 介绍STL底层一些数据结构

c 标准模板库中，set和map的底层实现通常基于红黑树，然们都是平衡二叉搜索树(Balanceed Binary Serach Tree）的一种,这种结构保证了插入，删除，查找的时间复杂度为O(log n)比普通二叉搜索树更高效。 set set<T>…...

编程日记 2025/8/1 19:30:07

算法2--两数相加

题目描述解题思路题目说的很详细了，也就是把每个数倒序写成链表进行输入，然后让你计算两个倒序数组的和，要保证跟预期的结果一样。首先应该考虑的是两个数组的长度问题，对于链表的每一位进行加法运算，如果两个列表…...

编程日记 2025/7/29 13:06:21

Docker搭建Testlink教程

1.拉取镜像打开终端输入命令： #拉取mariadb镜像 docker pull bitnami/mariadb #拉取testlink镜像 docker pull bitnami/testlink-archived 执行结果： 2.运行容器打开终端输入命令： #创建容器网络 docker network create testlink #查…...

编程日记 2025/7/31 15:42:59

安卓7.0以上App抓包

安卓7.0以上App抓包导出BurpSuite证书设置本机IP的8080端口监听证书转换将这个der证书下载到kali上，并使用以下命令进行证书转换 openssl x509 -inform der -in cacert.der -out burp.pem openssl x509 -inform PEM -subject_hash_old -in burp.pem转换成功…...

编程日记 2025/8/4 5:52:19

CCBCISCN复盘

AWDP – ccfrum 自己搭了一下环境, 复现一下这道题目, 之前比赛的时候完全没想到这个漏洞要怎么打, 修也不知道要怎么修, 就仅仅是对用户名的账号和密码进行了一下过滤, 完全没起到作用, 唉, 实在太菜如果想要尝试复现的话可以尝试拉取这个镜像, 我打完之后就直接把这个容器给…...

编程日记 2025/8/3 1:10:02

【C++】八大常见的设计模式的实现与实践指南

目录创建型模式单例模式工厂方法模式抽象工厂模式结构型模式适配器模式装饰者模式代理模式行为型模式观察者模式策略模式命令模式高级主题现代C特性影响模式性能对比典型应用案例设计模式分类一、创建型模式 1. 单例模式（Singleton） 现代…...

编程日记 2025/8/1 20:51:07

OpenEMMA: 基于多模态大语言模型的端到端开源自动驾驶框架

OpenEMMA: 基于多模态大语言模型的端到端开源自动驾驶框架创新点 OpenEMMA 将前置摄像头图像和车辆历史文本状态作为输入。驾驶任务被构建为视觉问答（VQA）问题，利用思维链推理来指导模型生成关键物体的详细描述、行为洞察和元驾驶决策。这…...

编程日记 2025/7/31 9:31:00

kali，NTFS，用户管理，文件共享，本地安全策略，计算机基础

kali更新源 vim /etc/apt/sources.list 优质源中科大Kali镜像源deb http://mirrors.ustc.edu.cn/kali kali-rolling main non-free contribdeb-src http://mirrors.ustc.edu.cn/kali kali-rolling main non-free contrib阿里云Kali镜像源deb http://mirrors.aliyun.com…...

编程日记 2025/7/31 11:55:54

零基础上手Python数据分析 (7)：Python 面向对象编程初步

写在前面回顾一下，我们已经学习了 Python 的基本语法、数据类型、常用数据结构和文件操作、异常处理等。到目前为止，我们主要采用的是面向过程 (Procedural Programming) 的编程方式，即按照步骤一步一步地编写代码，解决问题。这种方式对于简单的任务已经足够，但当程序…...

编程日记 2025/8/3 5:07:45

基于深度学习的皮肤癌智能检测与语音提示系统【python源码+Pyqt5界面+数据集+训练代码】

《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.【…...

编程日记 2025/7/29 12:56:25

脚本一键式启动Nginx、Mysql、Redis

此脚本包含拉取镜像、数据卷挂载、容器启动三大部分，可一键式安装三大环境新建一个depoy.sh文件在服务器上，然后复制以下内容。给脚本文件添加执行权限 chmod x depoy.sh # 文件的当前目录下如果需要修改数据库MYSQL密码和Reids密码 MYSQL_ROO…...

编程日记 2025/8/1 17:00:13

蓝桥杯备赛-DFS-有奖问答

问题描述小蓝正在参与一个现场问答的节目。活动中一共有 3030 道题目, 每题只有答对和答错两种情况, 每答对一题得 1010 分，答错一题分数归零。小蓝可以在任意时刻结束答题并获得目前分数对应的奖项，之后不能再答任何题目。最高奖项需要 100100 分, …...

编程日记 2025/8/1 16:56:58

[AI速读]CHISEL vs. SystemVerilog：用RISC-V核心对比两种硬件设计语言

在硬件设计领域，选择合适的语言对开发效率、维护成本和最终性能都至关重要。最近，一项研究对比了两种硬件描述语言——CHISEL（基于Scala的嵌入式语言）和传统的SystemVerilog，它们分别实现了同一款RISC-V核心（SweRV-EL2）。以下是关键发现和结论。为什么选择CHISEL？ CHI…...

编程日记 2025/7/23 18:06:45

PHP PSR（PHP Standards Recommendations）介绍

PHP PSR（PHP Standards Recommendations）是 PHP 社区制定的一系列标准化规范，旨在统一 PHP 代码的编写方式、接口设计和开发实践，以提高代码的可读性、可维护性和互操作性。以下是核心 PSR 标准的解读和具体使用方法： …...

编程日记 2025/8/4 1:29:32

字节跳动实习生主导开发强化学习算法，助力大语言模型性能突破

目录禹棋赢的背景与成就主要成就 DAPO算法的技术细节算法优势禹棋赢的研究历程关键时间节点字节跳动的“Top Seed人才计划” 计划特点小编总结在大模型时代，经验不再是唯一的衡量标准，好奇心、执行力和对新技术的敏锐洞察力成为推动技术…...

编程日记 2025/7/30 7:48:30

Java并发编程面试题：锁（17题）

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/8/1 19:04:55

各类神经网络学习：（四）RNN 循环神经网络（下集），pytorch 版的 RNN 代码编写

上一篇下一篇RNN（中集）待编写代码详解 pytorch 官网主要有两个可调用的模块，分别是 nn.RNNCell 和 nn.RNN ，下面会进行详细讲解。 RNN 的同步多对多、多对一、一对多等等结构都是由这两个模块实现的，只需要将对输入…...

编程日记 2025/8/4 5:34:26

【python】OpenCV—Hand Landmarks Detection

文章目录 1、功能描述2、代码实现3、效果展示4、完整代码5、涉及到的库函数6、参考更多有趣的代码示例，可参考【Programming】 1、功能描述基于 opencv-python 和 mediapipe 实现手部关键点的检测（无法检测出手，不过可以根据关键点的信息外…...

编程日记 2025/8/4 9:17:54

C++和标准库速成(十)——类型别名、类型定义、类型推断和标准库简介

目录 1. 类型别名2. 类型定义(不建议)3. 类型推断3.1 auto3.1.1 auto&3.1.2 auto*3.1.3 拷贝列表初始化和直接列表初始化 3.2 decltype 4. 标准库简介参考 1. 类型别名类型别名为现有的类型声明提供新名称。可以将类型别名视为用于为现有类型声明引入同义词而无须创建新类…...

编程日记 2025/7/30 21:54:51

Java JMX 未授权访问漏洞分析与修复指南

#作者：张桐瑞文章目录一、漏洞背景二、漏洞描述三、漏洞影响四、修复方案1. 禁用远程JMX访问：2. 配置JMX访问权限： 一、漏洞背景 Java管理扩展（Java Management Extensions，简称JMX）是Java平台的管理和…...

编程日记 2025/8/3 1:18:23

挂谷问题与挂谷猜想：从平面转针到高维拓扑

挂谷问题与挂谷猜想：从平面转针到高维拓扑目录挂谷问题的起源数学定义与基本性质研究进展挂谷集合与挂谷猜想王虹与Joshua Zahl的突破意义与影响挂谷问题的起源 1917年，日本数学家挂谷宗一(かけやそういち Soichi Kakeya，1886-1947)提…...

编程日记 2025/8/3 13:53:12

区块链智能合约安全 | 整型溢出漏洞

目录： 核心概念溢出类型上溢原理案例下溢原理案例练习漏洞修复使用 SafeMath 库（旧版本） 升级 Solidity 版本（≥0.8.0） 地址：zkanzz 整型溢出漏洞（Integer Overflow/Underflow Vulne…...

编程日记 2025/8/2 22:45:07

C# HTTP 文件上传、下载服务器

程序需要管理员权限，vs需要管理员打开首次运行需要执行以下命令注册URL（管理员命令行） netsh advfirewall firewall add rule name"FileShare" dirin actionallow protocolTCP localport8000 ipconfig | findstr "IPv4&quo…...

编程日记 2025/7/21 12:29:04

IDEA导入jar包后提示无法解析jar包中的类，比如无法解析符号 ‘log4j‘

IDEA导入jar包后提示无法解析jar包中的类问题描述解决方法问题描述 IDEA导入jar包的Maven坐标后，使用jar中的类比如log4j，仍然提示比如无法解析符号 log4j。解决方法在添加了依赖和配置文件后，确保刷新你的IDE项目和任何缓存&#xff…...

编程日记 2025/8/2 13:31:42

C++前缀和

个人主页：[PingdiGuo_guo] 收录专栏：[C干货专栏] 大家好，今天我们来了解一下C的一个重要概念：前缀和目录 1.什么是前缀和 2.前缀和的用法 1.前缀和的定义 2.预处理前缀和数组 3.查询区间和 4.数组中某个区间的和是否为特定…...

编程日记 2025/7/29 9:48:14

kafka压缩

最近有幸公司参与kafka消息压缩，背景是日志消息量比较大。kafka版本2.4.1 一、确认压缩算法根据场景不同选择不同。如果是带宽敏感患者推荐高压缩比的zstd，如果是cpu敏感患者推荐lz4 lz4和zstd底层都使用的是lz77算法，具体实现逻辑不同&am…...

编程日记 2025/8/3 5:51:11

C 语言 --- 扫雷游戏(初阶版)

C 语言 --- 扫雷游戏初阶版代码全貌与功能介绍扫雷游戏的功能说明游戏效果展示游戏代码详解game.htest.cgame.c 总结 💻作者简介：曾与你一样迷茫，现以经验助你入门 C 语言 💡个人主…...

编程日记 2025/8/3 8:01:50

黑鲨外设2025春季新品发布会：全球首款“冷暖双控”鼠标亮相！

据可靠消息称，电竞外设领域的创新引领者——黑鲨外设，正式官宣将于2025年3月28日17:00召开主题为“究极体验，竞在其中”春季新品发布会。据悉，此次新品发布会将于黑鲨游戏外设和黑鲨游戏手机官方平台同步直播，&#xf…...

编程日记 2025/8/2 13:41:29

SpringBoot-MVC配置类与 Controller 的扫描

文章目录前言一、自动配置类位置二、自动配置类解析2.1 WebMvcAutoConfiguration2.1.1 EnableWebMvcConfiguration 2.2 DispatcherServletAutoConfiguration 三、RequestMapping 的扫描过程3.1 RequestMappingHandlerMapping#afterPropertiesSet3.2 RequestMappingHandlerMapp…...

编程日记 2025/7/28 11:05:06