Doris与ClickHouse深度比较
一、核心架构差异
-
分布式管理
Doris 采用 FE(前端)与 BE(后端)分离的 MPP 架构,FE 负责元数据管理和查询规划,BE 处理存储与计算,支持自动扩缩容和故障恢复。这种设计简化了集群管理,例如新增节点只需通过 FE 自动完成数据均衡,无需人工干预。
ClickHouse 则是去中心化架构,依赖 ZooKeeper 协调分布式表和数据分片,组建集群需手动配置本地表、分布式表和副本策略,大规模集群运维复杂度高。 -
数据一致性
Doris 支持同步更新和删除操作,通过主键模型(UniqueKey)实现行级实时一致性。例如用户标签更新后查询结果立即可见。
ClickHouse 的更新/删除为异步操作,依赖后台 Merge 任务,可能导致短暂数据不一致,如删除用户后查询仍显示旧数据。
二、性能与查询特性
-
查询场景优势
-
Doris:
-
复杂查询:优化多表 Join(支持 Shuffle Join)和聚合分析,适合 BI 工具的高并发即席查询(千级 QPS)。
-
实时性:亚秒级响应,支持流式数据实时摄入。
-
-
ClickHouse:
-
单表查询:列存储 + 向量化引擎使其在单表聚合、过滤场景性能卓越,尤其适合 PB 级日志分析。
-
写入性能:批量导入速度更快,适合离线批处理场景。
-
-
-
SQL 兼容性
Doris 高度兼容 MySQL 协议和标准 SQL,支持 EXISTS 谓词、相关子查询等复杂语法,降低学习成本。
ClickHouse 使用自有 SQL 方言,部分功能(如窗口函数)需特定语法实现,对 MySQL 用户存在适配门槛。
三、数据模型与生态
-
数据模型灵活性
Doris 提供三种模型:明细模型(原始数据存储)、聚合模型(预聚合加速查询)、唯一模型(主键去重),支持频繁更新的业务场景。
ClickHouse 以 MergeTree 引擎为主,侧重追加写入和后台合并优化,更新能力有限。 -
生态集成
Doris 支持 Hive、Iceberg、Hudi 等数据湖联邦查询,兼容 Kafka、Flink 等流式工具,实现湖仓一体架构。
ClickHouse 生态相对封闭,需依赖外部工具(如 Spark)对接多数据源。
四、适用场景对比
场景 | Doris 优势 | ClickHouse 优势 |
---|---|---|
实时分析 | 高并发低延迟查询(如实时看板) | 适合近实时日志处理(如广告点击流分析) |
复杂查询 | 多表 Join、复杂聚合(如用户行为路径分析) | 单表大规模聚合(如流量统计) |
数据更新频率 | 支持高频同步更新(如电商库存管理) | 适合低频追加写入(如日志存储) |
运维成本 | 自动化扩缩容、故障恢复,适合中小团队 | 需专业 DBA 调优分片和副本策略 |
五、企业实践案例
- 快手:从 ClickHouse 迁移至 Doris,解决湖仓分离导致的存储冗余和治理难题,查询性能提升 30%。
- 京东:Doris 用于交易系统实时报表,ClickHouse 处理流量分析,两者互补覆盖不同业务需求。
- 腾讯:Doris 替换 ClickHouse 后,存储成本降低 42%,开发效率提升 40%。
六、选型建议
-
选择 Doris 的情况:
-
需要实时数据更新和高并发查询(如 BI 工具集成)。
-
团队资源有限,追求开箱即用和低运维成本。
-
业务涉及多数据源联邦查询或湖仓一体架构。
-
-
选择 ClickHouse 的情况:
-
处理超大规模单表查询(如 PB 级日志分析)。
-
团队具备较强的数据库调优能力,可接受复杂运维。
-
业务以离线批处理为主,对数据一致性要求宽松。
-
七、未来发展趋势
两者均在快速迭代:
-
Doris 强化 AI 集成(如与 DeepSeek 搭建 RAG 知识库)和 存算分离,向云原生演进。
-
ClickHouse 优化 事务支持 和 生态工具链,提升易用性。
如需进一步测试验证,可参考实际业务数据规模及查询模式,结合 Doris 性能白皮书 与 ClickHouse 基准报告 进行对比。
Doris使用详解
Doris 2.x与3.x版本差异与新增特性
相关文章:
Doris与ClickHouse深度比较
一、核心架构差异 分布式管理 Doris 采用 FE(前端)与 BE(后端)分离的 MPP 架构,FE 负责元数据管理和查询规划,BE 处理存储与计算,支持自动扩缩容和故障恢复。这种设计简化了集群管理,…...
插入排序希尔排序
插入排序&希尔排序 插入排序:将数据整体当做一组,从头开始遍历,确保遍历完的子序列都是有序的; 希尔排序:基于插入排序,增加新的分组思想,对数据进行分组的插入排序。 平均时间复杂度、最快…...
windows文件共享另一台电脑资源管理器网络文件夹无法找到机器
找不到共享出来的文件夹 1 网络问题,明确两台机器是否同一局域网 2 明确两台机器在本地所选的网络类型是专用网络,还是公共网络,对应的防火墙是否关闭 3 smb协议没有启用 4 以上都设置完毕还是无法找到机器,使用ip访问 在资源管理器地址栏输入 \\<对方IP>(…...
K8S Ingress 实现金丝雀(灰度)发布
假设有如下三个节点的 K8S 集群: k8s31master 是控制节点 k8s31node1、k8s31node2 是工作节点 容器运行时是 containerd 一、场景分析 阅读本文,默认您已经安装了 Ingress Nginx。 1)A/B 测试 A/B 测试基于用户请求的元信息将流量路由…...
Python笔记:在环境变量中增加了dll加载路径,python提示DLL加载失败
在环境变量中增加了dll加载路径,python提示DLL加载失败 1.问题描述 from PySide2 import QtCore 提示如下错误 ImportError: DLL load failed while importing QtCore: 找不到指定的模块。 2.问题原因 在Python3.8文档中的What’s New In Python 3.8找到如下说明…...
WinFrom 使用 LiveCharts 实现动态折线图
上方是Winfrom使用LiveCharts 插件实现的动态折线图,下面是实现步骤。 一、创建新项目 我这里使用的是.Net Framework4.6.1版本 二、添加引用包 这样就代表安装完成了 三、引用控件 四、逻辑代码 using LiveCharts.Defaults; using LiveCharts.Wpf; using Syst…...
Deep Learning(手写字识别 - CNN)
Deep Learning(手写字识别) 数据集(MNIST)基于 PyTorch 深度学习框架使用 CNN 算法进行手写字识别案例参考教程 数据集(MNIST) 数据集 Github 官网(注:不知为何官网无法直接下载数据…...
HDD 安全擦除:何时以及如何在 Windows PC 上安全擦除硬盘
HDD 安全擦除是一种从硬盘驱动器 (HDD) 中永久删除所有数据的方法,其方式几乎无法恢复。那么,什么时候需要在 Windows 11/10/8/7 上安全擦除硬盘驱动器?如何安全地擦除硬盘驱动器?幸运的是,所有的答案都在本指南中。继…...
【PostgreSQL数据分析实战:从数据清洗到可视化全流程】附录-B. 错误代码与解决方案
👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 附录B. PostgreSQL错误代码与解决方案速查表一、错误代码分类速查表二、常见错误代码详解三、错误排查方法论四、错误预防最佳实践五、典型错误场景解决方案六、官方资源与工…...
3DMAX脚本病毒Spy CA查杀方法
什么是Spy CA病毒? Spy CA是一种新型病毒,可以与从在线资源或3D商店下载的第三方3D模型一起下载该病毒。 该病毒是一种Maxscript代码,写入对象的自定义属性,并在打开场景、合并模型或操纵对象时执行。 通过对带有该病毒的场景做…...
联排半孔PCB如何进行SMT贴片?
在印刷电路板业务中,有两种将元件安装到电路板上的主要方法:联排半孔安装和表面安装。联排半孔安装是较老的技术,要求电路板制造商在PCB上钻孔并将引线插入孔中。最近,表面安装技术已经接管了该领域。 联排半孔元件 联排半孔元件有两种引线&a…...
CSS Grid布局:从入门到实战
CSS Grid布局:从入门到实战 一、初识Grid布局 还在为网页布局发愁吗?Flexbox虽然好用,但当遇到复杂布局时,CSS Grid才是真正的王者。Grid布局是CSS中最强大的二维布局系统,它就像一张无形的网格纸,让我们…...
小说所有设定(v3.0 preview)
设定以json格式提供: {"2y": {"2y_jsl": {"精神力的具体能力": {"学习能力组": {"瞬间掌握知识": "可以瞬间掌握所有知识,无需传统学习过程。","直接读取信息": "能直接…...
主题切换方案
方案一 CSS :root 选择器匹配文档的根元素。在 HTML 文档中,根元素就是 <html> 标签 1、定义颜色变量 可在公共样式文件里面定义 :root {--primary-color: #007bff; //定义颜色变量 } 2、使用 JavaScript 修改 CSS 变量 document.documentElement.styl…...
一个日志量突增的问题分析处理经历
问题描述 周一早上,还是和往常一样的巡检。通过告警日志,发现了生产区集群上的一个实例周末出现了异常。 图片 1 Alert_With_Checkpoint_log 如图,周六下午15时开始,数据库在线联机日志组疯狂切换,检查点发生的频率也…...
C#中的dynamic与var:看似相似却迥然不同
在C#编程的世界里,var和dynamic这两个关键字常常让初学者感到困惑。它们看起来都在定义变量时省略了显式类型声明,但实际上它们的工作方式和应用场景有着天壤之别。今天,让我们一起揭开这两个关键字的神秘面纱。 var:编译时的类型…...
VS Code 新旧版本 Remote-SSH 内网离线连接服务器方法(版本 ≤ 1.78.x 及 ≥ 1.79.0)
文章目录 前言版本概览目录结构模型迭代 旧版(版本 ≤ 1.78.x)离线部署流程1. 问题描述2. 原理说明3. 离线部署步骤 新版(版本 ≥ 1.79.0)离线部署流程1. 目录结构变化2. 全局设置调整3. 离线部署步骤 常见问题 & 排查总结与建…...
【unity游戏开发——编辑器扩展】使用EditorGUI的EditorGUILayout绘制工具类在自定义编辑器窗口绘制各种UI控件
注意:考虑到编辑器扩展的内容比较多,我将编辑器扩展的内容分开,并全部整合放在【unity游戏开发——编辑器扩展】专栏里,感兴趣的小伙伴可以前往逐一查看学习。 文章目录 前言常用的EditorGUILayout控件专栏推荐完结 前言 EditorG…...
310. 最小高度树
题目 树是一个无向图,其中任何两个顶点只通过一条路径连接。 换句话说,任何一个没有简单环路的连通图都是一棵树。 给你一棵包含 n 个节点的树,标记为 0 到 n - 1 。给定数字 n 和一个有 n - 1 条无向边的 edges 列表(每一个边都…...
SpringBoot中配置绑定到bean中
一、回顾value注解 SpringBoot中我们该如何将applicaton.properties中的数据绑定到bean中呢?在之间我们是可以通过value注解,在SpringBoot自动启动后,会自动的去相应的路径中去寻找applicaton.properties配置文件,然后将相应的值…...
Linux下的c/c++开发之操作Redis数据库
C/C 操作 Redis 的常用库 在 C/C 开发中操作 Redis 有多种方式,最主流的选择是使用第三方客户端库。由于 Redis 官方本身是使用 C 编写的,提供的 API 非常适合 C/C 调用。常见的 Redis C/C 客户端库包括: hiredis:官方推荐的轻量…...
通过SMTP协议实现Linux邮件发送配置指南
一、环境准备与基础配置 1. SMTP服务开通(以qq邮箱为例) 登录qq邮箱网页端,进入「设置」-「POP3/SMTP/IMAP」 开启「SMTP服务」并获取16位授权码(替代邮箱密码使用) 记录关键参数: SMTP服务器地址&#…...
数学复习笔记 8
前言 成为一个没有感情的刷题机器就可以变得很强了。 逆矩阵的运算 随便算一下就算出来了,没啥难的。主要是用天然可交换的矩阵来算。有三个天然可交换的矩阵,某矩阵和单位阵,该矩阵和它的伴随矩阵,该矩阵和它的逆矩阵。一定要…...
【证书与信任机制】自签名证书的风险与适用场景
关于 自签名证书的风险与适用场景 的详细解析,以及在内网测试中安全使用自签名证书的实践指南: 一、自签名证书的核心风险 1. 信任缺失与安全警告 • 浏览器/操作系统不信任:自签名证书未被权威CA签发,客户端默认视为“不安全”&a…...
[python] Python单例模式:__new__与线程安全解析
一 实例的创建过程 我们之前了解过在构造一个类的实例化对象时,会默认调用__init__方法,也就是类的初始化也叫构造函数,但其实在调用__init__方法前会首先调用__new__方法(只有在py3新式类才有)。即下面 __new__(): 创建实例 作…...
【SSL证书系列】操作系统如何保障根证书的有效性和安全
操作系统通过多层次的安全机制和技术手段保障根证书的有效性和安全性,防止篡改、伪造或滥用。以下是核心保障措施: 1. 根证书的存储与隔离 • 受保护的存储区域 根证书存储在操作系统的受信任根证书存储区(如Windows的“受信任的根证书颁发机…...
毕业论文,如何区分研究内容和研究方法?
这个问题问得太好了!😎 “研究内容”和“研究方法”经常被初学者(甚至一些老油条)混淆,尤其写论文开题报告时,一不小心就“内容”和“方法”全混在一块儿,连导师都看懵。 今天就来给大家一文讲…...
《Effective Python》第2章 字符串和切片操作——深入理解 Python 中 __repr__ 与 __str__
引言 本文基于学习《Effective Python》第三版 Chapter 2: Strings and Slicing 中的 Item 12: Understand the Difference Between repr and str When Printing Objects 后的总结与延伸。在 Python 中,__repr__ 和 __str__ 是两个与对象打印密切相关的魔术方法&am…...
C及C++的SOAP协议库
一.gSOAP gSOAP 是一个功能强大的开源工具包,专为 C 和 C 设计,用于快速开发基于 SOAP 协议的 Web 服务和客户端。 1.协议支持 SOAP 版本:完整支持 SOAP 1.1/1.2 规范,包括消息格式、编码规则和错误处理。 传输协议:…...
推荐一个Winform开源的UI工具包
从零学习构建一个完整的系统 推荐一个开源、免费的适合.NET WinForms 控件的套件。 项目简介 Krypton是一套开源的.Net组件,用于快速构建具有丰富UI交互的WinForms应用程序。 丰富的UI控件,提供了48个基础控件,如按钮、文本框、标签、下拉…...
【Linux内核】内存管理之虚拟内存详解
目录 一、Linux 虚拟内存概述 二、虚拟内存的基本概念 1. 地址空间 2. 页表 3. 页面 三、虚拟内存的管理机制 1. 页面分配与回收 2. 页面置换 3. 内存映射 四、虚拟内存的保护机制 1. 访问权限 2. 写时复制 五、虚拟内存的优化技术 1. 大页 2. 透明大页 3. 内存…...
upload-labs通关笔记-第5关 文件上传之.ini绕过
目录 一、ini文件绕过原理 二、源码审计 三、渗透实战 1、查看提示 2、制作.user.ini文件 (1)首先创建一个文本文件 (2)保存文件名为.user.ini 2、制作jpg后缀脚本 (1)创建一个文本文件 …...
入门OpenTelemetry——部署OpenTelemetry
OpenTelemetry 部署模式 OpenTelemetry Collector 按部署方式分为 Agent 和Gateway 模式。 Agent 模式 在 Agent 模式下,OpenTelemetry 检测的应用程序将数据发送到与应用程序一起驻留的(收集器)代理。然后,该代理程序将接管并…...
构建现代化WPF应用:数据驱动开发与高级特性解析
启动时默认打开哪个界面是在App.xaml的StartupUri属性中设置。 Window标签 x:Class起到了部分类的作用,让XAML与CS文件做关联,起到了映射的作用。 xmlns是XML NameSpace的简称,起到了命名控件的作用,与代码中命名空间不同的是&a…...
MATLAB实现振幅调制(AM调制信号)
AM调制是通信专业非常重要的一个知识点。今天我们使用MATLAB编程实现AM调制。 我们实现输入一个载波信号的频率与调制信号的频率后,再输入调幅度,得到已调信号的波形与包络信号的波形,再使用FFT算法分析出已调信号的频谱图。 源代码&#x…...
loss = -F.log_softmax(logits[:, -1, :], dim=1)[0, irrational_id]
loss = -F.log_softmax(logits[:, -1, :], dim=1)[0, irrational_id] 解释这行代码 loss = -F.log_softmax(logits[:, -1, :], dim=1)[0, irrational_id] 的具体含义和背后的数学原理。 1. 代码拆解与功能 这行代码的核心是计算负对数似然损失(Negative Log Likelihood Los…...
NSSCTF [HNCTF 2022 WEEK4]
题解前的吐槽:紧拖慢拖还是在前段时间开始学了堆的UAF(虽然栈还没学明白,都好难[擦汗]),一直觉得学的懵懵懂懂,不太敢发题解,这题算是入堆题后一段时间的学习成果,有什么问题各位师傅可以提出来,…...
基于springboot+vue的医院门诊管理系统
开发语言:Java框架:springbootJDK版本:JDK1.8服务器:tomcat7数据库:mysql 5.7数据库工具:Navicat12开发软件:eclipse/myeclipse/ideaMaven包:Maven3.3.9 系统展示 系统登录 系统首…...
大模型越狱:技术漏洞与安全挑战——从原理到防御
近年来,随着大模型能力的飞速提升,其安全性问题日益受到关注。其中,“大模型越狱”(Model Jailbreaking)成为热议焦点——指通过特定手段绕过模型的安全限制,诱导其生成有害、违法或超出设计范围的内容。本…...
Linux 常用命令 -hostnamectl【主机名控制】
简介 hostnamectl 命令中的 “hostname” 顾名思义,指的是计算机在网络上的名称,“ctl” 是 “control” 的缩写,意味着控制。hostnamectl 命令用于查询和修改系统主机名以及相关的设置。它通过与 systemd 系统管理器交互,允许用…...
《Python星球日记》 第72天:问答系统与信息检索
名人说:路漫漫其修远兮,吾将上下而求索。—— 屈原《离骚》 创作者:Code_流苏(CSDN)(一个喜欢古诗词和编程的Coder😊) 目录 一、问答系统概述1.问答系统的工作原理2. 问答系统的典型应用场景 二、问答系统…...
VUE3 -综合实践(Mock+Axios+ElementPlus)
目录 前言 目标 1.工程创建 2.Mock 2.1 配置Mock 扩 展 2.2 定义模拟数据 2.3 创建Mock服务器 3.导入ElementPlus 4.表格页面搭建 5.动态路由跳转 6.详情页面的制作 前言 基于前文 VUE3详细入门,我们对VUE3的基本使用有了初步的了解,下…...
Qt原型模式实现与应用
在Qt中实现原型模式(Prototype Pattern)可以通过以下步骤完成。该模式的核心是通过克隆现有对象来创建新对象,而非通过传统的构造函数。以下是详细说明和示例: 1. 原型模式的核心概念 目的:避免重复初始化对象的高成本…...
语音识别-2
上一篇关于语音识别, 虽然能用,但在系统适配,机器适配方面,速度,性能等还是有优化的地方.所以这篇是关于这些的. 1.蓝牙优化 A2DP:是一种单向的高品质音频数据传输链路,通常用于播放立体声音乐;SCO: 则是一种双向的音频数据的传输链路,该链路只支持8K及16K单声道的音频数据…...
ElasticSearch深入解析(十二):聚合——分桶聚合、指标聚合、管道子聚合
文章目录 一、分桶聚合1. 分桶聚合的核心逻辑与核心类型2. 分桶聚合的高级特性 二、指标聚合1. 指标聚合的核心逻辑与基础类型(1)基础统计指标(单值输出)(2)复合统计指标(多值输出) …...
互联网大厂Java求职面试:AI内容生成平台下的高并发架构设计与性能优化
互联网大厂Java求职面试:AI内容生成平台下的高并发架构设计与性能优化 场景背景: 郑薪苦是一名经验丰富的Java开发者,他正在参加一家匿名互联网大厂的技术总监面试。这家公司专注于基于AI的内容生成平台,支持大规模用户请求和复杂…...
论MCU如何在Fatfs中使用Flash接口的方法
前提: MCU移植了FS,如FATFSOSFMount工具 OSFMount或者其他磁盘工具用于挂载.img镜像,可格式化文件系统打开并放入实际使用的文件 步骤 1. cmd命令建立空.img镜像,以下为12MB fsutil file createnew fat.img 120000002. OSFMo…...
Python+Selenium爬虫:豆瓣登录反反爬策略解析
1. 引言 在当今互联网时代,数据抓取(爬虫)技术广泛应用于数据分析、市场调研、自动化测试等领域。然而,许多网站采用动态加载技术(如Ajax、React、Vue.js等框架)来渲染页面,传统的**<font s…...
nt!MiDispatchFault函数分析之第一次循环前后的变化
第一部分:nt!MiDispatchFault函数分析之第一次循环之前 1: kd> !pte 0x002bf810 VA 002bf810 PDE at C0300000 PTE at C0000AFC contains 7B314867 contains 00000000 pfn 7b314 ---DA--UWEV not valid 1: kd> dd C0000AFC…...
JMeter性能测试工具使用
JMeter是一款强大的性能测试工具,由Java编写,小巧轻便,最关键的是开源免费,现在已经成了主流的性能测试工具。 下面介绍一下基本的安装使用、高级功能及可视化实时图表展示,带你们感受一下JMeter的世界~ 1、安装 1.…...