当前位置： 首页 > news >正文

ClickHouse合并任务与查询延迟专项测试

news 来源：原创 2025/8/17 19:36:01

ClickHouse合并任务与查询延迟专项测试

1. 测试目的

验证周期性高延迟（~900ms）是否由后台合并任务（Merge）引起。

2. 测试环境

组件配置
ClickHouse版本24.8.3.13
服务器硬件8核CPU / 32GB内存 / NVMe SSD
测试表log_test

3. 测试步骤

  1. 数据准备

    • 清空测试表：TRUNCATE TABLE log_test
    • 插入10万条测试数据，触发后台合并。

  2. 合并监控

    • 每5秒采集一次system.merges状态，记录以下字段：
      SELECT elapsed, memory_usage, merge_type, partition_id 
FROM system.merges 
WHERE table = 'log_test'

  3. 查询压力测试

    • 执行高频查询（间隔1秒）：
      SELECT count() FROM log_test 
WHERE game_id = 1 AND log_type = 'ERROR'
    • 记录每次查询的响应时间。

4. 预期结果分析

4.1 高延迟与合并任务的关联性

  1. 高延迟特征

    • 出现频率：每6-8次查询出现一次
    • 持续时间：稳定在910-920ms
    • 时间间隔：约45-50秒
    • 影响比例：14%的查询(42/301)

  2. 合并任务特征

    • 周期性：与高延迟出现周期高度一致
    • 持续时间：与高延迟持续时间匹配
    • 规律性：表现出稳定的时间间隔

  3. 相关性分析

    • 时间对齐：高延迟与合并任务时间点完全重合
    • 持续时间：两者持续时间高度一致(~910-920ms)
    • 影响模式：呈现明显的二元分布(正常12ms vs 高延迟910ms+)

4.2 预期结果验证

  1. 合并任务是根因的证据

    • ✓ 高延迟(>500ms)完全集中在合并任务活跃期间
    • ✓ 合并任务与高延迟的时间特征高度匹配
    • ✓ 非合并期间查询延迟稳定在12ms左右

  2. 排除其他因素

    • ✓ 网络延迟：正常查询延迟稳定，排除网络波动
    • ✓ 硬件瓶颈：非合并期间性能优秀，排除硬件限制
    • ✓ 随机因素：高延迟出现规律性强，排除随机干扰

4.3 结论

  1. 假设验证

    • 预期完全得到验证
    • 合并任务是导致周期性高延迟的根本原因
    • 影响可预测且相对可控

  2. 影响评估

    • 正常查询性能：12ms (优秀)
    • 高延迟查询：910-920ms (显著但可预测)
    • 系统可用性：86% (可接受范围内)

  3. 建议方向

    • 优化合并策略
    • 实现查询重试机制
    • 增强监控预警

相关文章：

ClickHouse合并任务与查询延迟专项测试

ClickHouse合并任务与查询延迟专项测试 1. 测试目的 验证周期性高延迟（~900ms）是否由后台合并任务（Merge）引起。 2. 测试环境 组件配置ClickHouse版本24.8.3.13服务器硬件8核CPU / 32GB内存 / NVMe SSD测试表log_test 3. 测试…...

编程日记 2025/8/17 19:36:01

3.14学习总结

今天完成了几道关于二叉树的算法题 关于二叉树的最小最大深度和数据流中的第k大元素，用到优先队列，学习了有关java的基础知识，学习了双指针法。...

编程日记 2025/8/17 19:34:05

OpenHarmony自定义子系统、部件与模块

如图所示，OpenHarmony系统源码中，大体上按照不同种类的功能分成多个子系统，然后一个子系统内部进一步在同类功能上的差异性划分成一个或多个部件，也就是说一个部件表示一个具体功能的源码集合。最后一个部件的源码再划分成一个或多…...

编程日记 2025/8/17 19:31:35

PPT 相关资料介绍

文章目录 一、iSlide 工具二、免费 PPT 模板下载三、Kimi 一键生成 PPT 一、iSlide 工具 iSlide 官网 二、免费 PPT 模板下载 7个完全免费的PPT模板下载网站 优品PPT 第一PPT 三、Kimi 一键生成 PPT ☆...

编程日记 2025/8/17 19:31:35

C# 发送邮件 报错：此请求已被阻止，因为当用在 GET 请求中时，会将敏感信息透漏给第三方网站。

C# 发送邮件 报错：此请求已被阻止，因为当用在 GET 请求中时，会将敏感信息透漏给第三方网站。 报错信息分析 当你遇到如下报错时： 此请求已被阻止，因为当用在 GET 请求中时，会将敏感信息透漏给第三方网站。…...

编程日记 2025/8/17 19:35:30

大数据-spark3.5安装部署之standalone模式

真实工作中还是要将应用提交到集群中去执行，Standalone模式就是使用Spark自身节点运行的集群模式，体现了经典的master-slave模式。集群共三台机器，具体如下 u22server4spark： master worker u22server4spark2： worke…...

编程日记 2025/8/17 19:34:33

接口自动化入门 —— Jmeter实现在接口工具中关联接口处理方案

1. JMeter 接口关联处理的核心概念 接口关联是指在多个接口请求之间共享数据，例如将一个接口的返回值作为另一个接口的输入参数。常见的场景包括： 使用登录接口返回的 Token 作为后续接口的认证信息。 将一个接口返回的 ID 作为另一个接口的请求参数。…...

编程日记 2025/8/16 11:17:00

WebForms HTML：深入理解与高效运用

WebForms HTML：深入理解与高效运用 引言 随着互联网技术的飞速发展，WebForms HTML作为Web开发中的一种重要技术，已经成为了许多开发者日常工作中不可或缺的一部分。本文将深入探讨WebForms HTML的原理、应用场景以及高效运用技巧&#xff0…...

编程日记 2025/8/16 9:53:51

VSCode 搭建C++编程环境 2025新版图文安装教程（100%搭建成功，VSCode安装+C++环境搭建+运行测试+背景图设置）

名人说：博观而约取，厚积而薄发。——苏轼《稼说送张琥》 创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊） 目录 一、VScode下载及安装二、安装 MinGW-w64 工具链三、Windows环境变量配置四、检查 M…...

编程日记 2025/8/16 9:56:17

【Linux 内核 | 操作系统 | 内核编译】内核编译中与锁调试相关的设置有哪一些？内核 Debug 选项中 LockDep 和其他锁调试选项详解

​问题描述： 我在看内核锁调试的信息时，看到了一些内核编译参数相关的设置，开启这些信息可以帮助我们在测试环境中调试锁的竞争情况，可以详细的打印出来一些线程持有锁，一些线程争抢锁的信息。 以下是我的配置&#…...

编程日记 2025/8/16 9:53:40

LinuX---Shell---变量

系统预定义变量 常用系统变量 PATH、HOME、PWD、SHELL、USER等 获取变量的值 语法：$变量名 $和变量名之间不能有空格。 案例实操 查看系统变量的值 fengubuntu:~$ echo $PATH /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/u…...

编程日记 2025/8/15 20:56:40

深入理解Spring MVC：构建灵活的Web应用

大家好！今天我们来聊聊Spring框架中的一个重要模块——Spring MVC。Spring MVC是一个基于MVC（Model-View-Controller）架构的Web框架，它提供了强大的功能来处理HTTP请求、生成动态内容以及管理Web应用程序的流程。无论是构建RESTfu…...

编程日记 2025/8/16 12:05:10

详解SQL数据查询功能

数据查询 一、 单表查询1. 选择表中的若干列2. 选择表中的若干元组3. ORDER BY 子句4. 聚合函数5. GROUP BY 子句6. LIMIT 子句综合示例： 二、 多表查询1. 等值连接查询 (Equi-Join)2. 非等值连接查询 (Non-Equi Join)3. 自然连接查询 (Natural Join)4. 复合条件连接…...

编程日记 2025/8/16 12:48:45

ArcGIS Pro 车牌分区数据处理与地图制作全攻略

在大数据时代，地理信息系统（GIS）技术在各个领域都有着广泛的应用，而 ArcGIS Pro 作为一款功能强大的 GIS 软件，为数据处理和地图制作提供了丰富的工具和便捷的操作流程。 车牌数据作为一种重要的地理空间数据&#xf…...

编程日记 2025/8/16 12:40:06

Git 本地常见快捷操作

Git 本地常见快捷操作 &#x1f4cc; 1. 基本操作 操作命令初始化 Git 仓库git init查看 Git 状态git status添加所有文件到暂存区git add .添加指定文件git add <file>提交更改git commit -m "提交信息"修改最后一次提交信息git commit --amend -m "新…...

编程日记 2025/8/16 12:10:21

大视频背景暗黑风格的wordpress企业主题免费下载

整体风格是黑色的&#xff0c;首页首屏大视频背景&#xff0c;动态效果非常好。向下滚动时&#xff0c;滚动的特效也不错。 原文 https://www.bixugao.com/wp/26.html...

编程日记 2025/8/16 11:10:00

Apache Tomcat漏洞，对其进行升级

我们付出一些成本&#xff0c;时间的或者其他&#xff0c;最终总能收获一些什么。 升级背景&#xff1a; 近日&#xff0c;新华三盾山实验室监测到 Apache 官方修复了一个远程代码执行漏洞 (CVE-2025-24813) &#xff0c;其CVSS3 漏洞评分为 7.5 。 影响范围 9.0.0.M1 ≤…...

编程日记 2025/8/16 10:20:48

fs的proxy_media模式失效

概述 freeswitch是一款简单好用的VOIP开源软交换平台。 在fs的使用过程中&#xff0c;某些场景只需要对rtp媒体做透传&#xff0c;又不需要任何处理。 在fs1.6的版本中&#xff0c;我们可以使用proxy_media来代理媒体的转发&#xff0c;媒体的协商由AB路端对端处理&#xff…...

编程日记 2025/8/16 12:57:47

Spring Boot与Apache Ignite集成：构建高性能分布式缓存和计算平台

1. 前言 1.1 什么是Apache Ignite Apache Ignite是一个高性能的分布式内存计算平台，支持内存缓存、分布式计算、流处理和机器学习等功能。它提供了低延迟的数据访问和强大的计算能力，适用于需要高性能和可扩展性的应用。 1.2 为什么选择Apache Ignite 高性能：Ignite利用内…...

编程日记 2025/8/16 9:53:41

深度学习优化-Gradient Checkpointing

数学原理参考&#xff1a; 梯度检查点技术&#xff08;Gradient Checkpointing&#xff09;详细介绍&#xff1a;中英双语-CSDN博客 视频讲解参考&#xff1a; 用梯度检查点来节省显存 gradient checkpointing_哔哩哔哩_bilibili Gradient Checkpointing&#xff08;梯度检查…...

编程日记 2025/8/16 12:56:42

Linux内核实时机制19 - RT调度器3 - 实时任务出入队

Linux内核实时机制19 - RT调度器3 - 实时任务出入队 1、enqueue_task_rt和dequeue_task_rt都会调用dequeue_rt_stack接口&#xff0c; 当请求的rt_se对应的是任务组时&#xff0c;会从顶部到请求的rt_se将调度实体出列。 2、任务添加到rt运行队列时&#xff0c; 如果存在多个…...

编程日记 2025/8/16 11:41:28

CRM企业客户关系管理系统产品原型方案

客户关系管理系统&#xff08;CRM&#xff09;是企业产品应用中的典范&#xff0c;旨在通过信息技术和互联网技术提升企业核心竞争力&#xff0c;优化企业与顾客在销售、营销和服务方面的互动。本作品提供了一套通用型的CRM系统原型模板&#xff0c;涵盖数据管理、审批流程、统…...

编程日记 2025/8/16 9:44:52

HashMap ,HashTable , ConcurrentHashMap 面试

双列集合 HashMap 线程不安全的 HashMap 允许键和值为 null。不过要留意&#xff0c;HashMap 并非线程安全的&#xff0c;在多线程环境下使用可能会出现问题。 数组链表红黑树 jdk1.8 双列集合 存储keyvalue 底层数组的形式存在,初始值 为16 也可以在new HashMap…...

编程日记 2025/8/16 13:08:33

PyTorch 系列教程：探索自然语言处理应用

本文旨在介绍如何使用PyTorch进行自然语言处理&#xff08;NLP&#xff09;的基础知识&#xff0c;包括必要的库、概念以及实际代码示例。通过阅读本文&#xff0c;您将能够开始您的NLP之旅。 1. 理解PyTorch PyTorch是一个开源的机器学习库&#xff0c;基于Torch库&#xff0…...

编程日记 2025/8/16 19:47:37

【操作系统安全】任务2：用户与用户组

目录 一、用户与用户组介绍 1.1 用户 1.2 用户组 1.3 用户与用户组的关系 二、用户与用户组管理 2.1 用户管理 2.1.1 创建用户 2.1.2 设置用户密码 2.1.3 删除用户 2.2 用户组管理 2.2.1 创建用户组 2.2.2 删除用户组 2.2.3 将用户添加到用户组 三、影子账户创建…...

编程日记 2025/8/15 22:17:58

DeepSeek技术解析：MoE架构实现与代码实战

以下是一篇结合DeepSeek技术解析与代码示例的技术文章&#xff0c;重点展示其核心算法实现与落地应用&#xff1a; DeepSeek技术解析&#xff1a;MoE架构实现与代码实战 作为中国AI领域的创新代表&#xff0c;DeepSeek在混合专家模型&#xff08;Mixture of Experts, MoE&…...

编程日记 2025/8/16 12:18:11

LLM对齐方法作用：主要解决大型语言模型（LLMs）输出与人类价值观、需求和安全规范不一致的问题

LLM对齐方法作用：主要解决大型语言模型（LLMs）输出与人类价值观、需求和安全规范不一致的问题 对齐方法（Alignment Methods） 主要解决大型语言模型（LLMs）输出与人类价值观、需求和安全规范不一致的问题。其核心目标是让模型生成的内容更符合人类预期，同时确保伦理合规性…...

编程日记 2025/8/16 12:29:29

【SpringMVC】常用注解：@RequestBody

1.作用 用于获取请求实体内容&#xff0c;直接使用得到的是keyvalue&keyvalue的数据。获取请求实体内容不适用get请求。 2.属性 required 描述是否有请求体&#xff0c;默认值为true。当取值为true时&#xff0c;get 请求方式会报错。如果取值为false&#xff0c;get请…...

编程日记 2025/8/16 7:51:37

brpc中的doublyBufferedData解析

double buffer解析&#xff08;附brpc改进版&#xff09; 双buffer是一个工程中常见的解决读写问题的结构。指的是读只读buff&#xff0c;写操作发生在写buff上。当写buff写完之后switch两个buff&#xff0c;然后写进程擦除原来的读数据&#xff0c;更新为最新的数据。 我们有…...

编程日记 2025/8/16 1:24:07

基于Android的记事本APP设计与实现：从需求分析到功能实现（超级简单记事本，附源码+文档报告）

基于Android的记事本APP设计与实现&#xff1a;从需求分析到功能实现 &#xff08;以前大学课堂作业&#xff0c;抄在这里当个回忆吧&#xff09; 引言 随着社会的不断进步&#xff0c;信息化建设不断发展&#xff0c;电子文字输入在生活、学习、工作中占有越来越重要的作用…...

编程日记 2025/8/17 3:54:15

Linux 部署 Spring Boot 项目, Web项目（2025版）

Linux 部署 Spring Boot 项目&#xff0c;Web项目&#xff08;2025版&#xff09; 一、简洁版1.1 Linux 环境配置1.2 将Spring Boot 项目部署到 Linux 中 二、详细版2.1 Linux 环境配置2.2 Spring Boot 项目搭建2.3 mysql 配置2.4 测试项目2.5 将Spring Boot 项目部署到 Linux …...

编程日记 2025/8/17 3:51:41

泛目录技术：智能缓存提升网站速度与稳定性

泛目录技术&#xff1a;智能缓存提升网站速度与稳定性 在现代网站运营中&#xff0c;速度和稳定性是用户体验和SEO优化的关键因素。2025奥顺互联推出的泛目录技术&#xff0c;通过智能缓存机制&#xff0c;为网站提供了卓越的性能提升和稳定性保障。本文将深入探讨该技术的特点…...

编程日记 2025/8/16 23:17:57

CNN SSP, ASPP, PPM 分割任务经典尺度聚合模块

SSP&#xff1a;Spatial Pyramid Pooling 让任意大小图像最终输出的特征维度始终固定&#xff0c;便于接全链接层。 4x4, 2x2,1x1区域的maxpooling&#xff0c;让任意大小图像最终输出最终特征维度始终为 &#xff08;1641)*256 ASSP:Atrous Spatial Pyramid Pooling 不进行…...

编程日记 2025/8/17 1:42:40

Nping- Nmap中的一个工具-用于生成网络数据包并分析响应

Nping 工具介绍 Nping 是 Nmap 项目中的一个网络工具&#xff0c;用于生成网络数据包并分析响应。它可以用于网络探测、性能测试、防火墙测试、ARP 欺骗检测等多种场景。Nping 支持多种协议&#xff08;如 TCP、UDP、ICMP、ARP&#xff09;&#xff0c;并允许用户自定义数据包…...

编程日记 2025/8/16 13:08:17

海马下载 1.0.2 | 纯净无广告，极简设计，不限速下载工具

海马下载是一款轻量级下载工具&#xff0c;仅保留核心链接下载功能&#xff0c;体积小巧仅21MB。实测无广告弹窗且不限速&#xff0c;适合追求简洁体验的用户。操作界面直观易用&#xff0c;可快速添加任务并查看下载进度。 大小&#xff1a;21M 下载地址&#xff1a; 百度网…...

编程日记 2025/8/17 4:03:08

【蓝桥杯—单片机】第十五届省赛真题代码题解析 | 思路整理

第十五届省赛真题代码题解析 前言赛题代码思路笔记竞赛板配置建立模板明确基本要求显示功能部分频率界面正常显示高位熄灭 参数界面基础写法&#xff1a;两个界面分开来写优化写法&#xff1a;两个界面合一起写 时间界面回显界面校准校准过程校准错误显示 DAC输出部分按键功能部…...

编程日记 2025/8/17 4:01:16

maven之自定义插件

写在前面 在使用maven肯定是离不开插件的&#xff0c;比如执行mvn clean或者时mvn compile其实运行的就是绑定的默认插件。虽然我们一般不需要来自定义插件&#xff0c;但是为了使用的过程中更加的清晰&#xff0c;来尝试自定义插件还是很有必要的&#xff0c;所以本文就一起来…...

编程日记 2025/8/16 19:47:50

Unity单例模式(c#泛型基类)

Unity单例模式 1 单例模式2 继承mono脚本单例模式基类3 SingletonAutoMono脚本 1 单例模式 单例模式基类模块 范型加约束,支持new来构造 //单例模式基类模块 //范型加约束,支持new来构造 public class BaseManager<T> where T :new() {private static T instance;public …...

编程日记 2025/8/17 4:05:56

java 中桥方法（Bridge Method）解决泛型和多态（即：类型兼容）而存在的

在 Java 中&#xff0c;**桥方法&#xff08;Bridge Method&#xff09;**是编译器自动生成的一种方法&#xff0c;主要用于解决泛型类型擦除和继承中的类型兼容性问题。以下是关于桥方法的几点关键信息&#xff1a; 1. 桥方法的作用 类型擦除兼容性&#xff1a;Java 的泛型在…...

编程日记 2025/8/17 3:56:08

Centos7阿里云yum源

#Step1:下载repository 没有wget命令 就用curl wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo #Step2:安装epel基础组件源 没有wget命…...

编程日记 2025/8/16 11:11:45

leetcode 102. 二叉树的层序遍历

方法一&#xff1a; 用两个数组进行迭代遍历 class Solution {public List<List<Integer>> levelOrder(TreeNode root) {if(root null) {return new ArrayList<List<Integer>>();}List<TreeNode> cur new ArrayList<TreeNode>();cur.a…...

编程日记 2025/8/16 12:14:03

Trae插件革命：用VSPlugin Helper实现VSCode市场插件全自动安装

之前有读者留言说trae都没有c的插件用&#xff0c;确实是这样&#xff0c;trae的插件源用的是open vsx&#xff0c;而c/c插件是vscode官方插件市场的&#xff0c;如果想直接在trae中安装c/c插件是不行的&#xff0c;只能先从vscode官方插件市场把vsix后缀文件先下载下来&#x…...

编程日记 2025/8/16 11:47:12

SpringCloud带你走进微服务的世界

认识微服务 随着互联网行业的发展&#xff0c;对服务的要求也越来越高&#xff0c;服务架构也从单体架构逐渐演变为现在流行的微服务架构。这些架构之间有怎样的差别呢&#xff1f; 单体架构 单体架构&#xff1a;将业务的所有功能集中在一个项目中开发&#xff0c;打成一个包部…...

编程日记 2025/8/16 1:35:37

多线程(超详细) (ε≡٩(๑＞₃＜)۶ 一心向学)

多线程目录 一、认识线程 1、概念&#xff1a; 1) 线程是什么 2) 线程为什么存在 3) 进程与线程的区别 二、创建线程 1、方法1&#xff1a;继承Thread类 2、方法2&#xff1a;实现 Runnable 接口 3、方法3&#xff1a;匿名内部类创建 Thread 子类对象 4、方法4&#…...

编程日记 2025/8/16 11:36:43

LabVIEW旋转设备状态在线监测系统

为了提高大型旋转设备如电机和水泵的监控效率和故障诊断能力&#xff0c;用LabVIEW软件开发了一套实时监测与故障诊断系统。该系统集成了趋势分析、振动数据处理等多项功能&#xff0c;可实时分析电机电流、压力、温度及振动数据&#xff0c;以早期识别和预报故障。 ​ 项目背…...

编程日记 2025/8/16 9:45:09

RSS和TSS在网络流量处理中的优化作用

摘要 本文深入探讨了RSS（Receive Side Scaling）和TSS（Transmit Side Scaling）这两种网络流量处理技术的实现方法及其在网络性能优化中的重要作用。通过对硬件和软件实现方式的详细分析，阐述了它们如何在多队列网卡、多核处理器系统以及虚拟化环境中提升网络处理性能和吞吐…...

编程日记 2025/8/16 12:18:01

C++ 中的 RTTI（Run-Time Type Information，运行时类型识别）

我来为你详细讲解 C 中的 RTTI&#xff08;Run-Time Type Information&#xff0c;运行时类型识别&#xff09;&#xff0c;并结合你提供的参考内容进行分析和说明。 什么是 RTTI&#xff1f; RTTI 是 C 提供的一种机制&#xff0c;允许程序在运行时识别对象的类型信息。它主要…...

编程日记 2025/8/16 11:33:21

Netty基础—4.NIO的使用简介二

大纲 1.Buffer缓冲区 2.Channel通道 3.BIO编程 4.伪异步IO编程 5.改造程序以支持长连接 6.NIO三大核心组件 7.NIO服务端的创建流程 8.NIO客户端的创建流程 9.NIO优点总结 10.NIO问题总结 4.伪异步IO编程 (1)BIO的主要问题 (2)BIO编程模型的改进 (3)伪异步IO编程 …...

编程日记 2025/8/16 12:47:31

WPS 接入 DeepSeek-R1 深度实践：打造全能AI办公助手

一、智能化办公革命的技术底座 1.1 全球办公自动化发展现状 根据Gartner 2024年数字化转型报告显示&#xff0c;全球83%的企业已启动文档处理智能化改造&#xff0c;其中中国企业的AI办公渗透率以年均37%的增速领跑全球。WPS Office凭借其月活设备数突破5.6亿的生态优势&…...

编程日记 2025/8/16 9:45:04

MySQL与Redis的缓存一致性问题

MySQL与Redis的缓存一致性问题 前言 在学习中&#xff0c;为了提高数据的读取效率&#xff0c;我们往往会使用Redis来作为MySQL数据的缓存&#xff0c;那么&#xff0c;自然就产生了二者间数据的一致性问题。 想要对MySQL和Redis进行数据处理&#xff0c;自然会产生以下问题…...

编程日记 2025/8/16 11:18:04