当前位置：首页 > news >正文

Clickhouse基于breakpad生成minidump文件，方便问题定位

news 来源：原创 2025/7/16 22:21:10

背景

breakpad能够在程序崩溃的时候自动生成一个mini的core文件，能够帮助进行问题定位，但是clickhouse对于集成breappad的难度较大

查看github发现之前有大佬基于以前的分支有个MR，但是一直没有合并到社区，想来是有什么其他的原因，同时由于现在master的代码有些许差异，所以还需要进行部分改造

前提准备

社区大佬的MR:

https://github.com/ClickHouse/ClickHouse/pull/53916/files

clickhouse：最新提交如下图所示

https://github.com/ClickHouse/ClickHouse.git

编译环境

clang19

楼主编译时，主干已经更新到clang19，所以需要升级

# 安装依赖
apt update
apt install -y wget gnupg software-properties-common lsb-release
# 添加 LLVM 官方仓库（自动检测系统版本）
wget -qO- https://apt.llvm.org/llvm.sh | sudo bash -s 19
apt update
apt install -y clang-19 lldb-19 lld-19 clangd-19
# 修改默认配置
update-alternatives --install /usr/bin/clang clang /usr/bin/clang-19 100
update-alternatives --install /usr/bin/clang++ clang++ /usr/bin/clang++-19 100

wsl

楼主基于wsl进行编译，其他操作系统类似

修改代码

修改文件清单如下图所示，详见附件

其他版本也可以对照进行修改，修改点参考社区MR https://github.com/ClickHouse/ClickHouse/pull/53916/files

核心代码

下述代码会在进程崩溃时优先生成minidump，成功之后还会生成core文件，即便没有开启ulimit -c

生成的文件默认在ck的日志目录下

编译

在前面将代码修改适配完成之后，即可进行编译，此处编译按照官方的指导逐步操作即可

mkdir build
cd build
export CC=clang-19
export CXX=clang++-19
cmake -D CMAKE_BUILD_TYPE=Debug ..
ninja -j 8

启动clickhouse

此处启动可以参考 CSDN

./clickhouse server config.xml

构造异常

可以修改代码，构造一个段错误，也可以直接向进程发送一个信号量的方式进行异常构造，验证core文件的生成，为了方便，此处采用直接发送信号量的方式

 kill -SIGSEGV PID

此时在进程崩溃之后便会自动生成minidump和core文件了

查看minidump文件

生成的minidump和core文件均在日志目录下

minidump转core

因为有的时候core文件很大，可能因为磁盘空间不足，无法生成，那么此时就需要用breakpad的转换工具了，此处可以参考其他文章

将转换之后的core文件用gdb加载，即可查看程序崩溃时的堆栈信息了，帮助进行问题定位。

Clickhouse基于breakpad生成minidump文件，方便问题定位

背景 breakpad能够在程序崩溃的时候自动生成一个mini的core文件，能够帮助进行问题定位，但是clickhouse对于集成breappad的难度较大查看github发现之前有大佬基于以前的分支有个MR，但是一直没有合并到社区，想来是有什么其他的原因…...

编程日记 2025/7/16 22:21:10

华为云Astro轻应用自定义连接器对接OBS云对象存储操作指南

操作难点图例（详细见下文详细操作步骤）操作成功图例说明：以下是通过自定义连接器创建新的OBS桶的图例说明：以下是通过自定义连接器将数据内容嵌入创建新的OBS桶的图例操作难点图例说明：连接器编排需要注意的是动作选择、输入参数的设置等...

编程日记 2025/6/29 5:13:45

C# 运算符重载深度解析：从基础到高阶实践

运算符重载是 C# 中一项强大的特性，它允许开发者为用户自定义类型定义运算符的行为，使得代码更直观、更符合领域逻辑。本文将通过理论解析与实战示例，全面讲解运算符重载的实现规则、适用场景及注意事项。一、运算符重载的核心概念 1. 什么…...

编程日记 2025/7/16 22:15:12

面试现场“震”情百态：HashMap扩容记

（以下为符合要求的文章内容） 【场景】 2024年秋招季某互联网大厂会议室面试官：张工（P8级架构师） 求职者：马小帅（双非二本应届生） 第一轮提问（Java基础篇） …...

编程日记 2025/6/29 6:36:14

SCAU18124--N皇后问题

18124 N皇后问题时间限制:5000MS 代码长度限制:10KB 提交次数:0 通过次数:0 题型: 编程题语言: G;GCC;VC Description 有N*N的国际象棋棋盘，要求在上面放N个皇后，要求任意两个皇后不会互杀，有多少种不同的放法？ 输入格式 …...

编程日记 2025/7/16 22:15:11

MySQL 分库分表

对于使用 MySQL 作为数据库管理系统的应用来说，当数据量达到一定规模时，单库单表的架构会面临性能瓶颈，如查询缓慢、写入性能下降等问题。为了解决这些问题，可以使用分库分表技术。二、为什么需要分库分表 2.1 单库单表的局限性…...

编程日记 2025/7/16 22:02:42

代码： class Solution { public:int totalFruit(vector<int>& fruits) {int n fruits.size();unordered_map<int,int> window_type_count;int left 0;int ans 0;for(int right 0; right <n;right){while(window_type_count.size() 2 &&…...

编程日记 2025/7/12 5:21:43

用Maven定位和解决依赖冲突

用Maven定位和解决依赖冲突一、依赖冲突的常见表现二、定位冲突依赖的4种方法2.1 使用Maven命令分析依赖树2.2 使用IDE可视化工具2.3 使用Maven Enforcer插件2.4 运行时分析三、解决依赖冲突的5种方案3.1 排除特定传递依赖3.2 统一指定版本（推荐）3.3 使…...

编程日记 2025/7/16 15:33:17

八大排序之选择排序

本篇文章将带你详细了解八大基本排序中的选择排序目录 （一）选择排序的时间复杂度和空间复杂度及稳定性分析 （二）代码实现 (三)输出结果选择排序的基本原理是：每次从待排序的数组中找出最大值和最小值。具体流程是…...

编程日记 2025/7/16 21:51:06

SVM实战：从理论到鸢尾花数据集的分类可视化

SVM实战：从理论到鸢尾花数据集的分类可视化在机器学习的广阔领域中，支持向量机（Support Vector Machine，SVM）作为一种经典且强大的分类算法，备受瞩目。它凭借独特的思想和卓越的性能，在模式识…...

编程日记 2025/7/4 13:02:44

深入解析 Stacking：集成学习的“超级英雄联盟

在机器学习的世界里，我们常常面临一个挑战：单一模型往往难以完美地解决复杂问题。就像漫威电影中的超级英雄们一样，每个模型都有自己的独特能力，但也有局限性。那么，如何让这些模型“联手”发挥更大的力量呢&#xff1…...

编程日记 2025/6/29 5:13:52

C# 编程核心：控制流与方法调用详解

在编程中，控制流和方法调用是构建程序逻辑的两大基石。它们决定了代码的执行顺序和模块化协作方式。本文将从基础概念出发，结合代码示例，深入解析这两部分内容。控制流：程序执行的指挥棒控制流决定了代码的执行路径&#xff0…...

编程日记 2025/6/29 5:13:46

PyTorch_张量基本运算

基本运算中，包括add, sub, mul, div, neg等函数，以及这些函数的带下划线的版本add_, sub_, mul_, div_, neg_, 其中带下划线的版本为修改原数据。代码 import torch import numpy as np # 不修改原数据的计算 def test01():data torch.randint(0, 10…...

编程日记 2025/6/29 5:14:01

C++负载均衡远程调用学习之订阅功能与发布功能

目录 1.lars-DnsV0.1回顾 2.Lars-DnsV0.2-订阅功能的订阅模块分析 3.Lars-DnsV0.2-订阅模块的类的单例创建及方法属性初始化 4.Lars-DnsV0.2-发布功能的实现 5.Lars-DnsV0.2-发布功能的总结 6.Lars-DnsV0.2-订阅流程复习 7.Lars-DnsV0.2-订阅模块的集成 8.Lars-DnsV0.2订…...

编程日记 2025/7/16 17:53:31

接口测试的核心思维（基础篇）

1.为什么会进行接口测试？ 早期发现问题，降低修复成本当我们服务端已经完成，而前端还未进行开发的时候。我们可以通过接口测试避免前端的交互直接进行服务端的测试。接口测试也能够更早介入项目的测试，降低修复成本。提高测试…...

编程日记 2025/6/29 8:14:56

给文件内容加行号

题目： 给定一个文件，通过文件读写，给文件内容加行号。行号形式如: 1:) xxXXXX 2:) xxxxXX 要求： 使用缓冲流操作。思路分析： 程序定义了两个字符串变量 inputFile 和 outputFile，分别存储输入文件的路径…...

编程日记 2025/7/16 20:37:05

【计算机视觉】三维重建: MVSNet：基于深度学习的多视图立体视觉重建框架

MVSNet：基于深度学习的多视图立体视觉重建框架技术架构与核心算法1. 算法流程2. 关键创新环境配置与实战指南硬件要求安装步骤数据准备（DTU数据集） 实战流程1. 模型训练2. 深度图推断3. 点云生成常见问题与解决方案1. CUDA内存不足2. 特征…...

编程日记 2025/7/16 21:47:05

终端与环境变量

一、我的电脑是Win10的，首先打开终端如下： 此时终端来到C:\Users\lenovo的目录下，可以访问该目录下的所有文件（夹）。另外，除了这个之外，终端还可以访问环境变量中的所有文件（夹&…...

编程日记 2025/7/16 22:18:41

使用线性表实现通讯录管理

目录 🚀前言🦜任务目标🌟顺序表实现🐍链表实现 🚀前言大家好！我是 EnigmaCoder。本文介绍线性表的实验，使用顺序表和链表实现通讯录管理，包含初始化、插入、删除、查询、输出。 &a…...

编程日记 2025/7/16 21:59:21

机器学习常用评价指标

1. 指标说明 (1) AccuracyClassification（准确率） • 计算方式：accuracy_score(y_true, y_pred) • 作用： 衡量模型正确预测的样本比例（包括所有类别）。公式： Accuracy TP TN TP TN FP…...

编程日记 2025/7/9 21:29:58

基于ArduinoIDE的任意型号单片机 + GPS北斗BDS卫星定位

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言1.1 器件选择1.2 接线方案二、驱动实现2.1 核心代码解析（arduino/ESP32-S3） 三、坐标解析代码四、典型问题排查总结前言北斗卫星导航…...

编程日记 2025/6/29 5:13:47

CGAL：创建点、线、三角形及其距离、关系

CGAL（Computational Geometry Algorithms Library，计算几何算法库）是一个强大的开源库，为众多几何计算问题提供了高效的解决方案，在计算几何领域应用广泛。以下将基于提供的代码示例，详细介绍如何利用 CGAL…...

编程日记 2025/6/29 5:14:06

STM32基础教程——软件I2C

目录前言 I2C MPU6050 技术实现原理图连线图代码实现技术要点 I2C初始化 SCL输出和SDA输入输出控制起始信号停止信号发送一个字节读取一个字节发送应答位接收应答位 MPU6050初始化指定地址写指定地址读读取数据寄存器问题记录前言 I2C …...

编程日记 2025/6/29 5:17:52

Xilinx FPGA | 管脚约束 / 时序约束 / 问题解析

注：本文为 “Xilinx FPGA | 管脚约束 / 时序约束 / 问题解析” 相关文章合辑。略作重排，未整理去重。如有内容异常，请看原文。 Xilinx FPGA 管脚 XDC 约束之：物理约束 FPGA技术实战于 2020-02-04 17:14:53 发布说明&#x…...

编程日记 2025/6/29 7:36:37

应用层自定义协议序列与反序列化

目录一、网络版计算器二、网络版本计算器实现 2.1源代码 2.2测试结果一、网络版计算器应用层定义的协议： 应用层进行网络通信能否使用如下的协议进行通信呢？ 在操作系统内核中是以这种协议进行通信的，但是在应用层禁止以这种协议进行…...

编程日记 2025/6/29 5:18:27

大数据：数字时代的驱动力

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 随着互联网和技术的迅猛发展，数据已经成为现代社会最宝贵的资源之一。大数据（Big Data）作为一种全新的信息资源，正以前所未有的方式改变着各个行业的运作模式，推动着社会的进步与创新。无论是金…...

编程日记 2025/6/29 5:32:26

java学习之数据结构：二、链表

本节介绍链表目录 1.什么是链表 1.1链表定义 1.2链表分类 2.链表实现 2.1创建链表 1）手动创建 2）创建链表类进行管理链表的相关操作 2.2添加元素 1）头插法 2）尾插法 3）任意位置插入 2.3删除 2.4查找 1&…...

编程日记 2025/6/29 5:24:04

评估动态化烹饪工艺与营养实训室建设要点

在全民健康意识显著提升、健康饮食理念深度普及的时代背景下，烹饪工艺与营养实训室建设要点已不再局限于传统单一的技能训练模式。需以行业需求为导向，通过功能集成化设计推动革新 —— 将食品安全防控、营养科学分析、智能烹饪技术、餐饮运营管理等多元…...

编程日记 2025/6/29 5:14:14

Java学习手册：关系型数据库基础

一、关系型数据库概述关系型数据库是一种基于关系模型的数据库，它将数据组织成一个或多个表（或称为关系），每个表由行和列组成。每一列都有一个唯一的名字，称为属性，表中的每一行是一个元组，代…...

编程日记 2025/6/29 5:13:54

吾爱出品 [Windows] EndNote 21.5.18513 汉化补丁

[Windows] EndNote 链接：https://pan.xunlei.com/s/VOPLLs6DqKNz-EoBSWVRTSmGA1?pwd9isc# Thomson Scientific公司推出了2025，本次的endnote21大概率是最后一个版本啦，现已决定进行更新。本次采用的环境为python3.12，win11&am…...

编程日记 2025/6/29 5:14:18

Sentinel学习

sentinel是阿里巴巴研发的一款微服务组件，主要为用户提供服务保护，包括限流熔断等措施 （一）主要功能流量控制（限流）：比如限制1s内有多少请求能到达服务器，防止大量请求打崩服务器…...

编程日记 2025/6/29 5:18:52

【中间件】brpc_基础_execution_queue

execution_queue 源码 1 简介 execution_queue.h 是 Apache BRPC 中实现高性能异步任务执行队列的核心组件，主要用于在用户态线程（bthread）中实现任务的异步提交、有序执行和高效调度。该模块通过解耦任务提交与执行过程，提…...

编程日记 2025/6/29 5:13:59

Servlet（二）

软件架构 1. C/S 客户端/服务器端 2. B/S 浏览器/服务器端： 客户端零维护，开发快资源分类 1. 静态资源所有用户看到相同的部分，如：html,css,js 2. 动态资源用户访问相同资源后得到的结果可能不一致，如：s…...

编程日记 2025/6/29 5:13:53

如何提升个人的思维能力？

提升个人的逻辑思维能力是一个系统性工程，需要长期训练和科学方法。以下是分阶段、可操作的详细建议，涵盖理论基础、日常训练和实战应用： 一、构建逻辑基础认知 1. 学习逻辑学核心理论入门读物：《简单的逻辑学》麦克伦尼&am…...

编程日记 2025/6/29 5:29:38

[UVM]UVM中reg_map的作用及多个rem_map的使用案例

UVM中reg_map的作用及多个rem_map的使用案例摘要：在 UVM (Universal Verification Methodology) 中，寄存器模型是用于验证 DUT (Design Under Test) 寄存器行为的重要工具。UVM 寄存器模型中的 uvm_reg_map（简称 reg_map）是寄存器模型的核心组成部分之一，用于定义…...

编程日记 2025/6/29 6:44:27

重新构想E-E-A-T：提升销售与搜索可见性的SEO策略

在2025年的数字营销环境中，谷歌的E-E-A-T（经验、专业性、权威性、可信度）已成为SEO和内容营销的核心支柱。传统的E-E-A-T优化方法通常聚焦于展示作者资质或获取反向链接，但这些策略可能不足以应对AI驱动的搜索和日益挑剔的用户需求…...

编程日记 2025/6/29 7:47:44

AI 采用金字塔（Sohn‘s AI Adoption Pyramid）

这张图是 Sohn 的 AI 采用金字塔（Sohn’s AI Adoption Pyramid） ，用于描述不同程度的 AI 应用层次，各层次意义如下： 金字塔层级 Level 1：业务角色由人类主导，AI 起辅助作用，如 AI …...

编程日记 2025/7/15 8:14:46

影刀RPA中新增自己的自定义指令

入门到实战明细 1. 影刀RPA自定义指令概述 1.1 定义与作用影刀RPA的自定义指令是一种强大的功能，旨在提高流程复用率，让用户能够个性化定制指令，实现流程在不同应用之间的相互调用。通过自定义指令，用户可以将常用的、具有独立…...

编程日记 2025/6/29 5:13:57

驱动总裁v2.19(含离线版)驱动工具软件下载及安装教程

1.软件名称：驱动总裁 2.软件版本：2.19 3.软件大小：602 MB 4.安装环境：win7/win10/win11 5.下载地址： https://www.kdocs.cn/l/cdZMwizD2ZL1?RL1MvMTM%3D 提示：先转存后下载，防止资源丢失&am…...

编程日记 2025/6/29 5:14:02

SQL经典实例

第1章检索记录 1.1 检索所有行和列知识点：使用SELECT *快速检索表中所有列；显式列出列名（如SELECT col1, col2）提高可读性和可控性，尤其在编程场景中更清晰。 1.2 筛选行知识点：通过WHERE子句过滤符合条…...

编程日记 2025/6/29 5:14:08

2025深圳杯（东三省）数学建模竞赛D题完整分析论文（共36页）（含模型、可运行代码、数据结果）

2025深圳杯数学建模竞赛D题完整分析论文目录摘要一、问题重述二、问题分析三、模型假设四、符号定义五、问题一模型的建立与求解 5.1 问题一模型的建立 5.1.1 问题建模背景 5.1.2 特征工程设计 5.1.3 分类模型结构与数学表达 5.2 问题一模型的求…...

编程日记 2025/7/6 4:04:00

大数据技术：从趋势到变革的全景探索

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 在数字化时代的浪潮下，大数据已经不再是一个陌生的概念。从日常生活中的社交媒体，到企业决策支持系统，再到公共管理的大数据应用，它正在改变着我们的工作和生活方式。随着技术的进步，传统的数据…...

编程日记 2025/6/29 7:29:42

C++【内存管理】

C语言中的动态内存管理 int main() { int* p2(int*)calloc(4,sizeof(int)); int* p3(int*)realloc(p2,sizeof(int)*10); free(p3); }这里因为扩容数据小,所以是原地扩容,p2p3地址一样,不用free(p2) 如果扩容空间大就不是原地扩容,而是新找一块空间,然后拷贝 C内存管理方式 n…...

编程日记 2025/6/29 5:14:11

【Go类库分享】mcp-go Go搭建MCP服务

【Go类库分享】mcp-go Go搭建MCP服务介绍目前Go 生态圈有两个知名的开发 MCP 的库，一个是mark3labs/mcp-go,另一个是metoro-io/mcp-golang。在介绍常用库之前，先来简单介绍一下mcp协议： MCP全称Model Context Protocol 模型上下文协议&a…...

编程日记 2025/7/13 20:17:14

人工智能发展史 — 物理学诺奖之 Hopfield 联想和记忆神经网络模型

目录文章目录目录1982 年，Hopfield 联想和记忆神经网络模型背景知识历史：霍普菲尔德简介神经学：大脑的联想记忆机制物理学：磁性材料的自旋玻璃理论和能量最小值函数 Hopfield 神经网络基本原理记忆存储（训练&#xf…...

编程日记 2025/7/15 22:09:09

Docker —— 技术架构的演进

Docker —— 技术架构的演进技术架构演进总结单机架构优点缺点总结应用数据分离架构优点缺点总结应用服务集群架构1. Nginx2. HAProxy3. LVS（Linux Virtual Server）4. F5 BIG-IP对比总结选型建议读写分离/主从分离架构1. MyCat简介 2. TDDL&#xff…...

编程日记 2025/6/29 5:18:37

Docker与WSL2如何清理

文章目录 Docker与WSL2如何清理一、docker占据磁盘空间核心原因分析1. WSL2 虚拟磁盘的动态扩展特性2. Docker 镜像分层缓存与未清理资源二、解决方案步骤 1：清理 Docker 未使用的资源步骤 2：手动压缩 WSL2 虚拟磁盘1. 关闭 WSL2 和 Docker Desktop2. 定…...

编程日记 2025/6/29 8:04:50