当前位置：首页 > news >正文

ClickHouse的前世今生

news 来源：原创 2025/5/16 7:16:23

在这里插入图片描述

ClickHouse是一款由Yandex开发的高性能列式存储数据库管理系统，专为在线分析处理（OLAP）设计，适用于实时数据分析、大规模数据处理和复杂查询场景。以下是关于ClickHouse的安装、使用及应用场景的详细介绍：

一、ClickHouse的安装

ClickHouse支持多种操作系统，包括Linux、FreeBSD、Mac OS X、Debian、Ubuntu、CentOS、RedHat等。以下是常见的安装方法：

通过包管理器安装：
- Debian/Ubuntu：使用APT包管理器安装ClickHouse，需要添加ClickHouse的官方仓库并更新软件源。
- CentOS/RHEL：使用YUM包管理器安装ClickHouse，同样需要添加ClickHouse的官方仓库。
- RPM包安装：直接下载RPM包并使用rpm命令安装。
从源码编译安装：
- 下载ClickHouse源码包（如通过GitHub克隆或直接下载压缩包）。
- 配置编译环境（如GCC、CMake），然后编译并安装。
二进制包安装：
- 下载预编译的二进制包（如DEB、RPM、TGZ格式），解压后运行安装脚本。
云平台部署：
- 在AWS或Google Cloud等云平台上，可以通过云服务提供商提供的镜像或容器服务快速部署ClickHouse。
注意事项：
- 安装过程中需配置用户和组（如clickhouse用户），并确保系统满足硬件要求（如CPU、内存和磁盘空间）。
- 配置文件位于/etc/clickhouse-server/目录下，包括config.xml和users.xml，用于设置服务器参数和用户权限。

二、ClickHouse的使用

ClickHouse支持多种操作，包括数据插入、查询、修改和删除等。以下是基本操作步骤：

启动服务：
- 使用命令systemctl start clickhouse-server启动ClickHouse服务。
- 使用clickhouse-client命令行工具连接到数据库。
创建数据库和表：
- 使用SQL语句创建数据库和表，例如：

     CREATE DATABASE test;CREATE TABLE example (id Int, name String) ENGINE = MergeTree();

[[ClickHouse 创建数据库和表的SQL语句示例]]

数据操作：
- 插入数据：INSERT INTO example VALUES (1, 'Alice');
- 查询数据：SELECT * FROM example;
- 修改数据：支持部分更新和删除操作。
优化配置：
- 修改配置文件以调整性能参数，如日志级别、缓存大小、线程数等。
- 使用Zookeeper进行集群管理，支持分布式部署。
高级特性：
- 支持向量引擎、索引、近似计算算法等高级功能。
- 支持多版本合并（MergeTree引擎）和分区分片表。

三、ClickHouse的应用场景

ClickHouse因其高性能和列式存储特性，广泛应用于以下场景：

实时数据分析：
- 处理大规模数据集，支持复杂SQL查询和时间序列分析。
- 适用于日志分析、用户行为分析等。
大数据处理：
- 支持高并发读写操作，适合处理亿级数据。
- 支持分布式架构，可扩展到多节点环境。
可视化与报表生成：
- 提供友好的SQL语法和丰富的聚合功能，适合生成实时报表。
日志分析：
- 在携程等公司中，ClickHouse被用于处理海量日志数据，支持模糊查询和统计分析。
不适用场景

ClickHouse的前世今生

ClickHouse是一款由Yandex开发的高性能列式存储数据库管理系统，专为在线分析处理（OLAP）设计，适用于实时数据分析、大规模数据处理和复杂查询场景。以下是关于ClickHouse的安装、使用及应用场景的详细介绍：一、ClickHouse的安装 ClickHouse支持多种操作系统，包括Linux、…...

编程日记 2025/5/16 7:16:23

SSH隧道+Nginx：绿色通道详解（SSH Tunnel+nginx: Green Channel Detailed Explanation）

SSH隧道Nginx：内网资源访问的绿色通道问题背景模拟生产环境，使用两层Nginx做反向代理，请求公网IP来访问内网服务器的网站。通过ssh隧道反向代理来实现，重点分析一下nginx反代的基础配置。实验环境 1、启动内网服务器的tomca…...

编程日记 2025/5/7 8:34:11

html文件怎么转换成pdf文件，2025最新教程

将HTML文件转换成PDF文件，可以采取以下几种方法： 一、使用浏览器内置功能打开HTML文件：在Chrome、Firefox、IE等浏览器中打开需要转换的HTML文件。打印对话框：按下CtrlP（Windows）或CommandP（M…...

编程日记 2025/5/14 20:51:24

大促备战中稳定性建设策略与总结

文章目录接口流量评估、上下游依赖梳理降级能力建设应急响应预案建设压力测试监控报警建设容灾演练之前也专门写过日常稳定性建设的一些策略，传送门 -> 日常稳定性建设策略与总结，本文想专门聊聊大促期间做的一些稳定性保障，顺便记录自己…...

编程日记 2025/5/16 6:47:52

vscode/cursor+godot C#中使用socketIO

在 Visual Studio Code(VS Code)中安装 NuGet 包（例如SocketIOClient），你可以通过以下几种方法： 方法 1：使用dotnet cli 打开终端：在 VS Code 中按下Ctrl 或者通过菜单View -> Terminal打开终端。导…...

编程日记 2025/5/16 6:27:57

Uniapp 原生组件层级过高问题及解决方案

文章目录一、引言🏅二、问题描述📌三、问题原因❓四、解决方案💯4.1 使用 cover-view 和 cover-image4.2 使用 subNVue 子窗体4.3 动态隐藏原生组件4.4 使用 v-if 或 v-show 控制组件显示4.5 使用 position: fixed 布局五、总结&#x1f38…...

编程日记 2025/5/16 7:12:39

jQuery介绍（快速、简洁JavaScript库，诞生于2006年，主要目标是简化HTML文档操作、事件处理、动画和Ajax交互）

文章目录 **核心功能 & 亮点**1. **简化 DOM 操作**2. **链式调用**3. **跨浏览器兼容**4. **便捷的事件绑定**5. **Ajax 封装**6. **动画效果** **现状与适用场景**- **传统项目维护**：许多旧系统（如 WordPress 插件、老企业网站）仍依赖…...

编程日记 2025/5/16 7:15:07

第三节 docker基础之---Commit+Dockerfile制作

docker目前镜像的制作两种方法： 1，基于docker Commit制作镜像 2，基于dockerfile制作镜像，Dockerfile 为主流的制作方式如果不制作镜像删除容器之后则里面配置的文件也随之删除： [rootdocker ~]# docker images 查看…...

编程日记 2025/5/16 6:27:58

通过openresty和lua实现随机壁纸

效果： 图片存放路径： /home/jobs/webs/imgs/ ├── default/ │ ├── image1.jpg │ ├── image2.png ├── cats/ │ ├── cat1.jpg │ ├── cat2.gif ├── dogs/ │ ├── dog1.jpg访问http://demo.com/imgs/default 随机返回…...

编程日记 2025/5/16 6:26:50

企业网站如何快速实现全站HTTPS安全访问？

当用户访问您的网站时，若您的企业网站仍以HTTP协议运行，浏览器“不安全”警告不仅会吓退潜在客户，还会拖累搜索引擎排名，直接影响业务转化和品牌声誉。实现全站HTTPS安全访问，已成为企业网站运营的必选项。本文为您详…...

编程日记 2025/5/16 7:00:11

《花未眠》夜间四时醒来，海棠花未眠

《花未眠》夜间四时醒来，海棠花未眠川端康成（1899-1972）日本作家。新感觉派。1968年以“敏锐的感受，高超的叙事技巧，表现日本人的精神实质”获诺贝尔文学奖。诺贝尔文学奖提名作有《雪国》《千羽鹤》《古都》。陈德文…...

编程日记 2025/5/16 6:43:26

在nodejs中使用RabbitMQ（三）Routing、Topics、Headers

示例一、Routing exchange类型direct，根据消息的routekey将消息直接转发到指定队列。producer.ts 生产者主要发送消息，consumer.ts负责接收消息，同时也都可以创建exchange交换机，创建队列，为队列绑定exchange&#xff…...

编程日记 2025/5/16 7:02:28

kubeconfig存放内容有哪些

kubeconfig 文件是 Kubernetes 用于配置和认证的核心文件。它包含了关于如何访问 Kubernetes 集群的信息。以下是 kubeconfig 文件中常见的一些内容结构： apiVersion: 指定 kubeconfig 的版本，通常是 v1。clusters: 定义了集群的信息，包括集…...

编程日记 2025/5/16 6:17:39

图神经网络是什么，有什么实际应用

图神经网络是什么图神经网络（Graph Neural Network，GNN）是一种专门用于处理图结构数据的神经网络，它能对图中的节点、边和整个图进行学习和推理，在社交网络分析、生物信息学、推荐系统等领域应用广泛。以下是其原理及示例说明：图神经网络原理节点表示学习：为图中每…...

编程日记 2025/5/15 5:12:12

如何将DeepSeek配置到离线电脑（内网）中？— 附Ollama夸克下载链接

1、在外网和内网电脑中分别安装Ollama 如下载速度较慢，安装包附在本文最后。下载完成后傻瓜一键安装即可。 2、下载deepseek 在外网电脑中启动命令行输入下载命令。以下载8B为例，其他版本同。 ollama run deepseek-r1:8b 3、资源转移在外网电脑…...

编程日记 2025/5/11 4:06:34

拯救者Y9000P双系统ubuntu22.04安装4070显卡驱动

拯救者Y9000P双系统ubuntu22.04安装4070显卡驱动 1. 前情： 1TB的硬盘，分了120G作ubuntu22.04。/boot: 300MB, / : 40GB, /home: 75G, 其余作swap area。 2. 一开始按这个教程：对我无效 https://blog.csdn.net/Eric_xkk/article/details/1…...

编程日记 2025/5/16 6:29:31

vue项目 Axios创建拦截器

Axios 1. Axios 和 Ajax 简介2. Axios 和 Ajax 的区别3. 从按钮到 Axios请求后端接口的大致顺序 1. Axios 和 Ajax 简介 Ajax（Asynchronous JavaScript and XML） 不是一种技术，而是一个编程技术概念，核心是通过 XMLHttpReques…...

编程日记 2025/5/9 23:01:05

web前端第三次作业

题目本期作业 WEB第三次作业请使用JS实一个网页中登录窗口的显示/隐藏，页面中拖动移动，并且添加了边界判断的网页效代码图片效果展示代码 <!DOCTYPE html> <html lang"zh"> <head> <meta charset"UTF-8&qu…...

编程日记 2025/5/16 6:31:04

滑动窗口算法笔记(C++)

滑动窗口算法是一种基于双指针技巧的高效算法, 常用于解决数组或字符串上的一些特定问题. 算法讲解基本概念滑动窗口算法可以想象成在一个数组或字符串上有一个固定大小或者可变大小的窗口, 该窗口在数组或字符串上从左到右滑动. 在滑动的过程中, 根据具体问题的要求, 对窗…...

编程日记 2025/5/16 7:11:32

day02冒泡排序

思路： 外层循环控制循环次数(i<len)，设置swapFlagfalse内层循环j1(j<len-i)，两两(j和j-1)比较，逆序则交换内层每次循环结束，没有交换，则break结束内层循环j从1开始，小于len，…...

编程日记 2025/5/16 6:47:52

【工业场景】用YOLOv8实现火灾识别

火灾识别任务是工业领域急需关注的重点安全事项，其应用场景和背景意义主要体现在以下几个方面：应用场景：工业场所：在工厂、仓库等工业场所中，火灾是造成重大财产损失和人员伤亡的主要原因之一。利用火灾识别技术可以及时发现火灾迹象，采取相应的应急措施，保障人员安全和…...

编程日记 2025/5/16 6:17:39

管式超滤膜分离技术都可以应用到哪些行业?

管式超滤膜分离技术由于其高效、稳定和适应性强的特点，在多个行业都有广泛的应用： 1. 生物制药与医药行业纯化与浓缩：在生物药品的下游处理阶段，管式超滤膜被用来纯化抗体、疫苗、蛋白质等生物大分子，通过精确筛选分子…...

编程日记 2025/5/16 6:31:04

数智百问 | 制造企业如何降低产线检测数据的存储和管理成本？

在《“十四五”智能制造发展规划》等政策的推动下，以及新能源汽车、消费电子等品牌商对产品质量和供应商智能化水平要求的提升，半导体、电子制造、动力电池等先进制造行业企业纷纷推进产线智能化升级，并投入大量机器视觉检测设备以实现自动化…...

编程日记 2025/5/13 21:45:56

Linux中getifaddrs函数

文章目录 **函数原型****参数****返回值****释放资源****`struct ifaddrs` 结构****示例代码****输出示例****相关函数****总结**getifaddrs 是 Linux（以及其他 Unix-like 系统）中用于获取本机网络接口信息的系统调用。它提供了一种简单的方法来获取所有网络接口的地址信息，…...

编程日记 2025/5/10 17:17:27

Barra多因子模型

Barra模型 1. Barra模型概述1.1 Barra模型的历史与发展1.2 Barra模型在全球市场中的应用 2. Barra模型的基本原理2.1 APT理论基础2.2 Barra模型的基本原理：因子模型的核心假设因子暴露 β i j \beta_{ij} βij的假设因子收益率 f j f_j fj的假设 3. Barra模型的…...

编程日记 2025/5/16 6:58:16

P5：使用pytorch实现运动鞋识别

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊我的环境语言环境：python 3.7.12 编译器：pycharm 深度学习环境：tensorflow 2.7.0 数据：本地数据集-运动鞋一…...

编程日记 2025/5/8 13:40:01

redis持久化原理相关面试题剖析

一、Redis 持久化的机制是什么？ Redis是内存数据库，数据都是存储在内存中，为了避免进程退出导致数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘；当下次 Redis重启时，利用…...

编程日记 2025/5/15 6:47:44

动态规划LeetCode-1049.最后一块石头的重量Ⅱ

有一堆石头，用整数数组 stones 表示。其中 stones[i] 表示第 i 块石头的重量。每一回合，从中选出任意两块石头，然后将它们一起粉碎。假设石头的重量分别为 x 和 y，且 x < y。那么粉碎的可能结果如下： 如果 x y&…...

编程日记 2025/5/12 17:22:47

Linux Media 子系统 V4l2

一创建 V4l2 的 entity 在Linux内核的Media Controller框架中，V4L2设备作为实体（entity）的注册过程涉及以下步骤： 1. 初始化Media Controller结构驱动首先创建一个media_device实例，并与V4L2设备（如v4…...

编程日记 2025/5/16 6:58:16

民兵装备管理系统DW-S300|支持国产化、自主研发

民兵装备器材管理系统（智装备DW-S301）是一套成熟系统，依托互3D技术、云计算、大数据、RFID技术、数据库技术、AI、视频分析技术对RFID智能仓库进行统一管理、分析的信息化、智能化、规范化的系统。装备接收与登记民兵装备抵达仓库时&#…...

编程日记 2025/5/16 6:44:55

Pro Git --(Windows)总结

Pro Git --Windows 文章目录 Pro Git --Windows知识来源Git入门与进阶知识来源廖雪峰的官方网站 Git教程 Git入门与进阶 # 初步学习Git #个人建议先大致过一遍，对Git有个大致的理解，然后在实操项目# 创建一个空目录 $ mkdir learngit $ cd learngit …...

编程日记 2025/5/15 8:04:08

加油口，电梯门的对称性对 TCP/IP 传输协议的启示

春节期间河南穷游屡次加油站排队加油之启示。不考虑有意的设计因素，汽车加油口概率性分布在车身的左边或者右边，这个偶然的小细节让加油机同时为两辆车加油而无需额外的加油管。如果所有车辆加油口都在同一侧，加油站的加油机就只能给一边的…...

编程日记 2025/5/12 15:57:04

【进阶】JVM篇

为什么学习jvm 1、面试的需要学过java的程序员对jvm应该不陌生，程序员为什么要学习jvm呢？其实不懂jvm也可以照样写出优质的代码，但是不懂jvm会被大厂的面试官虐的体无完肤。 2、高级程序员需要了解 jvm作用 jvm负责把编译后的字节码转换…...

编程日记 2025/5/16 7:02:28

靶场：https://app.hackinghub.io/hubs/prison-hack 信息收集子域名收集 1.subfinder files.jabprisons.com staging.jabprisons.com cobrowse.jabprisons.com a1.top.jabprisons.com cf1.jabprisons.com va.cobrowse.jabprisons.com vs.jabprisons.com c…...

编程日记 2025/5/16 6:19:47

新数据结构(4)——Java继承

基本概念继承的本质：重复使用已经定义好的方法和域，实现代码的重复利用。使用继承之后，创建的子类可以方便地调用父类中已经定义的方法。一个继承的例子： 重载和重写重载重载：发生在同一个类里，指…...

编程日记 2025/5/16 6:09:47

大数据学习之SparkStreaming、PB级百战出行网约车项目一

一.SparkStreaming 163.SparkStreaming概述 Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams. Spark Streaming 是核心 Spark API 的扩展，支持实时数据…...

编程日记 2025/5/16 6:51:20

介绍两个个电池充电管理芯片（TP4057、ME4069）

第一个是TP4057。输入电压是4~6.5V TP4056，它们之间最大的区别就是TP4056最高是1A的充电电流，而TP4057是500ma，适用于更小一点的电池。 TP4057停机模式的静态电流也更小（上图列的是待机模式，但查看后面的表格发现实际…...

编程日记 2025/5/14 8:52:43

Debezium日常分享系列之：解码逻辑解码消息内容

Debezium日常分享系列之：解码逻辑解码消息内容示例配置选项 DecodeLogicalDecodingMessageContent SMT将PostgreSQL逻辑解码消息的二进制内容转换为结构化形式。当Debezium PostgreSQL连接器捕获逻辑解码消息时，它会将消息事件记录发送到Kafka。默认情况…...

编程日记 2025/5/15 14:25:02

【Linux】smp_mb__after_atomic

文章目录背景知识smp_mb__after_atomic 的作用具体应用场景为什么需要 smp_mb__after_atomic相关宏总结背景知识在现代多核处理器和并发编程中，编译器优化和CPU乱序执行可能导致程序指令的实际执行顺序与源代码中的顺序不一致。这种现象可能会破坏多线程或进程间…...

编程日记 2025/5/16 6:58:16

关于conda换镜像源，pip换源

目录 1. 查看当前下载源2. 添加镜像源2.1清华大学开源软件镜像站2.2上海交通大学开源镜像站2.3中国科学技术大学 3.删除镜像源4.删除所有镜像源，恢复默认5.什么是conda-forge6.pip换源 1. 查看当前下载源 conda config --show channels 如果发现多个可以只保留1个…...

编程日记 2025/5/16 6:35:10

【JavaEE进阶】依赖注入 DI详解

目录 🌴什么是依赖注入 🎄依赖注入的三种方法 🚩属性注⼊(Field Injection) 🚩Setter注入 🚩构造方法注入 🚩三种注⼊的优缺点 🌳Autowired存在的问题 🌲解决Autowired存在的…...

编程日记 2025/5/15 15:58:48

鸿蒙HarmonyOS NEXT开发：横竖屏切换开发实践

文章目录一、概述二、窗口旋转说明1、配置module.json5的orientation字段2、调用窗口的setPreferredOrientation方法四、性能优化1、使用自定义组件冻结2、对图片使用autoResize3、排查一些耗时操作四、常见场景示例1、视频类应用横竖屏开发2、游戏类应用横屏开发五、其他常…...

编程日记 2025/5/16 2:03:34

自己部署 DeepSeek 助力 Vue 开发：打造丝滑的折叠面板（Accordion）

前言：哈喽，大家好，今天给大家分享一篇文章！并提供具体代码帮助大家深入理解，彻底掌握！创作不易，如果能帮助到大家或者给大家一些灵感和启发，欢迎收藏关注哦 💕 目录自己…...

编程日记 2025/5/14 21:25:22

程序员升级进阶之路

熟悉业务、项目代码、工作流程，积极吸取技术资料接需求，画流程图，（伪代码），详细设计明确职业发展方向【很重要】求精：写代码前的技术方案设计写代码并不难，关键是要明确为什么要写…...

编程日记 2025/5/16 6:31:04

C/C++后端开发面经

字节跳动客户端开发实习一面(50min) 自我介绍是否愿意转语言,是否只愿意搞后端选一个项目来详细谈谈HTTP和HTTPS有什么区别?谈一下HTTPS加密的具体过程： 非对称加密对称加密证书认证的方式非对称加密是为了保证对称密钥的安全性。对称…...

编程日记 2025/5/15 5:43:20

【C++】策略模式

使用场景主要目的是定义一系列可互换的算法或行为，并使它们在运行时可以根据不同的情况动态地替换。它侧重于算法的封装和替换，让客户端可以灵活地选择不同的策略来完成特定的任务。例如，在一个游戏角色的行为系统中，角色的攻击…...

编程日记 2025/5/11 18:00:22

Baklib剖析企业内容管理与内容中台的主要区别解析

内容概要在当今数字化转型的浪潮中，企业内容管理和内容中台这两种系统日益受到关注。两者虽均旨在提升企业的内容管理效率与协同能力，但却存在明显差异。企业内容管理（ECM）主要聚焦于文档的创建、存储、检索和管理，旨…...

编程日记 2025/5/10 8:48:11

深入了解 MySQL：从基础到高级特性

引言在当今数字化时代，数据的存储和管理至关重要。MySQL 作为一款广泛使用的开源关系型数据库管理系统（RDBMS），凭借其高性能、可靠性和易用性，成为众多开发者和企业的首选。本文将详细介绍 MySQL 的基础概念、安装启…...

编程日记 2025/5/14 23:10:41

从零到一：基于Rook构建云原生Ceph存储的全面指南（上）

文章目录一.Rook简介二.Rook与Ceph架构2.1 Rook结构体系2.2 Rook包含组件1）Rook Operator2）Rook Discover3）Rook Agent 2.3 Rook与kubernetes结合的架构图如下2.4 ceph特点2.5 ceph架构2.6 ceph组件三.Rook部署Ceph集群3.1 部署条件3.3 获取…...

编程日记 2025/5/14 21:19:45

嵌入式经常用到串口，如何判断串口数据接收完成？

说起通信，首先想到的肯定是串口，日常中232和485的使用比比皆是，数据的发送、接收是串口通信最基础的内容。这篇文章主要讨论串口接收数据的断帧操作。空闲中断断帧一些mcu（如：stm32f103）在出厂时就已经在…...

编程日记 2025/5/14 5:54:50

一、ClickHouse的安装

二、ClickHouse的使用

三、ClickHouse的应用场景

相关文章：