当前位置： 首页 > news >正文

中间件--ClickHouse-5--架构设计（分布式架构，列式压缩存储、并行计算）

news 来源：原创 2025/8/27 15:13:49

1、整体架构设计

ClickHouse 采用MPP（大规模并行处理）架构，支持分布式计算和存储，其核心设计目标是高性能列式分析。

（1）、存储层

  • 列式存储：
    数据按列存储（而非传统行式存储），每个列独立存储为文件，仅读取必要列，减少 I/O。
    优势：

    • 列式压缩率高（如数值列使用 Delta 编码，字符串使用 LZ4 或字典编码）。
    • 数据局部性好，适合向量化计算。

  • 数据分块（Blocks）：
    数据被划分为 固定大小的块（默认 如8192行），每个块独立压缩存储，支持快速读取和并行处理。

  • MergeTree 家族引擎：
    核心存储引擎，基于 LSM-Tree 概念，数据按 ORDER BY 排序，通过后台合并（Merge）优化查询。
    常见引擎：

    • MergeTree：基础引擎，无复制。
    • ReplicatedMergeTree：支持副本，依赖 ZooKeeper 实现高可用。
    • SummingMergeTree：自动合并相同分组的聚合结果（如 SUM）。

（2）、查询处理层

  • 向量化执行引擎：

    • 批量处理：一次可处理 1024 行（或更多）数据，而非逐行执行。
    • SIMD 指令：利用 CPU 的 AVX2/AVX512 指令集加速计算（如 COUNT、SUM）。
    • 零拷贝：数据直接从磁盘映射到内存，减少内存拷贝开销。

  • 查询执行流程：

    1. 解析与优化：将 SQL 转换为 AST（抽象语法树），优化查询计划（如下推过滤条件）。
    2. 执行管道：构建执行管道，按列读取数据，通过向量化函数处理。
    3. 聚合与合并：对结果进行聚合（如 GROUP BY），并合并分块数据。

  • 索引与过滤：

    • 主键索引：数据按 ORDER BY 排序，支持快速范围查询。
    • 稀疏索引：每个数据块存储列的 min/max 值，跳过无关块。

（3）、分布式架构

  • 分片（Sharding）：
    数据按分片键（如 PARTITION BY 或哈希）水平拆分到多个节点，实现负载均衡。

  • 副本（Replication）：
    每个分片可配置多个副本（如 ReplicatedMergeTree），通过 ZooKeeper 协调同步，确保高可用。

  • 分布式表（Distributed Table）：
    逻辑表，代理访问多个分片，支持跨节点查询：

  CREATE TABLE distributed_table ENGINE = Distributed('cluster', 'local_database', 'local_table');

  • 查询时自动分发到各分片并行执行，结果合并后返回。

  • ZooKeeper 集成：
    用于协调分布式集群的元数据（如副本状态、分片分配）和故障转移。

2、核心组件与流程

（1）、数据写入流程

  1. 插入数据：通过 INSERT INTO 写入本地表，数据暂存为 临时文件。
  2. 合并（Merge）：后台进程定期合并小文件为大块，按 ORDER BY 排序，优化查询性能。
  3. 副本同步：ReplicatedMergeTree 通过 ZooKeeper 同步数据到其他副本。

（2）、查询执行流程

  1. 解析与优化：
    • SQL 被解析为 AST，优化器选择最优执行计划（如过滤下推、并行策略）。
  2. 分布式查询：
    • 若查询分布式表，ClickHouse 将任务分发到所有分片并行执行。
  3. 向量化计算：
    • 按列读取数据块，利用 SIMD 指令批量处理（如过滤、聚合）。
  4. 结果合并：
    • 分片结果返回后，ClickHouse 合并最终结果（如 GROUP BY 的最终聚合）。

（3）、数据压缩与存储

  • 压缩算法：

    • LZ4：压缩速度快，适合实时场景。
    • ZSTD：压缩率更高，适合存储优化。
    • 自适应压缩：根据列类型选择最优算法（如数值列用 Delta + LZ4）。

  • 存储结构：

    • 数据按 数据块（Block） 存储，每个块包含多个列的压缩数据。
    • 索引信息（如 min/max）存储在块的元数据中。

3、关键特性与优势

（1）、列式存储的优势

  • 高效查询：仅读取所需列，减少 I/O。
  • 高压缩率：同类数据压缩效率比行式存储高 5-10倍。
  • 向量化计算：CPU 利用率高，适合现代硬件的 SIMD 指令。

（2）、分布式与高可用

  • 多主架构：集群节点对等，无单点故障，支持跨数据中心部署。
  • 故障自动恢复：通过 ZooKeeper 监控节点状态，故障时自动切换副本。

（3）、向量化执行引擎

  • 零拷贝技术：数据直接从磁盘映射到内存，避免 CPU 内存拷贝。
  • 批量处理：一次处理 1024 行数据，减少分支预测开销。

4、架构示意图

在这里插入图片描述

5、典型应用场景

（1）、实时分析：如日志分析、用户行为统计。
（2）、OLAP 查询：快速聚合 PB 级数据（如 SUM、COUNT、DISTINCT）。
（3）、时序数据：物联网设备数据的高效存储与查询。

6、总结

ClickHouse的列式存储、向量化执行引擎和分布式架构 是其高性能的核心。通过 数据分块压缩、MPP 并行计算 和 ZooKeeper 协调，它在海量数据分析场景中实现了 秒级响应 和 线性扩展能力。其架构设计特别适合读多写少的场景，但需注意避免频繁更新/删除操作（因其追加写入模式）。

逆风翻盘，Dare To Be！！！

相关文章：

中间件--ClickHouse-5--架构设计（分布式架构，列式压缩存储、并行计算）

1、整体架构设计 ClickHouse 采用MPP（大规模并行处理）架构，支持分布式计算和存储，其核心设计目标是高性能列式分析。 （1）、存储层 列式存储： 数据按列存储（而非传统行式存储&#…...

编程日记 2025/8/27 15:13:49

AgentGPT 在浏览器中组装、配置和部署自主 AI 代理 入门介绍

AI MCP 系列 AgentGPT-01-入门介绍 Browser-use 是连接你的AI代理与浏览器的最简单方式 AI MCP(大模型上下文)-01-入门介绍 AI MCP(大模型上下文)-02-awesome-mcp-servers 精选的 MCP 服务器 AI MCP(大模型上下文)-03-open webui 介绍 是一个可扩展、功能丰富且用户友好的…...

编程日记 2025/8/27 15:11:36

【开源项目】Excel手撕AI算法深入理解（三）：Backpropagation、mamba、RNN

项目源码地址：https://github.com/ImagineAILab/ai-by-hand-excel.git 一、Backpropagation 1. 反向传播的本质 反向传播是通过链式法则计算损失函数对网络参数的梯度的高效算法，目的是用梯度下降优化参数。其核心思想是： 前向传播&#xf…...

编程日记 2025/8/27 15:08:43

uniapp的通用页面及组件基本封装

1.基本布局页面 适用于自定义Navbar头部 <template><view class"bar" :style"{height : systemInfo.statusBarHeight px, background: param.barBgColor }"></view><view class"headBox" :style"{ height: param.h…...

编程日记 2025/8/27 15:10:32

Ubuntu和Debian 操作系统的同与异

首先需要说明&#xff1a;Ubuntu 是基于 Debian 操作系统开发的。它们之间的关系如下 起源与发展&#xff1a;Debian 是一个社区驱动的开源 Linux 发行版&#xff0c;始于 1993 年&#xff0c;是最早的 Linux 发行版之一&#xff0c;以其稳定性和自由软件政策著称。Ubuntu 是基…...

编程日记 2025/8/27 15:09:11

【android bluetooth 协议分析 21】【ble 介绍 1】【什么是RPA】

通俗易懂地讲解一下 BLE&#xff08;低功耗蓝牙&#xff09;中的 Resolvable Private Address&#xff08;RPA&#xff0c;可解析私有地址&#xff09;。 1. 一句话理解 RPA 是一种“临时的、隐私保护的蓝牙设备地址”&#xff0c;别人无法随便追踪你&#xff0c;但“授权的设…...

编程日记 2025/8/27 15:09:11

狂神SQL学习笔记九：MyISAM 和 lnnoDB 区别

show create database school –查看创建数据库的语句 show create table student – 查看student数据表的定义语句 desc student –显示表的结构 MYISAMINNODB事务支持不支持支持数据行锁定不支持支持行锁定外键不支持支持全文索引支持不支持表空间的大小较小较大&#x…...

编程日记 2025/8/23 10:49:09

深度学习--神经网络的构造

在当今数字化时代&#xff0c;深度学习已然成为人工智能领域中最为耀眼的明星。而神经网络作为深度学习的核心架构&#xff0c;其构造方式决定了模型的性能与应用效果。本文将深入探讨深度学习神经网络的构造&#xff0c;带您领略这一前沿技术的奥秘。​ 一、神经网络基础概念…...

编程日记 2025/8/24 2:58:23

Jenkins 代理自动化-dotnet程序

两种方式 容器部署 本地部署 容器部署 可自动实现&#xff0c;服务器重启&#xff0c;容器自动运行 主要将dockerfile 写好 本地部署 1.服务器重启自动运行代理 参考下面的链接&#xff0c;只是把程序换成 java程序&#xff0c;提前确认好需要的jdk版本 Ubuntu20.04 设置开机…...

编程日记 2025/8/26 22:46:53

【区块链+ 人才服务】“CERX Network”——基于 FISCO BCOS 的研学资源交换网络 | FISCO BCOS 应用案例

CERX Network &#xff08;Consortium-based Education Resource Exchanging Network&#xff09; 是定位于面向高校科学研究与教学 的分布式研学资产交换网络&#xff0c; 构建一个用于数据、 算法模型、 论文和课程的研学资源价值流转平台。项目以 FISCO BCOS 联盟链为底层平…...

编程日记 2025/8/22 8:39:29

中间件--ClickHouse-6--SQL基础（类似Mysql，存在差异）

ClickHouse语言类似Mysql&#xff0c;如果熟悉Mysql&#xff0c;那么学习ClickHouse的语言还是比较容易上手的。 1、建表语法&#xff08;CREATE TABLE&#xff09; &#xff08;1&#xff09;、表引擎&#xff08;Engine&#xff09; MySQL&#xff1a; 默认使用 InnoDB 引…...

编程日记 2025/8/26 4:09:37

[MSPM0开发]MSPM0G3507番外一：关于使用外部高速晶振HFXT后程序可能不运行的问题

一、问题描述 如下图所示&#xff0c;MSPM0G3507时钟树配置为使用外部HFXT&#xff08;外部高速晶振&#xff09;作为HSCLK时钟源。 配置结果MCLK 40MHz。 另外配置PB22为输出模式&#xff0c;控制外部LED亮灭。 在main.c中主要代码如下&#xff1a; 主要完成延时并翻转LED控…...

编程日记 2025/8/25 0:32:30

2025年计算机领域重大技术突破与行业动态综述

——前沿技术重塑未来&#xff0c;开发者如何把握机遇&#xff1f; 2025年第一季度&#xff0c;全球计算机领域迎来多项里程碑式进展&#xff0c;从量子计算到人工智能&#xff0c;从芯片设计到网络安全&#xff0c;技术革新与产业融合持续加速。本文梳理近三个月内最具影响力…...

编程日记 2025/8/24 2:01:44

我的机器学习之路（初稿）

文章目录 一、机器学习定义二、核心三要素三、算法类型详解1. 监督学习&#xff08;带标签数据&#xff09;2. 无监督学习&#xff08;无标签数据&#xff09;3. 强化学习&#xff08;决策优化&#xff09;(我之后主攻的方向) 四、典型应用场景五、学习路线图六、常见误区警示七…...

编程日记 2025/8/17 20:48:02

交易模式革新：Eagle Trader APP上线，助力自营交易考试效率提升

近年来&#xff0c;金融行业随着投资者需求的日益多样化&#xff0c;衍生出了众多不同的交易方式。例如&#xff0c;为了帮助新手小白建立交易基础&#xff0c;诞生了各类跟单社区&#xff1b;而与此同时&#xff0c;一种备受瞩目的交易方式 —— 自营交易模式&#xff0c;正吸…...

编程日记 2025/8/21 21:58:14

emotn ui桌面tv版官网-emotn ui桌面使用教程

在智能电视和盒子的使用中&#xff0c;出色的桌面系统能大幅提升体验&#xff0c;Emotn UI桌面TV版便是其中的佼佼者。 访问Emotn UI桌面TV版官网&#xff0c;首页简洁清晰&#xff0c;“产品介绍”“下载中心”等板块一目了然。官网对其功能优势详细阐述&#xff0c;在“下载中…...

编程日记 2025/8/20 20:31:33

Django之modelform使用

Django新增修改数据功能优化 目录 1.新增数据功能优化 2.修改数据功能优化 在我们做数据优化处理之前, 我们先回顾下传统的写法, 是如何实现增加修改的。 我们需要在templates里面新建前端的页面, 需要有新增还要删除, 比如说员工数据的新增, 那需要有很多个输入框, 那html…...

编程日记 2025/8/26 13:05:33

Hadoop：大数据时代的基石

在当今数字化浪潮中&#xff0c;数据量呈爆炸式增长&#xff0c;企业和组织面临着前所未有的数据处理挑战。从社交媒体的海量信息到物联网设备的实时数据&#xff0c;如何高效地存储、管理和分析这些数据成为了一个关键问题。Apache Hadoop 作为大数据处理领域的核心框架&#…...

编程日记 2025/8/26 20:47:31

定制开发还是源码搭建？如何快速上线同城外卖跑腿APP？

在“万物皆可同城配送”的时代&#xff0c;同城外卖跑腿APP成为众多创业者和本地服务商的热门选择。无论是打造本地生活服务平台&#xff0c;还是拓展快送业务&#xff0c;拥有一款功能完善、体验流畅的外卖跑腿APP&#xff0c;已经成为进入市场的标配。 然而&#xff0c;对于…...

编程日记 2025/8/22 7:44:09

How AI could empower any business - Andrew Ng

How AI could empower any business - Andrew Ng References 人工智能如何为任何业务提供支持 empower /ɪmˈpaʊə(r)/ vt. 授权&#xff1b;给 (某人) ...的权力&#xff1b;使控制局势&#xff1b;增加 (某人的) 自主权When I think about the rise of AI, I’m reminded …...

编程日记 2025/8/17 19:07:36

SpringBoot-基础特性

1.SpringApplication 1.1.自定义banner 类路径添加banner.txt或设置spring.banner.location就可以定制 banner 1.2.自定义 SpringApplication import org.springframework.boot.Banner; import org.springframework.boot.SpringApplication; import org.springframework.bo…...

编程日记 2025/8/25 10:23:45

系统环境变量有什么实际作用，为什么要配置它

系统环境变量有什么实际作用，为什么要配置它 系统环境变量具有以下重要实际作用： 指定程序路径：操作系统通过环境变量来知晓可执行文件、库文件等的存储位置例如，当你在命令提示符或终端中输入一个命令时，系统会根据环境变量PATH中指定的路径去查找对应的可执行文件。如果…...

编程日记 2025/8/21 8:24:04

C++ | STL之list详解：双向链表的灵活操作与高效实践

引言 std::list 是C STL中基于双向链表实现的顺序容器&#xff0c;擅长高效插入和删除操作&#xff0c;尤其适用于频繁修改中间元素的场景。与std::vector不同&#xff0c;std::list的内存非连续&#xff0c;但提供了稳定的迭代器和灵活的元素管理。本文将全面解析std::list的…...

编程日记 2025/8/24 10:29:51

Spring Cloud 服务间调用深度解析

前言 在构建微服务架构时&#xff0c;服务间的高效通信是至关重要的。Spring Cloud 提供了一套完整的解决方案来实现服务间的调用、负载均衡、服务发现等功能。本文将深入探讨 Spring Cloud 中服务之间的调用机制&#xff0c;并通过源码片段和 Mermaid 图表帮助读者更好地理解…...

编程日记 2025/8/20 21:43:25

什么是时间复杂度和空间复杂度？

什么是时间复杂度和空间复杂度？ 时间复杂度：衡量代码运行时间随输入规模增大而增长的速度。简单来说，就是“代码跑多快”。 空间复杂度：衡量代码运行时额外占用的内存空间随输入规模增大而增长的速度。简单来说，就是“代码用多少内存”。 我们通常用 大 O 表示法（Big O N…...

编程日记 2025/8/27 1:21:13

算法思想之分治-快排

欢迎拜访&#xff1a;雾里看山-CSDN博客 本篇主题&#xff1a;算法思想之分治-快排 发布时间&#xff1a;2025.4.15 隶属专栏&#xff1a;算法 目录 算法介绍核心步骤优化策略 例题颜色分类题目链接题目描述算法思路代码实现 排序数组题目链接题目描述算法思路代码实现 数组中的…...

编程日记 2025/8/23 5:04:20

25.4.15学习总结

问题&#xff1a; 邮箱验证码通过公钥加密后发到前端&#xff0c;在前端用私钥解密验证可行吗&#xff1f; 结论&#xff1a; 在前端使用私钥解密通过公钥加密的邮箱验证码在技术上是可行的&#xff0c;但存在严重的安全风险&#xff0c;不建议采用。 问题分析 非对称加密的…...

编程日记 2025/8/19 1:25:14

小程序获取用户总结（全）

获取方式 目前小程序获取用户一共有3中（自己接触到的），但由于这个API一直在改，所以不确定后期是否有变动，还是要多关注官方公告。 方式一 使用wx.getUserInfo 实例： wxml 文件<button open-type="getUserInfo" bindgetuserinfo="onGetUserInfo&quo…...

编程日记 2025/8/27 14:44:43

如何成为一名嵌入式软件工程师？

如何成为一名嵌入式软件工程师&#xff1f; 01明确岗位的角色与定位 嵌入式软件工程师主要负责开发运行在特定硬件平台上的软件&#xff0c;这些软件通常与硬件紧密集成&#xff0c;以实现特定的功能。 不仅需要精通编程语言&#xff08;如C/C、Java等&#xff09;和软件开发工…...

编程日记 2025/8/25 3:24:01

机器人发展未来两年会有突破吗？

未来两年，机器人技术将在芯片、编码器、材料、加工工艺和AI等核心领域迎来系统性突破，推动行业从专用化向通用化转型。以下从技术路径、产业动态和商业化前景三个维度展开分析，结合权威数据与技术趋势，构建机器人技术演进的全景框架。 一、芯片技术：3nm制程与存算一体架构…...

编程日记 2025/8/17 14:22:27

【grafana原生告警中心配置飞书机器人告警】

在grafana中的connect point中使用webhook的方式推送到飞书&#xff0c;始终无法触发告警&#xff0c;原因是grafana推送的格式飞书不识别&#xff0c;现有两种方式 1.使用中转服务 使用flask搭建一个服务&#xff0c;grafana告警先通过webhook发送到web服务中&#xff0c;格…...

编程日记 2025/8/27 0:51:43

HTTP HTTPS RSA

推荐阅读 小林coding HTTP篇 文章目录 HTTP 80HTTP 响应码1xx&#xff1a;信息性状态码&#xff08;Informational&#xff09;2xx&#xff1a;成功状态码&#xff08;Success&#xff09;3xx&#xff1a;重定向状态码&#xff08;Redirection&#xff09;4xx&#xff1a;客户端…...

编程日记 2025/8/26 5:21:40

【机器学习】如何正确下载sklearn包

TOC 直接pip install sklearn时&#xff0c;报错 sklearn的包&#xff0c;实际上叫scikit-learn pip install scikit-learn发现成功了&#xff1a; 总结 下载sklearn包的语句&#xff1a;pip install scikit-learn 完成。...

编程日记 2025/8/21 14:49:52

【Python进阶】断言（assert）的十大核心应用场景解析

目录 前言&#xff1a;技术背景与价值当前技术痛点解决方案概述目标读者说明 一、技术原理剖析核心概念图解核心作用讲解关键技术模块技术选型对比 二、实战演示环境配置要求核心代码实现&#xff08;10个案例&#xff09;案例1&#xff1a;参数合法性检查案例2&#xff1a;不变…...

编程日记 2025/8/24 2:01:50

关于汽车辅助驾驶不同等级、技术对比、传感器差异及未来发展方向的详细分析

以下是关于汽车辅助驾驶不同等级、技术对比、传感器差异及未来发展方向的详细分析&#xff1a; 一、汽车辅助驾驶等级详解 根据SAE&#xff08;国际自动机工程师学会&#xff09;的标准&#xff0c;自动驾驶分为 L0到L5 六个等级&#xff1a; 1. L0&#xff08;无自动化&…...

编程日记 2025/8/24 12:01:21

STM32 HAL库之WDG示例代码

独立看门狗&#xff08;IWDG&#xff09; 初始化独立看门狗&#xff0c;在main.c中的 MX_IWDG_Init();&#xff0c;也就是iwdg.c中的初始化代码 void MX_IWDG_Init(void) {/* USER CODE BEGIN IWDG_Init 0 *//* USER CODE END IWDG_Init 0 *//* USER CODE BEGIN IWDG_Init 1 …...

编程日记 2025/8/27 8:15:58

【差分隐私相关概念】瑞丽差分隐私（RDP）命题10

命题10证明中的最后一个不等号成立&#xff0c;关键在于将事件 A A A上的积分与Rnyi散度 D α ( P ∥ Q ) D_\alpha(P \parallel Q) Dα​(P∥Q)的定义联系起来&#xff0c;并通过积分放缩得到上界。具体推导如下&#xff1a; Rnyi散度的定义&#xff1a; D α ( P ∥ Q ) 1 …...

编程日记 2025/8/27 7:25:38

Android 开发 如何生成系统签名

在源码中拿到安全文件 文件路径 lagvm/LINUX/android/build/target/product/security如下两个文件 platform.pk8 platform.x509.pem 使用Android studio生成一个jks Android studio 顶部 buildGenerate Signed Bundle or APKapkcrate new记住 记住alias 和password linux下…...

编程日记 2025/8/24 2:02:03

（EtherCAT 转 EtherNet/IP）EtherCAT/Ethernet/IP/Profinet/ModbusTCP协议互转工业串口网关

型号 协议转换通信网关 EtherCAT 转 EtherNet/IP MS-GW12 概述 MS-GW12 是 EtherCAT 和 EtherNet/IP 协议转换网关&#xff0c;为用户提供两种不同通讯协议的 PLC 进行数据交互的解决方案&#xff0c;可以轻松容易将 EtherNet/IP 网络接入 EtherCAT 网络中&#xff0c;方便…...

编程日记 2025/8/25 3:34:40

适合stm32 前端adc使用的放大器芯片

在 STM32 前端 ADC 应用中&#xff0c;合适的放大器芯片需具备低噪声、高精度、低失调电压等特性。以下为你推荐几款常用的放大器芯片&#xff1a; 低功耗、高精度型 OPA2333 特点&#xff1a;这是一款微功耗、零漂移运算放大器&#xff0c;失调电压极低&#xff0c;仅为 2.5…...

编程日记 2025/8/26 17:03:22

《Ethical Implications of ChatGPT in Higher Education: A Scoping Review》全文翻译

《Ethical Implications of ChatGPT in Higher Education: A Scoping Review》 ChatGPT在高等教育中的伦理影响&#xff1a;一项范围界定性综述 摘要 本范围界定性综述探讨了在高等教育中使用ChatGPT所引发的伦理挑战。通过回顾近期发表的英文、中文和日文的学术文章&#x…...

编程日记 2025/8/24 20:11:38

day26 学习笔记

文章目录 前言一、边缘填充1.边界复制2.边界反射3.边界常数4.边界包裹5.代码示例 二、透视变换三、颜色加法 前言 通过今天的学习&#xff0c;我掌握了OpenCV中有关边缘填充&#xff0c;透视变换以及颜色加法的相关概念和操作 一、边缘填充 当我们对图像进行仿射变换后往往会发…...

编程日记 2025/8/20 16:30:33

LVGL Animation Image（Animimg）控件详解

一、Animation Image&#xff08;Animimg&#xff09;控件详解 1. 概述 功能&#xff1a;Animimg 是 LVGL 中用于显示动画图像的控件。特点&#xff1a;支持从多个静态图像创建动画效果。 2. 创建和初始化 创建方法&#xff1a;lv_obj_t * lv_animimg_create(lv_obj_t * pa…...

编程日记 2025/8/26 21:56:05

【unity游戏开发入门到精通——UGUI】GraphicRaycaster图形射线投射器组件

注意&#xff1a;考虑到UGUI的内容比较多&#xff0c;我将UGUI的内容分开&#xff0c;并全部整合放在【unity游戏开发——UGUI】专栏里&#xff0c;感兴趣的小伙伴可以前往逐一查看学习。 文章目录 前言Graphic Raycaster参数1、Ignore Reversed Graphics&#xff1a;是否忽略反…...

编程日记 2025/8/26 14:03:19

WPF GDI 画 晶圆Mapping图

效果图 UI代码 <Window x:Class="WpfWaferMapping.Window3"xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d="http://schemas.microsoft.com/expre…...

编程日记 2025/8/19 1:08:39

AI核心概念之“提示（Prompt）” - 来自DeepSeek

1. 表层理解&#xff1a;Prompt 是用户输入的文本指令 直观表现&#xff1a; 对于普通用户&#xff0c;Prompt 是输入到对话框的文本&#xff08;例如 ChatGPT 中的问题&#xff1a;“写一首关于秋天的诗”&#xff09;&#xff0c;点击发送后&#xff0c;模型返回结果。 常见…...

编程日记 2025/8/19 22:47:48

Golang｜Kafka在秒杀场景中的应用

我们的程序在面对 kill -9 这样的指令的时候会直接退出&#xff0c;不能保证数据持久化到mysql完后再退出而且我们现在的并发量仍然不够&#xff0c;只能加机器&#xff0c;多机器并发写mysql可能导致mysql扛不住&#xff0c;mysql写的并发量不能根据我们机器的数量的增长而增长…...

编程日记 2025/8/20 10:56:29

【前端基础】--- HTML

个人主页 　:　 9ilk 　　　专栏　 : 　前端基础 文章目录 &#x1f3e0; 初识HTML&#x1f3e0; HTML结构认识HTML标签HTML文件基本结构标签层次结构快速生成代码框架 &#x1f3e0; HTML常见标签注释标签标题标签 h1-h6段落标签 p换行标签 br格式化标签图片标签 img超链接标签…...

编程日记 2025/8/24 8:47:40

各证券公司QMT的本地VSCode开发环境配置指南

各证券公司QMT变种的本地开发环境配置指南 各大证券公司的量化交易平台&#xff08;如兴业证券的SMT-Q&#xff09;基本都是基于QMT开发的变种系统&#xff0c;它们的底层架构相似&#xff0c;但在接口和功能上可能有所差异。下面介绍如何使用本地Python、Anaconda和VSCode搭建…...

编程日记 2025/8/17 18:47:03

注意力机制的改进

Transformer架构中的注意力机制优化是提升模型效率和扩展处理长序列能力的关键。以下从多个维度详细解析注意力机制的优化方法&#xff1a; arXIv论文链接 1. 稀疏注意力&#xff08;Sparse Attention&#xff09; 通过限制每个位置仅关注特定区域&#xff0c;减少计算量&am…...

编程日记 2025/8/23 14:31:30