当前位置：首页 > news >正文

SQLMesh系列教程：基于指标构建一致的分析语义层应用实践

news 来源：原创 2025/7/3 22:50:38

本文深入探讨SQLMesh指标框架的核心概念、定义方法及应用场景。通过统一的语义层管理，SQLMesh解决了数据分析中指标定义不一致的痛点，实现了跨团队协作的数据一致性。文章包含指标定义语法详解、自动表连接机制解析、派生指标构建方法，并通过完整实战案例演示指标从定义到查询的全流程。

正文

一、指标的核心概念与价值

在这里插入图片描述

1.1 什么是指标？

指标是预定义的SQL聚合函数，用于封装特定业务计算逻辑（如活跃用户数、转化率等）。在SQLMesh中，指标作为语义层的核心组成部分，具有以下特征：

统一命名规范：通过唯一名称实现跨团队协作
可复用计算逻辑：避免SQL代码重复
语义透明性：隐藏底层表结构和连接细节

但它不会改变SQL语法本身，具体实现细节（如条件函数）仍依赖目标数据库的能力。

1.2 为何需要语义层？

传统分析场景中，相同指标可能存在多种实现方式（如下图所示），导致数据不一致：

角色	实现方式	结果差异原因
数据工程师	SUM(orders.id) WHERE status=‘ACTIVE’	基于订单表直接计算
分析师	COUNT(DISTINCT user_id)	基于用户行为表统计

SQLMesh通过指标语义层保证：

计算逻辑集中管控
跨系统结果一致性
下游应用零实现差异

二、指标的定义与配置

指标通过METRIC()函数定义，示例如下：

METRIC (name        total_active_users,expression  COUNT(DISTINCT silver.accounts.account_id),description "统计过去30天有过登录行为的用户数",owner       "data_team@company.com"
)

关键属性详解：

属性	规则说明	示例
`name`	不区分大小写，全局唯一	active_users
`expression`	必须包含聚合函数	SUM(DISTINCT…)
`dialect`	指定SQL方言（建议留空使用项目默认值）	“bigquery” / “hive”

三、自动连接机制解析

3.1 粒度（Grain）与引用（Reference）

粒度：模型的唯一标识列组合（如user_id）
引用：表之间的关联关系声明

-- 用户模型定义（粒度）
MODEL (name prod.users,grain user_id
)-- 搜索模型定义（引用用户粒度）
MODEL (name prod.searches,grain search_id,references user_id -> prod.users.user_id
)

3.2 自动JOIN实现

当指标同时引用多个模型时，SQLMesh会根据粒度和引用关系自动生成JOIN语句：

-- 原始指标定义
METRIC (name canadian_searchers,expression SUM(IF(prod.users.country = 'CAD', prod.searches.num_searches, 0))
)-- 自动生成的JOIN逻辑：
LEFT JOIN prod.searches ON users.user_id = searches.user_id

IF函数确实是数据库方言相关的实现细节，与SQLMesh框架本身无关。

四、派生指标的创建

指标之间可建立依赖关系，实现复杂计算：

-- 基础指标
METRIC (name total_searches, expression SUM(num_searches))
METRIC (name total_clicks, expression SUM(num_clicks))-- 派生指标
METRIC (name ctr_ratio,expression total_clicks / total_searches * 100 -- 计算点击率
)

五、指标查询与应用

5.1 基础查询语法

SELECTds,METRIC(total_active_users)  -- 使用指标名称直接调用
FROM __semantic.__table
GROUP BY ds

5.2 生成的物理SQL

最终执行的SQL包含完整的JOIN和聚合逻辑：

SELECT__table.ds,COUNT(DISTINCT CASE WHEN status='ACTIVE' THEN account_id END) AS total_active_users
FROM sushi.accounts
GROUP BY ds

实战案例：电商转化分析

场景需求：

计算「每日活跃用户的首单转化率」

步骤实现：

定义基础指标

METRIC (name active_users,expression COUNT(DISTINCT user_id)
)METRIC (name first_orders,expression COUNT(DISTINCT CASE WHEN order_type='FIRST' THEN order_id END)
)

创建转化率指标

METRIC (name conversion_rate,expression first_orders / active_users * 100 -- 百分比计算
)

查询使用

SELECT ds,METRIC(conversion_rate) 
FROM __semantic.__table
WHERE ds BETWEEN '2023-01-01' AND '2023-01-31'

总结

SQLMesh指标框架通过三大核心能力提升数据分析效率：

语义统一：消除同名不同义、同义不同名问题
自动连接：基于粒度和引用智能生成JOIN
分层管理：支持基础指标→派生指标的体系化构建

最佳实践建议：

建立指标命名规范（如：<业务域>_<指标类型>_<粒度>）
重要指标设置owner属性实现责任管理
复杂计算优先使用派生指标保持可维护性

通过SQLMesh的语义层管理，企业可将数据分析师从重复的SQL编码中解放出来，专注于业务逻辑的实现与优化。

SQLMesh系列教程：基于指标构建一致的分析语义层应用实践

本文深入探讨SQLMesh指标框架的核心概念、定义方法及应用场景。通过统一的语义层管理，SQLMesh解决了数据分析中指标定义不一致的痛点，实现了跨团队协作的数据一致性。文章包含指标定义语法详解、自动表连接机制解析、派生指标构建方法，并通过…...

编程日记 2025/7/3 22:50:38

解决Docker端口映射后外网无法访问的问题

一、前言今天因为服务器宕机，重新启动后发现docker部署的mysql和redis都无法通过外网访问。经过排查原因是ip转发没有开启。下面教大家如何解决二、问题排查 (1) 查看防火墙运行情况使用firewall-cmd --state 如果防火墙处于not running，则可以排…...

编程日记 2025/7/3 22:07:49

如何指定运行amd64架构的ubuntu？

如何指定运行amd64架构的ubuntu 下面这个命令如何制定运行amd64架构的ubuntu？ docker run -it -v $(pwd):/workspace ubuntu:20.04 bash这个命令已经非常接近正确运行一个基于 amd64 架构的 Ubuntu 容器了，但如果你想明确指定运行 amd64 架构的镜像&am…...

编程日记 2025/7/3 21:34:44

[MySQL]数据类型

数据类型 1.数据类型分类2.数值类型2.1 tinyint类型无符号类型举例 3.bit类型3.1 基本语法 4. 小数类型4.1 float语法4.2 decimal语法 5.字符串类型5.1 char类型5.2 varchar 6.日期类型7.enum和set查询语句 1.数据类型分类接下来就对上面的四种类型进行介绍 2.数值类型数值类…...

编程日记 2025/7/3 22:32:35

基于Python的Django框架的手机购物商城管理系统

标题:基于Python的Django框架的手机购物商城管理系统内容:1.摘要随着互联网的快速发展，手机购物逐渐成为人们日常生活中不可或缺的一部分。本研究的目的是开发一个基于Python的Django框架的手机购物商城管理系统，以提高购物商城的管理效率和用户体验。…...

编程日记 2025/7/2 11:32:59

大模型在2型糖尿病预测及围手术期管理中的应用研究

目录一、引言 1.1 研究背景与意义 1.2 国内外研究现状 1.3 研究目的与创新点二、大模型预测 2 型糖尿病的原理与方法 2.1 大模型概述 2.2 用于 2 型糖尿病预测的大模型类型 2.3 模型训练与数据来源 2.4 预测指标与算法三、术前风险预测与评估 3.1 血糖控制情况预…...

编程日记 2025/7/3 4:25:10

JavaEE--多线程

一、认识线程 1. 什么是线程线程（Thread）是计算机科学中的基本概念，指的是程序内部的一条执行路径。一个进程可以包含多个线程，每个线程共享进程的资源，包括内存空间、文件描述符等。线程可以同时执行多个任务&…...

编程日记 2025/7/3 20:30:42

自动化测试之等待方式

在自动化测试中，等待是一个重要的技术，用于处理页面加载、元素定位、元素状态改变等延迟问题。等待能够确保在条件满足后再进行后续操作，提高自动化测试的稳定性以及可靠性。等待方式：显示等待、隐式等待、线程睡眠 1. 显式等…...

编程日记 2025/7/3 21:00:47

git中用于生成commitId与其父commitId间的文件差异文件树

生成commitId与其父commitId间的文件差异文件树 #!/bin/bash # # 用于生成目标commitId与其父commitId间文件差异 # commit_id$1 # 输入目标commit的哈希值 old_dir"old_version" new_dir"new_version"# 创建目录 mkdir -p "$old_dir" "$…...

编程日记 2025/6/28 5:07:28

Ubuntu / Debian 创建快捷方式启动提权

简述在 Linux 系统中，.desktop 文件是桌面入口文件，用于在桌面环境（如 GNOME、KDE）中定义应用程序的启动方式、图标、名称等信息。当你执行 touch idea.desktop 时，实际上创建了一个空的 .desktop 文件（…...

编程日记 2025/6/30 9:41:55

VLA 论文精读（三）Diffusion Policy: Visuomotor Policy Learning via Action Diffusion

这篇笔记用来描述 2023年发表在arxiv上的一篇有关VLA领域的论文，这篇笔记记录的是该论文 2024年03月的改版后。写在最前面为了方便你的阅读，以下几点的注意事项请务必了解： 该系列文章每个字都是我理解后自行翻译并写上去的，…...

编程日记 2025/7/2 21:48:41

ASP.NET Core 中实现 SSE 流式响应的简单例子

[HttpGet] public async Task<IActionResult> SseExample() {// 请求头Response.Headers.Add("Content-Type", "text/event-stream");Response.Headers.Add("Cache-Control", "no-cache");Response.Headers.Add("Connectio…...

编程日记 2025/7/3 21:55:42

「Unity3D」TMP_InputField关闭虚拟键盘后，再次打开虚拟键盘，此时无法回调onSelect的问题

TMP_InputField可以注册一个onSelect回调函数，在InputField选中的时候回调，但在虚拟键盘手动关闭或被返回取消的时候，此时再打开虚拟键盘时，就不会调用onSelect。原因在于，虚拟键盘有三种关闭的操作方式：…...

编程日记 2025/7/2 19:27:49

手工排查后门木马的常用姿势

声明！本文章所有的工具分享仅仅只是供大家学习交流为主，切勿用于非法用途，如有任何触犯法律的行为，均与本人及团队无关！！！ 1. 检查异常文件 （1）查找最近修改的文件 # 查…...

编程日记 2025/7/3 22:17:46

VRRP协议

基础概念 Master 路由器:“Master 路由器”在一个 VRRP 组中承担报文转发任务。在每一个 VRRP 组中，只有 Master 路由器才会响应针对虚拟 IP 地址的 ARP Request。Master 路由器会以一定的时间间隔周期性地发送 VRRP 报文，以便通知同一个 VRRP 组中的 B…...

编程日记 2025/7/3 22:25:33

【JavaEE】MyBatis 综合练习（图书管理系统）

目录一、数据库表二、引入依赖：三、Model创建四、用户登录五、添加图书六、图书列表七、修改图书八、删除图书九、批量删除十、强制登录图书管理系统一、数据库表我们使用两张表，一张用户表uset_test来记录登录的用户信息，一张图书表boo…...

编程日记 2025/7/3 22:06:16

ArkUI —— 组件导航

创建导航页 // src\main\ets\pages\Index.ets Entry Component struct Index {// 路由栈Provide(pathInfos) pathInfos: NavPathStack new NavPathStack()build() {Navigation(this.pathInfos) {}} }创建导航子页 this.navPath.pushPathByName(AccountTag, 账本分类管理)// …...

编程日记 2025/7/3 20:31:18

数据处理与机器学习入门

一、数据处理概述数据处理是通过统计学、机器学习和数据挖掘方法从原始数据中提取有价值信息的过程。数据处理的目标是将杂乱无章的原始数据转化为可用于分析和建模的结构化数据。对于小规模数据处理，常用工具分为两类： • 可视化分析工具&#xff1a…...

编程日记 2025/7/2 23:49:20

Markdown在线转word格式

1、打开网址 https://dillinger.io/ 2、输入markdown格式文章 3、直接转换为右边的word格式 4、复制粘贴即可。...

编程日记 2025/7/3 21:51:13

Redis延时队列在订单超时未报到场景的应用分享

一、引言在电商、医疗预约等众多业务场景中，经常会遇到需要处理超时任务的情况。比如医疗预约订单，如果患者在支付成功后，到了预约结束时间还未报到，系统需要自动取消订单。为了实现这样的功能，我们可以利用 Redis 延…...

编程日记 2025/7/3 1:08:42

vue前端代码作业——待办事项

美化样式示意图： 后端IDEA代码示意图： 代码解释： 1. isAllChecked 计算属性的作用 isAllChecked 用于实现 “全选 / 全不选” 功能，它是一个双向绑定的计算属性（因为 v-model 需要同时支持读取和设置值&#xff09…...

编程日记 2025/6/28 1:30:51

docker镜像拉取失败

hub.docker.com中提供的docker pull命令在服务器拉取镜像时报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers) 这个错误通常表明Docker客户…...

编程日记 2025/6/29 7:21:53

Ruby 简介

Ruby 简介引言 Ruby 是一种广泛使用的动态、开源的编程语言，自 1995 年由日本程序员 Yukihiro Matsumoto（通称 Matz）设计以来，它以其优雅的语法、强大的库支持和跨平台特性赢得了全球开发者的青睐。本文将详细介绍 Ruby 的起源、特点、应用领域以及它在现代软件开发中的…...

编程日记 2025/7/3 11:48:27

解决 FFmpeg 使用 C/C++ 接口时，解码没有 shell 快的问题（使用多线程）

一、问题硬件设备为香橙派 5Plus，最近需要使用硬件视频解码来加速 YOLO 的检测，shell 窗口的FFmpeg已经调通，详见文章： 编译支持 RKmpp 和 RGA 的 ffmpeg 源码_rk3588 ffmpeg mpp-CSDN博客https://blog.csdn.net/plmm__/article…...

编程日记 2025/7/3 22:09:33

sqlalchemy:将mysql切换到OpenGauss

说明之前python的项目使用的mysql，近期要切换到国产数据库OpenGauss。之前的方案是fastapisqlalchemy，测试下来发现不用改代码，只要改下配置即可。切换方案安装openGauss-connector-python-psycopg2 其代码工程在：https:…...

编程日记 2025/7/3 22:43:46

缓存使用纪要

一、本地缓存：Caffeine 1、简介 Caffeine是一种高性能、高命中率、内存占用低的本地缓存库，简单来说它是 Guava Cache 的优化加强版，是当下最流行、最佳（最优）缓存框架。 Spring5 即将放弃掉 Guava Cache 作为缓存机…...

编程日记 2025/7/2 1:29:21

Qt之Service开发

一、概述基于Qt的用于开发系统服务(守护进程)和后台服务，有以下几个优秀的开源 QtService 框架和库。 1. QtService (官方解决方案) GitHub: https://github.com/qtproject/qt-solutions/tree/master/qtservice 特点：官方提供的服务框架支持 Windows 服务和 Linux 守护…...

编程日记 2025/7/3 1:13:55

ssm框架之Spring

Spring框架介绍 Spring框架是一个轻量级的企业级应用框架通过它可以贯穿表现层、业务层、持久层。集成方便，简单易用，具有如下特点： Spring框架特色 Spring设计理念是面向Bean的编程 Spring两大核心技术控制反转(IoC：Inver…...

编程日记 2025/6/28 4:50:04

Flutter 开发环境配置--宇宙级教学！

目录一、安装环境（Windows）二、Android 创建Flutter项目三、VSCode 搭建环境四、补充一、安装环境（Windows） Flutter SDK 下载推荐使用中国镜像站点下载 Flutter SDK，速度更快：中国环境或者从官网下载…...

编程日记 2025/6/29 23:00:55

音视频 YUV格式详解

前言本文介绍YUV色彩模型，YUV的分类和常见格式。 RGB色彩模型在RGB颜色空间中，任意色光F都可以使用R、G、B三色不同的分量混合相加而成即： F = R + G + B.。即我们熟悉的三原色模型。 RGB色彩空间根据每个分量在计算机中占用的存储字节数可以分为以下几种类型，字节数…...

编程日记 2025/7/3 17:55:21

力扣第 153 场双周赛讲题

文章目录 Q1.字符串的反转度Q2.操作后最大活跃区段数I3500.将数组分割为子数组的最小代价 Q1.字符串的反转度签到题,直接建立一个映射表即可 class Solution:def reverseDegree(self, s: str) -> int:# 先建立映射表ss "abcdefghijklmnopqrstuvwxyz"store {}i…...

编程日记 2025/6/29 6:53:09

grafana 配置页面告警

添加告警规则 1.登录grafana 点击 Alerting > Alert rules 点击 New alert rule 2.填写告警规则名字 3.配置告警规则选择数据源为 Loki 单机 Builder 单机Label brower 单机 node_name 标签，选择一个主机，选好后单机 Show logs 这时候查询语…...

编程日记 2025/6/28 5:48:20

Cent OS7+Docker+Dify

由于我之前安装了Dify v1.0.0，出现了一些问题：无法删除，包括：知识库中的文件、应用、智能体、工作流，都无法删除。现在把服务器初始化，一步步重新安装，从0到有。目录 1、服务器重装系统和配置…...

编程日记 2025/6/28 1:25:14

【自学笔记】PHP语言基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录 1. PHP 简介2. PHP 环境搭建3. 基本语法变量与常量数据类型运算符 4. 控制结构条件语句循环语句 5. 函数函数定义与调用作用域 6. 数组7. 字符串8. 表单处理9. 会话…...

编程日记 2025/7/3 20:51:58

Android Gradle 下载插件或依赖太慢

问题与处理策略问题描述 Android 项目中，settings.gradle 文件中，有如下配置，Gradle 插件或依赖下载速度慢 pluginManagement {repositories {gradlePluginPortal()google()mavenCentral()} }dependencyResolutionManagement {repositori…...

编程日记 2025/7/3 10:41:12

python-59-基于python内置库解析html获取标签关键信息

文章目录 1 html.parser1.1 初始化和基础使用1.1.1 handle_starttag(self, tag, attrs)1.1.2 handle_endtag(self, tag)1.1.3 handle_startendtag(self, tag, attrs)1.1.4 handle_data(self, data)1.1.5 handle_comment(self, data)1.2 解析HTML文档的流程2 百度搜索关键词链接…...

编程日记 2025/6/29 19:10:14

elementplus的el-tabs路由式

在使用 Element Plus 的 el-tabs 组件，实现路由式的切换（即点击标签页来切换不同的路由页面）。下面是一个基于 Vue 3 和 Element Plus 实现路由式 el-tabs 的基本步骤和示例。步骤 1: 安装必要的库在vue3项目安装 Vue Router 和 Element …...

编程日记 2025/6/30 1:32:01

ArcGIS地理信息系统空间分析实验教程学习

ArcGIS 作为地理信息系统领域的经典软件，以其强大的功能和广泛的应用场景，成为了众多学者、研究人员和专业人士的首选工具。它不仅可以高效地处理和可视化地理空间数据，还能通过复杂的空间分析模型，揭示地理现象背后的规律和趋势。…...

编程日记 2025/6/28 1:26:08

mac部署CAT监控服务

在 Mac 上部署美团点评开源的 CAT 监控服务端，可以按照以下步骤操作： 1. 环境准备 1.1 安装依赖确保已安装以下工具： JDK 8（建议 OpenJDK 11） MySQL 5.7（存储监控数据）（8.0不支持…...

编程日记 2025/7/1 20:49:57

鸿蒙OS 5 架构设计探秘：从分层设计到多端部署

文章目录鸿蒙OS架构设计探秘：从分层设计到多端部署一、鸿蒙的分层架构设计二、模块化设计的精髓三、智慧分发设计：资源的动态调度四、一次开发，多端部署的实践总结与思考鸿蒙OS架构设计探秘：从分层设计到多端部署最近两年来&a…...

编程日记 2025/6/29 13:46:44

深入解析：ElasticSearch Query 查询方式

全文目录： 开篇语前言摘要概述ElasticSearch Query 查询方式详解1. Match 查询（全文搜索）1.1 Match 查询示例1.2 Match 查询参数扩展 2. Term 查询（精准查询）2.1 Term 查询示例2.2 Terms 查询 3. Bool 查询&#xff08…...

编程日记 2025/7/1 22:03:29

HTML5贪吃蛇游戏开发经验分享

HTML5贪吃蛇游戏开发经验分享这里写目录标题 HTML5贪吃蛇游戏开发经验分享项目介绍技术栈核心功能实现1. 游戏初始化2. 蛇的移动控制3. 碰撞检测4. 食物生成开发心得项目收获后续优化方向结语项目介绍在这个项目中，我使用HTML5 Canvas和原生JavaScript实现了一…...

编程日记 2025/6/28 6:00:07

桥接模式_结构型_GOF23

桥接模式桥接模式（Bridge Pattern）是一种结构型设计模式，核心思想是将抽象与实现分离，使两者能独立变化。它像一座连接两岸的桥梁，让“抽象层”和“实现层”自由组合，避免因多维度变化导致的“类爆炸”问…...

编程日记 2025/6/30 17:49:42

卡尔曼滤波入门（二）

核心思想卡尔曼滤波的核心就是在不确定中寻找最优，那么怎么定义最优呢？答案是均方误差最小的，便是最优。卡尔曼滤波本质上是一种动态系统状态估计器，它回答了这样一个问题： 如何从充满噪声的观测数据中&#xff0c…...

编程日记 2025/6/27 9:35:20

有关pip与conda的介绍

Conda vs. Pip vs. Virtualenv 命令对比任务Conda 命令Pip 命令Virtualenv 命令安装包conda install $PACKAGE_NAMEpip install $PACKAGE_NAMEX更新包conda update --name $ENVIRONMENT_NAME $PACKAGE_NAMEpip install --upgrade $PACKAGE_NAMEX更新包管理器conda update con…...

编程日记 2025/7/1 1:08:09

【Portainer】Docker可视化组件安装

Portainer Portainer 是用于管理容器化环境的一体化平台工程解决方案，提供广泛的定制功能，以满足个人开发人员和企业团队的需求。官方地址: https://www.portainer.io/ 安装在 WSL / Docker Desktop 上使用 Docker 安装 Portainer CE 通过命令或UI页…...

编程日记 2025/6/30 16:42:45

基于深度神经网络的图像防篡改检测方法研究

标题:基于深度神经网络的图像防篡改检测方法研究内容:1.摘要随着数字化时代的发展，图像篡改现象日益普遍，严重影响了图像信息的真实性和可靠性。本文旨在研究基于深度神经网络的图像防篡改检测方法，以有效识别被篡改的图像。通过收集大量真…...

编程日记 2025/7/1 21:50:29

MATLAB导入Excel数据

假如Excel中存在三列数据需要导入Matlab中。保证该Excel文件与Matlab程序在同一目录下。 function [time, voltage, current] test(filename)% 读取Excel文件并提取时间、电压、电流数据% 输入参数:% filename: Excel文件名（需包含路径，如C:\data\…...

编程日记 2025/7/2 18:17:48

华为GaussDB数据库的手动备份与还原操作介绍

数据库的备份以A机上的操作为例。 1、使用linux的root用户登录到GaussDB服务器。 2、用以下命令切换到 GaussDB 管理员用户，其中，omm 为当前数据库的linux账号。 su - omm 3、执行gs_dump命令进行数据库备份： 这里使用gs_dump命令进行备…...

编程日记 2025/7/3 1:08:27

MySQL数据库BUG导致查询不到本该查到的数据

在数据库的日常使用中，我们常常会遇到一些看似匪夷所思的查询问。最近就看到一个因为MySQL BUG导致无法查到本该查询到数据的案例。 1. 问题背数据库版本：MySQL8.0.40 假设我们创建了一个名为 product_info 的表，用于存储产品的相关信息。该…...

编程日记 2025/7/3 7:02:37

正文