当前位置：首页 > news >正文

【Azure 架构师学习笔记】- Azure Databricks (15) --Delta Lake 和Data Lake

news 来源：原创 2025/8/29 23:40:14

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Databricks】系列。
接上文【Azure 架构师学习笔记】- Azure Databricks (14) – 搭建Medallion Architecture part 2

前言

ADB 除了UC 这个概念之外，前面【Azure 架构师学习笔记】- Azure Databricks (12) – Medallion Architecture简介中也提到了lakehouse，那么现在再深入一下了解ADB 的lakehouse。同时看看Data Lake和Delta Lake之间的区别与联系。
Data Lake是一个中央存储库，存储和处理原始数据。
Delta Lake则是一个开源的，针对数据存储的“表结构”。对比起Data Lake，它通过支持ACID,架构演变，数据版本控制等多个特性来提升数据存储中的各种能力。
Data Lake 是一个通用术语，描述了数据存储方法。
Delta Lake 是一种特定的开源技术。数据使用delta lake技术存储在delta 表中。使数据更加安全和高性能。这种技术通常就跟lakehouse架构相关联。
在Delta lake中，如果你的data lake包含了非表格数据，那么还要把它们存进表中。

Data lake

数据湖是把数据环境类比成一个湖（中央存储），有多条河流（数据流）流入到湖中。这些数据流最终都流到同一个地方，无需严格的预定义结构。它的出现主要是应对数据仓库这种需要预定义架构的存储模式。数据仓库对特定的查询进行了性能优化，意味着以牺牲灵活性为代价提高速度。另外由于不同的供应商有专用数据存储格式，意味着你可能会被供应商“绑架”。

相比数据仓库，数据湖针对灵活性进行优化，对数据存储没有格式要求，同时也支持不需要复杂昂贵的预处理的数据分析。

在这里插入图片描述

数据沼泽

数据湖提供了灵活度和相对低廉的存储价格，各方异构数据都可以简单直接地存储到单一位置。但是当数据不停增长，这样的灵活就可能带来问题，比如文件的版本跟踪，数据架构，数据恢复等。
这种情况将会使得数据湖，退化成数据沼泽。导致下游应用的“数据源”变得不准确或者需要花费大量成本进行清洗才能使用。

Delta Lake

Delta lake 可以运行在已有的data lake 基础架构之上。它把数据以parquet文件格式存储在后台。
从磁盘上看Delta Lake的文件存储将会试一下结构，有文件夹，包含了事务日志，数据的变更记录，delta 表的分区。

your_delta_table/		<-- 	this is the top-level table directory
_delta_log			    <-- 	this is the transaction log which tracks00.json				        all the changes to your data01.json…n.json
file1.parquet			<-- 	these are your Delta table partitions,
file2.parquet				    ordered for maximum query performance
…
fileN.parquet

Delta Lake 相对于 Data Lake的优势

ACID：跟数据库的ACID 类似，想象一下当你使用集群向Data Lake写入数据，如果此时集群中途崩溃了，数据文件会以损坏或者只有部分存储到datalake上。你需要手动识别并清理这些残缺文件然后重跑。但是对于Delta lake，则会把整个写操作回退，而不写入到存储上。
性能：Parquet格式文件，在很多大数据应用上都远比其他类型的格式快得多，因为其具有一些如压缩，列存储等特点。同时Delta Lake对其进行了一些改进，使其更加适合lakehouse。
文件搜索：在data lake中读取数据需要先列出所有的文件，非常耗时，特别是云环境这种使用Key-value 存储的文件系统。KV 存储在范围扫描过程中速度远不如其他系统，它更适合精确查找。Delta Lake 则通过预先把路径存储到Parquet的事务日志中，减少全量扫描的开销从而加快文件搜索。
元数据：在Data Lake的parquet 文件存储每个文件关于列的元数据，这些元数据包含每个行组内列的最大，最小值，每一次查询范围数据都不得不遍历所有文件。在Delta Lake中，对parquet进行了改进把这些元数据独立存储在单个事务日志文件中，减少扫描的范围和数量。
架构演变：由于输入的数据总是在变，你不能总是知道最后数据集的架构，或某种原因你需要增减列。在Delta lake中通过write.option(“mergeSchema”,“true”)的方式来实现即可。
除此之外，还有包括版本控制等优点，就不一一列举。

小结

下一文将介绍一下DataBricks在Delta方面的知识。

【Azure 架构师学习笔记】- Azure Databricks (15) --Delta Lake 和Data Lake

本文属于【Azure 架构师学习笔记】系列。本文属于【Azure Databricks】系列。接上文【Azure 架构师学习笔记】- Azure Databricks (14) – 搭建Medallion Architecture part 2 前言 ADB 除了UC 这个概念之外，前面【Azure 架构师学习笔记】- Azure Databricks (1…...

编程日记 2025/8/29 23:40:14

一文了解Conda使用

一、Conda库频道 conda的软件频道是存储软件包的远程位置，当在Conda中安装软件包时，它会从指定的频道中下载和提取软件包。频道包含了各种软件包，不同的频道可能提供不同版本的软件包，用户可以根据需要选择适合的版本。常见 Co…...

编程日记 2025/8/29 6:40:30

SP导入智能材质球

智能材质球路径 ...\Adobe Substance 3D Painter\resources\starter_assets\smart-materials 放入之后就会自动刷新...

编程日记 2025/8/25 0:45:23

记录一次Spring事务失效导致的生产问题

一、背景介绍公司做的是“聚合支付”业务，对接了微信、和包、数字人民币等等多家支付机构，我们提供统一的支付、退款、自动扣款签约、解约等能力给全国的省公司、机构、商户等。同时，需要做对账功能，即支付机构将对账文件给到…...

编程日记 2025/8/27 18:21:32

腾讯云物联网平台（IoT Explorer）设备端使用

1、直接看图流程 2、跑起来demo，修改产品id，设备名称，设备秘钥。 3、连接部分 4、修改默认地址和端口 sdk里面的地址默认是带着产品ID拼接的，咱们现在中铁没有泛域名解析，要改下这里。把+productID都去掉，然后地址里的.也去掉。...

编程日记 2025/8/16 12:57:27

ML.NET库学习023： ONNX Runtime 中 C++ 辅助函数解析：Span 类与张量操作

文章目录 ML.NET库学习023： ONNX Runtime 中 C 辅助函数解析：Span 类与张量操作主题项目主要目的和原理项目概述实现的主要功能关键函数代码结构主要功能与步骤Span 类的实现张量大小计算数据加载与处理准确性评估数据集的使用以下是逐步解释&#xff…...

编程日记 2025/8/23 22:58:20

利用opencv_python(pdf2image、poppler）将pdf每页转为图片

1、安装依赖pdf2image pip install pdf2image 运行.py报错，因为缺少了poppler支持。 2、安装pdf2image的依赖poppler 以上命令直接报错。改为手工下载： github: Releases oschwartz10612/poppler-windows GitHub 百度网盘： 百度网盘…...

编程日记 2025/8/28 9:37:17

告别GitHub连不上！一分钟快速访问方案

一、当GitHub抽风时，你是否也这样崩溃过？ 😡 npm install卡在node-sass半小时不动😭 git clone到90%突然fatal: early EOF🤬 改了半天hosts文件，第二天又失效了... 根本原因：传统代理需要复杂…...

编程日记 2025/8/20 18:17:32

‌学习DeepSeek V3 与 R1 核心区别（按功能维度分类）

‌一、定位与架构‌ ‌V3（通用型模型）‌ 定位：多模态通用大模型，擅长文本生成、多语言翻译、智能客服等多样化任务‌12。架构：混合专家（MoE）架构，总参数 ‌6710 亿‌，每次…...

编程日记 2025/8/29 0:43:38

Linux总结

1 用户与用户组管理 1.1 用户与用户组 //linux用户和用户组 Linux系统是一个多用户多任务的分时操作系统使用系统资源的用户需要账号进入系统账号是用户在系统上的标识，系统根据该标识分配不同的权限和资源一个账号包含用户和用户组 //用户分类超级管理员 UID…...

编程日记 2025/8/29 9:55:51

web高可用集群项目（数据库主从同步、文件共享存储、nginx动静分离+负载均衡+高可用）

一、项目环境二、环境准备主机名IP地址备注openEuler-1192.168.121.11主负载调度器openEuler-2192.168.121.12副负载调度器openEuler-3192.168.121.13web-1（静态）openEuler-4192.168.121.14web-2（静态）openEuler-5192.168.121.…...

编程日记 2025/8/24 9:09:55

如何快速上手RabbitMQ 笔记250304

如何快速上手RabbitMQ 要快速上手 RabbitMQ，可以按照以下步骤进行，从安装到基本使用逐步掌握核心概念和操作： 1. 理解核心概念 Producer（生产者）：发送消息的程序。Consumer（消费者&#xff09…...

编程日记 2025/8/28 1:48:26

PPT小黑第26套

对应大猫28 层次级别是错的，看着是十页，导入ppt之后四十多页选中所有红色蓝色黑色文本选择标题：选择 -格式相似文本（检查有没有漏选漏选的话按住ctrl 点下一个） 要求新建幻灯片中不包含原素材中的任何格式&…...

编程日记 2025/8/29 9:47:47

甘特图开发代码（测试版）

场景：要实现的功能就是单行数据能左右拖动。流程五个：ABCDE。（对应：Charter开发、概念和计划、初样开发、正样开发、验证） 1、A有开始时间，结束时间。B的开始时间必须是A的结束时间（相等或者…...

编程日记 2025/8/25 21:49:35

鸿蒙与DeepSeek深度整合：构建下一代智能操作系统生态

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/north 目录技术融合背景与价值鸿蒙分布式架构解析DeepSeek技术体系剖析核心整合架构设计智能调度系统实现…...

编程日记 2025/8/18 11:54:00

Docker Desktop常见问题记录

1.docker pull报错，无法连接https://registry-1.docker.io/v2/ 报错信息如下： Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection(Client.Timeout exceeded …...

编程日记 2025/8/29 5:44:07

Qt 的 Lambda 捕获局部变量导致 UI 更新异常的分析与解决

1. 问题描述在 Qt 开发中，我们通常会使用 QTimer 进行周期性 UI 更新。例如，下面的代码用于在检测游戏窗口时，在 UI 界面上显示动态变化的“正在检测游戏窗口...”的文本，每 300 毫秒更新一次。 void MainWindow::detectAndPopulateGameList() {ui->game_record_stac…...

编程日记 2025/8/29 1:27:30

RAGflow采用docker-compose-continuous方式pull，把服务器充满了

采用docker-compose-continuous在后台下载，导致服务器被充满。原因分析： 如果网络不稳定，可能导致下载任务异常中断，而 systemd 服务会不断重启并重新下载，从而占用大量空间。如果网络问题无法解决，可以…...

编程日记 2025/8/27 9:24:40

【第12节】C++设计模式(结构型模式)-Proxy(代理)模式

一、问题背景使用 Proxy 模式优化对象访问在某些情况下，直接访问对象可能会导致性能问题或安全性问题。Proxy 模式（代理模式）通过引入一个代理对象来控制对原始对象的访问，从而解决这些问题。以下是几种典型的应用场景&#xf…...

编程日记 2025/8/29 15:10:52

【C++】vector(上)：vector的常用接口介绍

文章目录前言一、vector的介绍二、vector的常用接口介绍1.vector类对象的常见构造2.vector iterator 的使用3.vector类对象的容量操作3.1 size、capacity 和 empty的使用3.2 reserve的使用3.3 resize的使用 4.vector类对象的访问（包含data：返回底层数组…...

编程日记 2025/8/26 20:02:29

【详细讲解在STM32的UART通信中使用DMA机制】

详细讲解在STM32的UART通信中使用DMA机制目录详细讲解在STM32的UART通信中使用DMA机制一、DMA机制概述二、DMA在UART中的作用三、DMA的配置步骤四、UART初始化与DMA结合五、DMA传输的中断处理六、DMA与中断的结合使用七、注意事项与常见问题八、代码示例九、总结一、DMA机制…...

编程日记 2025/8/25 1:24:47

极狐GitLab 17.9 正式发布，40+ DevSecOps 重点功能解读【三】

GitLab 是一个全球知名的一体化 DevOps 平台，很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版，专门为中国程序员服务。可以一键式部署极狐GitLab。学习极狐GitLab 的相关资料： 极狐GitLab 官网极狐…...

编程日记 2025/8/25 12:12:50

快速生成viso流程图图片形式

我们在写详细设计文档的过程中总会不可避免的涉及到时序图或者流程图的绘制，viso这个软件大部分技术人员都会使用，但是想要画的好看，画的科学还是比较难的，现在我总结一套比较好的方法可以生成好看科学的viso图(图片格式)。主要思…...

编程日记 2025/8/21 10:27:15

设备管理系统功能与.NET+VUE（IVIEW）技术实现

在现代工业和商业环境中，设备管理系统（Equipment Management System，简称EMS）是确保设备高效运行和维护的关键工具。本文采用多租户设计的设备管理系统，基于.NET后端和VUE前端（使用IVIEW UI框架&#xff09…...

编程日记 2025/8/29 23:40:13

《深度学习实战》第11集：AI大模型压缩与加速

深度学习实战 | 第11集：AI大模型压缩与加速在深度学习领域，随着模型规模的不断增大，模型的推理速度和部署效率成为实际应用中的关键挑战。本篇博客将带你深入了解模型压缩与加速的核心技术，并通过一个实战项目展示如何使用知识蒸…...

编程日记 2025/8/29 0:26:51

【大模型安全】大模型的技术风险

【大模型安全】大模型的技术风险 1.DDoS攻击2.常见的传统网络攻击方式3.恶意意图的识别4.AI生成虚假信息传播5.利用AI进行黑客攻击6.模型对抗攻击7.后门攻击8.Prompt攻击9.数据投毒攻击10.模型窃取攻击11.数据窃取攻击 1.DDoS攻击 2023年11月9日凌晨，OpenAI在官网公…...

编程日记 2025/8/27 3:19:09

git命令学习记录

1. git reset 参数说明 git reset 是用来回退版本的，它可以添加三个参数，常用的使用格式是这样的：git reset [--hard | --soft | --mixed] 版本号一般使用git修改文件并提交需要三步，第一步在文本编辑器中编辑文件，也…...

编程日记 2025/8/29 6:40:33

Gartner：数据安全平台DSP提升数据流转及使用安全

2025 年 1 月 7 日，Gartner 发布“China Context：Market Guide for Data Security Platforms”（《数据安全平台市场指南——中国篇》，以下简称指南），报告主要聚焦中国数据安全平台（Data Securit…...

编程日记 2025/8/22 14:06:43

结构型模式---享元模式

概念享元模式是一种结构型设计模式，他摒弃了在每个对象中保存所有数据的方式，通过共享多个对象所共有的相同状态，让你能在有限的内存容量中载入更多对象。享元模式将原始类中的数据分为内在状态数据和外在状态数据。内在状态：就…...

编程日记 2025/8/29 17:54:57

一学就会：A*算法详细介绍（Python）

📢本篇文章是博主人工智能学习以及算法研究时，用于个人学习、研究或者欣赏使用，并基于博主对相关等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。文章分类在&am…...

编程日记 2025/8/28 15:53:35

【Elasticsearch】Elasticsearch 中使用 HDFS 存储快照

在 Elasticsearch 中使用 HDFS 存储快照的步骤如下： 1.安装 HDFS 插件要使用 HDFS 存储 Elasticsearch 的索引快照，需要在 Elasticsearch 集群的所有节点上安装 HDFS 插件。 • 在线安装：适用于网络环境良好的场景，执行以下命…...

编程日记 2025/8/17 20:26:23

【每日十题系列】前端面试高频题目

以下是作为前端面试官常用的10道手撕代码题目，涵盖JavaScript核心、CSS、算法及框架原理，结合高频考点与实际开发场景设计： 1. 手写防抖（debounce）与节流（throttle） 要求：实现防抖函…...

编程日记 2025/8/24 14:33:22

Kafka 消息 0 丢失的最佳实践

文章目录 Kafka 消息 0 丢失的最佳实践生产者端的最佳实践使用带有回调的 producer.send(msg, callback) 方法设置 acks all设置 retries 为一个较大的值启用幂等性与事务（Kafka 0.11）正确关闭生产者与 flush() 方法 Broker 端的最佳实践设置 unclean.l…...

编程日记 2025/8/27 10:20:16

学网络安全报班可靠吗？

在当今社会，网络安全已经成为我们工作和生活中不可忽视的重要部分，而且市场上各大企业对网络安全人才的需求量非常之大，因此网络安全培训班应运而生，那么学网络安全报培训班靠谱吗?这是很多小伙伴都关心的问题，我们来…...

编程日记 2025/8/23 18:14:07

LeetCode 1745.分割回文串 IV：动态规划（用III或II能直接秒）

【LetMeFly】1745.分割回文串 IV：动态规划（用III或II能直接秒） 力扣题目链接：https://leetcode.cn/problems/palindrome-partitioning-iv/ 给你一个字符串 s ，如果可以将它分割成三个非空回文子字符串，…...

编程日记 2025/8/27 15:29:51

4 Redis4 List命令类型讲解

Redis 列表（List）命令详解 1. Redis 列表（List）简介 Redis 列表（List）是一个简单的字符串列表，按照插入顺序排序。它可以用作栈（Stack） 和队列（Queue&…...

编程日记 2025/8/29 23:40:13

鬼泣：项目前置设置杂项

能帮到你的话，就给个赞吧 😘 文章目录插件niagara ui render：在 UI 中渲染 Niagara 特效skeletal editor：编辑骨骼，调整骨骼动画motion warping：根据目标自动调整角色动画。animation warping：…...

编程日记 2025/8/28 21:22:49

MyBatis-Plus 条件构造器的使用（左匹配查询）

在上一篇文章中，我们已经介绍了 MyBatis-Plus 条件构造器，包括 QueryWrapper 和 UpdateWrapper 的基本使用方法、常见查询条件（如等于、不等于、大于、小于）以及如何使用 Lambda 表达式来构建动态查询和更新条件。在本文中&…...

编程日记 2025/8/25 22:34:43

#define GBB_DEPRECATED_MSG(msg) __declspec(deprecated(msg))

这个宏 #define GBB_DEPRECATED_MSG(msg) __declspec(deprecated(msg)) 是用来在 C++ 中标记某些函数、变量或者代码元素为已弃用（deprecated）的，并附带一个自定义的弃用消息。具体解释： __declspec(deprecated(msg))： __declspec 是 Microsoft Visual C++ (MSVC) 的扩展…...

编程日记 2025/8/21 16:07:42

Vue输入框获取焦点

1. 元素未渲染完成如果你在组件挂载或数据更新后立即调用 focus()，可能元素还未渲染到 DOM 中，导致 focus() 失效。解决方法：确保在元素渲染完成后再调用 focus()。可以使用 nextTick 确保 DOM 更新完成。 2. ref 未正确绑定确保 ref 正确…...

编程日记 2025/8/27 11:07:22

辛格迪客户案例 | 深圳善康医药科技GMP培训管理（TMS）项目

01 善康医药：创新药领域的探索者深圳善康医药科技股份有限公司自2017年创立以来，便扎根于创新药研发领域，专注于成瘾治疗药物的研究、生产与销售。公司坐落于深圳，凭借自身独特的技术优势与研发实力，在行业内逐渐崭露…...

编程日记 2025/8/28 1:48:17

迷你世界脚本出生点接口：Spawnport

出生点接口：Spawnport 彼得兔更新时间: 2023-04-26 10:19:56 具体函数名及描述如下: 序号函数名函数描述 1 getSpawnPoint(...) 获取默认出生点 2 setSpawnPoint(...) 设置出生点位置 3 getChunkValidSpawnPos(...) 获取区块有效刷新点…...

编程日记 2025/8/29 10:19:23

Android车机DIY开发之软件篇(二十)立创泰山派android编译

准备工作 sudo apt-get update sudo apt-get install git -y sudo apt install repo -ysudo apt-get install python2.7sudo apt-get install python3sudo update-alternatives --install /usr/bin/python python /usr/bin/python2.7 1 sudo update-alternatives --install /u…...

编程日记 2025/8/29 7:06:28

前言

Data lake

数据沼泽

Delta Lake

Delta Lake 相对于 Data Lake的优势

小结

相关文章：