当前位置： 首页 > news >正文

数据仓库与数据湖的对比分析

news 来源：原创 2025/5/15 0:08:39

目录

 

一、数据来源

数据仓库

数据湖

二、数据模式转换时机

数据仓库

数据湖

三、数据存储成本

数据仓库

数据湖

四、数据质量

数据仓库

数据湖

五、面向用户

数据仓库

数据湖

六、主要支撑的应用类型

数据仓库

数据湖

 

在企业数据管理领域，数据仓库和数据湖是两种重要的数据管理架构，它们在功能、特性和应用场景上存在明显差异。下面从数据来源、数据模式转换时机、数据存储成本、数据质量、面向用户、主要支撑的应用类型几个方面对二者进行对比，并结合大型连锁酒店集团的应用场景举例说明。

 

 

一、数据来源

数据仓库

数据仓库的数据主要来源于企业内部相对结构化的业务系统，如财务系统、销售系统、库存管理系统等。这些数据经过严格的筛选和整理，格式统一、结构规范，例如财务系统中的账目数据、销售系统中的订单记录等，数据类型较为单一，主要为结构化数据 。以大型连锁酒店集团为例，数据仓库可能仅存储预订系统中结构化的订单时间、房型、价格等信息，以及 CRM 系统中客户的基本信息和入住记录等结构化数据，对于社交媒体评论、宣传视频等非结构化数据难以纳入。

数据湖

数据湖的数据来源更加广泛，不仅包括企业内部的结构化、半结构化和非结构化数据，还涵盖外部数据。内部数据如各业务系统产生的日志文件、客服与客户的沟通记录，外部数据包括市场调研报告、竞争对手动态、社交媒体数据等。同样以大型连锁酒店集团为例，数据湖除了存储预订、CRM 等系统的结构化数据外，还会收集客户在社交平台上发布的评论、酒店宣传视频、客服通话录音，以及从第三方获取的旅游市场景气指数等多类型数据 。

 

 

二、数据模式转换时机

数据仓库

数据仓库采用 “模式先行” 的策略，在数据加载到仓库之前，需要预先定义好数据的模式和结构，明确数据的字段、类型、关系等。只有符合该模式的数据才能被加载到数据仓库中，数据在进入仓库时就要完成清洗、转换和集成等处理工作，以确保数据的一致性和规范性 。例如连锁酒店集团在构建数据仓库时，会提前规划好预订数据的模式，如将预订时间设定为特定的日期格式、房型设定为固定的分类等，新数据必须按照这个模式进行转换后才能入库。

数据湖

数据湖遵循 “先存储，后处理” 的原则，数据以原始格式直接存储到湖中，无需在存储前进行复杂的模式定义和转换。在后续需要对数据进行分析时，才根据具体的分析需求进行模式转换和数据处理，具有更高的灵活性 。比如酒店集团将客户在社交媒体上的评论原始数据直接存入数据湖，当想要分析客户情感倾向时，再利用自然语言处理技术对这些数据进行解析和转换，构建相应的数据模式。

 

 

三、数据存储成本

数据仓库

由于数据仓库对数据质量和结构要求较高，在数据入库前需要进行大量的预处理工作，包括数据清洗、转换、集成等，这需要投入较多的人力、时间和计算资源。同时，数据仓库通常采用传统的关系型数据库存储，硬件和软件成本相对较高，尤其是在处理大规模数据时，存储成本会显著增加 。例如连锁酒店集团为维护数据仓库，每年在数据预处理和存储设备上需投入高额费用，随着数据量增长，成本压力日益增大。

数据湖

数据湖基于分布式存储技术，如 Hadoop 分布式文件系统（HDFS）、对象存储系统等，可以利用廉价的硬件设备实现大规模数据存储，降低了硬件成本。并且数据无需提前进行复杂的预处理，减少了数据处理的时间和人力成本，整体数据存储成本相对较低 。如酒店集团构建的数据湖，通过分布式存储，将大量的非结构化视频、图片数据低成本存储，同时在数据处理环节按需进行操作，节约了成本。

 

 

四、数据质量

数据仓库

数据仓库的数据质量较高，因为在数据入库前经过了严格的清洗、转换和验证流程，确保数据的准确性、完整性和一致性。数据仓库中的数据遵循统一的标准和规范，适合用于生成可靠的报表和进行确定性的分析 。例如酒店集团数据仓库中的财务数据，经过严格核对和处理，可直接用于生成财务报表和成本分析。

数据湖

数据湖中的数据以原始格式存储，在存储阶段未进行全面的数据质量检查和处理，数据质量参差不齐，存在数据冗余、错误、缺失等问题。需要在数据分析阶段根据具体需求对数据进行质量评估和处理，以满足不同的分析要求 。例如酒店集团数据湖中的客户评论数据，可能存在重复、错别字、语义模糊等情况，在分析时需要先进行清洗和处理。

 

 

五、面向用户

数据仓库

数据仓库主要面向企业的管理人员、分析师等专业人员，用于支持结构化、标准化的决策分析。这些用户通常需要基于固定的业务指标和报表进行数据分析，以制定战略决策、评估业务绩效等 。例如酒店集团的管理层通过数据仓库生成的月度销售报表、各分店营收排名等数据，进行运营决策和资源分配。

数据湖

数据湖面向更广泛的用户群体，包括数据科学家、数据工程师、业务分析师等。数据科学家可以利用数据湖中的多类型数据进行探索性分析和机器学习建模；数据工程师负责数据湖的架构搭建和维护；业务分析师则可以通过灵活的数据处理满足多样化的业务分析需求 。例如酒店集团的数据科学家从数据湖中提取客户多维度数据，构建客户流失预测模型；业务分析师根据临时需求，从数据湖获取数据进行特定市场活动的效果分析。

 

 

六、主要支撑的应用类型

数据仓库

数据仓库主要支撑结构化的报表查询、固定模式的数据分析和决策支持应用，如销售业绩统计、财务报表生成、业务趋势分析等。这些应用通常基于预先定义好的数据模型和分析流程，侧重于对历史数据的总结和分析 。例如酒店集团利用数据仓库分析各季度客房入住率变化趋势，制定下一季度的营销策略。

数据湖

数据湖支持更丰富多样的应用类型，包括探索性数据分析、实时数据分析、机器学习和人工智能应用等。它可以处理复杂的业务场景，满足企业对数据创新应用的需求 。比如酒店集团通过数据湖实时分析旅游旺季各分店的预订数据和市场需求，动态调整房价；利用机器学习算法分析客户行为数据，实现个性化推荐服务。

通过以上对比可以看出，数据仓库和数据湖在企业数据管理中各有优势和适用场景，企业通常会根据自身的业务需求和数据特点，选择合适的数据管理架构或结合使用，以充分发挥数据价值。

 

相关文章：

数据仓库与数据湖的对比分析

目录 一、数据来源 数据仓库 数据湖 二、数据模式转换时机 数据仓库 数据湖 三、数据存储成本 数据仓库 数据湖 四、数据质量 数据仓库 数据湖 五、面向用户 数据仓库 数据湖 六、主要支撑的应用类型 数据仓库 数据湖 在企业数据管理领域，数据仓库…...

编程日记 2025/5/15 0:08:39

Windows系统下MinerU的CUDA加速配置指南

Windows系统下MinerU的CUDA加速配置指南 快速解锁GPU性能，提升文档解析效率 1、简介 MinerU是一款高效的文档解析工具，支持通过CUDA加速显著提升处理速度。本指南详细说明如何在Windows系统中配置CUDA环境，并启用MinerU的GPU加速功能，帮助用户充分利用NVIDIA显卡的计算能…...

编程日记 2025/5/14 22:33:29

LeetCode路径总和系列问题解析：I、II、III的解决方案与优化

文章目录 引言一、路径总和 I（LeetCode 112）问题描述方法思路Java代码实现复杂度分析 二、路径总和 II（LeetCode 113）问题描述方法思路Java代码实现复杂度分析 三、路径总和 III（LeetCode 437）问题描述方法…...

编程日记 2025/5/14 22:18:05

【漫话机器学习系列】233.激活阈（Threshold Activation）

深度学习入门：了解“阈值激活函数”（Threshold Activation Function） 激活函数是神经网络中至关重要的一环。今天，我们通过一幅简单直观的手绘图，一起理解最早期也最基础的激活函数之一 —— 阈值激活函数（…...

编程日记 2025/5/14 22:04:01

使用vue开发electron

1.全局安装electron npm i electron -g 查看是否安装成功 electron -v 在vue项目中添加electron模块 vue add electron-builder 添加成功后，目录中多了background.js文件 可以在background.js配置 例如 窗口大小，是否可以缩放，是否可以移…...

编程日记 2025/5/1 11:43:48

安全企业内部im，BeeWorks即时通讯

BeeWorks企业即时通讯软件具备哪些优势？ 1. 多样的沟通方式 文本消息：支持发送文字消息，包括富文本格式（如加粗、斜体、下划线、颜色等）。 语音消息：支持发送语音消息，方便快捷，适…...

编程日记 2025/5/14 21:50:17

网易爆米花 1.8.8 | 免费无广告，支持多网盘聚合和智能刮削技术，提供顶级画质和逼真音效的影视管理应用

网易爆米花TV是一款专为家庭设计的影视管理应用，旨在提供一个简洁易用的家庭影视库。它支持从多个网盘（如阿里、百度、天翼等）、WebDAV以及本地资源导入，聚合用户的影视资源，并通过智能刮削技术将视频信息形成精美的影…...

编程日记 2025/5/14 23:07:06

蓝牙语音遥控国产适用芯片HS6621

蓝牙语音遥控器一般是通过按下语音键，遥控器会发送一个 HID 编码通知智能电视或者机顶盒打开识音功能，此时，遥控器LED灯保持闪烁或者长亮，用户开始录音同时将语音数据上传给智能电视或者机顶盒。而智能电视或者机顶盒，…...

编程日记 2025/5/14 21:43:38

【Vue2】1-创建一个Vue实例

Vue2官方文档 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </head&g…...

编程日记 2025/5/14 21:41:18

销售与金融领域的数据处理与分析方法

一、引言 在销售和金融领域&#xff0c;除了常见的同比、环比和移动平均等数据处理方法外&#xff0c;还有众多方法可供选择&#xff0c;这些方法分布于不同的专业方向&#xff0c;旨在帮助分析和解决问题&#xff0c;以下将按类别对这些方法进行详细梳理。 二、按类别划分的…...

编程日记 2025/5/14 22:21:54

DataWorks Copilot 集成 Qwen3-235B-A22B混合推理模型，AI 效能再升级！

刚刚&#xff0c;阿里云一站式智能大数据开发治理平台 DataWorks 正式接入 Qwen3 模型&#xff0c;可支持235B最大尺寸。用户通过 DataWorks Copilot 智能助手即可调用该模型&#xff0c;通过自然语言交互完成多种代码操作&#xff0c;实现数据开发、数据分析的快速实现。 Qwen…...

编程日记 2025/5/14 21:55:59

芯片软错误概率探究：基于汽车芯片安全设计视角

摘要&#xff1a; 本文深入剖析了芯片软错误概率问题&#xff0c;结合 AEC-Q100 与 IEC61508 标准&#xff0c;以 130 纳米工艺 1Mbit RAM 芯片为例阐述其软错误概率&#xff0c;探讨汽车芯片安全等级划分及软错误对汽车关键系统的影响&#xff0c;分析先进工艺下软错误变化趋势…...

编程日记 2025/5/14 22:05:27

青少年抑郁症患者亚群结构和功能连接耦合的重构

目录 1 研究背景及目的 2 研究方法 2.1 数据来源与参与者 2.1.1 MDD患者&#xff1a; 2.1.2 健康对照组&#xff1a; 2.2 神经影像分析流程 2.2.1 图像采集与预处理&#xff1a; 2.2.2 网络构建&#xff1a; 2.2.3 区域结构-功能耦合&#xff08;SC-FC耦合&#xff09…...

编程日记 2025/5/1 11:36:23

汽车OTA在线升级法规分析

摘要 本文介绍了R156法规即《关于批准车辆的软件升级和软件升级管理体系统一规定的法规》、该法规专注于汽车软件升级功能&#xff0c;并为此提出了一系列具体要求&#xff0c;旨在确保软件升级流程的安全性、可控性和合规性&#xff0c;从而顺应汽车行业智能化、联网化的发展趋…...

编程日记 2025/5/14 22:19:18

【上海大学数据库原理实验报告】MySQL基础操作

实验目的 熟悉MySQL基础操作。 实验内容 创建四张工程项目的关系表。 图 1 四张工程项目关系表的结构 检索供应零件编号为J1的工程的供应商编号SNO。检索供应零件给工程J1&#xff0c;且零件编号为P1的供应商编号SNO。查询没有正余额的工程编号、名称及城市&#xff0c;结果…...

编程日记 2025/5/14 22:34:31

FUSE 3.0.0 | 聚合7大直播平台的免费电视直播软件，支持原画清晰度及弹幕、收藏功能

FUSE是一款第三方娱乐直播软件&#xff0c;它聚合了多个直播平台的内容&#xff0c;为用户提供丰富的观看选择。首次进入软件后点击左上角logo&#xff0c;然后点击‘我已诚信付款&#xff0c;解锁LIVEPRO’按钮即可解锁所有功能。该软件聚合了7大直播平台&#xff0c;每个平台…...

编程日记 2025/5/14 22:54:06

在企业微信中，回调地址 redirect_uri 是允许包含端口号

在企业微信中&#xff0c;回调地址&#xff08;redirect_uri&#xff09;允许包含端口号的原因主要有以下几点&#xff1a; 1. 企业微信的开放设计 企业微信对回调地址的校验相对灵活&#xff0c;允许开发者根据实际业务需求配置带端口号的域名。这与部分严格限制端口的平台&a…...

编程日记 2025/5/14 22:58:56

Rust 学习笔记：枚举与模式匹配

Rust 学习笔记&#xff1a;枚举与模式匹配 Rust 学习笔记&#xff1a;枚举与模式匹配定义枚举&#xff08;Enum&#xff09;枚举变量Option 枚举及其相对于 NULL 的优势match 和枚举与 Option\<T\> 匹配match 应该是详尽的Catch-all 模式和 _ 占位符使用 if let 和 let e…...

编程日记 2025/5/14 22:57:31

UI自动化测试的优势

1. UI自动化测试的优势（提升效率的场景） ✅ 适合自动化的场景 (1) 高频回归测试 典型场景：每次版本迭代都要验证的核心功能（如登录、支付流程）。 效率提升：自动化脚本执行速度远高于手动测试，尤其适合敏捷开发中的快速验证。 (2) 跨平台/多环境测试 典型场景：需要在不…...

编程日记 2025/5/1 11:33:12

【Android】轻松实现实时FPS功能

文章目录 实时FPS 实时FPS 初始化 choreographer Choreographer.getInstance();lastFrameTimeNanos System.nanoTime();choreographer.postFrameCallback(frameCallback);监听并显示 Choreographer.FrameCallback frameCallback new Choreographer.FrameCallback() {Overri…...

编程日记 2025/5/15 0:03:28

BI平台是什么意思？一文讲清BI平台的具体应用！

目录 一、BI平台是什么意思 1. 基本概念 2. 核心功能 3. 重要性 二、BI平台的分类 1. 按部署方式分类 2. 按功能特点分类 3. 按行业应用分类 三、BI平台的使用场景 1. 销售与营销分析 2. 财务分析 3. 人力资源管理 4. 供应链管理 5. 运营管理 总结 “BI 平台是什…...

编程日记 2025/5/14 22:23:20

玩转MCP

玩转MCP 0.环境1.自定义stdio交互1.1.server1.2.client1.3.效果 2.自定义sse交互2.1.server2.2.client2.3.效果 3.使用官方文件 mcp火了好一阵了&#xff0c;最近一直在大院干活儿&#xff0c;好不容易抽出时间&#xff0c;赶紧来学习学习。 官方文档&#xff0c; mcp广场可以…...

编程日记 2025/5/14 22:01:34

2025华东杯A/B/C题解题思路+可运行代码参考

A题：跳台滑雪问题 选题分析： 跳台滑雪问题涉及物理学、运动学和优化算法。需要建立数学模型来分析运动员在不同阶段的最佳姿势和策略，以提高运动成绩。问题分为三个小问，分别是助滑坡姿势、空中飞行控制和着陆策略。 解题思路： 1. 助滑坡姿势： 分析助滑坡的物理特性，…...

编程日记 2025/5/14 21:36:47

IsaacLab最新2025教程(7)-创建Interactive Scene

在isaaclab中创建的强化学习训练环境有两种&#xff1a;direct workflow&#xff0c;风格与isaacgym一样。另外一种是manager-based workflow更加模块化&#xff0c;它主要是两部分包括仿真环境也就是即将介绍的interactive scene&#xff0c;与mdp的内容&#xff0c;比如奖励函…...

编程日记 2025/5/14 23:47:08

Linux远程管理

1.网络管理获取计算机的网络信息基本语法&#xff1a;windows ipconfig<img src"ReadMe.assets/image-20250318152355476.png" alt"image-20250318152355476" style"zoom:33%;" />powershell ifconfig 也可以通过上面的网络处获取powershe…...

编程日记 2025/5/14 23:49:29

双指针（4）——盛水最多的容器

题目&#xff1a; 这题可以暴力枚举&#xff0c;但会超时&#xff0c;所以我们要用其他方法。 我们就用示例1的数组为例&#xff0c;我们先取出一部分研究。 虽然我们不能用暴力枚举&#xff0c;但可以借用其思想。 对于6和4组成的容器&#xff0c;它可以储存24个单位的水。…...

编程日记 2025/5/14 23:05:58

sd webui 安装插件sd-webui-EasyPhoto依赖安装失败解决办法

在最新版的SD webui中&#xff0c;可以安装easyphoto插件&#xff0c;官方建议通过github安装&#xff0c;对无法科学上网的用户很不友好。对我自己来说是通过地址&#xff1a; https://gitee.com/wowai/sd-webui-EasyPhoto.git 分支&#xff1a;anyid 点击安装即可。 在安装…...

编程日记 2025/5/14 22:11:13

虚拟机对前端开发的实用价值：提升效率与解决痛点的完整指南

作为前端开发者&#xff0c;虚拟机可能不是你日常工作的核心工具&#xff0c;但它确实能在多个方面为前端开发提供强大支持。下面我将详细解析虚拟机如何帮助前端开发者提升工作效率、解决开发难题。 一、跨浏览器/跨平台测试环境搭建 1.1 多浏览器测试 真实IE测试&#xff…...

编程日记 2025/5/14 23:14:21

用Playwright自动化网页测试，不只是“点点点”

如果你接触过网页自动化测试&#xff0c;可能听说过 Selenium、Puppeteer 这些工具。但最近几年&#xff0c;一个新的开源项目在测试圈子里悄然兴起——它就是 Playwright 。 Playwright 是微软开发的一个自动化库&#xff0c;支持多种浏览器&#xff08;包括 Chrome、Firefox…...

编程日记 2025/5/15 0:00:10

合并两个有序数组

题目 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2&#xff0c;另有两个整数 m 和 n &#xff0c;分别表示 nums1 和 nums2 中的元素数目。 请你 合并 nums2 到 nums1 中&#xff0c;使合并后的数组同样按 非递减顺序 排列。 注意&#xff1a;最终&#xff0c;合并…...

编程日记 2025/5/14 22:41:41

系统思考：局部最优与全局失衡

最近遇到一家创业公司的创始人&#xff0c;在复盘时说了一句扎心的话&#xff1a;“我们真的已经很努力了&#xff0c;大家每天都在拼&#xff0c;连周末都不休息……但事还是做不完&#xff0c;进展还是很慢。” 我和几个关键岗位员工聊了聊&#xff0c;他们也说&#xff1a;“…...

编程日记 2025/5/1 11:25:52

Windows 系统中安装 flash - attn

#工作记录 一、下载 flash_attn 在 Windows 系统中&#xff0c;直接使用 pip 在线安装 flash_attn 很可能失败。 建议从 kingbri1/flash-attention 的 GitHub 发布页面 下载与当前 Python、torch 和 CUDA 版本匹配的 .whl 文件&#xff0c;并从本地进行安装。 Linux版本&am…...

编程日记 2025/5/14 22:07:54

理想药用植物的特征综述-理想中药材”的系统定义-文献精读125

Decoding and designing: Promising routes to tailor-made herbs 解码与设计&#xff1a;定制化草药的潜力路径 摘要 理想药用植物的特征可归纳为高次生代谢产物含量、高抗逆性、理想的形态以及高产量。本研究提出了两种策略&#xff0c;用于解析中药活性成分的生物合成与质…...

编程日记 2025/5/14 23:45:51

Cline原理分析-prompt

Cline 抓包-prompt原文 You are Cline, a highly skilled software engineer with extensive knowledge in many programming languages, frameworks, design patterns, and best practices. TOOL USE You have access to a set of tools that are executed upon the user’s…...

编程日记 2025/5/14 22:29:09

allegro 怎样显示/隐藏铜皮shape？

1、setup–>User preferences&#xff1b; 2、Display -->shape_fill &#xff1b; 3、5个方框打“√”代表隐藏铜皮&#xff1b; 4、不打√代表显示铜皮;...

编程日记 2025/5/14 22:57:30

URP - 公告牌的效果实现

效果&#xff1a; 【太妃糖耶】我的最新作品&#xff0c;快来一睹为快&#xff01; 原理&#xff1a;使面片的正面永远跟随摄像机的旋转 首先我们可以了解一下顶点旋转的原理 B点是由原坐标系中的基向量和A点坐标值相乘得到的 当旋转此基向量后&#xff0c;B点的坐标值会发生…...

编程日记 2025/5/1 11:23:44

在VTK中使用VTKCamera

文章目录 概要Cpp代码概要 在VTK（Visualization Toolkit）中，vtkCamera 类用于控制三维场景中相机的视角。相机决定了你从哪个角度和位置观察三维场景。使用 vtkCamera 的一般步骤包括创建相机对象、配置相机参数、将相机设置为渲染器的活动相机，以及更新相机视图。 Cpp代…...

编程日记 2025/5/4 1:35:56

牛客：AB4 逆波兰表达式求值

链接&#xff1a;逆波兰表达式求值_牛客题霸_牛客网 题解&#xff1a; 利用栈&#xff0c;遍历字符串数组&#xff0c;遇到运算数则入栈&#xff0c;遇到运算符则取出栈顶两个运算数进行运算&#xff0c;并将运算结果入栈。 class Solution { public:/*** 代码中的类名、方法…...

编程日记 2025/5/1 11:22:39

Linux:文件操作

在C语言中&#xff0c;我们可以使用fopen() fclose() fread() fwrite()等接口进行文件操作&#xff0c;而由于文件是储存于磁盘中的&#xff0c;且磁盘是由操作系统来管理的&#xff0c;因此在用户层面对文件的操作必然要调用操作系统对文件的操作。 我们接下来就要了解操作系…...

编程日记 2025/5/1 11:22:36

Gin 集成 prometheus 客户端实现注册和暴露指标

在 Gin 框架中集成 Prometheus 监控系统&#xff0c;可以帮助开发者实时收集和展示应用程序的性能指标&#xff0c;便于监控和故障排查。 Prometheus 是一个开源的监控和告警系统&#xff0c;最初由 SoundCloud 开发&#xff0c;现已成为 Cloud Native Computing Foundation (…...

编程日记 2025/5/1 11:21:33

欢度我们的节日

众所周知&#xff0c;一年一度的“五一”小长假就要来了。先预祝各位兄弟姐妹们假期快乐&#xff0c;天天好心情&#xff01; 你们在节前的最后一天是处于什么状态呢&#xff1f;是不是已经处理好手中的工作静待明日的旅程&#xff1f;还是忙忙碌碌担心搞不完要加班&#xff1f…...

编程日记 2025/5/1 11:21:32

03_Mybatis-Plus LambadaQueryWrapper 表达式爆空指针异常

&#x1f31f; 03_MyBatis-Plus LambdaQueryWrapper 爆出空指针异常的坑点分析 ❓ 场景描述 来看一段常见的 MyBatis-Plus 查询写法&#xff0c;是否存在问题&#xff1f; Page<VideoInfoVo> videoInfoVosPage videoMapper.selectPage(page, new LambdaQueryWrapper&…...

编程日记 2025/5/1 11:20:29

左右分屏电商带货视频批量混剪自动剪辑生产技术软件：智能剪辑与合规化方案解析

一、引言&#xff1a;电商视频营销的工业化生产需求 在电商带货领域&#xff0c;高效产出差异化视频内容是提升转化率的核心竞争力。本文结合实战经验&#xff0c;解析基于智能分屏算法、动态素材重组、多维度参数配置的工业化剪辑方案&#xff0c;构建可复用的自动化生产流水…...

编程日记 2025/5/4 15:18:36

全面解析SimHash算法：原理、对比与Spring Boot实践指南

一、SimHash算法概述 SimHash是一种局部敏感哈希算法&#xff0c;由Google工程师Moses Charikar提出&#xff0c;主要用于海量文本的快速去重与相似度检测。其核心思想是将高维特征向量映射为固定长度的二进制指纹&#xff08;如64位&#xff09;&#xff0c;通过计算指纹间的…...

编程日记 2025/5/1 11:19:26

【Docker】Docker拉取部分常用中间件

一、拉取MySQL 这里以Docker拉取MySQL5.7为例 #拉取镜像 docker pull mysql:5.7 docker run -d --name oj-mysql -p 3306:3306 -e "TZAsia/Shanghai" -e "MYSQL_ROOT_PASSWORD123456" mysql:5.7 -e 参数用于设置容器内的环境变量。TZ 是用于设置时区的环…...

编程日记 2025/5/1 11:18:23

表征（Representations）、嵌入（Embeddings）及潜空间（Latent space）

文章目录 1. 表征 (Representations)2. 嵌入 (Embeddings)3. 潜空间 (Latent Space)4. 关系总结5. 学习思考 1. 表征 (Representations) 定义: 表征是指数据的一种编码或描述形式。在机器学习和深度学习中&#xff0c;它特指模型在处理数据时&#xff0c;将原始输入数据转换成…...

编程日记 2025/5/1 11:18:23

google colab设置python环境为python3.7

最近在看transformers for machine learning:A Deep Dive这本书&#xff0c;发现书里的python版本是python3.7&#xff0c;但是当前google colab默认的python版本为3.12&#xff0c;带来诸多不便&#xff0c;因此需要将colab版本切换为python3.7的python环境。 1.下载需要的版…...

编程日记 2025/5/1 11:18:22

Kaggle比赛入门攻略（以 Titanic 为例）

为什么选择 Kaggle 入门比赛&#xff1f; Kaggle 是全球最大的数据科学竞赛平台。入门比赛 Titanic: Machine Learning from Disaster 是初学者的理想起点&#xff0c;数据量小、结构简单、题目经典。 Step 1&#xff1a;注册并加入比赛 访问比赛地址&#xff1a;https://www…...

编程日记 2025/5/1 11:16:15

【数据链路层深度解析】从帧结构到协议实现

目录 一、数据链路层核心定位1.1 OSI模型中的位置1.2 三大核心职责 二、帧结构详解2.1 以太网帧标准格式&#xff08;IEEE 802.3&#xff09;2.2 帧封装代码示例 三、核心协议机制3.1 MAC地址体系3.2 介质访问控制CSMA/CD&#xff08;以太网冲突检测&#xff09;现代交换机的演…...

编程日记 2025/5/1 11:15:12

大连理工大学选修课——机器学习笔记（5）：EMK-Means

EM&K-Means 无监督学习 什么是无监督学习 模型从无标签的数据中自动发现隐藏的模式或结构聚类是最常用的方法 为什么要研究无监督学习 标记样本代价太大分类模式不断变化&#xff0c;标记易过时 数据的分布 参数方法 高斯分布、伯努利分布、多指分布等 非参数方法 局部模…...

编程日记 2025/5/1 11:14:08