当前位置： 首页 > news >正文

AI 如何重塑数据湖的未来

news 来源：原创 2025/8/5 8:12:58

在生成式 AI 与大模型技术飞速发展的今天，数据湖技术正迎来前所未有的挑战与机遇。海量非结构化数据的存储与处理、实时性与计算效率的平衡、高效存储的需求，已成为数据平台的核心难题。如何突破传统架构的局限，构建支持 AI 驱动的高效数据湖解决方案？ProtonBase 产品与解决方案负责人刘一鸣将在会议主论坛为您揭晓答案。

刘一鸣，曾任阿里云自研大数据（MaxCompute & Hologres）产品组负责人，推动湖仓一体、离线实时一体、大数据 AI 一体等多个创新方案落地，推动实时数仓行业标准成熟。作为开源大数据 OLAP 引擎 Apache Kylin 的 PMC Member &  Committer，他在大数据、数据仓库及开源软件领域拥有超过 15 年的丰富经验。本次演讲 “Data Warebase：实时 · 多模 · 分布式数据库” ，他将带您深入探索 Data Warebase（Data Warehouse + Database）架构，解析如何通过即时湖仓、多模态数据处理与实时特征工程，打造面向生成式 AI 时代的高效数据湖。

演讲亮点抢先看

1.  数据湖与 AI 融合的技术挑战与机遇

生成式 AI 的爆发式增长对数据湖提出了哪些新需求？如何应对海量非结构化数据的存储与处理难题？

2.  即时湖仓（Instant Lakehouse）技术演进与实践

揭秘如何通过即时湖仓技术，实现数据湖的实时化与高效化，满足 AI 应用的即时性需求。

3.  多模态数据处理与检索技术

如何高效处理文本、图像、视频等多模态数据，为生成式 AI 提供高质量的数据支持？

4.  实时特征工程与 AI 应用支持

探讨如何通过实时特征工程，提升 AI 模型的训练与推理效率，赋能智能化应用。

5.  实践应用场景与案例分析

分享 Data Warebase 在金融、电商、智能制造等行业的落地实践，展示 AI 与数据湖深度协同的成功案例。

听众收益

  • 掌握前沿技术趋势：深入理解生成式 AI 时代数据湖架构的核心挑战与技术需求。
  • 解锁 AI 驱动数据湖 Data Warebase 架构：学会通过即时湖仓、多模态数据处理与实时特征工程，构建高效的 AI 驱动数据湖。
  • 突破传统架构瓶颈：掌握如何在数据湖环境中实现 TP/AP 一体化，提升数据处理与智能化水平。
  • 获取最佳实践：了解 AI 与数据湖深度协同的行业案例，助力生成式 AI 与大模型应用的成功落地。

谁适合参加？

  • 数据平台架构师、大数据工程师、AI 算法工程师
  • 企业技术决策者、数据团队负责人
  • 对生成式 AI、数据湖技术感兴趣的技术爱好者

本分享是「数据湖 · 存储、计算与 AI 融合创新峰会」的议题，欢迎感兴趣的小伙伴识别二维码免费报名，收看直播：

图片

相关文章：

AI 如何重塑数据湖的未来

在生成式 AI 与大模型技术飞速发展的今天，数据湖技术正迎来前所未有的挑战与机遇。海量非结构化数据的存储与处理、实时性与计算效率的平衡、高效存储的需求，已成为数据平台的核心难题。如何突破传统架构的局限，构建支持 AI 驱动的高效数据湖…...

编程日记 2025/8/5 8:12:58

C++ - 从零实现Json-Rpc框架-2(服务端模块 客户端模块 框架设计)

项⽬设计 本质上来讲，我们要实现的rpc（远端调⽤）思想上并不复杂，甚⾄可以说是简单，其实就是客⼾端想要完成某个任务的处理，但是这个处理的过程并不⾃⼰来完成，⽽是，将请求发送到服务…...

编程日记 2025/8/5 23:23:26

课程5. 迁移学习

课程5. 迁移学习 卷积神经网络架构ImageNet神经网络架构实践从 torchvision 加载模型在一个图像上测试预先训练的网络 迁移学习网络训练冻结层实践准备数据替换网络的最后一层冻结层网络训练获取测试样本的质量指标 课程计划： 流行的神经网络架构迁移学习 卷积神经…...

编程日记 2025/8/5 23:25:07

SATA（Serial Advanced Technology Attachment）详解

一、SATA的定义与核心特性 SATA（串行高级技术附件）是一种 用于连接存储设备（如硬盘、固态硬盘、光驱）的高速串行接口标准，取代了早期的PATA（并行ATA）。其核心特性包括： 高速传输&am…...

编程日记 2025/7/31 13:24:33

常用的 MyBatis 标签及其作用

MyBatis 是一个优秀的持久层框架，它通过 XML 或注解的方式将 Java 对象与数据库操作进行映射。在 MyBatis 的 XML 映射文件中，可以使用多种标签来定义 SQL 语句、参数映射、结果映射等。以下是一些常用的 MyBatis 标签及其作用： 1. 基本标签 …...

编程日记 2025/8/2 0:29:28

Blender配置渲染设置并输出动画

在Blender中，渲染设置和渲染动画的选项位于不同的面板中。以下是具体步骤： 渲染设置 渲染设置用于配置输出格式、分辨率、帧率等参数。 打开右侧的 属性面板（按 N 键可切换显示）。 点击 “输出属性” 选项卡（图标是…...

编程日记 2025/8/3 21:21:30

网络故障排查指南：分治法与排除法结合的分层诊断手册

目录 一、排查方法论：分治法与排除法的结合 1. 分治法（Divide and Conquer） 2. 排除法（Elimination） 二、分层诊断实战手册 1. 物理层排查（设备与线路） 硬件检测三板斧 运维经验 2. 网络…...

编程日记 2025/8/3 0:35:07

【万字总结】前端全方位性能优化指南（三）——GPU渲染加速、WebGPU、OffscreenCanvas多线程渲染

theme: condensed-night-purple 前言 当每秒60帧的流畅渲染遭遇百万级多边形场景，传统CPU绘图如同单车道上的赛车——即便引擎轰鸣，依然难逃卡顿困局。现代GPU加速技术将渲染任务从「单车道」扩展到「八车道」，本章以分层爆破、API革命、线程联邦为技术支柱，拆解如何通过G…...

编程日记 2025/8/4 15:44:04

报错 - redis - Unit redis.service could not be found.

报错： Unit redis.service could not be found.Could not connect to Redis at 127.0.0.1:6379: Connection refused解决方法： 检查状态、有必要的话 重新安装 Linux 上查看状态 systemctl status redis显示以下内容，代表正常服务 出现下面…...

编程日记 2025/8/3 19:55:49

Windows系统本地部署OpenManus对接Ollama调用本地AI大模型

文章目录 前言1. 环境准备1.1 安装Python1.2. 安装conda 2. 本地部署OpenManus2.1 创建一个新conda环境2.2 克隆存储库2.3 安装依赖环境 3. 安装Ollama4. 安装QwQ 32B模型5. 修改OpenManus配置文件6. 运行OpenManus7.通过网页使用OpenManus8. 安装内网穿透8.1 配置随机公网地址…...

编程日记 2025/8/2 18:54:19

【递归，搜索与回溯算法篇】- 名词解释

一. 递归 1. 什么是递归？ 定义： 函数自己调用自己的情况关键点： ➀终止条件： 必须明确递归出口，避免无限递归 ➁子问题拆分： 问题需能分解成结构相同的更小的子问题缺点： ➀栈溢出风险&#x…...

编程日记 2025/8/4 7:47:51

【设计模式】装饰模式

六、装饰模式 装饰(Decorator) 模式也称为装饰器模式/包装模式，是一种结构型模式。这是一个非常有趣和值得学习的设计模式，该模式展现出了运行时的一种扩展能力，以及比继承更强大和灵活的设计视角和设计能力，甚至在有些场合下&am…...

编程日记 2025/8/5 9:26:00

c库、POSIX库、C++库、boost库之间的区别和联系

文章目录 一、区别1. 定义和来源2. 功能范围3. 可移植性4. 语言支持5. 维护和更新 二、联系1. 相互补充2. 部分功能重叠3. 共同促进编程发展4. 代码兼容性 三、总结 一、区别 1. 定义和来源 C 库函数：由 ANSI C 和 ISO C 标准定义，是 C 语言编程的基础…...

编程日记 2025/8/3 20:51:46

算法及数据结构系列 - 树

系列文章目录 算法及数据结构系列 - 二分查找 算法及数据结构系列 - BFS算法 算法及数据结构系列 - 动态规划 算法及数据结构系列 - 双指针 算法及数据结构系列 - 回溯算法 文章目录 树框架树遍历框架N叉树遍历框架 经典题型124.二叉树的最大路径和105.从前序与中序遍历序列构造…...

编程日记 2025/7/30 1:04:55

go安装lazydocker

安装 先安装go环境 https://blog.csdn.net/Yqha1/article/details/146430281?fromshareblogdetail&sharetypeblogdetail&sharerId146430281&sharereferPC&sharesourceYqha1&sharefromfrom_link 安装lazydocker go install github.com/jesseduffield/laz…...

编程日记 2025/8/3 8:39:34

《深度学习》——YOLOv3详解

文章目录 YOLOv3简介YOLOv3核心原理YOLOv3改进YOLOv3网络结构 YOLOv3简介 YOLOv3（You Only Look Once, version 3）是一种先进的实时目标检测算法，由 Joseph Redmon 和 Ali Farhadi 开发。它在目标检测领域表现出色，具有速度快、精…...

编程日记 2025/8/3 8:39:29

使用spring-ai-ollama访问本地化部署DeepSeek

创建SpringBoot工程&#xff0c;引入依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"htt…...

编程日记 2025/7/28 23:46:45

Kafka消息自定义序列化

文章目录 1. 默认序列化2.自定义序列化3.示例4.自定义解序列化器 1. 默认序列化 在网络中发送数据都是以字节的方式&#xff0c;Kafka也不例外。Apache Kafka支持用户给broker发送各种类型的消息。它可以是一个字符串、一个整数、一个数组或是其他任意的对象类型。序列化器(se…...

编程日记 2025/7/29 13:12:36

使用Systemd管理ES服务进程

Centos中的Systemd介绍 CentOS 中的 Systemd 详细介绍 Systemd 是 Linux 系统的初始化系统和服务管理器&#xff0c;自 CentOS 7 起取代了传统的 SysVinit&#xff0c;成为默认的初始化工具。它负责系统启动、服务管理、日志记录等核心功能&#xff0c;显著提升了系统的启动速…...

编程日记 2025/8/4 12:08:11

编程语言选择分析：C#、Rust、Go 与 TypeScript 编译器优化

编程语言选择分析&#xff1a;C#、Rust、Go 与 TypeScript 编译器优化 在讨论编程语言的选择时&#xff0c;特别是针对微软的 C# 和 Rust&#xff0c;以及谷歌的 Go 语言&#xff0c;以及微软试图通过 Go 来拯救 TypeScript 编译器的问题&#xff0c;我们可以从多个角度来分析和…...

编程日记 2025/8/5 21:36:28

使用粘贴控件

HarmonyOS 5.0.3(15) 版本的配套文档&#xff0c;该版本API能力级别为API 15 Release 文章目录 约束与限制开发步骤 粘贴控件是一种特殊的系统安全控件&#xff0c;它允许应用在用户的授权下无提示地读取剪贴板数据。 在应用集成粘贴控件后&#xff0c;用户点击该控件&#xf…...

编程日记 2025/8/3 21:22:25

MySQL 客户端连不上（1045 错误）原因全解析

MySQL 客户端连不上（1045 错误）原因全解析 在我们学习 MySQL 或从事 MySQL DBA 工作期间，时常会遇到：“我尝试连接到 MySQL 并且收到1045 错误，但我确定我的用户和密码都没问题”。 不管你现在是否是高手还是高高手，都不可避免曾经在初学的时候犯过一些很初级的错误，例…...

编程日记 2025/8/2 16:43:59

麒麟系列Linux发行版探秘

以下内容摘自《银河麒麟操作系统进阶应用》一书。 银河麒麟操作系统&#xff08;Kylin&#xff09; 银河麒麟&#xff08;Kylin&#xff09;操作系统是中国自主研发的一款基于Linux内核的操作系统。它的发展历程可以追溯到2002年&#xff0c;最初由国防科技大学主导研发&…...

编程日记 2025/7/30 12:03:54

刘强东突然发声：不该用算法压榨最底层兄弟！东哥，真正的人民企业家

今天忙了一天&#xff0c;很累&#xff0c;准备睡觉的时候&#xff0c;看到网上盛传的刘强东的朋友圈&#xff0c;东哥又在朋友圈发文了。 说实话&#xff0c;看完之后&#xff0c;感动&#xff0c;真的感动。 尤其是当我看到这两句话的时候。 1、我们所学的知识、商业模式、技…...

编程日记 2025/8/3 8:51:01

信息收集与问答系统流程分析与改进建议

现有系统的问题与局限 1. 资源管理问题 二元决策机制过于简化&#xff1a;当前系统仅在令牌预算耗尽时才进入Beast Mode&#xff0c;缺乏渐进式资源分配策略缺少早期预算规划&#xff1a;没有基于问题复杂度的初始资源分配机制缺乏优先级资源分配&#xff1a;所有问题和策略消…...

编程日记 2025/7/30 9:50:54

【人工智能】如何理解transformer中的token?

如何理解transformer中的token? **一、Token在Transformer中的作用****二、文本分词的常见方法****1. 基于词典的分词&#xff08;Dictionary-based Tokenization&#xff09;****2. 子词分词&#xff08;Subword Tokenization&#xff09;****(1) WordPiece算法****(2) BPE&a…...

编程日记 2025/8/1 18:46:59

Spring Boot 集成 Kafka 消息发送方案

一、引言 在 Spring Boot 项目中，Kafka 是常用的消息队列，可实现高效的消息传递。本文介绍三种在 Spring Boot 中使用 Kafka 发送消息的方式，分析各自优缺点，并给出对应的 pom.xml 依赖。 二、依赖引入 在 pom.xml 中添加以下依赖： <dependencies><!-- Sprin…...

编程日记 2025/7/28 18:04:01

Hadoop•HDFS的Java API操作

听说这是目录哦 上传文件到HDFS&#x1f308;一、下载Windows版本的JDK和Hadoop二、配置物理机环境变量三、创建项目四 、添加依赖五、新建java类六、创建文件七、打开集群八、选中、运行 从HDFS下载文件&#x1fa90;一、写代码二、HDFS要个文件三、物理机要个文件夹&#xff…...

编程日记 2025/8/1 22:42:26

电脑如何设置几分钟后自动关机

摘要&#xff1a;本文提供Windows、macOS和Linux系统设置定时自动关机的详细方法。 目录 一、Windows系统设置方法 设置定时关机 取消关机计划 二、macOS系统设置方法 设置定时关机取消关机计划 三、Linux系统设置方法 设置定时关机 取消关机计划 四、注意事项五、扩展&#x…...

编程日记 2025/7/11 1:11:57

固定公网 IP

固定公网 IP 是指为用户分配一个长期不变且可从互联网直接访问的 IP 地址&#xff0c;具有以下重要作用&#xff1a; 1. 搭建服务器 网站托管&#xff1a;可用于托管网站、博客或电子商务平台。 应用服务器&#xff1a;支持运行邮件服务器、游戏服务器、数据库等。 远程访问&…...

编程日记 2025/8/3 4:55:45

Linux安装go环境

安装一个lazydocker&#xff0c;根据文档需要先安装go环境 https://github.com/jesseduffield/lazydocker 官方文档解析 https://go.dev/doc/install 文档内容如下&#xff0c;一共三步 1.删除先前安装的go&#xff0c;解压下载的go压缩包到/usr/local目录 2.添加环境变量&…...

编程日记 2025/8/4 22:13:57

Git的基本使用

Git的基本使用 前言 &#xff1a;为什么使用GitGit基本操作1. 初始化2. Git分区3. 认识.git目录4. git基本操作 Git分支管理1. 基本操作2. Git分支设计规范 Git 标签管理1. Git标签的使用2. 标签使用规范3. Git标签与分支的区别 分离头指针问题1. 分离头指针问题的风险2. 分离头…...

编程日记 2025/7/31 14:28:15

鸿蒙Flutter开发故事：不，你不需要鸿蒙化

在华为牵头下&#xff0c;Flutter 鸿蒙化如火如荼进行&#xff0c;当第一次看到一份上百个插件的Excel 列表时&#xff0c;我也感到震惊&#xff0c;排名前 100 的插件赫然在列&#xff0c;这无疑是一次大规模的军团作战。 然后&#xff0c;参战团队鱼龙混杂&#xff0c;难免有…...

编程日记 2025/8/5 10:37:07

Mysql:关于命名

1. 命名的对象&#xff1a;库名、表名、列名、索引名 2. 用反引号包裹的情况下&#xff0c;命名时不允许使用空白字符、反引号&#xff0c;其它字符均可 3. 无反引号包裹的情况下&#xff0c;命名时仅允许使用&#xff1a;$、_、数字、大小写字母、中文字符(已知win系统支持)…...

编程日记 2025/8/3 16:47:42

JAVA————十五万字汇总

JAVA语言概述 JAVA语句结构 JAVA面向对象程序设计&#xff08;一&#xff09; JAVA面向对象程序设计&#xff08;二&#xff09; JAVA面向对象程序设计&#xff08;三&#xff09;工具类的实现 JAVA面向对象程序设计&#xff08;四&#xff09;录入异常处理 JAVA图形用户界面设…...

编程日记 2025/8/2 18:09:32

Chrome-Edge-IDEA-Win 常用插件-工具包

Chrome-Edge-IDEA-Win 常用插件-工具包 Chrome-Edge-IDEA-Win 常用插件-工具包谷歌插件chropathJSONViewOctotree - GitHub code treeXPath Helper书签侧边栏篡改猴Print Edit WEEdge浏览器插件IDEA插件CodeGlance Pro 代码迷你缩放图插件Alibaba Cloud ToolkitAlibaba Java Co…...

编程日记 2025/8/5 1:23:44

DeepSeek-R1论文深度解析：纯强化学习如何引爆LLM推理革命？

技术突破&#xff1a;从“无监督”到“自主进化”的跨越 paper &#xff1a;https://arxiv.org/pdf/2501.12948目录 技术突破&#xff1a;从“无监督”到“自主进化”的跨越1 DeepSeek-R1-Zero&#xff1a; RLnoSFT1.1 R1-Zero&#xff1a; GRPO&#xff08;Group Relative Po…...

编程日记 2025/8/4 15:18:09

最新！Ubuntu Docker 安装教程

源自: AINLPer&#xff08;每日干货分享&#xff01;&#xff01;&#xff09; 编辑: ShuYini 校稿: ShuYini 时间: 2025-3-1 更多&#xff1a;>>>>大模型/AIGC、学术前沿的知识分享&#xff01; 看到很多部署大模型的时候&#xff0c;都是基于docker安装部署的。…...

编程日记 2025/8/1 19:33:39

【Javascrip】Javascript练习01 REST API using Express.js.

针对该问题的项目路径 要求部分 what you need to doReview the tasks provided in the section below.Obtain the boilerplate code.Use your local development environment to implement a solution.Upload your solution for marking via Gradescope. There is no attempt…...

编程日记 2025/7/31 6:24:10

visual studion 2022如何使用PlaySound()

书籍&#xff1a;《windows程序设计(第五版)》的开始 环境&#xff1a;visual studio 2022 内容&#xff1a;HELLOWIN程序 说明&#xff1a;以下内容大部分来自腾讯元宝。 在Visual Studio 2022中使用PlaySound()函数播放音频&#xff0c;需完成以下步骤&#xff1a; ​1. 配…...

编程日记 2025/8/3 22:08:42

C++相关基础概念之入门讲解（下）

1. 引用 ​ int main() {const int a10;int& aaa;aa;cout<<aa<<endl; } 引用 不是新定义一个变量&#xff0c;而 是给已存在变量取了一个别名 &#xff0c;编译器不会为引用变量开辟内存空 间&#xff0c;它和它引用的变量 共用同一块内存空间&#xff08;初…...

编程日记 2025/7/16 19:50:14

从零开始学可靠消息投递：分布式事务的“最终一致性”方案

一、什么是可靠消息投递&#xff1f;—— 消息队列的“防丢宝典” 可靠消息投递 是指通过消息队列&#xff08;如 RocketMQ&#xff09;确保消息在生产、传输、消费过程中不丢失、不重复、有序到达。其核心目标是在分布式系统中保障数据最终一致性&#xff0c;常用于订单处理、…...

编程日记 2025/8/5 19:36:22

生物化学笔记：医学免疫学原理 免疫系统的组成与功能+克隆选择学说

免疫系统的组成与功能 克隆选择学说 克隆选择学说&#xff08;Clonal Selection Theory&#xff09;是免疫学的核心理论之一&#xff0c;由 麦克法兰伯内特&#xff08;Frank Macfarlane Burnet&#xff09; 在 1957 年提出&#xff0c;用于解释特异性免疫反应的机制。 基本概…...

编程日记 2025/8/4 12:11:06

SpringBoot最佳实践之 - 使用AOP记录操作日志

1. 前言 本篇博客是个人在工作中遇到的需求。针对此需求&#xff0c;开发了具体的实现代码。并不是普适的记录操作日志的方式。以阅读本篇博客的朋友&#xff0c;可以参考此篇博客中记录日志的方式&#xff0c;可能会对你有些许帮助和启发。 2. 需求描述 有一个后台管理系统…...

编程日记 2025/8/4 7:02:51

MySql中 一条select语句的执行流程

一条 SELECT 语句的执行流程涉及到数据库管理系统&#xff08;DBMS&#xff09;的多个组件和阶段。以下是一个更为详细的执行流程&#xff0c;以关系型数据库&#xff08;如 MySQL、PostgreSQL 等&#xff09;为例&#xff1a; 1. 客户端发送查询 用户输入&#xff1a;用户在客…...

编程日记 2025/8/1 1:31:22

图论——kruskal算法

53. 寻宝（第七期模拟笔试） 题目描述 在世界的某个区域，有一些分散的神秘岛屿，每个岛屿上都有一种珍稀的资源或者宝藏。国王打算在这些岛屿上建公路，方便运输。 不同岛屿之间，路途距离不同，国王希望你可以规划建公路的方案，如何可以以最短的总公路距离将 所有岛屿联通…...

编程日记 2025/8/5 1:15:33

【dify】 dify环境变量配置说明

这是一份Dify平台的环境变量配置文件&#xff0c;对平台的各项功能、服务和组件进行参数设置。以下是对其主要部分的详细解读&#xff1a; 1. 通用变量&#xff08;Common Variables&#xff09; CONSOLE_API_URL&#xff1a;控制台API的后端URL&#xff0c;用于拼接授权回调…...

编程日记 2025/8/1 10:49:44

如何在 Vue 项目中实现动态组件加载，有什么应用场景？

大白话如何在 Vue 项目中实现动态组件加载&#xff0c;有什么应用场景&#xff1f; 什么是动态组件加载 在 Vue 项目里&#xff0c;动态组件加载就是能够在程序运行时动态地决定要渲染哪个组件。打个比方&#xff0c;就像你去餐馆点菜&#xff0c;不同的时间你可能想吃不同的…...

编程日记 2025/8/4 7:03:10

FRP在物联网设备中的穿透方案

物联网设备常位于NAT后&#xff0c;FRP为其提供稳定穿透链路。 配置要点 轻量化部署&#xff1a;使用ARM版本FRP客户端&#xff0c;适配树莓派等设备9。 自启动脚本&#xff1a;通过systemd或crontab实现设备重启后自动连接26。 低功耗优化&#xff1a;调整心跳间隔&#xf…...

编程日记 2025/8/5 7:32:11

Android 13深度定制：SystemUI状态栏时间居中显示终极实战指南

一、架构设计与技术解析 1. SystemUI状态栏核心布局机制 层级结构 mermaid 复制 graph TDPhoneStatusBarView --> StatusBarContents[status_bar_contents]StatusBarContents --> LeftLayout[status_bar_left_side]StatusBarContents --> ClockLayout[Clock控件]Left…...

编程日记 2025/8/4 21:54:52