当前位置： 首页 > news >正文

三、数据治理应用开发整体架构

news 来源：原创 2025/9/19 19:52:10

1.数据治理应用开发整体架构概览

该架构图描绘了一个全面的数据治理应用开发平台，旨在为用户提供从数据调研、治理构建、资产管理到应用开发、运维监控等全生命周期的一体化服务。整体架构呈现出模块化、松耦合的特点，并强调低代码开发和业务中台能力。

数据治理应用开发整体架构图

2.核心模块解析

1.一体化数据治理服务

  • 数据调研: 这是数据治理的起点，包括现状分析、业务调研、需求分析等环节，为后续的数据治理工作奠定基础。

  • 数据治理构建: 这是平台的核心，包括数据清洗、加工、脱敏、在线ETL等数据处理过程，以及标准管理、对象管理、规则管理、任务调度等治理工具。

  • 数据资产: 这是数据治理的成果，包括主题域、主数据、指标服务、维度管理、标签管理等。

  • 应用开发: 基于数据治理成果，通过可视化构建、BI构建、业务编排、低代码开发等方式，快速构建数据应用。

  • 系统管理: 提供组织管理、用户管理、角色管理、权限管理、系统配置、日志管理等系统级管理功能。

2.业务中台

  • 全盘梳理: 对数据资产进行全面梳理，形成清晰的数据地图。

  • BI构建: 提供BI报表构建能力，支持数据可视化分析。

  • 业务编排: 支持业务流程编排，实现数据驱动的业务自动化。

  • 低代码开发: 降低应用开发门槛，提高开发效率。

3.数据仓库

  • 数据仓库(MPP分布式存储): 提供高性能的数据存储和计算能力，支持PB级数据处理。

  • 数据建模集市: 提供数据建模工具和数据集市，方便用户进行数据分析和挖掘。

4.数据质量

  • 数据标准库: 提供统一的数据标准，保证数据一致性和准确性。

  • 规则测试: 提供规则测试工具，确保数据质量。

  • 执行器管理: 管理数据质量规则的执行。

5.文件存储

  • 统一存储: 提供统一的文件存储服务，支持多种文件类型。

  • 在线管理: 支持在线文件管理，包括目录管理、文件管理、文件上传、文件预览等。

6.基础服务

  • 数据建模服务: 提供数据建模工具，支持数据实体、关系、属性等定义。

  • 血缘分析: 提供数据血缘分析能力，追踪数据来源和变化。

  • 规则服务: 提供规则引擎，支持数据质量规则、业务规则等定义和管理。

  • 资产管理: 管理数据资产的元数据和属性。

  • 主数据管理: 提供主数据管理功能，包括主数据定义、录入、修改、查询等。

  • 流程管理: 提供流程配置、流程实例管理等功能。

  • 报表管理: 提供报表设计、生成、展示等功能。

  • 应用管理: 提供应用发布、部署、监控等功能。

  • 菜单管理: 管理系统菜单。

  • 按钮管理: 管理系统按钮权限。

7.显示服务

  • 大屏可视化: 支持大屏数据可视化展示。

  • PC显示页面: 支持PC端页面展示。

  • H5移动页面: 支持H5移动端页面展示。

  • 模块化快速构建: 支持模块化构建，快速生成展示页面。

3.技术特点

  • 模块化设计: 各模块之间相互独立，松耦合，方便扩展和维护。

  • 低代码开发: 降低开发门槛，提高开发效率。

  • 业务中台: 强调业务驱动的数据治理，实现数据与业务的深度融合。

  • 一体化服务: 提供数据治理全生命周期服务，简化用户操作。

总结

该架构图展示了一个功能完善、技术先进的数据治理应用开发平台，涵盖了数据治理的各个方面。通过该平台，用户可以快速构建数据应用，提升数据价值，实现业务创新

扩展阅读

一.数据治理理论架构一.数据治理理论架构-CSDN博客
二.数据治理流程架构二.数据治理流程架构-CSDN博客
三、数据治理应用开发整体架构三、数据治理应用开发整体架构-CSDN博客
四、数据湖应用平台架构四、数据湖应用平台架构-CSDN博客

相关文章：

三、数据治理应用开发整体架构

1.数据治理应用开发整体架构概览 该架构图描绘了一个全面的数据治理应用开发平台，旨在为用户提供从数据调研、治理构建、资产管理到应用开发、运维监控等全生命周期的一体化服务。整体架构呈现出模块化、松耦合的特点，并强调低代码开发和业务中台能力。 …...

编程日记 2025/9/19 19:52:10

【附带脚本】解决notion加载慢问题

问题原因 notion网站的服务器在国外，因为网络问题（国际出口带宽限制）导致访问速度较慢和域名解析延迟等问题。 解决方案 通过在 hosts 文件中直接指定一个更快的 IP 地址（例如国内镜像服务器），可以显著提…...

编程日记 2025/9/17 18:09:26

解锁机器学习核心算法 | 决策树：机器学习中高效分类的利器

引言 前面几篇文章我们学习了机器学习的核心算法线性回归和逻辑回归。这篇文章我们继续学习机器学习的经典算法——决策树（Decision Tree） 一、决策树算法简介 决策树算法是一种典型的分类方法，也是一种逼近离散函数值的方法。它的核心思想…...

编程日记 2025/9/18 23:37:06

网络原理-HTTP/HTTPS

文章目录 HTTPHTTP 是什么？理解“应用层协议”理解 HTTP 协议的⼯作过程HTTP 协议格式抓包⼯具的使用抓包⼯具的原理抓包结果协议格式总结 HTTP 请求（Request）认识 URLURL 的基本格式关于URL encode 认识“⽅法”（method&#xff…...

编程日记 2025/9/19 6:36:20

仿 Sora 之形，借物理模拟之技绘视频之彩

来自麻省理工学院、斯坦福大学、哥伦比亚大学以及康奈尔大学的研究人员携手开源了一款创新的3D交互视频模型——PhysDreamer（以下简称“PD”）。PD与OpenAI旗下的Sora相似，能够借助物理模拟技术来生成视频，这意味着PD所生成的视频蕴…...

编程日记 2025/9/19 15:24:47

C#多线程异步连接MySQL与SQLserver数据库

C#多线程异步连接MySQL与SQLserver数据库 一、前言二、多线程异步连接数据库代码2.1代码块2.2代码说明 参考文档 一、前言 当编写代码连接多台设备上的数据库时，如果采用同步逐个连接的方式，在网络畅通的情况下连接速度尚可，但当其中一台设备…...

编程日记 2025/9/19 8:08:39

DeepSeek告别服务器繁忙

原文地址：http://shen.iwiki.fun/2025/02/09/free-deepseek/ 博客地址：http://shen.iwiki.fun 一、申请API 1、硅基流动 免费额度：14元 注：平台 2000 万 Tokens 特指 Qwen2.5-14B-Instruct 模型单价下的数量，实际到账…...

编程日记 2025/9/19 7:25:18

Tomcat下载，安装，配置终极版（2024）

Tomcat下载，安装，配置终极版（2024） 1. Tomcat下载和安装 进入Apache Tomcat官网，我们可以看到这样一个界面。 现在官网目前最新版是Tomcat11，我用的是Java17，在这里我们选择Tomcat10即可。Tom…...

编程日记 2025/9/18 19:21:05

Docker 部署AnythingLLM

两个指令搞定 1.下载镜像 docker pull mintplexlabs/anythingllm 2.运行容器 export STORAGE_LOCATION$HOME/anythingllm mkdir -p $STORAGE_LOCATION chmod -R 777 $STORAGE_LOCATION touch "$STORAGE_LOCATION/.env" docker run -d -p 3001:3001 \ --cap-add SY…...

编程日记 2025/9/18 20:50:03

uniapp 支付宝小程序自定义顶部导航栏

我是用的是uniapp 的 uni-nav-bar 组件 根据项目需求配置即可 <uni-nav-bar v-if"title" :left-icon"leftIcon" :title"title" :statusBar"true" :fixed"true" clickLeft"goBack":border"false" :ba…...

编程日记 2025/9/17 18:08:50

Python 库自制 Cross-correlation 算法（当采样点已经1 对 1 匹配）

Python 库自制 Cross-correlation 算法 引言正文引言 虽然 Scipy 库中包含了成熟的 Cross-correlation 算法，但是有些时候我们无法使用现成的库进行数据处理。这里介绍如何使用 Python 基础函数自制 Cross-correlation 算法。后续读者可以将该算法转换为其他各类语言。 正文…...

编程日记 2025/9/17 18:08:48

SpringBoot+uniApp日历备忘录小程序系统 附带详细运行指导视频

文章目录 一、项目演示二、项目介绍三、运行截图四、主要代码1.日历渲染代码&#xff1a;2.保存备忘录代码&#xff1a;3.删除备忘录代码&#xff1a; 一、项目演示 项目演示地址&#xff1a; 视频地址 二、项目介绍 项目描述&#xff1a;这是一个基于SpringBootuniApp框架开…...

编程日记 2025/9/19 7:49:59

【赵渝强老师】Spark RDD的缓存机制

Spark RDD通过persist方法或cache方法可以将计算结果的缓存&#xff0c;但是并不是这两个方法被调用时立即缓存&#xff0c;而是触发后面的action时&#xff0c;该RDD才会被缓存在计算节点的内存中并供后面重用。下面是persist方法或cache方法的函数定义&#xff1a; def pers…...

编程日记 2025/9/18 20:11:48

基于 Spring Boot 的社区居民健康管理系统部署说明书

目录 1 系统概述 2 准备资料 3 系统安装与部署 3.1 数据库部署 3.1.1 MySQL 的部署 3.1.2 Navicat 的部署 3.2 服务器部署 3.3 客户端部署 4 系统配置与优化 5 其他 基于 Spring Boot 的社区居民健康管理系统部署说明书 1 系统概述 本系统主要运用了 Spri…...

编程日记 2025/9/17 18:08:42

《C语言动态顺序表:从内存管理到功能实现》

1.顺序表 1.1 概念 顺序存储的线性表&#xff0c;叫顺序表。 1.2顺序表存放的实现方式 可以使用数组存储数据&#xff0c;可以实现逻辑上相连&#xff0c;物理内存上也相连。也可以使用malloc在堆区申请一片连续的空间&#xff0c;存放数据&#xff0c;实现逻辑上相连&#…...

编程日记 2025/9/16 19:20:56

C++ 程序 return value 1 是什么原因

又是一次deepseek生成C 程序 return value 1 是什么原因 好的&#xff0c;用户问C程序返回值为1是什么原因。首先&#xff0c;我需要回想一下常见的导致程序返回非零值的情况。通常&#xff0c;返回1可能表示程序因为某种错误而终止。但具体原因可能有很多种&#xff0c;需要分…...

编程日记 2025/9/19 0:49:55

《DeepSeek 一站式工作生活 AI 助手》

最近国产AI工具DeepSeek在全球火出圈&#xff0c;登顶多个国家应用商店&#xff0c;下载量一路飙升。这匹AI “黑马” 到底凭什么征服全球用户&#xff1f;让我们全方位解锁DeepSeek——从基础入门到高阶玩法&#xff0c;从实用技巧到隐藏功能。 DeepSeek是一款功能强大的国产A…...

编程日记 2025/9/17 18:08:36

深入探索 DeepSeek 在数据分析与可视化中的应用

在数据驱动的时代&#xff0c;快速且准确地分析和呈现数据对于企业和个人都至关重要。DeepSeek 作为一款先进的人工智能工具&#xff0c;凭借其强大的数据处理和可视化能力&#xff0c;正在革新数据分析的方式。 1. 数据预处理与清洗 在进行数据分析前&#xff0c;数据预处理…...

编程日记 2025/9/17 18:08:34

【Python 学习 / 7】模块与文件操作

文章目录 前言一、导入模块1. 导入整个模块2. 导入模块中的特定函数3. 给模块或函数起别名 二、常用模块1. math 模块2. random 模块3. os 模块4. sys 模块 三、文件处理1. 打开文件2. 读取文件3. 写入文件4. 关闭文件5. 使用 with 语句管理文件 四、日期时间1. datetime 模块获…...

编程日记 2025/9/17 18:08:32

【DeepSeek】Mac m1电脑部署DeepSeek

一、电脑配置 个人电脑配置 二、安装ollama 简介&#xff1a;Ollama 是一个强大的开源框架&#xff0c;是一个为本地运行大型语言模型而设计的工具&#xff0c;它帮助用户快速在本地运行大模型&#xff0c;通过简单的安装指令&#xff0c;可以让用户执行一条命令就在本地运…...

编程日记 2025/9/19 12:11:54

计算机网络抄手 运输层

一、运输层协议概述 1. 进程之间的通信 从通信和信息处理的角度看&#xff0c;运输层向它上面的应用层提供通信服务&#xff0c;它属于面向通信部分的最高层&#xff0c;同时也是用户功能中的最低层。当网络边缘部分的两台主机使用网络核心部分的功能进行端到端的通信时&…...

编程日记 2025/9/17 18:08:28

激光雷达YDLIDAR X2 SDK安装

激光雷达YDLIDAR X2 SDK安装 陈拓 2024/12/15-2024/12/19 1. 简介 YDLIDAR X2官方网址https://ydlidar.cn/index.html‌YDLIDAR X2 YDLIDAR X2是一款高性能的激光雷达传感器&#xff0c;具有以下主要特点和规格参数‌&#xff1a; ‌测距频率‌&#xff1a;3000Hz ‌扫描频…...

编程日记 2025/9/19 14:27:22

DeepSeek-R1：使用KTransformers部署（保姆级教程）

1. 引言 KTransformers作为一个开源框架&#xff0c;专门为优化大规模语言模型的推理过程而设计。它支持GPU/CPU异构计算&#xff0c;并针对MoE架构的稀疏性进行了特别优化&#xff0c;可以有效降低硬件要求&#xff0c;允许用户在有限的资源下运行像DeepSeek-R1这样庞大的模型…...

编程日记 2025/9/17 15:34:06

什么是Spring Boot？

Spring Boot 是基于 Spring 框架的扩展工具&#xff0c;旨在简化 Spring 应用的初始搭建和开发流程。它通过约定优于配置和自动装配机制&#xff0c;减少了传统 Spring 开发中的繁琐配置&#xff0c;使开发者能快速构建独立运行、生产级别的应用。 Spring Boot 的核心特性 自动…...

编程日记 2025/9/17 15:34:03

C++ 学习路线：从入门到精通，全面掌握 C++ 编程

引言 C 是一种高性能的系统级编程语言&#xff0c;广泛应用于游戏开发、嵌入式系统、高性能计算等领域。尽管 C 的学习曲线较为陡峭&#xff0c;但掌握它将为你的职业发展带来巨大的优势。本文将为你提供一条清晰的 C 学习路线&#xff0c;帮助你从入门到精通&#xff0c;逐步…...

编程日记 2025/9/17 8:06:06

【算法精练】背包问题（01背包问题）

目录 1. 背包问题 2. 01背包问题 3. 优化 总结 1. 背包问题 经典的背包问题&#xff1a; 有一个背包&#xff0c;限制背包的体积&#xff1b;有一堆物品&#xff0c;从这堆物品中选择&#xff0c;在不超过背包容量的前提下&#xff0c;选出最大价值的物品&#xff1b; 从这个…...

编程日记 2025/9/17 15:33:59

宇树机器人G1 SDK实战和交付

最近客户有需求定制机宇树机器人G1 的功能&#xff0c;在接到需求后。进行了评估报价和开发。现在已经进入开发交付阶段 现在已经拿到了G1和H1版本的人型机器人。 需求是使用宇树机器G1 或H1在展馆进行路线移动&#xff0c;或指定移动路径&#xff0c;并且不能碰到小朋友&…...

编程日记 2025/9/17 15:33:57

使用EasyExcel和多线程实现高效数据导出

​ 使用EasyExcel和多线程实现高效数据导出 1. 概述 在企业级应用中&#xff0c;数据导出是一个常见的需求。为了提高导出效率&#xff0c;尤其是在处理大量数据时&#xff0c;我们可以结合使用EasyExcel库和多线程技术。本文将详细介绍如何通过EasyExcel和多线程技术实现高…...

编程日记 2025/9/17 15:33:55

如何监控和优化 MySQL 中的慢 SQL

如何监控和优化 MySQL 中的慢 SQL 前言一、什么是慢 SQL&#xff1f;二、如何监控慢 SQL&#xff1f;1. 启用慢查询日志启用方法&#xff1a;日志内容&#xff1a; 2. 使用 mysqldumpslow 分析日志 三、如何分析慢 SQL&#xff1f;1. 使用 EXPLAIN 分析执行计划使用方法&#x…...

编程日记 2025/9/17 15:33:53

SPO（Self-Supervised Prompt Optimization）自我监督Prompt提示优化的全景指南

HuggingFace 链接：https://huggingface.co/spaces/XiangJinYu/SPO 作者也与国内的 ModelScope 魔搭社区官方进行了合作，现在可以体验由 Deepseek-V3 和 Qwen-2.5-72B 等开源模型驱动的 SPO。 ModelScope 链接： https://modelscope.cn/studios/AI-ModelScope/SPO 在大语言…...

编程日记 2025/9/18 18:58:08

【云安全】云原生-Docker（六）Docker API 未授权访问

Docker API 未授权访问 是一个非常严重的安全漏洞&#xff0c;可能导致严重的安全风险。 什么是 Docker API &#xff1f; Docker API 是 Docker 容器平台提供的一组 RESTful API&#xff0c;用于与 Docker 守护程序进行通信和管理 Docker 容器。通过 Docker API&#xff0c;…...

编程日记 2025/9/19 20:53:50

9.PG数据库层权限管理（pg系列课程）第2遍

一、PostgreSQL数据库属主 Postgres中的数据库属主属于创建者&#xff0c;只要有createdb的权限就可以创建数据库&#xff0c;数据库属主不一定拥有存放在该数据库中其它用户创建的对象的访问权限。数据库在创建后&#xff0c;允许public角色连接&#xff0c;即允许任何人连接…...

编程日记 2025/9/19 21:00:39

Pytorch深度学习教程_3_初识pytorch

欢迎来到《PyTorch深度学习教程》系列的第三篇&#xff01;在前面的两篇中&#xff0c;我们已经介绍了Python及numpy的基本使用。今天&#xff0c;我们将深入探索PyTorch的核心功能&#xff0c;帮助你更好地理解和使用这个强大的深度学习框架。 欢迎订阅专栏&#xff1a; 深度…...

编程日记 2025/9/20 0:39:09

个人博客5年回顾

https://huangtao01.github.io/ 五年前&#xff0c;看程序羊的b站视频做的blog&#xff0c;受限于网络&#xff0c;只能单向学习&#xff0c;没有人指导与监督&#xff0c;从来没有想过&#xff0c;有没有什么问题&#xff1f; 一、为什么要做个人博客&#xff1f; 二、我是怎么…...

编程日记 2025/9/17 15:33:41

DeepSeek与ChatGPT：会取代搜索引擎和人工客服的人工智能革命

云边有个稻草人-CSDN博客 在众多创新技术中&#xff0c;DeepSeek和ChatGPT无疑是最为引人注目的。它们通过强大的搜索和对话生成能力&#xff0c;能够改变我们与计算机交互的方式&#xff0c;帮助我们高效地获取信息&#xff0c;增强智能服务。本文将深入探讨这两项技术如何结合…...

编程日记 2025/9/17 15:33:39

SpringBoot高级-底层原理

目录 1 SpringBoot自动化配置原理 01-SpringBoot2高级-starter依赖管理机制 02-SpringBoot2高级-自动化配置初体验 03-SpringBoot2高级-底层原理-Configuration配置注解 04-SpringBoot2高级-底层原理-Import注解使用1 05-SpringBoot2高级-底层原理-Import注解使用2 06-S…...

编程日记 2025/9/19 8:51:50

百问网(100ask)的IMX6ULL开发板的以太网控制器(MAC)与物理层(PHY)芯片(LAN8720A)连接的原理图分析(包含各引脚说明以及工作原理)

前言 本博文承接博文 https://blog.csdn.net/wenhao_ir/article/details/145663029 。 本博文和博文 https://blog.csdn.net/wenhao_ir/article/details/145663029 的目录是找出百问网(100ask)的IMX6ULL开发板与NXP官方提供的公板MCIMX6ULL-EVK(imx6ull14x14evk)在以太网硬件…...

编程日记 2025/9/16 20:24:03

使用 PyTorch 实现标准卷积神经网络（CNN）

卷积神经网络&#xff08;CNN&#xff09;是深度学习中的重要组成部分&#xff0c;广泛应用于图像处理、语音识别、视频分析等任务。在这篇博客中&#xff0c;我们将使用 PyTorch 实现一个标准的卷积神经网络&#xff08;CNN&#xff09;&#xff0c;并介绍各个部分的作用。 什…...

编程日记 2025/9/20 1:01:01

openGauss 3.0 数据库在线实训课程18：学习视图管理

前提 我正在参加21天养成好习惯| 第二届openGauss每日一练活动 课程详见&#xff1a;openGauss 3.0.0数据库在线实训课程 学习目标 掌握openGauss视图的管理&#xff1a;创建视图、删除视图、查询视图的信息、修改视图的信息。 课程作业 1.创建表&#xff0c;创建普通视图…...

编程日记 2025/9/16 20:23:57

nginx ngx_http_module(7) 指令详解

nginx ngx_http_module(7) 指令详解 nginx 模块目录 nginx 全指令目录 一、目录 1.1 模块简介 以下是您请求的Nginx HTTP相关模块的简述&#xff1a; ngx_http_proxy_protocol_vendor_module&#xff1a;这是一个商业订阅模块&#xff0c;允许从云平台的应用特定TLV&#…...

编程日记 2025/9/16 20:23:53

用DeepSeek零基础预测《哪吒之魔童闹海》票房——从数据爬取到模型实战

系列文章目录 1.元件基础 2.电路设计 3.PCB设计 4.元件焊接 5.板子调试 6.程序设计 7.算法学习 8.编写exe 9.检测标准 10.项目举例 11.职业规划 文章目录 **一、为什么要预测票房&#xff1f;****二、准备工作****三、实战步骤详解****Step 1&#xff1a;数据爬取与清洗&am…...

编程日记 2025/9/19 13:15:25

青少年编程都有哪些比赛可以参加

Python小学生可参加的赛事&#xff1a; 电子学会青少年编程考级、中国计算机学会编程能力等级认证、蓝桥杯、 信奥赛CSP-J/S初赛/NOIP(推荐C)、编程设计、信息素养、科技创新赛&#xff1b; 升学助力(科技特长生、大学)、企业、出国留学&#xff1b; python比赛&am…...

编程日记 2025/9/16 20:23:47

如何使用 Flutter DevTools 和 PerformanceOverlay 监控性能瓶颈

使用 Flutter DevTools 和 PerformanceOverlay 监控性能瓶颈&#xff1a;详细分析与实战 在开发 Flutter 应用时&#xff0c;性能问题可能会导致用户体验下降&#xff0c;比如页面卡顿、掉帧、内存泄漏等。为了定位和解决这些问题&#xff0c;Flutter 提供了强大的性能监控工具…...

编程日记 2025/9/16 20:23:43

拯救者电脑在重装系统之后电源计划丢失Fn+Q切换不了模式怎么恢复？

参考联想知识库的一下链接&#xff1a; https://iknow.lenovo.com.cn/detail/196192 其中下载的解压文件后的文件需要复制粘贴到D盘的根目录下&#xff0c;再来运行文件。若在生成的log文件中看到导入成功以及控制面板中看到已添加的电源计划即可 如果还是无效可是试试以下的…...

编程日记 2025/9/16 20:23:40

自动创建spring boot应用（eclipse版本）

使用spring starter project创建项目 设置Service URL 把Service URL设置为 https://start.aliyun.com/ 如下图&#xff1a; 使用这个网址&#xff0c;创建项目更快。 选择Spring Web依赖 项目结构 mvnw和mvnw.cmd:这是maven包装器&#xff08;wrapper&#xff09;脚本&…...

编程日记 2025/9/16 20:23:35

通过监督微调提升多语言大语言模型性能

引言 澳鹏助力一家全球科技公司提升其大语言模型&#xff08;LLM&#xff09;的性能。通过提供结构化的人工反馈形式的大语言模型训练数据&#xff0c;让该模型在30多种语言、70多种方言中的表现得到优化。众包人员们进行多轮对话&#xff0c;并依据回复的相关性、连贯性、准确…...

编程日记 2025/9/16 20:23:32

应急响应（linux 篇，以centos 7为例）

一、基础命令 1.查看已经登录的用户w 2.查看所有用户最近一次登录&#xff1a;lastlog 3.查看历史上登录的用户还有登录失败的用户 历史上所有登录成功的记录 last /var/log/wtmp 历史上所有登录失败的记录 Lastb /var/log/btmp 4.SSH登录日志 查看所有日志&#xff1a;…...

编程日记 2025/9/16 20:23:28

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要&#xff1a;本文整理自鹰角大数据开发工程师&#xff0c;Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践&#xff08;二&#xff09;专场中的分享。主要分为以下四个部分&#xff1a; 一、鹰角数据平台架构 二、数据湖选型 三、湖仓一体建设 四、…...

编程日记 2025/9/19 3:25:02

探秘Transformer系列之（3）---数据处理

探秘Transformer系列之&#xff08;3&#xff09;—数据处理 接下来三篇偏重于工程&#xff0c;内容略少&#xff0c;大家可以当作甜点 _。 0x00 概要 有研究人员认为&#xff0c;大模型的认知框架看起来十分接近卡尔弗里斯顿(Karl Friston)描绘的贝叶斯大脑。基于贝叶斯概率…...

编程日记 2025/9/18 4:53:24

跨平台AES/DES加密解密算法【超全】

算法说明 要实现在 WinForm、Android、iOS、Vue3 中使用 相同的算法，确保各平台加密结果互通 一、统一加密参数 算法: AES-256-CBC 密钥: 32字节（示例中使用固定字符串生成） IV: 16字节 填充模式: PKCS7 字符编码: UTF-8 输出格式: Base64二、各平台实现代码...

编程日记 2025/9/16 20:23:18