当前位置：首页 > news >正文

数据管道的解耦艺术：Dagster I/O管理器实现存储与逻辑分离

news 来源：原创 2025/8/15 16:51:25

在现代数据工程中，高效管理数据的读写逻辑是构建可维护管道的关键。Dagster的**I/O管理器（I/O Managers）**通过分离数据处理与数据存储逻辑，显著提升了代码的可复用性和灵活性。本文将深入解析其核心概念、应用场景及实战示例。

一、为什么需要I/O管理器？

传统数据管道常面临以下痛点：

重复代码：每个资产（Asset）需手动编写数据加载和存储逻辑。
环境依赖：本地、测试和生产环境的存储路径差异导致代码冗余。
内存限制：处理大规模数据时，直接操作内存可能引发性能问题。

I/O管理器的价值在于：

解耦逻辑：将数据存储细节抽象为独立模块，资产仅关注业务逻辑。
环境适配：通过配置切换存储后端（如从DuckDB到Snowflake），无需修改资产代码。
类型安全：内置对Pandas、PySpark等数据格式的支持，确保数据流转一致性。

在这里插入图片描述

二、何时选择I/O管理器？

✅ 适用场景

资产存储在统一位置且遵循固定命名规则（如数据库表）。
需支持多环境部署（开发/测试/生产）。
数据可完全加载到内存处理（如中小型数据集）。

❌ 不适用场景

需直接执行SQL操作（如创建表、更新记录）。
已通过其他工具（如Airflow、dbt）管理I/O流程。
处理超大规模数据（如十亿级行数据库表）。

三、实战示例：从零构建到优化

场景描述

构建一个销售数据分析管道，包含以下步骤：

加载原始销售数据（CSV → DuckDB表）。
清洗数据（填充缺失值）。
生成销售汇总（按负责人分组求和）。

传统实现（无I/O管理器）

@asset
def raw_sales_data(duckdb: DuckDBResource) -> None:# 手动读取CSV并写入DuckDBraw_df = pd.read_csv("raw_sales.csv")with duckdb.get_connection() as conn:conn.execute("CREATE TABLE raw_sales_data AS SELECT * FROM raw_df")@asset(deps=[raw_sales_data])
def clean_sales_data(duckdb: DuckDBResource) -> None:# 手动读取表并写入清洗后的表with duckdb.get_connection() as conn:df = conn.execute("SELECT * FROM raw_sales_data").fetch_df()clean_df = df.fillna({"amount": 0.0})conn.execute("CREATE TABLE clean_sales_data AS SELECT * FROM clean_df")

问题：重复的读写代码增加了维护成本。

优化后（使用DuckDBPandasIOManager）

from dagster_duckdb_pandas import DuckDBPandasIOManager@asset
def raw_sales_data() -> pd.DataFrame:return pd.read_csv("raw_sales.csv")  # 仅关注数据加载@asset
def clean_sales_data(raw_sales_data: pd.DataFrame) -> pd.DataFrame:return raw_sales_data.fillna({"amount": 0.0})  # 仅处理数据defs = Definitions(assets=[raw_sales_data, clean_sales_data],resources={"io_manager": DuckDBPandasIOManager(database="sales.duckdb")}
)

优势：

代码精简：移除重复的数据库操作逻辑。
类型安全：自动将DataFrame转换为DuckDB表。
可扩展性：切换至Snowflake仅需替换I/O管理器。

四、切换数据存储：零代码改造

假设需将存储后端从DuckDB迁移至Snowflake，仅需修改资源配置：

from dagster_snowflake_pandas import SnowflakePandasIOManagerdefs = Definitions(resources={"io_manager": SnowflakePandasIOManager(database=os.getenv("SNOWFLAKE_DATABASE"),account=os.getenv("SNOWFLAKE_ACCOUNT"),user=os.getenv("SNOWFLAKE_USER"),password=os.getenv("SNOWFLAKE_PASSWORD"))}
)

无需改动资产代码，实现无缝迁移！

五、内置I/O管理器概览

名称	数据存储位置	适用场景
FilesystemIOManager	本地文件系统（Pickle文件）	本地开发调试
S3PickleIOManager	AWS S3	云存储
BigQueryPandasIOManager	Google BigQuery	大数据分析
DuckDBPandasIOManager	DuckDB数据库	轻量级OLAP

六、下一步行动

深入资源管理：学习如何通过Resources连接数据库或API。
自定义I/O管理器：探索如何为特殊需求开发定制化解决方案。
实战演练：尝试在现有管道中替换I/O管理器，观察代码简化效果。

总结：Dagster的I/O管理器通过标准化数据读写流程，让工程师更专注于业务逻辑而非基础设施细节。无论是快速原型开发还是生产级部署，它都能显著提升数据管道的可维护性和扩展性。

数据管道的解耦艺术：Dagster I/O管理器实现存储与逻辑分离

在现代数据工程中，高效管理数据的读写逻辑是构建可维护管道的关键。Dagster的**I/O管理器（I/O Managers）**通过分离数据处理与数据存储逻辑，显著提升了代码的可复用性和灵活性。本文将深入解析其核心概念、应用场景及实战示例。一…...

编程日记 2025/8/15 16:51:25

shell脚本--2

1、实时监控cpu、内存的shell脚本 #!/bin/bash# 获取当前时间 DATE$(date "%Y-%m-%d %H:%M:%S")# 获取CPU使用情况 CPU_USAGE$(top -b -n1 | grep "Cpu(s)" | awk {print $2 $4})# 获取内存使用情况 MEMORY_USAGE$(free | grep Mem | awk {print $3/$2 *…...

编程日记 2025/8/15 23:32:03

jenkins配置多nexus仓库多maven版本

jenkins多环境多nexus仓库，多maven版本使用优化，jenkins多环境多nexus仓库，多maven版本 1、多settings.xml设置构建背景：jenkins本地安装一个maven版本，默认只有一个settings.xml文件指定本地和远端nexus仓库&#x…...

编程日记 2025/8/15 23:32:01

Linux理解文件fd

先来段代码回顾C文件接口 myfile.c写文件 #include <stdio.h>int main() {FILE *fp fopen("log.txt","a");if(NULL fp){perror("fopen");return 1;}fprintf(fp,"helloWorld,%d,%s,%lf\n",10,"lsf",3.14);fclose(fp)…...

编程日记 2025/8/15 23:30:47

【Python】os模块

os 模块是 Python 标准库中用于与操作系统交互的核心模块，提供了许多操作文件和目录的函数。 1. 基本介绍 os 模块提供了以下主要功能： 文件和目录操作路径操作进程管理环境变量访问 import os2. 常用功能分类 2.1 文件和目录操作函数/方法描述o…...

编程日记 2025/8/15 23:30:45

2025 Mac常用软件安装配置

1、homebrew 2、jdk 使用brew安装jdk： 配置环境变量： 3、maven 使用brew安装maven： 配置环境变量： 4、光标平滑移动 5、鼠标滚轮调整 mos 6、常用的终端工具 tabby 7、软件卸载腾讯柠檬：https://lemon.qq.com/ 8、…...

编程日记 2025/8/15 23:30:43

PyQt5 实现自定义滑块，效果还不错

最近，黄老师闲来无事，需要做一个播放器的滑块，但是Qt官方的长这个样子，不太好看于是我自己写了一个，效果还不错，请看下面的效果图：功能可以点击，可以拖拽改变进度，和播放器的进度条一样源码如下：需要的自取 import sys from PyQt5.QtWidgets import QApplicat…...

编程日记 2025/8/16 1:19:34

如何在ENVI Classic 和 ENVI中进行波段合成

示例使用Landsat的三个波段进行合成为示例，合成后展示为假彩色。对应关系为： Red -- b4（近红外 near-infrared）NIR Green -- b3 （红光 Red） Blue -- b2 （绿光 Green） 一、ENVI…...

编程日记 2025/8/16 1:19:31

协方差与皮尔逊相关系数：从定义到应用的全面解析

目录一、协方差与皮尔逊相关系数的定义1.1 协方差（Covariance）1.2 皮尔逊相关系数（Pearson Correlation Coefficient） 二、协方差的定义与推导逻辑2.1 核心目标：衡量变量的“协同变化”2.2 数学表达的直观性2.3 从线性…...

编程日记 2025/8/16 1:19:28

ICML 2025录取率公布，spotlight posters仅占2.6%

近日，ICML 2025公布了论文录用结果。本次大会共收到 12,107篇有效论文投稿，比去年增加了28%，今年录取论文3,260篇，录取率为 26.9%。其中仅有313篇被列为“焦点海报”（即所有投稿中排名前2.6%的论文）&#x…...

编程日记 2025/8/16 1:19:26

kotlin一个函数返回多个值

一、主要实现方式 1. Pair/Triple 元组用途：临时快速返回 2 或 3 个简单值，适用于简单场景语法： fun getStatus(): Pair<Int, String> {return Pair(200, "Success") // 等价于 200 to "Success" }// 解构接收 …...

编程日记 2025/8/16 1:19:24

Clojure 学习笔记

Clojure哲学 1.又一种Lisp？ 优美、灵活、代码即数据。实现一门程序设计语言，代码同数据一般对待，这需要语言本身具有非常强的可塑性。当语言就是以这种本质的数据结构表现时，语言本身就可以操作自己的结构和行为了。 2.函数式编…...

编程日记 2025/8/16 1:19:21

5.7 react 路由

react 状态管理库 14:20 react 路由（补充） 数据路由路由hooks 路由跳转 （方法标签/内置方法） 获取路由地址栏信息动态路由实现（多角色权限路由） redux redux-toolkit 状态管理 antd 组件使用 1.…...

编程日记 2025/8/16 1:19:19

8. HTML 表单基础

表单是网页开发中与用户交互的核心组件，用于收集、验证和提交用户输入的数据。本文将基于提供的代码素材，系统讲解 HTML 表单的核心概念、常用控件及最佳实践。一、表单的基本结构一个完整的 HTML 表单由以下部分组成： <form action&q…...

编程日记 2025/8/16 1:19:17

遥感数据处理、机器学习建模与空间预测的全流程指南——涵盖R语言（随机森林、XGBoost、SVM等）、特征提取、模型优化及生态学案例分析

随机森林是一种强大的集成学习方法，特别适用于复杂的遥感数据分析。它通过构建多棵决策树并引入随机性，有效降低模型的方差和过拟合风险。在训练过程中，随机森林利用Bootstrap抽样生成多样化的训练集，并在节点分裂时随机选择特征子…...

编程日记 2025/8/15 1:23:07

Android 数据持久化之数据库存储 Room 框架

一、简介 Room 是 Google 推出的 Android 持久层框架，建立在 SQLite 之上，提供了一个抽象层，简化了数据库操作。它通过注解和编译时检查来确保数据操作的正确性。 Room 主要由以下三个组件组成： Entity（实体&#x…...

编程日记 2025/8/16 1:19:14

空间数据分析新趋势：AI 与 ArcGIS Pro 的协同创新

技术点目录 AI（DeepSeek、ChatGPT）大模型介绍及应用AI（DeepSeek、ChatGPT）支持下空间数据处理及分析功能基础AI（DeepSeek、ChatGPT）支持下空间数据选择及读取AI（DeepSeek、ChatGPT）支…...

编程日记 2025/8/16 1:19:12

Oracle OCP认证考试考点详解083系列10

题记： 本系列主要讲解Oracle OCP认证考试考点（题目），适用于19C/21C,跟着学OCP考试必过。 46. 第46题： 题目解析及答案： 查看以下配置： CDB1 和 CDB2 是两个容器数据库。 PDB1 是 CDB1 中的一…...

编程日记 2025/8/16 1:19:10

【linux常用指令】du命令

今天收到通知需要将服务器上的容量大的文件移动到大容量数据盘中。 du -sh */ | sort -h如果你想按大小排序显示文件夹，可以结合 sort 命令。这会按大小从小到大排序显示文件夹。如果想按大小从大到小排序，可以加上 -r 选项。 du -sh */ | sort -h -r...

编程日记 2025/8/16 1:19:08

统一返回JsonResult踩坑

定义了一个统一返回类，但是没有给Data 导致没有get/set方法，请求一直报错 public class JsonResult<T> {private int code;private String message;private T data;public JsonResult() {}public JsonResult(int code, String message, T data) {…...

编程日记 2025/8/16 1:19:06

MCP Client适配DeepSeek

本文是通过MCP官方的client例子进行修改，适配DeepSeek API. MCP client 先解析一下什么是MCP client。 MCP Client 是 Model Context Protocol（模型上下文协议）架构中的客户端组件，主要负责与 MCP 服务器建立和管理连接。它是一…...

编程日记 2025/8/16 1:19:04

物业设备管理的“多系统协同”模式：ERP、IoT与工单系统如何联动？

在智慧物业快速发展的今天，设备管理已从“被动维修”转向“主动预防”，但许多企业仍面临系统割裂、数据孤岛的困境。ERP系统记录设备台账却难实时监控，IoT设备采集数据却无法联动响应，工单系统处理流程却依赖人工流转——这些痛点…...

编程日记 2025/8/15 23:36:19

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】6.4 时间序列分析（窗口函数处理时间数据）

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲 PostgreSQL时间序列分析：窗口函数处理时间数据实战一、时间序列分析核心场景与窗口函数优势1.1 业务场景需求1.2 窗口函数核心优势二、窗口函数基础&#xff1a…...

编程日记 2025/8/16 1:19:00

数据可视化：艺术与科学的交汇点，如何让数据“开口说话”？

数据可视化：艺术与科学的交汇点，如何让数据“开口说话”？ 数据可视化，是科技与艺术的结合，是让冰冷的数字变得生动有趣的桥梁。它既是科学——讲究准确性、逻辑性、数据处理的严谨性；又是艺术——强调美感…...

编程日记 2025/8/16 1:18:58

IP 风险画像如何实现对恶意 IP 的有效拦截？

IP 风险画像作为一种强大的技术手段，在识别和拦截恶意 IP 方面发挥着至关重要的作用。 IP风险画像技术简介 IP 风险画像技术通过收集和分析 IP 地址的多维度信息，为每个 IP 构建详细的风险评估模型。这些维度包括但不限于 IP 的地理位置、历史访问行…...

编程日记 2025/8/16 1:18:56

B树如何用于磁盘，B+树为如何用于数据库

B树 M阶B树：每个节点最多M个子节点，每个节点最多存M-1个Key-Value值，key以升序排序。构建五阶B树。那么value是干什么的呢。先让我们介绍一下cpu 内存磁盘的关系我们知道了页的概念。B树用于磁盘的读取。Key是对文件进行编号&#xff…...

编程日记 2025/8/16 1:18:54

image-classifier开源程序Elixir是使用电脑学习对图像进行分类并从中提取数据或描述其内容，非常不错的图片整理工具

一、软件介绍文末提供程序和源码下载 Elixir 机器学习功能构建一个应用程序，该应用程序执行图像字幕和语义搜索，以使用您的语音查找上传的图像！ 二、为什么做这个程序在构建我们的应用程序时，我们认为 images 这是一种必不…...

编程日记 2025/8/16 1:18:52

HarmonyOS 鸿蒙操作物联网设备蓝牙模块、扫描蓝牙、连接蓝牙和蓝牙通信

01【HarmonyOS 蓝牙】物联网无线传输方案、HarmonyOS蓝牙数据通信之前的准备工作 02【HarmonyOS 蓝牙】配置蓝牙权限检测打开关闭蓝牙扫描蓝牙显示蓝牙设备 03【HarmonyOS 蓝牙】连接蓝牙发现服务获取特征值读取信息写入信息和蓝牙模块交互 04【物联网 Wifi模块…...

编程日记 2025/8/16 1:18:50

STM32开发GPIO

1、什么是GPIO General Purpose lnput Output，即通用输入输出端口，简称GPIO 作用:负责采集外部器件的信息或者控制外部器件工作，即输入输出 2、GPIO特点 1，不同芯片型号，IO口数量可能不一样，可通过选型…...

编程日记 2025/8/16 1:18:47

【机器学习】Logistic 回归

Logistic 回归虽然名字中带有“回归”，但它实际上是一种广泛应用于二分类问题的线性分类算法。 Logistic 回归的核心任务是预测一个样本属于正类的概率，而概率必须在 [ 0 , 1 ] 范围内。 Logistic回归通过将输入特征的线性组合映射到概率空间&…...

编程日记 2025/8/16 1:18:45

ClimateCatcher专用CDS配置教程

文章目录 API获取官网账号注册CDSAPI本地化配置 API获取官网首先需要访问CDS官方网站，点我蓝色字直接到官网how-to-api点我蓝色字直接到官网目前API的网页是这样的账号注册如果有账号的小伙伴可以直接登录自己的账号并跳转到CDSAPI本地化配置，如…...

编程日记 2025/8/16 1:18:43

拆解 Prompt 工程：五大场景驱动 DeepSeek 超越 ChatGPT

同样的模型、不一样的答案，差距往往发生在一行 Prompt 里。本文围绕五大高频实战场景，给出可直接复制的 DeepSeek 提问框架，并穿插《DeepSeek 行业应用大全》中 64 个行业模板精华，帮助读者迅速跑赢 ChatGPT。🌟 剧透…...

编程日记 2025/8/16 1:18:41

【解决方案】CloudFront VPC Origins 实践流程深入解析 —— 安全高效架构的实战之道

目录引言一、VPC Origins 的核心价值（一）安全性提升（二）运维效率优化（三）成本节约（四）全球分发能力的保留二、VPC Origins 的架构解析（一）流量路径设计&…...

编程日记 2025/8/16 1:18:39

软考系统架构设计师系列知识点 —— 黑盒测试与白盒测试（2）

接前一篇文章：软考系统架构设计师系列知识点 —— 黑盒测试与白盒测试（1） 本文内容参考： 黑盒测试和白盒测试详解-CSDN博客软件测试中的各种覆盖（Coverage）详解-CSDN博客特此致谢！ 二、白…...

编程日记 2025/8/15 1:23:07

【背包dp----01背包】例题三------（标准的01背包+变种01背包1【恰好装满背包体积产生的最大价值】）

【模板】01背包题目链接题目描述 : 输入描述: 输出描述: 示例1 输入 3 5 2 10 4 5 1 4输出 14 9说明装第一个和第三个物品时总价值最大，但是装第二个和第三个物品可以使得背包恰好装满且总价值最大。示例2 输入 3 8 12 6 11 8 6 8输出 8 0说明装第三个物…...

编程日记 2025/8/15 12:15:51

设计模式之状态模式

在日常开发中，我们经常会遇到这样的场景：一个对象在不同时刻有不同的状态，不同状态下它的行为也会发生变化。此时，使用大量if...else或switch语句会让代码变得混乱而难以维护。为了更优雅地应对这种问题，状态模式(Stat…...

编程日记 2025/8/16 1:18:32

arXiv论文 MALOnt: An Ontology for Malware Threat Intelligence

文章讲恶意软件威胁情报本体。作者信息作者是老美的，单位是伦斯勒理工学院，文章是2020年的预印本，不知道后来发表在哪里（没搜到，或许作者懒得投稿，也可能是改了标题）。中心思想介绍开源…...

编程日记 2025/8/15 1:59:04

Spark处理过程-转换算子和行动算子

计算时机转换算子转换算子是惰性执行的，这意味着在调用转换算子时，系统不会立即进行数据处理。这种惰性计算的方式可以让 Spark 对操作进行优化，例如合并多个转换操作，减少数据的传输和处理量。行动算子行动算子是立即执行的。…...

编程日记 2025/8/16 1:18:27

使用 pgrep 杀掉所有指定进程

使用 pgrep 杀掉所有指定进程 pgrep 是一个查找进程 ID 的工具，结合 pkill 或 kill 命令可以方便地终止指定进程。以下是几种方法： 方法1：使用 pkill（最简单） pkill 进程名例如杀掉所有名为 “firefox” 的进程&…...

编程日记 2025/8/16 1:18:25

Android学习总结之MMKV（代替SharedPreferences）

Q1：SharedPreferences 为什么会导致 ANR？MMKV 如何从根本上解决？ 高频考察点：Android 主线程阻塞原理、SP 同步 / 异步机制缺陷、MMKV 内存映射技术 SP 导致 ANR 的三大元凶： 同步提交（commit ()&#xf…...

编程日记 2025/8/16 1:18:21

SWiRL：数据合成、多步推理与工具使用

SWiRL：数据合成、多步推理与工具使用在大语言模型（LLMs）蓬勃发展的今天，其在复杂推理和工具使用任务上却常遇瓶颈。本文提出的Step-Wise Reinforcement Learning（SWiRL）技术，为解决这些难题带…...

编程日记 2025/8/16 1:18:19

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】7.2 PostgreSQL与Python数据交互（psycopg2库使用）

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲 PostgreSQL与Python数据交互：psycopg2库实战指南一、引言：数据交互的桥梁1.1 psycopg2核心优势二、环境准备与基础连接2.1 安装配置2.1.1 安装psyco…...

编程日记 2025/8/16 1:18:16

【Prompt工程—文生图】案例大全

目录一、人物绘图二、卡通头像三、风景图四、logo设计图五、动物形象图六、室内设计图七、动漫风格八、二次元图九、日常场景图十、古风神化图十一、游戏场景图十二、电影大片质感本文主要介绍了12种不同类型的文生图技巧，通过加入不同的图像…...

编程日记 2025/8/16 1:18:13

NVM完全指南：安装、配置与最佳实践

发布于 2025年5月7日 • 阅读时间：10分钟 💡 TL;DR: 本文详细介绍了如何完整卸载旧版Node.js，安装NVM，配置阿里云镜像源，以及设置node_global与node_cache目录，打造高效Node.js开发环境。 📋 目…...

编程日记 2025/8/15 23:30:40

成都养老机器人“上岗”，机器人养老未来已至还是前路漫漫？

近日，成都养老机器人“上岗”引发关注，赛博养老这一概念再次成为人们讨论的焦点，究竟赛博养老未来已来，还是仍需漫长等待，引发诸多思考。成都研发的养老机器人“上岗”确实标志着智慧养老领域的又一进步，…...

编程日记 2025/8/16 2:59:35

数据中心第十五次CCF-CSP计算机软件能力认证

总结一下图树算法比如krusal 迪杰斯特拉 prim算法喜欢改变距离定义或者求别的东西而拓扑排序喜欢大模拟本题使用kerusal算法求出最后一条边就可以。 ac代码： #include <iostream> #include <vector> #include <algorithm>using namespac…...

编程日记 2025/8/16 1:18:11