当前位置： 首页 > news >正文

数据中台-常用工具组件：DataX、Flink、Dolphin Scheduler、TensorFlow和PyTorch等

news 来源：原创 2025/8/13 11:35:32

数据实施服务工具组件概览

数据中台的数据实施服务涵盖 数据采集、处理、调度、分析与应用 全流程，以下为关键工具组件及其作用：

工具类型核心功能典型应用场景
DataX离线数据采集多源异构数据批量同步数据仓库ODS层数据导入
Apache Flink实时计算引擎流批一体数据处理、实时ETL、复杂事件处理实时监控、DWD层实时清洗与聚合
DolphinScheduler任务调度平台可视化编排ETL任务、依赖管理与监控告警跨层数据加工任务调度（DWD→DWS）
TensorFlow机器学习框架模型训练与部署、传统机器学习与深度学习用户画像、销量预测、异常检测
PyTorch深度学习框架动态图神经网络训练、学术研究与生产部署NLP、CV模型开发与优化

1. DataX（离线数据采集）

  • 核心功能：

    • 支持 异构数据源 间高效批量同步（如MySQL→HDFS、Oracle→Doris）。

    • 提供插件化架构，扩展支持20+数据源（RDBMS、NoSQL、文件系统等）。

  • 应用场景：

    • 将业务系统数据（如订单表、日志文件）离线同步至数据仓库ODS层。

    • 定期全量/增量备份历史数据。

  • 优势：

    • 低代码配置：通过JSON配置文件定义同步任务，无需编写代码。

    • 高吞吐：分布式架构支持并发读写，提升传输效率。

示例配置：

json

复制

下载

{"job": {"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "user", "password": "pass", "column": ["id","name"], "connection": [{"jdbcUrl": "jdbc:mysql://db:3306/test", "table": ["orders"]}]}},"writer": {"name": "hdfswriter","parameter": {"path": "/data/ods/orders", "defaultFS": "hdfs://namenode:8020"}}}]}
}

2. Apache Flink（实时数据采集与计算）

  • 核心功能：

    • 流批一体：统一处理实时流数据（如Kafka）与离线数据（如HDFS）。

    • 状态管理：支持Exactly-Once语义，保障复杂计算场景的数据一致性。

    • 复杂事件处理（CEP）：识别数据流中的模式（如用户连续登录失败告警）。

  • 应用场景：

    • 实时清洗DWD层数据（如过滤无效日志、补全字段）。

    • 实时聚合生成DWM层指标（如每分钟交易额、UV统计）。

  • 优势：

    • 低延迟：亚秒级响应，适用于实时风控、大屏监控。

    • 高容错：Checkpoint机制保障故障恢复后数据不丢失。

示例代码（实时统计每分钟订单量）：

java

复制

下载

DataStream<Order> orders = env.addSource(new KafkaSource<>("orders_topic"));
orders.keyBy(Order::getProductId).window(TumblingProcessingTimeWindows.of(Time.minutes(1))).aggregate(new CountAggregator()).sinkTo(new DorisSink());

3. DolphinScheduler（任务调度与编排）

  • 核心功能：

    • 可视化DAG：拖拽式设计任务依赖关系，支持跨系统任务（SQL、Shell、Spark等）。

    • 分布式调度：动态分配任务至多节点，避免单点瓶颈。

    • 监控告警：实时跟踪任务状态，支持邮件/钉钉通知失败任务。

  • 应用场景：

    • 调度DataX离线同步任务、Flink实时任务启停。

    • 管理从ODS到ADS层的ETL任务依赖链。

  • 优势：

    • 灵活性：支持多租户、多环境（开发/测试/生产）隔离。

    • 易维护：任务版本回溯、日志在线查看。

调度流程示例：

  1. 每日0点触发DataX任务（MySQL→ODS）。

  2. ODS任务成功后，触发Flink实时清洗任务生成DWD层。

  3. DWD层就绪后，并行执行多个Spark聚合任务生成DWS层。

4. TensorFlow & PyTorch（机器学习与深度学习）

TensorFlow

  • 核心功能：

    • 静态计算图：适合生产环境部署，优化计算性能。

    • 生态系统：TFX（端到端ML流水线）、TFLite（移动端推理）。

  • 应用场景：

    • 结构化数据建模（如用户流失预测、推荐系统）。

    • 模型服务化（通过TF Serving提供API接口）。

PyTorch

  • 核心功能：

    • 动态计算图：灵活调试，适合学术研究与快速实验。

    • GPU加速：原生支持混合精度训练，提升模型训练效率。

  • 应用场景：

    • 非结构化数据建模（如图像分类、自然语言处理）。

    • 前沿算法实现（如Transformer、GAN）。

协同逻辑：

  • 训练阶段：PyTorch快速实验模型结构，TensorFlow优化生产部署。

  • 推理阶段：通过ONNX转换模型格式，实现框架间互通。

工具组件整合逻辑

  1. 数据接入层：

    • DataX离线同步历史数据至ODS，Flink实时接入流数据至DWD。

  2. 数据处理层：

    • DolphinScheduler调度Spark/Flink任务完成清洗、聚合。

  3. 分析应用层：

    • TensorFlow/PyTorch基于DWS层数据训练模型，结果反馈至业务系统。

总结

数据中台的数据实施服务通过 DataX + Flink 实现离线与实时数据融合，DolphinScheduler 保障任务高效调度，TensorFlow/PyTorch 驱动数据智能化应用。这些工具组件的协同工作，构建了从数据接入到价值挖掘的全链路能力，支撑企业数字化转型中的复杂需求。

其他常用工具参考：

数据中台-数据实施服务常用工具组件-(续)-CSDN博客

相关文章：

数据中台-常用工具组件：DataX、Flink、Dolphin Scheduler、TensorFlow和PyTorch等

数据实施服务工具组件概览 数据中台的数据实施服务涵盖 数据采集、处理、调度、分析与应用 全流程&#xff0c;以下为关键工具组件及其作用&#xff1a; 工具类型核心功能典型应用场景DataX离线数据采集多源异构数据批量同步数据仓库ODS层数据导入Apache Flink实时计算引擎流…...

编程日记 2025/8/13 11:35:32

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】电商数据分析案例-9.2 流量转化漏斗分析

&#x1f449; 点击关注不迷路 &#x1f449; 点击关注不迷路 &#x1f449; 点击关注不迷路 文章大纲 9.2 流量转化漏斗分析&#xff1a;从数据清洗到可视化全流程实战一、背景与目标二、数据准备与清洗2.1 数据来源与字段说明2.2 数据清洗步骤2.2.1 去除无效数据2.2.2 处理时…...

编程日记 2025/8/8 20:55:03

结合Splash与Scrapy：高效爬取动态JavaScript网站

在当今的Web开发中&#xff0c;JavaScript的广泛应用使得许多网站的内容无法通过传统的请求-响应模式直接获取。为了解决这个问题&#xff0c;Scrapy开发者经常需要集成像Splash这样的JavaScript渲染引擎。本文将详细介绍Splash JS引擎的工作原理&#xff0c;并探讨如何将其与S…...

编程日记 2025/8/13 11:32:51

[计算机科学#10]:早期的计算机编程方式

【核知坊】&#xff1a;释放青春想象&#xff0c;码动全新视野。 我们希望使用精简的信息传达知识的骨架&#xff0c;启发创造者开启创造之路&#xff01;&#xff01;&#xff01; 内容摘要&#xff1a;1804年&#xff0c;为了在织布机上编织出丰富多彩的…...

编程日记 2025/8/13 11:33:19

JAVA：Spring Boot 集成 Lua 的技术博客

1、简述 在现代开发中，Lua 以其轻量级、高性能以及易嵌入的特点广泛用于脚本扩展、游戏开发以及配置处理场景。将 Lua 与 Spring Boot 集成，可以在 Java 项目中实现动态脚本功能，增强项目的灵活性和动态配置能力。 样例代码: https://gitee.com/lhdxhl/springboot-example…...

编程日记 2025/8/13 11:35:30

代码随想录算法训练营 Day40 动态规划Ⅷ 股票问题

动态规划 题目 121. 买卖股票的最佳时机 - 力扣&#xff08;LeetCode&#xff09; 使用二维 dp 数组表示 1. dp[i][0] 表示持有股票的最大金额&#xff0c;dp[i][1] 表示不持有股票的最大金额&#xff0c;表示盈利结果 2. 递推公式由前一天持有金额和是否买股票决定 决定是否…...

编程日记 2025/8/8 18:10:02

【已解决】WORD域相关问题；错误 未找到引用源；复制域出错；交叉引用域到底是个啥

&#xff08;微软赶紧倒闭 所有交叉引用域&#xff0c;有两个状态&#xff1a;1.锁定。2.手动。可通过编辑->链接查看。 “锁定”状态域的能力&#xff1a; 1. 导出PDF格式稳定&#xff08;【已解决】WORD导出PDF时&#xff0c;参考文献上标自动被取消/变为正常文本_word…...

编程日记 2025/8/13 11:32:51

小米 MiMo 开源：7B 参数凭什么 “叫板” AI行业巨头？

目录 一、技术革命的起点&#xff1a;小米AI战略的“破局者” 1.1 战略背景&#xff1a;从硬件厂商到AI基础设施提供商 1.2 团队揭秘&#xff1a;“天才少女”罗福莉与小米AI梦之队 二、技术架构解析&#xff1a;7B参数如何实现“推理跃迁” 2.1 核心技术原理 2.2 技术指…...

编程日记 2025/8/13 11:34:44

构建高可用性的LVS-DR群集：实现无缝的负载均衡与故障转移

目录 一、LVS-DR集群 1.LVS-DR工作原理 2.数据包流向分析 3.LVS-DR模式特点 二、直接路由模式&#xff08;LVS-DR&#xff09; 1.资源清单 2.配置负载调度器(lvs) 3.配置节点服务器(web1、web2) 4.测试LVS群集 5.使用NFS发布共享资源&#xff08;nfs上&#xff09; …...

编程日记 2025/8/13 11:33:20

低光图像增强新色彩空间HVI：技术突破与创新解析（HVI: ANewColor Space for Low-light Image Enhancement）

摘要 低光图像增强&#xff08;LLIE&#xff09;是计算机视觉领域的关键任务&#xff0c;旨在从受损的低光图像中恢复细节信息。针对现有方法在标准RGB&#xff08;sRGB&#xff09;空间易产生色偏与亮度伪影的问题&#xff0c;以及HSV色彩空间转换引发的红/黑噪声问题&#xf…...

编程日记 2025/8/8 18:09:44

Abaqus学习笔记

目录 Abaqus介绍 学习资源 ​编辑Abaqus/CAE abaqus下载安装 abaqus基本操作 Abaqus启动 新建模型 ​编辑 ​编辑修改界面背景 ​编辑​编辑结果信息的显示与否 ​编辑计算结果信息字体设置 ​编辑允许多绘图状态 单位量纲 视图操作 事前说明 ODB文件 本构关系…...

编程日记 2025/8/13 11:34:43

AquaCrop 模型新视角：多技术助力农业精准水管理

技术点目录 模型原理介绍与数据要求及模型分析数据制备、模型运行与案例实践&#xff08;界面GUI版本&#xff09;模型优化与敏感性分析&#xff08;基于R语言实践&#xff09;源代码分析&#xff08;基于FORTRAN&#xff09;未来气候变化影响分析与案例实践&#xff08;基于Py…...

编程日记 2025/8/13 11:31:07

从知识图谱到精准决策：基于MCP的招投标货物比对溯源系统实践

前言 从最初对人工智能的懵懂认知，到逐渐踏入Prompt工程的世界，我们一路探索，从私有化部署的实际场景，到对DeepSeek技术的全面解读，再逐步深入到NL2SQL、知识图谱构建、RAG知识库设计，以及ChatBI这些高阶应用。一路走来，我们在AI的领域里一步一个脚印，不断拓展视野和能…...

编程日记 2025/8/8 20:54:59

【平面波导外腔激光器专题系列】1064nm单纵模平面波导外腔激光器‌

摘要&#xff1a;我们介绍了平面波导外腔二极管激光器 (PW-ECL) 的特性。据我们所知&#xff0c;这是第一款蝶形封装的 1064nm半导体激光器&#xff0c;其可以稳定锁定到外部参考频率。我们从精密实验的角度评估了它的性能&#xff0c;特别是使用碘的超精细吸收线&#xff0c;在…...

编程日记 2025/8/8 20:54:57

C++ 算法学习之旅：从入门到精通的秘籍

在编程的浩瀚宇宙中&#xff0c;C 算法宛如璀璨的星辰&#xff0c;照亮我们前行的道路。作为一名 C 算法小白&#xff0c;或许你和我一样&#xff0c;怀揣着对算法的好奇与憧憬&#xff0c;却又在学习的道路上感到迷茫。别担心&#xff0c;今天我就和大家分享一下如何学习各种基…...

编程日记 2025/8/8 20:54:55

按摩椅上的气囊系统 是现代按摩椅中非常关键的组成部分，它与机芯系统相辅相成，为用户提供全方位、更接近真人按摩的体验

按摩椅上的气囊系统是现代按摩椅中非常关键的组成部分&#xff0c;它与机芯系统相辅相成&#xff0c;为用户提供全方位、更接近真人按摩的体验。 一、按摩椅气囊的产生背景 1. 传统按摩方式的局限 早期的按摩椅主要依赖机械式的“凸轮电机”或简单的机芯滚轮结构&#xff0c;…...

编程日记 2025/8/8 20:54:53

配置Hadoop集群环境-使用脚本命令实现集群文件同步

&#xff08;一&#xff09;Hadoop的运行模式 hadoop一共有如下三种运行方式&#xff1a; 1. 本地运行。数据存储在linux本地&#xff0c;测试偶尔用一下。我们上一节课使用的就是本地运行模式hadoop100。 2. 伪分布式。在一台机器上模拟出 Hadoop 分布式系统的各个组件&…...

编程日记 2025/8/13 11:33:18

Linux系统（OpenEuler22.03-LTS）部署FastGPT

在 openEuler 22.03 LTS 系统上通过 Docker Compose 安装 FastGPT 的步骤如下&#xff1a; 官方参考文档&#xff1a;https://doc.fastgpt.cn/docs/development/docker/ 1. 安装 Docker 和 Docker Compose 可以参考我之前离线安装Docker的文章&#xff1a;openEuler 22.03 LT…...

编程日记 2025/8/13 11:32:52

FastExcel 本地开发和Linux上上传Resource文件的差异性

不能直接通过路径来获取 这个是一个下载导出文件的操作 GetMapping(value "/export/all") public void exportAll(HttpServletResponse response, LaylineListReq req) throws IOException {// 从类路径下获取 Excel 文件资源ClassPathResource classPathResource…...

编程日记 2025/8/8 20:54:48

Excel学习笔记

在excel表格中&#xff0c;某列的数据最大&#xff0c;则整行都红色底色标出&#xff0c;怎么实现&#xff1f; 更改x值&#xff0c;excel图表上动态显示 该值的Y值且动态显示十字交叉线 为了实现如下图所示的效果&#xff0c;需要做出几个辅助列就行。 step1&#xff1a;先写…...

编程日记 2025/8/8 20:54:47

数据中台-数仓分层结构【Doris】

数据仓库采用Doris进行搭建&#xff0c;并分为ODS/DWD/DWM/DWS/ADS等层级结构进行分层数据存储。Doris是百度开源的MPP数据库&#xff0c;可有效支撑大数据量的数据计算和分布式扩展存储。 数据仓库分层架构设计目标 解耦与复用性&#xff1a;通过分层隔离原始数据与业务逻辑&a…...

编程日记 2025/8/8 20:54:45

使用Jmeter对AI模型服务进行压力测试

一、JMeter介绍 Apache JMeter 是一款开源的性能测试工具&#xff0c;主要用于评估Web应用程序的负载和性能。它支持多种类型的测试&#xff0c;包括但不限于&#xff1a; 负载测试&#xff1a;模拟大量用户访问系统以检测其在高负载下的表现。性能测试&#xff1a;评估系统在…...

编程日记 2025/8/8 20:54:43

测试用例管理平台哪些好用？9款主流测试平台对比

在当今软件开发领域&#xff0c;测试用例管理平台已成为提升产品质量和团队协同效率的关键工具。本文将围绕“测试用例管理平台”这一核心关键词&#xff0c;全面解析市面上9款主流产品&#xff0c;帮助企业管理者和测试团队快速了解各平台的核心优势和适用场景&#xff0c;从而…...

编程日记 2025/8/13 11:32:52

C++函数传值与传引用对比分析

在C编程中&#xff0c;函数参数传递的方式直接影响程序的性能、内存管理以及代码逻辑的正确性。传值&#xff08;Pass by Value&#xff09;和传引用&#xff08;Pass by Reference&#xff09;是两种最常用的参数传递方式&#xff0c;它们各有优缺点&#xff0c;适用于不同的场…...

编程日记 2025/8/8 20:54:41

【se-res模块学习】结合CIFAR-10分类任务学习

继CIFAR-10图像分类&#xff1a;【Res残差连接学习】结合CIFAR-10任务学习-CSDN博客 再优化 本次训练结果在测试集上的准确率表现可达到90%以上 1.训练模型&#xff08;MyModel.py&#xff09; import torch import torch.nn as nnclass SENet(nn.Module): # SE-Net模块def…...

编程日记 2025/8/13 11:31:06

二元随机响应（Binary Randomized Response, RR）的翻转概率

随机响应&#xff08;Randomized Response&#xff09;机制 ✅ 回答核心&#xff1a; p 1 1 e ε 才是「翻转概率」 \boxed{p \frac{1}{1 e^{\varepsilon}}} \quad \text{才是「翻转概率」} p1eε1​​才是「翻转概率」 而&#xff1a; q e ε 1 e ε 是「保留真实值」…...

编程日记 2025/6/29 4:41:50

湖北理元理律师事务所：债务优化中的“生活保障”方法论

债务危机往往伴随生活质量骤降&#xff0c;如何在还款与生存间找到平衡点&#xff0c;成为债务优化的核心挑战。湖北理元理律师事务所基于多年实务经验&#xff0c;提出“双轨并行”策略&#xff1a;法律减负与生活保障同步推进。 债务优化的“温度法则” 1.生存资金预留机制…...

编程日记 2025/8/8 20:54:38

RFID智能书柜：精准定位，找书告别 “大海捞针”

在传统图书馆的浩瀚书海&#xff0c;找书无异于在错综复杂的迷宫里徘徊。读者在书架间来回奔波&#xff0c;耗费大量时间精力&#xff0c;还常一无所获。RFID智能书柜的出现&#xff0c;彻底改写了这一局面。它搭载的RFID读写器与天线协同工作&#xff0c;能实时精准定位贴有RF…...

编程日记 2025/8/13 11:31:05

视觉图像处理及多模态融合初探

（一）指标汇总 1. 图像采集与质量提升 指标描述可能的量化值图像清晰度反映图像中物体的边缘和细节的清晰程度例如：1-10 分（1 为极不清晰，10 为非常清晰）噪声水平表示图像中随机噪声的多少例如：噪声强度百分比（0%-100%）畸变程度描述图像中物体形状的变形程度例如：畸变…...

编程日记 2025/8/8 20:54:35

射频前端模组芯片（PA）三伍微电子GSR2337 兼容替代SKY85337, RTC7646, KCT8247HE

射频前端模组芯片&#xff08;PA&#xff09;三伍微电子GSR2337 兼容替代SKY85337, RTC7646, KCT8247HE 型号GSR2337 ‌频率‌: 2.4 GHz ‌类型‌: FEM (PALNASW) ‌WIFI‌: 11n/ac/ax ‌功率‌: 21dBmEVM-43dB5V ‌封装‌: 3*3 mm ‌电压‌: 3.3V & 5V ‌P2P‌: SKY85…...

编程日记 2025/8/8 20:54:33

python 接收c++的.so传的jsoncpp字符串

叮&#xff01;快来看看我和文心一言的奇妙对话&#xff5e;点击链接 https://yiyan.baidu.com/share/57o6vGa3GY -- 文心一言&#xff0c;既能写文案、读文档&#xff0c;又能绘画聊天、写诗做表&#xff0c;你的全能伙伴&#xff01; 要从 C 动态链接库 (.so 文件) 中接收 JS…...

编程日记 2025/8/13 11:35:30

EasyRTC嵌入式音视频通话SDK驱动智能硬件音视频应用新发展

一、引言 在数字化浪潮下&#xff0c;智能硬件蓬勃发展&#xff0c;从智能家居到工业物联网&#xff0c;深刻改变人们的生活与工作。音视频通讯作为智能硬件交互与协同的核心&#xff0c;重要性不言而喻。但嵌入式设备硬件资源受限&#xff0c;传统音视频方案集成困难。EasyRT…...

编程日记 2025/8/13 11:34:44

Day19 常见的特征筛选算法

常见的特征筛选算法 1. 方差筛选 原理 &#xff1a;方差衡量的是数据的离散程度。在特征筛选中&#xff0c;如果某个特征的方差很小&#xff0c;说明该特征在不同样本上的值差异不大&#xff0c;那么它对模型的区分能力可能很弱。方差筛选就是通过设定一个方差阈值&#xff0…...

编程日记 2025/8/8 20:54:28

如何使用极狐GitLab 软件包仓库功能托管 terraform？

极狐GitLab 是 GitLab 在中国的发行版&#xff0c;关于中文参考文档和资料有&#xff1a; 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网 Terraform 模块库 (BASIC ALL) 基础设施仓库和 Terraform 模块仓库合并到单个 Terraform 模块仓库功能引入于极狐GitLab 15.1…...

编程日记 2025/8/8 20:54:26

15前端项目----用户信息/导航守卫

登录/注册 持久存储用户信息问题 退出登录导航守卫解决问题 持久存储用户信息 本地存储&#xff1a;&#xff08;在actions中请求成功时&#xff09; 添加localStorage.setItem(token,result.data.token);获取存储&#xff1a;&#xff08;在user仓库中&#xff0c;state中tok…...

编程日记 2025/8/13 11:34:46

重定向及基础实验

1.if指令 if (判断条件){ 执行语句; } if的正则表达式 #比较变量和字符串是否相等&#xff0c;相等时if指令认为该条件为true&#xff0c;反之为false ! #比较变量和字符串是否不相等&#xff0c;不相等时if指令认为条件为true&#xff0c;反之为false ~ #区分大小写字符&…...

编程日记 2025/8/13 11:33:18

CBO和HBO区别及介绍

CBO&#xff08;Cost-Based Optimizer&#xff09;和 HBO&#xff08;Heuristic-Based Optimizer&#xff09;是两种数据库查询优化器的类型&#xff0c;它们在优化策略和实现方式上有显著的区别。以下是详细的解释和对比&#xff1a; 1. CBO&#xff08;Cost-Based Optimizer…...

编程日记 2025/6/29 5:04:52

华为HCIP-AI认证考试版本更新通知

​华为HCIP-AI认证考试版本更新通知​ ​HCIP-AI-EI Developer V2.5认证发布​ 华为官方宣布&#xff0c;​HCIP-AI-EI Developer V2.5认证考试将于2025年3月31日正式上线。新版认证聚焦AI工程化开发与行业实践&#xff0c;新增大模型部署优化、AI边缘计算等前沿技术内容&…...

编程日记 2025/8/13 11:32:53

【算法-链表】链表操作技巧:常见算法

算法相关知识点可以通过点击以下链接进行学习一起加油&#xff01;双指针滑动窗口二分查找前缀和位运算模拟 链表是一种灵活的数据结构&#xff0c;广泛用于需要频繁插入和删除的场景。掌握链表的常见操作技巧&#xff0c;如插入、删除、翻转和合并等&#xff0c;能帮助开发者更…...

编程日记 2025/8/13 11:31:04

【探寻C++之旅】第十三章：红黑树

请君浏览 前言1. 红黑树的概念1.2 红黑树的规则1.3 红黑树如何确保最长路径不超过最短路径的两倍&#xff1f;1.4 红黑树的效率 2. 红黑树的实现2.1 红黑树的结构2.2 红黑树的插入情况1&#xff1a;变色情况2&#xff1a;单旋变色情况2&#xff1a;双旋变色代码演示 2.3 红黑树…...

编程日记 2025/6/29 4:50:41

JavaScript 性能优化全攻略：从基础到实战

引言 在现代 Web 开发中，JavaScript 作为核心语言，其性能直接影响用户体验。无论是单页应用（SPA）还是复杂交互页面，性能优化始终是开发者关注的核心。 本文将从基础策略、最新技巧、常见误区和实战案例四个维度，系统性地解析 JavaScript 性能优化的关键方法，并提供可复…...

编程日记 2025/8/13 11:32:51

Kafka消息队列之 【消费者分组】 详解

消费者分组（Consumer Group）是 Kafka 提供的一种强大的消息消费机制，它允许多个消费者协同工作，共同消费一个或多个主题的消息，从而实现高吞吐量、可扩展性和容错性。 基本概念 消费者分组：一组消费者实例的集合，这些消费者实例共同订阅一个或多个主题，并通过分组来协调…...

编程日记 2025/8/13 11:33:20

HuggingFace与自然语言处理(从框架学习到经典项目实践）[ 01 API操作 ]

本教程适用与第一次接触huggingface与相应框架和对nlp任务感兴趣的朋友&#xff0c;该栏目目前更新总结如下&#xff1a; ​​Tokenizer​​&#xff1a; 支持单句/双句编码&#xff0c;自动处理特殊符号和填充。 批量编码提升效率&#xff0c;适合训练数据预处理。Datasets​…...

编程日记 2025/8/13 11:35:31

uniapp-文件查找失败：‘@dcloudio/uni-ui/lib/uni-icons/uni-icons.vue‘

uniapp-文件查找失败&#xff1a;‘dcloudio/uni-ui/lib/uni-icons/uni-icons.vue’ 今天在HBuilderX中使用uniapp开发微信小程序时遇到了这个问题&#xff0c;就是找不到uni-ui组件 当时创建项目&#xff0c;选择了一个中间带的底部带选项卡模板&#xff0c;并没有选择内置u…...

编程日记 2025/6/29 3:43:29

springboot+vue实现在线网盘（云盘）系统

今天教大家如何设计一个网盘&#xff08;云盘&#xff09;系统系统 , 基于目前主流的技术&#xff1a;前端vue&#xff0c;后端springboot。 同时还带来的项目的部署教程。 视频演示 springbootvue实现在线网盘&#xff08;云盘&#xff09;系统 图片演示 一. 系统概述 用过百…...

编程日记 2025/6/29 3:55:54

启智平台调试 qwen3 4b ms-swift

以上设置完成后&#xff0c;我们点击新建任务。等待服务器创建和分配资源。 资源分配完成后我们看到如下列表&#xff0c;看到资源running状态&#xff0c;后面有一个调试按钮&#xff0c;后面就可以进入代码调试窗体界面了。 点击任务名称 跳转 访问github失败 加速器开启…...

编程日记 2025/6/29 4:35:57

KAXA凯莎科技AGV通信方案如何赋能智能仓储高效运作？

AGV智慧物流系统融合了先进的自动导航技术和智能控制算法&#xff0c;通过激光雷达、摄像头、激光传感器等多种感知设备&#xff0c;实现仓库内的精准定位与自主导航。系统具备环境实时感知能力&#xff0c;能够动态避障&#xff0c;并基于任务调度智能规划最优路径&#xff0c…...

编程日记 2025/6/29 3:28:25

【AI提示词】费曼学习法导师

提示说明 精通费曼学习法的教育专家&#xff0c;擅长通过知识解构与重构提升学习效能。 提示词 Role: 费曼学习法导师 Profile language: 中文description: 精通费曼学习法的教育专家&#xff0c;擅长通过知识解构与重构提升学习效能background: 认知科学硕士背景&#xff0…...

编程日记 2025/8/8 19:29:02

体绘制中的传输函数（transfer func）介绍

文章目录 VTK volume不透明度传输函数梯度不透明度传输函数颜色传输函数VTK volume VTK (Visualization Toolkit) 中的 Volume（体积）是一个重要的概念，特别是在处理和可视化三维数据时。以下是 VTK Volume 的一些关键概念： 定义： Volume 在 VTK 中代表一个三维数据集，通…...

编程日记 2025/6/29 3:57:47

Algolia - Docsearch的申请配置安装【以踩坑解决版】

&#x1f468;‍&#x1f393;博主简介 &#x1f3c5;CSDN博客专家   &#x1f3c5;云计算领域优质创作者   &#x1f3c5;华为云开发者社区专家博主   &#x1f3c5;阿里云开发者社区专家博主 &#x1f48a;交流社区&#xff1a;运维交流社区 欢迎大家的加入&#xff01…...

编程日记 2025/8/8 18:09:35