当前位置： 首页 > news >正文

YARN Cluster模式和Client模式的区别是什么

news 来源：原创 2025/7/28 3:50:34

在 Apache Spark 的 YARN 部署中，Cluster 模式和Client 模式的核心区别在于 Driver 的启动位置和客户端（提交任务的机器）的角色。以下是两者的详细对比：

1. 核心区别概览

特性YARN Cluster 模式YARN Client 模式
Driver 位置在 YARN 集群的某个容器（Container）中运行（由 ResourceManager 分配）。在提交任务的客户端机器（如边缘节点）运行。
客户端角色提交任务后即可断开连接，无需保持运行。客户端必须保持运行，直到任务结束（否则任务失败）。
日志输出日志存储在 YARN 集群中，需通过 yarn logs 命令查看。日志直接输出到客户端控制台，方便调试。
适用场景生产环境（长期运行的任务）。开发/调试环境（需要实时查看日志或交互式任务）。
资源分配Driver 的资源由 YARN 集群管理（通过 spark.driver.memory 等配置）。Driver 的资源由客户端本地资源决定（可能受限）。
容错性Driver 崩溃时，YARN 可重启 ApplicationMaster（需配置重试次数）。客户端崩溃会导致 Driver 和整个任务失败。

2. 详细对比

(1) Driver 的启动位置
  • Cluster 模式：
    • Driver 作为 YARN 的 ApplicationMaster（AM） 在集群中启动。
    • AM 由 ResourceManager 分配到一个 Container，并在该 Container 中运行用户的主类（即 --class 指定的类）。
    • 用户代码在集群内部执行，客户端仅负责提交任务。
  • Client 模式：
    • Driver 在提交任务的客户端机器（如本地开发机或边缘节点）上启动。
    • AM 仅负责申请 Executor 资源，不运行用户代码。
    • 用户代码在客户端本地执行，客户端需保持存活。
(2) 客户端依赖
  • Cluster 模式：
    • 客户端提交任务后即可退出，任务由 YARN 完全托管。
    • 适合自动化任务调度（如通过 Airflow 定时提交）。
  • Client 模式：
    • 客户端必须持续运行，直到任务结束（否则 Driver 进程终止，导致任务失败）。
    • 适合交互式场景（如 Spark Shell、Jupyter Notebook）。
(3) 日志与调试
  • Cluster 模式：
    • 日志通过 YARN 的日志聚合机制存储到 HDFS，需通过以下命令查看：
      yarn logs -applicationId <app_id>
    • 适合生产环境，但调试不够直观。
  • Client 模式：
    • 日志直接输出到客户端控制台，方便实时查看任务进展和错误。
    • 适合开发和调试阶段。
(4) 资源管理
  • Cluster 模式：
    • Driver 的资源（内存、CPU）通过 YARN 配置（如 spark.driver.memory）。
    • Executor 的资源由 YARN 动态分配。
    • 适合资源需求较高的任务。
  • Client 模式：
    • Driver 的资源受限于客户端机器的配置（如本地内存不足可能导致 OOM）。
    • Executor 的资源仍由 YARN 管理。
    • 需谨慎分配 Driver 内存（尤其是使用 collect() 等操作时）。
(5) 容错性
  • Cluster 模式：
    • 若 ApplicationMaster（Driver）失败，YARN 可自动重启（需配置 spark.yarn.maxAppAttempts）。
    • 适合高可靠性要求的任务。
  • Client 模式：
    • 客户端机器崩溃或网络中断会导致 Driver 进程终止，任务直接失败。
    • 无自动恢复机制。

3. 适用场景

模式典型场景
YARN Cluster- 生产环境中的定时批处理任务。
- 需要客户端断开连接的长时任务（如 ETL 流程）。
YARN Client- 开发调试（如 Spark Shell、PySpark 交互式环境）。
- 需要实时查看日志的任务。

4. 配置与命令示例

(1) 提交命令
  • Cluster 模式：
    spark-submit \--master yarn \--deploy-mode cluster \--class com.example.Main \--executor-memory 4g \--driver-memory 2g \myapp.jar
  • Client 模式：
    spark-submit \--master yarn \--deploy-mode client \--class com.example.Main \--driver-memory 2g \  # 此配置仅影响客户端本地 Drivermyapp.jar
(2) 关键配置
  • Cluster 模式：
    • spark.driver.memory: 控制 Driver（AM）的内存。
    • spark.yarn.maxAppAttempts: 设置 AM 的最大重试次数。
  • Client 模式：
    • 本地机器的资源（如内存）需满足 Driver 需求。

5. 常见问题

Q1: 为什么 Cluster 模式更适合生产环境？
  • 资源隔离：Driver 在集群中运行，避免客户端资源瓶颈。
  • 高可用性：YARN 可自动重启失败的 AM。
  • 客户端无依赖：提交后即可释放客户端资源。
Q2: Client 模式下 collect() 导致 OOM 如何解决？
  • 避免在 Client 模式下拉取大量数据到 Driver。
  • 使用分布式写入操作（如 saveAsTextFile()）替代 collect()。
  • 增加客户端机器的内存或调整 --driver-memory。
Q3: 如何选择模式？
  • 开发/调试：优先使用 Client 模式（实时日志）。
  • 生产/长时任务：必须使用 Cluster 模式。

总结

  • YARN Cluster 模式：Driver 在集群中，客户端无依赖，适合生产。
  • YARN Client 模式：Driver 在客户端，适合开发和调试。
    选择时需权衡 资源管理、日志可见性 和 容错需求。

相关文章：

YARN Cluster模式和Client模式的区别是什么

在 Apache Spark 的 YARN 部署中&#xff0c;Cluster 模式和Client 模式的核心区别在于 Driver 的启动位置和客户端&#xff08;提交任务的机器&#xff09;的角色。以下是两者的详细对比&#xff1a; 1. 核心区别概览 特性YARN Cluster 模式YARN Client 模式Driver 位置在 YA…...

编程日记 2025/7/28 3:50:34

哪吒汽车：一边熬夜蹦迪，一边找药投医

两年前&#xff0c;威马CEO沈晖发了个短视频&#xff0c;内容是“活下去&#xff0c;像牲口一样活下去”。 如今最能体会沈晖当时心情的&#xff0c;估计就是方运舟了。 作为哪吒汽车创始人兼董事长&#xff0c;他连续多次被限高&#xff0c;为了让哪吒汽车活下去&#xff0c…...

编程日记 2025/7/22 18:02:15

Java 集合 List、Set、Map 区别与应用

一、核心特性对比 二、底层实现与典型差异 ‌List‌ ‌ArrayList‌&#xff1a;动态数组结构&#xff0c;随机访问快&#xff08;O(1)&#xff09;&#xff0c;中间插入/删除效率低&#xff08;O(n)&#xff09;‌‌LinkedList‌&#xff1a;双向链表结构&#xff0c;头尾操作…...

编程日记 2025/7/26 16:34:23

天地图InfoWindow插入React自定义组件

截至2025年03月21日天地图的Marker不支持添加Label; 同时Label和Icon是不支持自定义HTMLElement只支持String&#xff1b;目前只有InfoWindow支持自定义HTMLElement; 效果图 React核心api import ReactDOM from react-dom/client const content document.createElement(div);…...

编程日记 2025/7/27 12:48:38

深度学习PyTorch之动态计算图可视化 - 使用 torchviz 生成计算图

序号系列文章1深度学习训练中GPU内存管理2深度学习PyTorch之数据加载DataLoader3深度学习 PyTorch 中 18 种数据增强策略与实现4深度学习pytorch之简单方法自定义9类卷积即插即用5深度学习PyTorch之13种模型精度评估公式及调用方法6深度学习pytorch之4种归一化方法&#xff08;…...

编程日记 2025/7/15 9:37:51

拓展知识三：编码学及密码学

编码和密码的区别 研究密码变化的客观规律&#xff0c;应用于编制密码以保守通信秘密的&#xff0c;称为编码学&#xff1b;应用于破译密码以获取通信情报的&#xff0c;称为破译学&#xff0c;总称密码学。 编码和密码是两个不同的概念&#xff0c;它们的区别如下&#xff1a;…...

编程日记 2025/7/22 12:20:52

【商城实战(54)】解锁商城国际化密码：内容管理全攻略

【商城实战】专栏重磅来袭&#xff01;这是一份专为开发者与电商从业者打造的超详细指南。从项目基础搭建&#xff0c;运用 uniapp、Element Plus、SpringBoot 搭建商城框架&#xff0c;到用户、商品、订单等核心模块开发&#xff0c;再到性能优化、安全加固、多端适配&#xf…...

编程日记 2025/7/23 7:49:29

JS 应用WebPack 打包器第三方库 JQuery安装使用安全检测

# 打包器 -WebPack- 使用 & 安全 参考&#xff1a; https://mp.weixin.qq.com/s/J3bpy-SsCnQ1lBov1L98WA Webpack 是一个模块打包器。在 Webpack 中会将前端的所有资源文件都作为模块处理。 它将根据模块的依赖关系进行分析&#xff0c;生成对应的资源。 五个核心概…...

编程日记 2025/7/23 19:20:58

【嵌入式硬件】三款DCDC调试笔记

关于开关电源芯片&#xff0c;重点关注输入电源范围、输出电流、最低压降。 1.MP9943: 以MP9943为例&#xff0c;输入电压范围4-36V&#xff0c;输出最大电流3A&#xff0c;最低压降为0.3V 调整FB使正常输出为5.06V 给定6V空载、5V空载、5V带2A负载的情况&#xff1a; 6V带2A…...

编程日记 2025/7/22 15:25:24

深入理解 HTML5 Web Workers：提升网页性能的关键技术解析

深入理解 HTML5 Web Workers&#xff1a;提升网页性能的关键技术解析 引言1. 什么是 Web Workers&#xff1f;Web Workers 的特点&#xff1a; 2. Web Workers 的使用方式2.1 创建一个 Web Worker步骤 1&#xff1a;创建 Worker 文件步骤 2&#xff1a;在主线程中调用 Worker 3…...

编程日记 2025/7/23 20:55:01

计算机网络的分类——按照按拓扑结构分类

计算机的拓扑结构是引用拓扑学中研究和大小、形状无关的点、线关系的方法&#xff0c;将网络中的计算机和通信设备抽象为一个点&#xff0c;把传输介质抽象成一条线&#xff0c;由点和线组成的几何图形就是计算机网络的拓扑结构。计算机网络的拓扑结构主要由通信子网决定&#…...

编程日记 2025/7/12 6:05:28

AI大白话（四）：自然语言处理——AI是如何理解和生成人类语言的？

🌟引言： 专栏：《AI大白话》 AI大白话（一）：5分钟了解AI到底是什么？ AI大白话（二）：机器学习——AI是怎么“学习“的？ AI大白话（三）：深度学习——AI的‘大脑‘是如何构建的？ 大家好！欢迎回到"AI大白话"系列。前面我们聊了AI的基本概念、机器学习的原理…...

编程日记 2025/7/26 16:55:55

Android第六次面试总结（Java设计模式篇一）

单例模式属于创建型设计模式&#xff0c;它保证一个类仅有一个实例&#xff0c;并且提供一个全局访问点来获取该实例。下面为你详细阐述单例模式的好处和坏处。 好处 资源优化&#xff1a;单例模式能保证一个类只有一个实例&#xff0c;这对于那些创建和销毁开销大的对象&…...

编程日记 2025/7/26 22:29:00

如何在 React 项目中进行服务器端渲染（SSR），它有什么优势

大白话如何在 React 项目中进行服务器端渲染&#xff08;SSR&#xff09;&#xff0c;它有什么优势 什么是服务器端渲染&#xff08;SSR&#xff09; 在传统的 React 项目里&#xff0c;页面的渲染工作是在浏览器里完成的。也就是当你访问一个网页时&#xff0c;浏览器会先下…...

编程日记 2025/7/25 6:39:42

JVM 01

今天是2025/03/20 16:36 day 09 总路线请移步主页Java大纲相关文章 今天进行JVM前二个模块的归纳 首先是JVM的相关内容概括的思维导图 以下是针对思维导图中 内存管理 和 垃圾回收&#xff08;GC&#xff09; 模块的详细说明&#xff1a; 1. 内存管理&#xff08;运行时数据…...

编程日记 2025/7/23 19:06:59

MATLAB 调用arduino uno

为了授课&#xff0c;必须重新把arduino用上。 采用MATLAB编码&#xff0c;可以简化相关程序授课部分 1 安装包 MATLAB Support Package for Arduino Hardware - File Exchange - MATLAB Central (mathworks.com) 需要这个插件。 当然也可下载simulink的模块&#xff0c;但…...

编程日记 2025/7/27 19:12:14

WPS宏开发手册——JSA语法

目录 系列文章2、JSA语法2.1、打印输出2.2、注释2.3、变量2.4、数据类型2.5、函数2.6、运算符2.7、比较2.8、if else条件语句2.9、for循环2.10、Math对象&#xff08;数字常用方法&#xff09;2.11、字符串常用方法2.12、数组常用方法 系列文章 使用、工程、模块介绍 JSA语…...

编程日记 2025/7/22 9:51:42

linux如何释放内存缓存

[rootredis ~]# sync #将内存缓存数据强制写入磁盘&#xff08;保存数据后再做释放&#xff09; [rootredis ~]# echo 1 > /proc/sys/vm/drop_caches #释放内存缓存...

编程日记 2025/6/28 5:59:51

2025年渗透测试面试题总结-某360-企业蓝军面试复盘 （题目+回答）

网络安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 目录 360-企业蓝军 一、Shiro绕WAF实战方案 二、WebLogic遭遇WAF拦截后的渗透路径 三、JBoss/WebLogic反序…...

编程日记 2025/7/16 9:04:26

Atlas 800I A2 双机直连部署DeepSeek-R1-w8a8

一、环境信息 1.1、硬件信息 Atlas 800I A2 * 2 1.2、环境信息 操作系统&#xff1a;openEuler 22.03 LTS NPU驱动&#xff1a;Ascend-hdk-910b-npu-driver 24.1.0 linux-aarch64.run NPU固件&#xff1a;Ascend-hdk-910b-npu-firware 7.5.0.3.220.run MindIE镜像&#xff…...

编程日记 2025/6/28 2:05:38

OpenHarmony 入门——ArkUI 跨页面数据同步和页面级UI状态存储LocalStorage小结（二）

文章大纲 引言一、在代码逻辑使用LocalStorage二、从UI内部使用LocalStorage三、LocalStorageProp和LocalStorage单向同步四、LocalStorageLink和LocalStorage双向同步五、兄弟组件之间同步状态变量七、将LocalStorage实例从UIAbility共享到一个或多个视图 引言 前面一篇文章主…...

编程日记 2025/7/25 2:40:44

自我革命！优利德全面进入智能示波器时代

AI重构电子测试新范式 春节期间&#xff0c;DeepSeek&#xff08;深度求索&#xff09;火遍全网。作为国内首个全面对标GPT-4技术架构的AI大模型&#xff0c;DeepSeek凭借其自主研发的通用大语言模型体系&#xff0c;涵盖了从7B到超千亿参数的完整模型矩阵&#xff0c;在数学推…...

编程日记 2025/7/26 11:02:29

Vue3 实战：基于 mxGraph 与 WebSocket 的动态流程图构建

本文将详细介绍如何在 Vue3 项目中集成 mxGraph 可视化库&#xff0c;并通过 WebSocket 实现画布元素的实时更新。适合有 Vue 基础的前端开发者学习参考。 一、技术栈准备 Vue3&#xff1a;采用 Composition API 开发mxGraph&#xff1a;JavaScript 流程图库&#xff08;版本 …...

编程日记 2025/7/20 12:31:40

Python-金融相关代码讲解

文章目录 概要整体架构流程1.代码部分2.逐个讲解1&#xff09;# -*- coding: utf-8 -*-2&#xff09;基本库引入3&#xff09;函数模块4&#xff09;主程序 小结1. 问题拆解思维2. 文件处理三件套3. 字典的妙用&#xff1a;4. 上下文管理器&#xff08;with open...&#xff09…...

编程日记 2025/7/27 21:54:15

深度解读DeepSeek：开源周（Open Source Week）技术解读

深度解读DeepSeek&#xff1a;开源周&#xff08;Open Source Week&#xff09;技术解读 深度解读DeepSeek&#xff1a;源码解读 DeepSeek-V3 深度解读DeepSeek&#xff1a;技术原理 深度解读DeepSeek&#xff1a;发展历程 文章目录 一、开源内容概览Day1&#xff1a;FlashMLAD…...

编程日记 2025/7/25 5:05:31

【算法】十大排序算法(含时间复杂度、核心思想）

以下是 **十大经典排序算法** 的时间复杂度、空间复杂度及稳定性总结&#xff0c;适用于面试快速回顾&#xff1a;排序算法对比表 排序算法最佳时间复杂度平均时间复杂度最差时间复杂度空间复杂度稳定性核心思想冒泡排序O(n)O(n)O(n)O(1)稳定相邻元素交换&#xff0c;大数沉底…...

编程日记 2025/7/24 10:45:27

TCP传输---计算机网络

TCP结构 源端口和目标端口&#xff1a;标识通信的应用程序。序列号&#xff1a;标记发送的数据段的顺序序号。确认号 ( ACK)&#xff1a;确认接收到的数据序号。标志位&#xff1a;控制连接状态&#xff0c;包括 SYN&#xff08;同步&#xff09;、ACK&#xff08;确认&#xf…...

编程日记 2025/7/16 22:04:56

创建vue2项目

1、前往 Node.js 官网下载并安装 Node.js&#xff0c;安装完成后&#xff0c;npm 会随之安装。确认 Node.js 和 npm 是否成功安装&#xff0c;可以在命令行中运行以下命令检查版本&#xff1a; node -v npm -v 运行结果&#xff1a;&#xff08;如下&#xff0c;表示node和n…...

编程日记 2025/7/25 16:32:41

从投机到可持续发展：ETHDenver 2025 的关键启示！

ETHDenver 2025 重点讨论了 Web3 向可持续发展转型&#xff0c;特别强调了人才培养、去中心化治理和激励机制的紧密结合。Polkadot 一直以来的长期观点也进一步支持了行业从投机转向长期、社区驱动增长的趋势。随着 ETHDenver 2025 会议的的落幕&#xff0c;Polkadot 生态中的贡…...

编程日记 2025/7/17 9:12:41

WPS宏开发手册——使用、工程、模块介绍

目录 系列文章前言1、开始1.1、宏编辑器使用步骤1.2、工程1.3、工程 系列文章 使用、工程、模块介绍 JSA语法 第三篇练习练习题&#xff0c;持续更新中… 前言 如果你是开发人员&#xff0c;那么wps宏开发对你来说手拿把切。反之还挺吃力&#xff0c;需要嘻嘻&#xf…...

编程日记 2025/7/27 11:47:53

操作系统为ubantu的服务器上部署nginx软件基础步骤总结

今天在这里&#xff0c;我们总结一下ubantu的服务器上部署nginx软件&#xff0c;请按照以下步骤进行安装&#xff1a; 1、更新包列表&#xff1a; 首先更新你系统中的可用软件包列表&#xff0c;以确保你可以安装最新版本。 sudo apt update2、 Ubuntu上更新已安装软件包&…...

编程日记 2025/7/27 10:48:42

批量给 PPT 文档添加或删除保护，批量设置打开密码和只读密码

为了保护保护档的安全&#xff0c;我们经常会给 PPT 文档添加打开密码或者只读密码保护。有些场景下&#xff0c;我们也可能会碰到需要删除 PPT 文档的打开密码或者只读密码的需求。今天就给大家介绍一种方法可以一次性批量给多个 PPT 文档添加打开密码或者只读密码保护&#x…...

编程日记 2025/7/17 1:19:56

Elasticsearch 中的数据分片问题

Elasticsearch 分片机制 Elasticsearch 在存储数据时采用 分片&#xff08;Shard&#xff09;机制&#xff0c;以提高性能和可扩展性。它索引中的数据被划分成多个 主分片&#xff08;Primary Shard&#xff09; 和 副本分片&#xff08;Replica Shard&#xff09;&#xff0c…...

编程日记 2025/7/25 12:08:57

如何在IPhone 16Pro上运行python文件？

在 iPhone 16 Pro 上运行 Python 文件需要借助第三方工具或远程服务&#xff0c;以下是具体实现方法和步骤&#xff1a; 一、本地运行方案&#xff08;无需越狱&#xff09; 使用 Python 编程类 App 以下应用可在 App Store 下载&#xff0c;支持直接在 iPhone 上编写并运行 …...

编程日记 2025/7/24 19:04:27

Xinference安装、使用详细笔记

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 Xinference安装、使用详细笔记 支持推理引擎安装Xinference启动Xinference关于模型的推理引擎运行 qwen2.5-instruct管理模型官方详细文档&#xff1a;具体使用&#xff1a;对…...

编程日记 2025/7/25 14:57:54

NAT 模式

使用LVS的 NAT 模式实现 3 台RS的轮询访问。IP地址和主机自己规划。 1.节点规划 主机角色系统网络IPclientclientredhat 9.5仅主机192.168.180.100/24lvslvsredhat 9.5仅主机 NAT192.168.180.200/24 VIP 192.168.72.8/24 DIPnginxrs1redhat 9.5NAT192.168.226.7/24nginxrs2r…...

编程日记 2025/7/26 11:29:31

【中间件】Rabbit离线部署操作

准备安装包&#xff1a; 1.rabbitmq-server-4.0.7-1.el8.noarch.rpm 2.erlang-26.2.5.4-1.el9.x86_64.rpm 3.socat-1.7.4.1-6.el9.x86_64.rpm 操作步骤&#xff1a; 1.上传将RabbitMQ文件夹上传至服务器的home中 2.先安装erlang服务&#xff0c;顺序执行以下命令 设置服务的S…...

编程日记 2025/7/26 9:00:02

thinkphp漏洞再现

Thinkphp5x远程命令执行及getshell 1、开环境 2、使用工具攻击 开启工具 输入地址&#xff0c;点击漏洞检测 存在漏洞之后&#xff0c;选择漏洞&#xff0c;执行命令 3、也可以执行远程命令 执行命令 ?sindex/think\app/invokefunction&functioncall_user_func_array&…...

编程日记 2025/7/17 20:28:48

a-date-picker 格式化日期格式 YYYY-MM-DD HH:mm:ss

<template><a-range-pickerv-model:value"dateRange":show-time"{ format: HH:mm:ss, // 时间部分格式defaultValue: [moment(00:00:00, HH:mm:ss), moment(23:59:59, HH:mm:ss)] // 默认时间范围}"format"YYYY-MM-DD HH:mm:ss" // 整体…...

编程日记 2025/7/17 3:44:44

【前端】在＜el-form＞里循环插入list内容

这里的list为日志list【logList】 <el-row v-if"logList && logList.length > 0" style"display: flex; flex-direction: column; align-items: center;"><el-rowv-for"(log, index) in logList" :key"index" s…...

编程日记 2025/7/25 23:00:00

Spring Boot 一个接口实现任意表的 Excel 导入导出

Java的web开发需要excel的导入导出工具&#xff0c;所以需要一定的工具类实现&#xff0c;如果是使用easypoi、Hutool导入导出excel&#xff0c;会非常的损耗内存&#xff0c;因此可以尝试使用easyexcel解决大数据量的数据的导入导出&#xff0c;且可以通过Java8的函数式编程解…...

编程日记 2025/7/24 8:08:21

华为交换相关

端口模式 &#xff08;1&#xff09;access&#xff1a;只能属于单个VLAN&#xff0c;一般用于连接计算机端口 &#xff08;2&#xff09;trunk&#xff1a;端口允许多个VLAN通过&#xff0c;可以接收和发送多个VLAN报文&#xff0c;默认情况下只有管理VLAN不携带标签信息 &…...

编程日记 2025/7/25 18:56:26

「宇树科技」13家核心零部件供应商梳理！

2025年2月6日&#xff0c;摩根士丹利&#xff08;Morgan Stanley&#xff09;发布最新人形机器人研报&#xff1a;Humanoid 100: Mapping the Humanoid Robot Value Chain&#xff08;人形机器人100&#xff1a;全球人形机器人产业链梳理&#xff09;。 2025年2月20日&#xf…...

编程日记 2025/7/23 22:39:42

Kafka Snappy 压缩异常分析与解决方案

1. 问题描述 在使用 Kafka 进行消息发送时&#xff0c;遇到了以下异常&#xff1a; org.apache.kafka.common.KafkaException: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.1.7-ee0a2284-1d05-4116-9ddc-a0d5d4b3f8cd-libsnappyjava.so: Error loading shared library ld…...

编程日记 2025/7/27 9:34:00

Agent系列——Manus调研

一、Manus核心技术解析&#xff08;代码实现原理&#xff09; 1. 多智能体协同架构 class PlanningAgent: # 任务规划代理def decompose_task(self, task):return ["unzip_files", "extract_info", "match_skills"]class ExecutionAgent: # …...

编程日记 2025/7/27 22:48:20

CS实现票据样式效果

效果图 代码 <template> <div class"outer"><div class"outer-container"></div></div> </template> <script langts> import { reactive, toRefs, onBeforeMount, onMounted } from vue import { useRouter, …...

编程日记 2025/7/22 20:55:12

Maven 简介及其核心概念

Maven 是 Apache 软件基金会组织维护的一款自动化构建工具，专注服务于 Java 平台的项目构建和 依赖管理。 官网： Introduction – Maven 下载地址： Download Apache Maven – Maven 1 Introduction Maven, a Yiddish word meaning accumulator of knowledge, began as an …...

编程日记 2025/7/24 19:02:01

阿里开源的免费数据集成工具——DataX

企业里真实的数据流转是什么样子的呢&#xff1f; 左侧描述了一个企业真实的样子&#xff0c;我们总是需要把数据从一个地方搬到另一个地方&#xff0c;最后就是搬来搬去搬成了一张张解不开的网。 右侧则表达了使用DataX为中心实现数据的同步。 什么是DataX DataX是一个异构…...

编程日记 2025/7/26 9:38:02

医学图像分割数据集肺分割数据labelme格式6299张2类别

数据集格式&#xff1a;labelme格式(不包含mask文件&#xff0c;仅仅包含jpg图片和对应的json文件) 图像分辨率&#xff1a;1024x1024 图片数量(jpg文件个数)&#xff1a;6299 标注数量(json文件个数)&#xff1a;6299 标注类别数&#xff1a;2 标注类别名称:["leftl…...

编程日记 2025/7/23 15:18:37

Spring IoC的设计与实现

IoC,Inversion of Control 控制反转&#xff0c;将原本由应用程序负责对象创建的工作&#xff0c;交给IOC容器来完成。容器通过依赖注入&#xff08;DI&#xff0c;Dependency Injection&#xff09;来实现。 作用&#xff1a;降低类对象之间的耦合度&#xff0c;减少代码量。…...

编程日记 2025/7/11 23:32:13