Hadoop 和 Spark 生态系统中的核心组件
通过jps命令，可以看到如下进程名，请解释一下它们各自是哪个命令产生的，有什么作用？一、Worker
1.来源：Spark 集群的 工作节点（Worker Node），由 start-worker.sh 启动
2.作用：
①在从节点上运行，负责执行 Master 分配的任务。
②管理本地的计算资源（CPU、内存）。
③向 Master 汇报心跳和任务状态。
二、NodeManager
1.来源：Hadoop YARN 的 工作节点服务，由 start-yarn.sh 启动。
2.作用：
①管理单个节点上的资源（CPU、内存）。
②启动和监控容器（Container），运行 MapReduce 或 Spark 等任务。
③向 ResourceManager 汇报资源使用情况。
三、DataNode
1.来源：Hadoop HDFS 的 数据节点，由 start-dfs.sh 启动。
2.作用：
①实际存储 HDFS 的数据块。
②定期向 NameNode 汇报存储状态。
③处理客户端的读写请求。
四、Master
1.来源：Spark 集群的 主节点（Master Node），由 start-master.sh 启动
2.作用：
①管理 Spark 集群的资源调度。
②接收客户端提交的任务，分配给 Worker 执行。
③监控 Worker 节点的状态。
五、NameNode
1.来源：Hadoop HDFS 的 主节点，由 start-dfs.sh 启动。
2.作用：
①管理 HDFS 文件系统的元数据（如文件目录树、块位置）。
②协调 DataNode 存储和检索数据。
③单点故障关键组件（高可用模式下会有 Standby NameNode）。
六、JobHistoryServer
1.来源：Hadoop MapReduce 的 历史任务服务器，由 mr-jobhistory-daemon.sh start historyserver 启动。
2.作用：
①存储和展示已完成的 MapReduce 作业日志。
②提供 Web UI 查看历史任务详情（默认端口：19888）。
七、HistoryServer
1.来源：Spark 的 历史任务服务器，由 start-history-server.sh 启动。
2.作用：
①记录和展示已完成的 Spark 应用程序日志。
②提供 Web UI 查看历史任务（默认端口：18080）。
相关文章：
Hadoop 和 Spark 生态系统中的核心组件
通过jps命令，可以看到如下进程名，请解释一下它们各自是哪个命令产生的，有什么作用？一、Worker 1.来源：Spark 集群的 工作节点（Worker Node），由 start-worker.sh 启动 2.作用&#…...
MySQL多表操作
熟能生巧，全部代码在最后！！！ 一、多表关系 一对一关系、一对多关系、多对多关系 注意多对多关系必须有中间表进行关联 多对多的关系就相当于是两个一对多关系 二、创建外键约束 专门用于多表操作的一种约束方式 控制的那个表…...
WPF TextBlock控件性能优化指南
WPF TextBlock控件性能优化指南 1. 引言 TextBlock作为WPF中最基础且使用最广泛的文本显示控件，其性能优化对整个应用程序的响应速度和资源占用有着重要影响。尽管TextBlock是一个轻量级控件，但在大型应用或需要显示大量文本的场景中，不恰当…...
 环境安装)
DotNet 入门：(一) 环境安装
一、前言 本想用 Go 语言实现一个通过小爱同学操作电脑的，比如我对着手机说打开音乐，或调小音乐，电脑能做相应的处理。奈何我一时间没看懂，就想着用.Net 来试一下，于是就有了下面这篇文章。 二、安装.Net 环境 1. 下…...
初识Redis · 分布式锁
目录 前言： 分布式锁 setnx lua脚本和看门狗 redlock算法 Redlock 的加锁流程（5 步） 前言： 到了分布式锁这一章之后，我们首先能联想到的问题就是线程安全的问题，线程安全指的是多个线程在并发执行的…...
使用 OpenCV 实现图像中心旋转
在图像处理中，围绕中心点旋转图像是一个常见的需求。无论是为了数据增强、视觉效果，还是图像对齐，旋转图像都是一项基础且重要的操作。本文将详细介绍如何使用 OpenCV 实现围绕图像中心旋转的功能，并深入探讨其背后的数学原理。 一…...
云钥科技红外短波工业相机
云钥科技的红外短波相机是一款基于短波红外（SWIR，波长范围约1-3微米）技术的成像设备，专为高精度检测、全天候成像及特殊场景应用设计。以下从核心技术、性能参数、应用场景及产品优势等方面进行详细介绍： 一、核心…...
npm如何安装pnpm
在 npm 中安装 pnpm 非常简单，你可以通过以下步骤完成： 1. 使用 npm 全局安装 pnpm 打开终端（命令行工具），运行以下命令： npm install -g pnpm2. 验证安装 安装完成后，可以检查 pnpm 的版本以确保安装成功： pnpm --version如果正确显示版本号（如 8.x.x），说明安…...
GTC Taipei 2025 医疗域前瞻：从AI代理到主权生态，解码医疗健康与生命科学的未来图景
引言 2025年，全球医疗健康领域正经历一场由人工智能、机器人技术与分布式计算驱动的范式转移。随着NVIDIA及其生态伙伴在GTC Taipei 2025大会上的深度布局，医疗行业的核心趋势愈发清晰：AI代理程序（Digital AI Agents）赋能临床协作、医疗大数据与精准医学加速落地、医学影…...
【AI学习】李宏毅新课《DeepSeek-R1 这类大语言模型是如何进行「深度思考」（Reasoning）的？》的部分纪要
针对推理模型，主要讲了四种方法，两种不需要训练模型，两种需要。 对于reason和inference，这两个词有不同的含义！ 推理时计算不是新鲜事，AlphaGo就是如此。 这张图片说明了将训练和推理时计算综合考虑的关系&…...
npm打包内存不足- JavaScript heap out of memory
直接贴出报错信息 <--- Last few GCs --->[30904:0000010F60FE58E0] 22090 ms: Scavenge 2037.4 (2069.4) -> 2036.4 (2074.2) MB, 2.5 / 0.0 ms (average mu 0.228, current mu 0.216) allocation failure [30904:0000010F60FE58E0] 22101 ms: Scavenge 2…...
【最新 MCP 战神手册 08】工具使用详解：实现 AI 行动
文章目录 1. 开始啦！2. 第一部分：设计高效且安全的工具3. 第二部分：定义工具蓝图——参数、输出与约束条件4. 第三部分：弥合差距：LLM 兼容性（函数调用）5. 第四部分：实施与测试的最佳实践1. 开始啦！ 在前几章中，我们将工具介绍为 AI 模型在 MCP 客户端引导下向 MCP 服…...
开发iOS App时，我常用的一款性能监控小工具分享
开发iOS App时，我常用的一款性能监控小工具分享 最近在做一个iOS应用的性能优化，频繁遇到内存泄露、界面卡顿和网络请求超时的问题。平时用Xcode Instruments虽然专业，但流程繁琐，临时排查问题不够灵活。 于是开始找有没有轻量一…...
如何防止 ES 被 Linux OOM Killer 杀掉
当 Linux 系统内存不足时，内核会找出一个进程 kill 掉它释放内存，旨在保障整个系统不至于崩溃。如果 ES 按照最佳实践去实施部署，会保留一半的内存，不至于发生此类事情。但事情总有例外，有的朋友可能 ES 和其他的程序部…...
Windows权限与icacls命令详解
在Windows操作系统中，权限管理是确保系统安全和资源访问控制的核心机制。特别是在使用NTFS（New Technology File System）文件系统的环境中，访问控制列表（ACL）用于定义哪些用户或组可以对文件、文件夹或其他…...
5.4.2 MVVM例2-用户控件的使用（水在水管中流动的实例）
本文以一个例子介绍用户控件的使用(UserControl)，下图所示： 一、主要技术点 1.MainViewModel使用CommunityToolkit.Mvvm 这个Nuget包 2.LinearGradientBrush使用，下面代码可以产生如下的效果 <LinearGradientBrush x:Key="HorizontalBackground" …...
PHP代码-服务器下载文件页面编写
内部环境的服务资源下载页面有访问需求，给开发和产品人员编写一个简洁的下载页面提供资源下载。直接用nginxphp的形式去编写了，这里提供展示index.php文件代码如下： <?php // 配置常量 define(BASE_DIR, __DIR__); // 当前脚本所在目录作…...
51单片机快速入门之 SPI通信 2025年4月29日09:26:32
SPI通信 : SPI（Serial Peripheral Interface）通信是一种同步串行数据传输协议，主要用于嵌入式系统内部设备之间的通信。它由Motorola公司在2000年提出，广泛应用于微控制器、传感器、存储设备等之间的数据传输。 SPI通信的主要特点…...
SpringMVC再复习1
一、三层架构 表现层（WEB 层） 定义 ：是应用程序与客户端进行交互的最外层，主要负责接收用户的请求，并将处理结果显示给用户。 作用 ：在 Spring MVC 中，表现层通常采用 MVC 设计模式来构建。 技…...
音视频之H.265/HEVC网络适配层
H.265/HEVC系列文章： 1、音视频之H.265/HEVC编码框架及编码视频格式 2、音视频之H.265码流分析及解析 3、音视频之H.265/HEVC预测编码 4、音视频之H.265/HEVC变换编码 5、音视频之H.265/HEVC量化 6、音视频之H.265/HEVC环路后处理 7、音视频之H.265/HEVC熵编…...
01_微服务常见问题
文章目录 微服务常见问题一、常见问题概要一、问题详解1.1 服务拆分1.2 服务通信1.3 服务注册与发现1.4 服务治理1.5 数据一致性1.6 故障隔离与容错处理1.7 数据库设计1.8 性能测试与调优 微服务常见问题 一、常见问题概要 服务拆分：如何合理地拆分服务&#…...
Python在自动驾驶仿真环境中的应用：构建智能驾驶的虚拟世界
Python在自动驾驶仿真环境中的应用：构建智能驾驶的虚拟世界 引言 随着自动驾驶技术的迅速发展，仿真环境的构建变得愈发重要。传统的测试方法依赖物理车辆和道路进行验证，但这种方式不仅成本高昂，还存在一定的风险。为了加速自动驾驶技术的研发，仿真环境成为了一个必不可…...
【统计方法】交叉验证：Resampling, nested 交叉验证等策略 【含R语言】
Resampling (重采样方法) 重采样方法是从训练数据中反复抽取样本，并在每个（重新）样本上重新调整模型，以获得关于拟合模型的附加信息的技术。 两种主要的重采样方法 Cross-Validation (CV) 交叉验证 ： 用于估计测试误…...
海外App数据隐私架构实战：构建GDPR、CCPA合规的全栈解决方案
一、隐私合规的架构范式转变 从“数据收集”到“数据最小化”传统模式：尽可能收集数据 → 导致合规风险隐私原生模式：默认不收集 → 按需申请 → 自动过期kotlin// Android权限动态申请示例（GDPR兼容） val request PermissionRe…...
Prometheus监控
1、docker - prometheusgrafana监控与集成到spring boot 服务_grafana spring boot-CSDN博客 2、【IT运维】普罗米修斯基本介绍及监控平台部署（PrometheusGrafana）-CSDN博客 3、Prometheus监控SpringBoot-CSDN博客 4、springboot集成普罗米修斯-CSDN博客…...
Vue3 Echarts 3D圆形柱状图实现教程以及封装一个可复用的组件
文章目录 前言一、实现原理二、series ——type: "pictorialBar" 简介2.1 常用属性 三、代码实战3.1 封装一个echarts通用组件 echarts.vue3.2 首先实现一个基础柱状图3.3 添加上下2个椭圆面3.4 进阶封装一个可复用的3D圆形柱状图组件 总结 前言 在前端开发的数据可视…...
洛谷P12238 [蓝桥杯 2023 国 Java A] 单词分类
[Problem Discription] \color{blue}{\texttt{[Problem Discription]}} [Problem Discription] Copy from luogu. [Analysis] \color{blue}{\texttt{[Analysis]}} [Analysis] 既然都是字符串前缀的问题了，那当然首先就应该想到 Trie \text{Trie} Trie 树。 我们可…...
【3D基础】顶点法线与平面法线在光照与PBR中的区别与影响
顶点法线与平面法线在光照与PBR中的区别与影响 在3D图形学中，法线（Normal）是影响光照计算、表面细节表现和渲染质量的核心参数之一。法线用于描述一个表面或顶点的朝向，直接关系到光的反射与分布，从而影响最终像素的颜…...
jmeter-Beashell获取http请求体json
在JMeter中，使用BeanShell处理器或BeanShell Sampler来获取HTTP请求体中的JSON数据是很常见的需求。这通常用于在测试计划中处理和修改请求体，或者在响应后进行验证。以下是一些步骤和示例代码，帮助你使用BeanShell来获取HTTP请求体中的JSON数…...
为网页LOGO视频增加电影质感表现
为网页LOGO视频增加电影质感表现 推荐超级课程： 本地离线DeepSeek AI方案部署实战教程【完全版】Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战目录 为网页LOGO视频增加电影质感表现前几天，一个朋友开了一家烤肉店，给我发来了烤肉店的宣传视频，我…...
精益数据分析（32/126）：电商指标优化与搜索策略解析
精益数据分析（32/126）：电商指标优化与搜索策略解析 在创业和数据分析的探索之旅中，每一次深入学习都能为我们带来新的启发和成长。今天，我们继续秉持共同进步的理念，深入研读《精益数据分析》，…...
【空间数据分析】缓冲区分析--泰森多边形（Voronoi Diagram）-arcgis操作
泰森多边形（Voronoi Diagram）：根据一组输入点生成多边形，使得每个多边形内的任意位置到其关联点的距离最近。 多边形之间无重叠，全覆盖研究区域。 边界是相邻两点连线的垂直平分线。 实验操作： 使用 Cre…...
JavaScript高级进阶（五）
操作节点属性 设置属性（先找属性再操作） setAttribute()方法添加指定的属性，并为其赋指定的值 语法： element.setAttribute(attributename/属性名,attributevalue/属性值) 例: <style> .box{ width: 200px; height: 200p…...
WPF之TextBlock控件详解
文章目录 1. TextBlock控件介绍2. TextBlock的基本用法2.1 基本语法2.2 在代码中创建TextBlock 3. TextBlock的常用属性3.1 文本内容相关属性3.2 字体相关属性3.3 外观相关属性3.4 布局相关属性 4. TextBlock文本格式化4.1 使用Run元素进行内联格式化4.2 其他内联元素 5. 处理长…...
串口通信协议
什么是串口通信？ 串口通信是将数据在一条数据线上传输。 串口通信的特点是传输线少（相对于并行通信），长距离传输的成本低，但数据的传送控制比并行通信复杂。 常见的串行通信接口包括：USB，RS-…...
9.idea中创建springboot项目
9. idea中创建springboot项目 步骤 1：打开 IntelliJ IDEA 并创建新项目 启动 IntelliJ IDEA。在欢迎界面，点击 New Project（或通过菜单栏 File > New > Project）。 步骤 2：选择 Maven 项目类型 在左侧菜单中…...
详解大语言模型生态系统概念：lama，llama.cpp，HuggingFace 模型 ，GGUF，MLX，lm-studio，ollama这都是什么？
llama，llama.cpp，HuggingFace 模型 ，GGUF，MLX，lm-studio，ollama这些名词的概念给个详细的解释，彼此什么关系？是不是头很晕？ 详解大语言模型生态系统概念 基础模型与架构…...
如何系统学习音视频
学习音视频技术涉及多个领域，包括音频处理、视频处理、编码解码、流媒体传输等。 第一阶段：基础知识准备 目标：掌握音视频学习所需的计算机科学和数学基础。 计算机基础 学习计算机网络基础（TCP/IP、UDP、HTTP、RTSP等协议&#…...
elementui里的el-tabs的内置样式修改失效？
1.问题图 红框里的是组件的内置样式，红框下的是自定义样式 2.分析 2.1scoped vue模板编译器在编译有scoped的stye标签时，会生成对应的postCSS插件，该插件会给每个scoped标记的style标签模块，生成唯一一个对应的 data-v-xxxhash…...
Webshell管理工具的流量特征
目录 一、常见Webshell工具流量特征 1. 中国菜刀（Chopper） 2. 冰蝎（Behinder） 3. 哥斯拉（Godzilla） 4. 蚁剑（AntSword） 5. C99 Shell…...
 Gateway---SpringCloud微服务网关组件)
61.微服务保姆教程 (四) Gateway---SpringCloud微服务网关组件
Gateway—SpringCloud微服务网关组件 一、Spring Cloud Gateway简介 1.为什么要用Gateway？ 在微服务架构中，通常一个系统会被拆分为多个微服务，微服务之间的调用可以用OpenFeign，但面对这么多微服务客户端调用会遇到哪些问题呢？ 每个服务都需要鉴权、限流、跨域访问、权…...
问答：C++如何通过自定义实现移动构造函数和移动赋值运算符来实现rust的唯一所有权？
今天，我就带你深入C++的移动语义，用自定义的移动构造函数和移动赋值运算符，硬核模拟Rust的唯一所有权。不仅有干货代码，还会手把手讲明白，保证你看完就能上手。准备好了吗？咱们这就开干！ 先搞懂Rust的“独家秘籍” Rust的唯一所有权，简单来说，就是一个资源只能有一个…...
MODSIM选型指南：汽车与航空航天企业如何选择仿真平台
1. 引言 在竞争激烈的汽车与航空航天领域，仿真技术已成为产品研发不可或缺的环节。通过在设计阶段验证概念并优化性能，仿真平台能有效缩短开发周期并降低物理样机制作成本。 MODSIM（建模与仿真）作为达索系统3DEXPERIENCE平台的核…...
扣子流程图批量导入飞书多维表格
文章目录 整体结构分步骤进行处理1. 程序代码处理2. 多维表格配置 整体结构 整个代码块结构如下： 首先，我们从其他流程中拿到一个数据列表，通过一个循环体，将每一个部分的内容都通过python代码整理后，使用【插件】的…...
Profinet 转 Modbus_4 网关
一、功能概述 1.1 设备简介 本产品是 Profinet 和 Modbus RTU 网关，使用数据映射方式工作。 本产品在 Profinet 侧作为 Profinet 从站，接西门子 PLC 如 1200 、 1500 、 200Smart 等；在 Modbus RTU 侧做为 RTU 主站或从站&#…...
Webug4.0通关笔记03- 第4关POST注入和第5关过滤注入
目录 第04关 POST型注入 1.源码分析 2.sqlmap注入 （1）bp保存报文 （2）sqlmap渗透 （3）获取flag 第05关 过滤型注入 1.源码分析 2.sqlmap渗透 （1）bp抓包保存报文 ࿰…...
虹科新品 | 汽车通信新突破！PCAN-XL首发上线！
汽车智能化浪潮汹涌 通信技术如何跟上？ 虹科带着支持最新CAN XL标准的 PCAN-XL套件 重磅来袭！ 助力行业快速开启 全新CAN XL标准的测试验证！ 新品登场：不止是升级 虹科PCAN-XL套件 随着汽车智能化进程加速，传…...
GitHub Actions 自动化部署 Azure Container App 全流程指南
一、前言 本文将详细介绍如何通过 GitHub Actions 实现 Azure Container App 的自动化部署流程。当代码推送到 master 分支时，系统将自动完成镜像构建、推送至 ACR 以及应用部署的全过程。以下是完整的配置方案： 二、GitHub Actions 工作流配置 完整 YAML 文件（.github/wo…...
华为L420Qml在wayland环境下崩溃问题
开发环境 操作系统 : kylin v10sp1qt版本 : qt5.15硬件信息 : 华为L420型号 背景 这个问题是在指定机型才出现的,应用同事帮忙将问题与业务抽离出来形成了一个demo //main.cpp#include #include int main(int argc, char *argv[]){qputenv("QT_QPA_PLATFORM", &quo…...
UniApp 小程序嵌套 H5 页面显示隐藏监听实践
UniApp 小程序嵌套 H5 页面显示隐藏监听实践 一、背景介绍 在小程序嵌套 H5 页面的场景中，经常需要监听页面的显示和隐藏状态，以便于处理一些特定的业务逻辑，如暂停/继续定时器、暂停/继续视频播放等。 二、实现方案 1. 页面可见性 API …...