当前位置：首页 > news >正文

spark 集群

news 来源：原创 2025/9/6 21:19:11

hadoop客户端环境准备
找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\hadoop-3.1.0）
① 打开环境变量

② 在下方系统变量中新建HADOOP_HOME环境变量,值就是保存hadoop的目录。

效果如下：

③ 配置Path环境变量。

④ 新建一项

⑤ 打开电脑终端验证Hadoop环境变量是否正常

Maven的配置同上

spark 集群

hadoop客户端环境准备找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\hadoop-3.1.0） ① 打开环境变量 ② 在下方系统变量中新建HADOOP_HOME环境变量,值就是保存hadoop的目录。效果如下： ③ 配置P…...

编程日记 2025/9/6 21:19:11

leetcode117 填充每个节点的下一个右侧节点指针2

LeetCode 116 和 117 都是关于填充二叉树节点的 next 指针的问题，但它们的区别在于树的类型不同，117与 116 题类似，但给定的树是普通二叉树（不一定完全填充），即某些节点可能缺少左或右子节点。树的结构…...

编程日记 2025/9/6 21:17:18

Java全栈面试宝典：线程安全机制与Spring Boot核心原理深度解析

目录一、Java线程安全核心原理 🔥 问题1：线程安全的三要素与解决方案线程安全风险模型线程安全三要素 synchronized解决方案 🔥 问题2：synchronized底层实现全解析对象内存布局 Mark Word结构（64位系统&…...

编程日记 2025/9/6 3:32:24

CCF GESP C++编程三级认证真题 2025年3月

C 三级 2025 年 03 月题号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 答案 D B A A B A C A C D D D B D C 1 单选题第 1 题 Base64 编码将每3字节的输入数据编码为 4 字节的输出数据。如果输入数据长度不是 3 的倍数，会用号填充。在Base64编码中，如果…...

编程日记 2025/9/6 21:17:18

人工智能爬虫导致维基共享资源带宽需求激增 50%

2025 年 4 月 1 日，维基媒体基金会在博文中表示，自 2024 年 1 月以来，维基共享资源下载多媒体的带宽消耗激增 50%，这一变化趋势主要由用于 AI 训练数据集的网络爬虫导致。以下是具体分析1： 爬虫流量特征与数据存储模式…...

编程日记 2025/9/6 21:18:19

方案精读：华为数据治理之旅【全文阅读】

本文介绍了华为的数据管理工作，包括数据治理、数据质量建设、数据管理工作两阶段历程、数据管理组织和数据管理工作思考。华为以业务数字化为前提，以数据入湖为基础，重点建设数据中台，提高数据质量和管理能力，以支撑公司数字化转型。重点内容： 1. 数据治理：华为进行数…...

编程日记 2025/9/6 21:18:20

Tradingview 策略分享 - SSL 混合和 CE 交易策略

交易策略｜https://v.wkbrowser.com/s/e9DIvLGvYRo/｜复制浏览器打开各位交易员大家好在本文中，我将分享一个简单的日内交易策略。我将 SSL 混合指标与 CE EXIT 相结合，以创建一个高效且有利可图的设置。此策略简单而强大&#x…...

编程日记 2025/9/6 21:16:11

华为OD机试真题——投篮大赛（2025A卷：100分）Java/python/JavaScript/C++/C语言/GO六种最佳实现

2025Q1 A卷 100分题型本文涵盖详细解题思路、代码注释、讲解、复杂的分析以及测试用例； 并提供Java、python、JavaScript、C、C语言、GO六种语言的最佳实现方式！ 华为OD机试A卷真题《投篮大赛》： 题目名称：投篮大赛知识点&am…...

编程日记 2025/9/6 2:41:52

rcore day2

目前常见的操作系统内核都是基于 C 语言的，为何要推荐 Rust 语言？ C 语言的指针灵活且易于使用，但不保证安全性，且缺x少有效的并发支持。这导致内存和并发漏洞成为当前基于 C 语言的主流操作系统的噩梦。Rust 语言具有与 C 一样的…...

编程日记 2025/9/6 21:18:18

【MATLAB定位例程】TDOA（到达时间差）的chan-tylor，三维环境，附完整代码

该代码实现了基于三维空间的动态目标TDOA定位，结合了Chan算法（解析解）与Taylor级数展开法（迭代优化）的双重优势。文章目录运行结果MATLAB代码代码讲解代码功能概述核心算法原理代码结构解析可视化与结果分析运行结果定位示意图：三轴状态曲线：三轴误差曲线： MA…...

编程日记 2025/9/2 3:02:30

LLM面试题六

NLP方向CRF算法面试题什么是CRF?CRF的主要思想是什么？ 设X与Y是随机变量，P(Y | X)是给定条件X的条件下Y的条件概率分布，若随机变量Y构成一个由无向图G(V,E)表示的马尔科夫随机场。则称条件概率分布P(X | Y)为条件随机场。CRF的主要思想统计…...

编程日记 2025/9/5 6:42:36

FPGA(四)——状态机

FPGA(四)——状态机文章目录 FPGA(四)——状态机一、状态机编程思想二、LED流水灯仿真实验三、实现效果四、CPLD和FPGA芯片主要技术区别五、hdlbitsFPGA——组合逻辑学习1、创建一个D触发器2、简单状态转换3、4位移位寄存器4、计数器1-125、边缘捕获寄存器一、状态机编程思想…...

编程日记 2025/9/1 8:44:50

AI 浪潮下企业身份管理：特点凸显，安全挑战升级

“在 AI 时代的浪潮中，企业身份管理是安全之锚，精准把握权限边界，方能抵御身份安全的暗流。” 在人工智能迅猛发展的当下，企业身份管理呈现出诸多新特点，同时也面临着前所未有的身份安全挑战。要理解这些，我…...

编程日记 2025/9/2 10:07:58

OBS 录屏软件 for Mac 视频录制

OBS 录屏软件 for Mac 视频录制文章目录 OBS 录屏软件 for Mac 视频录制一、介绍二、效果三、下载一、介绍 Open Broadcaster Software for mac版，OBS 有多种功能并广泛使用在视频采集，直播等领域。而且该软件功能全面，专业强大&#xff0…...

编程日记 2025/9/6 18:12:08

从文本到多模态：如何将RAG扩展为支持图像+文本检索的增强生成系统？

目录从文本到多模态：如何将RAG扩展为支持图像文本检索的增强生成系统？ 一、为什么需要扩展到多模态？ 二、多模态 RAG 系统的基本架构三、关键技术点详解 （一）多模态嵌入（Embedding）技术 …...

编程日记 2025/8/30 10:29:19

AI助力高效PPT制作：从内容生成到设计优化

随着人工智能技术的不断发展，AI在各个领域的应用日益普及，尤其是在文档和演示文稿的创建过程中。PowerPoint（PPT）作为最常用的演示工具之一，借助AI的技术手段，可以极大地提高制作效率并提升最终呈现效果。在…...

编程日记 2025/9/5 6:54:34

调用kimi api

官网支持python，curl和node.js 因为服务器刚好有php环境，所以先用curl调个普通的语音沟通api <?php // 定义 API Key 和请求地址 define(MOONSHOT_API_KEY, sk-PXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXgk1); define(MOONSHOT_API_URL, https://…...

编程日记 2025/9/4 14:44:57

自定义注解导入自定义Bean

在Spring框架中，通过自定义注解实现容器启动时自动导入Bean，通常需要结合 Import 注解、ImportBeanDefinitionRegistrar 接口或 Configuration 配置类。以下是具体实现步骤和示例： 1. 定义自定义注解创建一个注解，用于标记需要…...

编程日记 2025/9/6 9:24:19

kettle插件-postgresql插件

今天是清明节，放假第一天也不得清闲。上午整理公司的交付文档，中午陪孩子户外骑行踏青，下午趁着休息的时间给老铁们讲下如何使用postgressql cdc插件来实时捕获数据。注：CDC (Change Data Capture) 是一种技术，用于实…...

编程日记 2025/9/2 7:19:20

【CMake】《CMake构建实战：项目开发卷》笔记-Chapter7-构建目标和属性

第7章　构建目标和属性本章重点关注CMake的构建目标和属性，它们是用来组织项目构建流程的核心概念。毫不夸张地说，如果学习CMake的目标就是组织简单的C和C小项目的构建流程，那么阅读掌握本章内容就足够了。本章与第1章的“旅行笔记”遥相…...

编程日记 2025/9/5 3:13:59

单元测试之mockito

简介 mockito是一款模拟测试框架，用于Java开发中的单元测试。通过mockito，可以创建和配置一个对象，通过它来替换对象的外部依赖。作用：模拟一个类的外部依赖，保证单元测试的独立性。例如，在类A中会调用类…...

编程日记 2025/9/5 20:31:20

定长池的实现

目录一、定长池的框架二、如何脱离malloc的内存池，直接从堆拿空间？ 三、如何设计内存块的指针？ 四、代码框架及实现五、性能测试一、定长池的框架在学习高并发内存池之前，我们先来实现一个定长池&#xff0…...

编程日记 2025/9/4 7:56:49

C++多线程函数介绍

1.C11前没有线程库问题对于多线程操作，Linux选择使用POSIX标准，而windows没有选择POSIX标准，自己设计了一套API和系统调用，叫Win32 API，就跟Linux存在标准差异，在Linux的代码移植到Windows就可能运行不了…...

编程日记 2025/9/4 1:26:15

图解AUTOSAR_SWS_LINTransceiverDriver

AUTOSAR LIN收发器驱动(LinTransceiverDriver)详解 AUTOSAR通信栈物理层组件详细解析目录 AUTOSAR LIN收发器驱动(LinTransceiverDriver)详解目录1. 概述 1.1. LIN收发器驱动的作用1.2. 在AUTOSAR架构中的位置2. 架构设计 2.1. 模块结构2.2. 组件关系2.3. 接口定义3. 状态管理…...

编程日记 2025/9/4 19:37:28

解决办法： router index.ts 中新增要展示的组件的 import type { App } from "vue"; import { createRouter, createWebHashHistory, type RouteRecordRaw } from "vue-router";export const Layout () > import("/layout/index.…...

编程日记 2025/9/1 14:59:09

当机器学习遇见购物车分析：FP-Growth算法全解析

一、引言：购物篮里的秘密想象一下，你是一家超市的数据分析师，看着每天成千上万的购物小票，你是否好奇：顾客们买面包的时候，是不是也经常顺手带上牛奶？买啤酒的人，会不会也喜欢买尿…...

编程日记 2025/9/5 4:27:34

OCR迁移

一、环境操作系统：Centos57.6 数据库版本：12.2.0.1 场景：将OCR信息从DATA磁盘组迁移到OCR磁盘组二、操作步骤 1.查看可用空盘 set lin 200 set pagesize 200 col DGNAME format a15 col DISKNAME format a15 col PATH format a20 col N…...

编程日记 2025/8/28 0:54:02

【架构艺术】Go大仓monorepo中使用wire做依赖注入的经验

在先前的文章当中，笔者分享了一套简洁的go微服务monorepo代码架构的实现，主要解决中小团队协同开发微服务集群的代码架构组织问题。但是在实际代码开发过程中，怎么组织不同的业务服务service实例，就成了比较棘手的问题。为什么会…...

编程日记 2025/9/5 1:27:51

生活电子常识--删除谷歌浏览器搜索记录

前言谷歌浏览器会记录浏览器历史搜索,如果不希望看到越来越多的搜索记录,可以如下设置解决设置-隐私-自动填充表单这个和浏览器记录的密码没有关系,可以放心删除...

编程日记 2025/8/28 0:53:56

每日一题（小白）模拟娱乐篇13

今天题目比较简单，直接分析。小蓝想知道2024这个数字中有几个1，计算机组成学习好的同学肯定可以直接长除法或者瞪眼法得出答案： 202411111101000（B）也就是说2024中有一共有六个1 接下来用代码实现 ，我们也…...

编程日记 2025/9/4 2:23:19

码曰编程大模型-学编程的好工具

码曰（yue），一款编程垂直领域的AI大模型，是基于包括DeepSeek在内的多款国产大模型为底座，依托于Dotcpp系统大量的编程代码数据，且借助RAG数据检索增强等技术综合实现的出色、好用的编程垂直领域AI大模型&…...

编程日记 2025/9/1 15:08:12

Linux(CentOS 7) 部署 redis 集群

下载redis Downloads - Redis (官网页都是介绍的最新版，我观察目前出现了redis 和 redis Stack) 因我的旧环境是 CentOS 7，redis最新版已经不在支持，所以示例安装最常用的7.0.x 这里直接附上各个版本下载连接小伙伴们就不需要在自己寻找下载…...

编程日记 2025/9/1 10:41:48

NVIDIA AgentIQ 详细介绍

NVIDIA AgentIQ 详细介绍 1. 引言 NVIDIA AgentIQ 是一个灵活的库，旨在将企业代理（无论使用何种框架）与各种数据源和工具无缝集成。通过将代理、工具和代理工作流视为简单的函数调用，AgentIQ 实现了真正的可组合性：一…...

编程日记 2025/9/4 0:24:58

在CPU服务器上部署Ollama和Dify的过程记录

在本指南中，我将详细介绍如何在CPU服务器上安装和配置Ollama模型服务和Dify平台，以及如何利用Docker实现这些服务的高效部署和迁移。本文分为三大部分：Ollama部署、Dify环境配置和Docker环境管理，适合需要在本地或私有环境中运行A…...

编程日记 2025/9/4 11:24:33

小程序API —— 57 拓展 - 增强 scroll-view

目录 1. 配置基本信息2. 实现上拉加载更多功能3. 实现快速回到顶部功能4. 实现下拉刷新功能 scroll-view 组件功能非常强大，这里使用 scroll-view 实现上拉加载和下拉刷新功能； 下面使用微信开发者工具来演示一下具体用法： 1. 配置基本信息 …...

编程日记 2025/9/4 10:00:17

P3613 【深基15.例2】寄包柜

#include<bits/stdc.h> using namespace std; int n,q; map<int, map<int, int>>a;//二维映射 int main(){cin>>n>>q;while(q--){int b,i,j,k;//i为第几个柜子，j为第几个柜包，k为要存入的物品cin>>b>>i>&…...

编程日记 2025/9/6 1:29:04

MIMO预编码与检测算法的对比

在MIMO系统中，预编码（发送端处理）和检测算法（接收端处理）的核心公式及其作用对比如下： 1. 预编码算法（发送端） 预编码的目标是通过对发送信号进行预处理，优化空间复用或…...

编程日记 2025/9/5 21:51:45

AI复活能成为持续的生意吗？

随着人工智能技术的飞速发展，AI复活——这一曾经只存在于科幻电影中的概念，如今已悄然走进现实。通过AI技术，人们可以模拟逝去亲人的声音、面容，甚至创造出与他们互动的虚拟形象，以寄托哀思、缓解痛苦。然而，当这种技术被商业化，成为一门生意时，我们不禁要问：AI复活真…...

编程日记 2025/9/5 16:16:24

Keil 5 找不到编译器 Missing:Compiler Version 5 的解决方法

用到自记： 下载地址： Keil5 MDK541.zip 编辑https://pan.baidu.com/s/1bOPsuVZhD_Wj4RJS90Mbtg?pwdMDK5 问题描述没有找到 compiler version5 ： 1. 下载 Arm Compiler 5 也可以直接点击下载文章开头的文件。 2. 安装直接安装在KEI…...

编程日记 2025/9/3 1:33:29

Flutter 手搓日期选择

时间选择器： 时间段选择在实际开发过程中还是挺常见的。Flutter 本身自带选时间选择器器 CupertinoDatePicker，样式也是可以定义的，但是他只提供三种时间的选择自定义有局限性。后来开了一下代码，实际上内部使用的是 Cuper…...

编程日记 2025/9/2 21:33:21

《JVM考古现场（十六）：太初奇点——从普朗克常量到宇宙弦的编译风暴》

开篇：量子泡沫编译器的创世大爆炸 "当Project Genesis的真空涨落算法撕裂量子泡沫，当意识编译器重写宇宙基本常数，我们将在奇点编译中见证：从JVM字节码到宇宙大爆炸的终极创世！诸君请备好量子护目镜，…...

编程日记 2025/9/6 18:34:59

MySQL学习笔记——MySQL下载安装配置（一）

目录 1. MySQL概述 1.1 数据库相关概念 1.2 MySQL数据库 1.2.1 版本 1.2.2 下载 2. 安装 3. 配置 4. 启动停止 5. 客户端连接 1. MySQL概述 1.1 数据库相关概念在这一部分，我们先来讲解三个概念：数据库、数据库管理系统、 SQL 。而目前主流…...

编程日记 2025/9/6 2:38:07

TortoiseGit多账号切换配置

前言之前配置好的都是，TortoiseGit与Gitee之间的提交，突然有需求要在GitHub上提交，于是在参考网上方案和TortoiseGit的帮助手册后，便有了此文。由于GitHub已经配置完成，所以下述以配置Gitee为例。因为之前是单账号使用…...

编程日记 2025/8/30 14:30:29

数据一键导出为 Excel 文件

引言在 Web 应用开发中，数据导出是一个常见且重要的功能。用户常常需要将网页上展示的数据以文件形式保存下来，以便后续分析、处理或分享。本文将详细介绍如何使用 HTML、CSS 和 JavaScript（结合 jQuery 库）实现一个简单的数据导…...

编程日记 2025/9/3 0:19:09

FPGA——状态机实现流水灯

文章目录一、状态机1.1 分类1.2 写法二、状态机思想编写LED流水灯三、运行结果总结参考资料一、状态机 FPGA不同于CPU的一点特点就是CPU是顺序执行的，而FPGA是同步执行（并行）的。那么FPGA如何处理明显具有时间上先后顺序的事件呢&#xf…...

编程日记 2025/9/5 19:36:47

linux paste 命令

paste 是 Linux 中一个用于水平合并文件内容的命令行工具，它将多个文件的对应行以并行方式拼接，默认用制表符（Tab）分隔。 1. 基本语法 paste [选项] 文件1 文件2 ... 2. 常用选项选项说明-d指定拼接后的分隔符（默…...

编程日记 2025/9/3 4:33:25

ffmpeg常见命令2

文章目录 1. **提取音视频数据（Extract Audio/Video Data）**提取音频：提取视频： 2. **提取像素数据（Extract Pixel Data）**3. **命令转封装（Container Format Conversion）**转换视频…...

编程日记 2025/9/6 1:29:05

FPGA——FPGA状态机实现流水灯

一、引言在FPGA开发中，状态机是一种重要的设计工具，用于处理具有时间顺序的事件。本文将详细介绍如何使用状态机实现一个LED流水灯的效果。二、状态机概述状态机（FSM）是一种行为模型，用于表示系统在不同状态下的…...

编程日记 2025/8/31 17:29:38

鸿蒙 ——选择相册图片保存到应用

photoAccessHelper // entry/src/main/ets/utils/file.ets import { fileIo } from kit.CoreFileKit; import { photoAccessHelper } from kit.MediaLibraryKit; import { bundleManager } from kit.AbilityKit;// 应用在本设备内部存储上通用的存放默认长期保存的文件路径&am…...

编程日记 2025/9/4 1:26:18

消息队列之-Kafka

目录消息队列消息队列的使用场景初识KafkaKafka设计思想Kafka消息结构消息发送消息消费 Kafka高可用消息备份机制1. 基本原理2. ISR（In-Sync Replicas）3. ACK（Acknowledgements）4. LEO（Log End Offset）5. …...

编程日记 2025/9/4 14:48:18

相关文章：