当前位置：首页 > news >正文

4.21 从0开始配置spark-local模式

news 来源：原创 2025/7/28 18:24:20

首先准备好安装包

然后使用命令解压

使用source /etc/profile命令让环境变量生效

输入命令

spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/module/spark-local/examples/jars/spark-examples_2.12-3.1.1.jar 10

即在spark运行了第一个程序

查看运行任务详情

在任务还处于运行状态时，可以通过FanLing001:4040来查看。请注意，一旦任务结束，则这个界面就不可访问了。

4.21 从0开始配置spark-local模式

首先准备好安装包然后使用命令解压使用source /etc/profile命令让环境变量生效输入命令 spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/module/spark-local/examples/jars/spark-examples_2.12-3.1.1.jar 10 即在spark运行了第一个程序…...

编程日记 2025/7/28 18:24:20

git详解

目录常用命令速查一、Git 的概念与作用二、Git 仓库（Repository） 1. 本地仓库 2. 远程仓库三、Git 的三个核心区域 1. 工作区（Working Directory） 2. 暂存区（Staging Area / Index） 3. 版本库…...

编程日记 2025/7/26 11:48:20

I/O复用函数的使用——select

I/O复用函数的使用——select 目录一、概念二、select接口 2.1 基础概念 2.2 使用 select 函数的标准输入读取代码 2.3 基于 select 模型的多客户端 TCP 服务器实现一、概念 i/o复用使得程序能同时监听多个文件描述符，可以提高程序性能。之前为了让服务器能…...

编程日记 2025/7/27 10:08:45

LangChain与图数据库Neo4j LLMGraphTransformer融合：医疗辅助诊断、金融风控领域垂直领域、法律咨询场景问答系统的技术实践

LangChain与图数据库融合：垂直领域问答系统的技术实践一、技术背景与核心价值在垂直领域（如金融、医疗、法律）的问答场景中，传统RAG系统常面临实体关系推理不足和专业术语理解偏差的痛点。LangChain通过集成图数据库与知识图谱…...

编程日记 2025/7/27 1:22:15

Trae国际版的下载与简单使用示例（免费使用Claude，GPT4.1等多个高级模型）

文章目录 Trae的下载与使用什么是Trae重要亮点Trae的核心功能主要特点安装指南下载步骤系统要求安装步骤基础操作代码补全代码生成代码解释高级功能自定义设置总结参考资料 Trae的下载与使用什么是Trae Trae是一款先进的AI编程助手工具，专为开发者打造。它集…...

编程日记 2025/7/27 11:13:21

Python 金融量化分析

文章目录 1. IPython：交互式的 Python 命令行安装常用操作IPython Notebook 2. NumPy：数据计算模块主要功能安装与导入创建 ndarrayndarray 的常用属性示例代码常用创建函数示例代码 3. NumPy 索引和切片数组运算数组索引和切片布尔型索引花式索引通用函…...

编程日记 2025/7/27 4:59:02

Linux:进程:进程控制

进程创建在Linux中我们使用fork函数创建新进程： fork函数 fork函数是Linux中的一个系统调用，用于创建一个新的进程，创建的新进程是原来进程的子进程返回值：如果子进程创建失败，返回值是-1。如果子进程创建成功&a…...

编程日记 2025/7/27 10:08:44

量子计算在金融领域的应用与展望

在当今数字化时代，金融行业正面临着前所未有的技术变革。量子计算作为前沿科技领域的明珠，正在逐渐从实验室走向实际应用，为金融行业带来新的机遇和挑战。本文将探讨量子计算在金融领域的应用现状、优势以及未来的发展展望。一、量子计算简介…...

编程日记 2025/7/27 10:08:42

StarRocks：一款开源的高性能分析型数据仓库

StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO（基于成本优化）、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks 是一个 Linux 基金会开源项目，采用 Apache 2.0 许…...

编程日记 2025/7/27 8:57:15

NLP高频面试题（四十九）大模型RAG常见面试题解析

为什么要构建RAG系统？ RAG系统通过结合信息检索和生成模型，解决了LLM在知识更新、幻觉和上下文限制等方面的挑战。它允许模型在生成响应前引用外部知识库，提高答案的准确性和相关性。 RAG与大模型微调的区别？项目RAG系统大模型微调知识更新通过更新外部知识库实现需要重…...

编程日记 2025/7/27 10:08:38

【NLP 68、R-BERT】

为什么划掉你的名字，为什么不敢与你对视 —— 25.4.21 一、R-BERT：基于BERT的关系抽取模型 R-BERT（Relation BERT）是一种用于关系抽取（Relation Extraction）任务的模型，它结合了预训练语言模型…...

编程日记 2025/7/27 4:19:50

Java:多线程

多线程线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。并发和并行并发：在同一时刻，有多个指令在单个CPU上交替执行并行：在同一时刻，有多个指令在多个CPU上同时执行 …...

编程日记 2025/7/28 13:21:16

第一章：自然语言处理

目录 1.1 自然语言处理发展史 1.2 统计语言模型发展史统计语言模型 NNLM 模型 Word2Vec 模型 ELMo 模型 BERT 模型大语言模型 1.3 小结自然语言处理（Natural Language Processing，NLP）是一门借助计算机技术研究人类语言的科学。虽…...

编程日记 2025/7/27 10:08:36

Git 大文件使用 Git-LFS 管理，推送失败

配置了.gitattributes文件后， *.jar filterlfs difflfs mergelfs -text *.so filterlfs difflfs mergelfs -text *.aar filterlfs difflfs mergelfs -text *.bin filterlfs difflfs mergelfs -text *.a filterlfs difflfs mergelfs -text 仍然推送失败 POST git-…...

编程日记 2025/7/28 13:27:45

[c语言日寄]免费文档生成器——Doxygen在c语言程序中的使用

【作者主页】siy2333 【专栏介绍】⌈c语言日寄⌋：这是一个专注于C语言刷题的专栏，精选题目，搭配详细题解、拓展算法。从基础语法到复杂算法，题目涉及的知识点全面覆盖，助力你系统提升。无论你是初学者，还是…...

编程日记 2025/7/27 10:08:32

RK3588上编译opencv 及基于c++实现图像的读入

参考博文： https://blog.csdn.net/qq_47432746/article/details/147203889 一、安装依赖包 sudo apt install build-essential cmake git pkg-config libgtk-3-dev libavcodec-dev libavformat-dev libswscale-dev libv4l-dev libxvidcore-dev libx264-dev libjpe…...

编程日记 2025/7/27 10:08:30

C++ GPU并行计算开发实战：利用CUDA/OpenCL加速粒子系统与流体模拟

🧑 博主简介：CSDN博客专家、CSDN平台优质创作者，高级开发工程师，数学专业，10年以上C/C, C#, Java等多种编程语言开发经验，拥有高级工程师证书；擅长C/C、C#等开发语言，熟悉Java常用开…...

编程日记 2025/7/27 10:08:28

Java 设计模式心法之第3篇 - 总纲：三大流派与导航地图

前两章，我们修炼了 SOLID 这套强大的“内功心法”，为构建高质量软件打下了坚实根基。现在，是时候鸟瞰整个设计模式的“武林”了！本文将为您展开一幅由 GoF 四人帮精心绘制的 23 种经典设计模式的“全景导航地图”。我们将探索这些…...

编程日记 2025/7/27 11:13:18

高级java每日一道面试题-2025年4月19日-微服务篇[Nacos篇]-Nacos未来的发展方向和规划有哪些？

如果有遗漏,评论区告诉我进行补充面试官: Nacos未来的发展方向和规划有哪些？ 我回答: Nacos 作为阿里巴巴开源的服务发现、配置管理和服务治理平台，其未来的发展方向和规划主要体现在以下几个关键领域： 1. 安全性与标准化 API分类精细化…...

编程日记 2025/7/27 11:13:16

跳过reCAPTCHA验证的技术解析与优化实践

Google的reCAPTCHA验证系统已成为保护网站安全的核心工具之一。然而，频繁的验证弹窗可能降低用户体验，甚至导致用户流失。如何在遵守平台规则的前提下，通过技术优化与用户行为管理减少验证触发率，成为我们亟需解决的难题。但需要…...

编程日记 2025/7/27 11:13:14

idea使用docker插件一键部署项目

一、首先保证我们电脑上已经安装了docker docker -v查看docker版本，如果不能识别，需要先下载docker destop，在官网下载正常安装即可。安装成功就可以使用docker 命令了二、idea下载docker插件并配置docker参数我是通过tcp连接docker服务…...

编程日记 2025/7/27 11:13:12

强化学习笔记（三）——表格型方法（蒙特卡洛、时序差分）

强化学习笔记（三）——表格型方法（蒙特卡洛、时序差分） 一、马尔可夫决策过程二、Q表格三、免模型预测1. 蒙特卡洛策略评估1) 动态规划方法和蒙特卡洛方法的差异 2. 时序差分2.1 时序差分误差2.2 时序差分方法的推广 3. 自举与采样…...

编程日记 2025/7/26 11:58:16

[SpringMVC]请求响应参数传递

controller前置url解决业务重名在项目中，常常会碰到不同的业务之间的某个方法同名的情况。例如在一个文档管理系统（有着文档和发布者两个实体）中，两个实体都有着 "add" 业务。如果两个实体相关的业务url都用 "/ad…...

编程日记 2025/7/27 11:13:08

在C++业务类和QML之间创建一个数据桥梁

工作中经常会遇到两种业务直接按无法直接沟通，此时需要建立一个桥梁将两者进行联系起来，假设一个C业务类，有一个QML UI， 如果将BridgeClass 类通过qmlRegisterType 注册到QML中，在C中如何能够调用到BridgeClass 对象吗…...

编程日记 2025/7/27 11:13:06

超详细mac上用nvm安装node环境，配置npm

一、安装NVM 打开终端，运行以下命令来安装NVM： curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.5/install.sh | bash 然后就会出现如下代码： > Profile not found. Tried ~/.bashrc, ~/.bash_profile, ~/.zprofile, ~/.…...

编程日记 2025/7/27 11:13:04

MH2103系列coremark1.0跑分数据和优化，及基于arm2d的优化应用

CoreMark 1.0 介绍 CoreMark 是由 EEMBC（Embedded Microprocessor Benchmark Consortium）组织于 2009 年推出的一款用于衡量嵌入式系统 CPU 或 MCU 性能的标准基准测试工具。它旨在替代陈旧的 Dhrystone 标准（Dhrystone 容易受到各种libc不同…...

编程日记 2025/7/27 11:13:02

YOLO11改进 | 特征融合Neck篇之Lowlevel Feature Alignment机制：多尺度检测的革新性突破

## 为什么需要重新设计特征融合机制？在目标检测领域，YOLO系列模型因其高效的实时性成为工业界和学术界的标杆。然而，随着应用场景的复杂化（如自动驾驶中的多尺度目标、无人机图像中的小物体检测），传统特征融合策略的局限性逐渐暴露：**特征对齐不足导致语义信息错位、多…...

编程日记 2025/7/27 7:54:04

解决方案：远程shell连不上Ubuntu服务器

服务器是可以通过VNC登录，排除了是服务器本身故障检查服务是否在全网卡监听 sudo ss -tlnp | grep sshd确保有一行类似 LISTEN 0 128 0.0.0.0:22 0.0.0.0:* users:(("sshd",pid...,fd3))返回无结果，表明系统里并没有任…...

编程日记 2025/7/27 11:12:58

Flutter路由模块化管理方案

总结记录一下Flutter路由模块管理： 1、创建路由基类 abstract class BaseRouteConfig {Map<String, WidgetBuilder> get routes; } 2、创建不同模块的路由配置类 // 认证模块路由 class AuthRoutes extends BaseRouteConfig {overrideMap<String, Widg…...

编程日记 2025/7/27 11:12:56

Java BIO、NIO、AIO、Netty面试题（已整理全套PDF版本）

什么是IO Java中的I/O（输入/输出）机制基于流（Stream）的概念实现数据的传输。流将数据序列化，即按照特定顺序逐次进行读写操作。简而言之，Java程序通过I/O流与外部设备进行数据交换。 Java类库中的I/O功能十…...

编程日记 2025/7/27 11:12:54

TapData × 梦加速计划 | 与 AI 共舞，TapData 携 AI Ready 实时数据平台亮相加速营，企业数据基础设施现代化

在实时跃动的数据节拍中，TapData 与 AI 共舞，踏出智能未来的新一步。 4月10日，由前海产业发展集团、深圳市前海梦工场、斑马星球科创加速平台等联合发起的「梦加速计划下一位独角兽营」正式启航。本次加速营以“打造下一位独角兽企业”为目…...

编程日记 2025/7/26 17:52:10

一键部署k8s之EFK日志收集系统

一、部署es 1.下载安装 #下载安装 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.13.2-linux-x86_64.tar.gz #解压 [rootes software]# tar xf elasticsearch-8.13.2-linux-x86_64.tar.gz #创建运行elasticsearch服务用户并修改权限 [rootes softw…...

编程日记 2025/7/27 11:12:50

Python常用的第三方模块【openpyxl库】读写Excel文件

openpyxl库模块是用于处理Microsoft Excel文件的第三方库，可以对Excel文件中的数据进行写入和读取。 weather.pyimport reimport requests#定义函数 def get_html():urlhttps://www.weather.com.cn/weather1d/101210101.shtml #爬虫打开浏览器上的网页resprequests.…...

编程日记 2025/7/27 11:12:48

加油站小程序实战教程12显示会员信息

目录 1 布局搭建1.1 搭建头像1.2 显示会员等级1.3 余额显示最终效果我们上一篇介绍了会员注册的功能，会员注册后再次进入页面的时候就可以根据openid加载会员信息，本篇我们介绍一下显示会员的余额 1 布局搭建我们现在在我的页面显示的是会员未开通…...

编程日记 2025/7/27 11:12:46

iOS中使用AWS上传zip文件到Minio上的oss平台上

1. 集成AWS相关库（千万不要用最新的版本，否则会出现风格化虚拟路径，找不到主机名） pod AWSS3, ~> 2.10.0 pod AWSCore, ~> 2.10.0 2. 编写集成的相关代码 - (void)uploadFileToMinIO {NSString *endPoint "http://…...

编程日记 2025/7/27 11:12:44

PaginationInnerInterceptor使用（Mybatis-plus分页）

引言最近在编写SQL语句时总是想着偷懒，于是在前不久学习黑马点评时学到可以使用PaginationInnerInterceptor，于是现在我也在自己的项目中进行使用了，但是使用也遇到一些问题，如果你和我的问题一样，希望我的解决办法能…...

编程日记 2025/7/27 11:12:42

极狐GitLab CEO 柳钢受邀出席 2025 全球机器学习技术大会

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网 2025 年 4 月 18 日至 19 日，2025 全球机器学习技术大会（ML-Summit 2025）在上海隆重举行。…...

编程日记 2025/7/27 11:12:39

数据仓库 vs 数据湖：架构、应用场景与技术差异全解析

目录一、概念对比：结构化 vs 全类型数据二、技术架构对比 1. 数据仓库架构特点 2. 数据湖架构特点三、典型应用场景数据仓库适合： 数据湖适合： 四、数据湖仓一体：趋势还是折中？ 五、总结：如何…...

编程日记 2025/7/27 11:12:37

【25软考网工笔记】第三章局域网（1）CSMA/CD、二进制指数退避算法、最小帧长计算

目录一、CSMA/CD 1. 局域网架构概述 2. 局域网的拓扑结构 3. CSMA 1）CSMA的三种监听算法 1、1-坚持型监听算法（继续监听，不等待） 2、非坚持型监听算法（后退随机事件） 3、P-坚持型监听算法 2&#…...

编程日记 2025/7/27 11:12:35

Harbor对接非AWS对象存储

背景说明项目的应用完全运行在一个离线环境中，同时通过K8S的方式进行容器编排。需要自建一个harbor的镜像仓库。并且通过私有云提供的S3服务进行容器镜像的持久化存储。我踩的其中的一个坑就是S3的region名字非AWS的标准名称。运行时抱错如下： 2025-04…...

编程日记 2025/7/27 11:12:33

实训Day-1 漏洞攻击实战

目录实训任务1 漏洞攻击实战一实训任务2 漏洞攻击实战二实训任务3 白云新闻搜索实训任务4 手速要快实训任务5 包罗万象总结今天的实训目的是为了：了解漏洞攻击的一般步骤；掌握SQL注入的基本原理；掌握XSS攻击的基本原理&#xff…...

编程日记 2025/7/27 11:12:31

Linux-网络基础

一.网络背景网络的起源与20世纪中期的冷战背景密切相关。美苏争霸期间，美国国防部担心传统集中式通信系统（如电话网络）在核战争中容易被摧毁，因此急需一种去中心化、高容错的通信方式。1969年，美国国防部高级研究计划…...

编程日记 2025/7/27 11:12:28

算法 | 鲸鱼优化算法（WOA）原理，公式，应用，算法改进研究综述，完整matlab代码

===================================================== github：https://github.com/MichaelBeechan CSDN：https://blog.csdn.net/u011344545 ===================================================== 鲸鱼优化算法一、原理与公式二、应用领域三、算法改进研究四、完整MAT…...

编程日记 2025/7/27 11:12:26

[BJDCTF2020]EzPHP

这一道题里面的知识点实在是太多了，即使这道题是我最喜欢的RCE也有点大脑停转了，所以还是做个笔记，以后方便回忆直接跳过打点，来到源码 <?php highlight_file(__FILE__); error_reporting(0); $file "1nD3x.php"…...

编程日记 2025/7/27 11:12:24

企业微信-自建应用

1. 创建自建应用 2. 配置小程序/H5入口 3. 准备 ： CorpId（企业id）、 AgentID（应用id）、 CorpsecretID（应用Secret） 4. 配置企业可信IP 5. 如H5需要授权登录，那么需要配置网页授…...

编程日记 2025/7/27 11:12:22

[FPGA基础] 时钟篇

Xilinx FPGA 时钟管理详细文档本文档详细介绍 Xilinx FPGA 中的时钟管理，包括时钟资源、时钟管理模块、设计注意事项以及最佳实践。适用于使用 Xilinx 7 系列、UltraScale 和 UltraScale 系列 FPGA 的开发者。 1. 时钟资源概述 Xilinx FPGA 提供丰富的时钟资源&a…...

编程日记 2025/7/26 13:04:56

高德火星坐标(GCJ-02)转WGS84坐标

高德火星坐标(GCJ-02)转WGS84坐标 1 转换算法 import mathdef gcj02_to_wgs84(lon, lat):"""高德火星坐标(GCJ-02)转WGS84坐标"""a 6378245.0 # 长半轴ee 0.00669342162296594323 # 扁率def transform_lon(x, y):ret 300.0 x 2.0 * y …...

编程日记 2025/7/27 11:12:18

基于opencv和PaddleOCR识别身份证信息

1、安装组件 pip install --upgrade paddlepaddle paddleocr 2、完整code import cv2 import numpy as np from paddleocr import PaddleOCR# 初始化 PaddleOCR use_angle_clsTrue, lang"ch", det_db_thresh0.1, det_db_box_thresh0.5)def preprocess_image(image…...

编程日记 2025/7/27 11:12:16

Day-1 漏洞攻击实战

实训任务1 漏洞攻击实战一使用御剑得到网站后台地址数据库登录与日志配置使用默认密码 root:root 登录phpMyAdmin，执行 SHOW VARIABLES LIKE general% 查看日志状态。开启日志功能：set global general_log "ON";（配图&…...

编程日记 2025/7/28 2:28:22

穿透数据迷雾：PR 曲线与 ROC 曲线的深度剖析+面试常见问题及解析

一、混淆矩阵与评价指标基础混淆矩阵核心构成：混淆矩阵是分类模型性能评估的基石，以 22 矩阵形式呈现分类结果。其中，真正例（TP）表示实际为正类且被正确预测的样本；假正例（FP）是实…...

编程日记 2025/7/27 8:33:04

查看运行任务详情

相关文章：