当前位置：首页 > news >正文

spark 常见操作命令

news 来源：原创 2025/9/4 18:24:40

配置虚拟机

配置即让自己的虚拟机可以联网，和别的虚拟机通讯

一、配置vm虚拟机网段。

具体设置为：虚拟机左上角点击编辑→虚拟网络编辑器

选择VMnet8，要改动两个地方（注意：它会需要管理员权限）：

1. 子网IP改成192.168.10.0

2. NAT设置 → 192.168.10.2

让所有的VM配置的虚拟机使用NAT时，它们的网段都是一致的。

注意:这里的第三个部分的10并不是固定的，我们自己可以约定，但是约定之后就要固定下来。

二、配置Windows本地虚拟网卡，让本机也可以访问虚拟机。

具体设置为：选择控制面板 → 网络连接 → VMware network Adapter Vmnet8

点击右键，IP4协议，改成如下：

IP4地址：192.168.10.1

IPV4网关:192.168.10.2

这里要注意一下：VMware net work Adpater VMnet8是安装了Vm这个软件之后会自动产生的。

三、设置虚拟机hadoop100的IP。

具体设置为：进入虚拟机，修改对应的IP。

(1)vi /etc/sysconfig/network-scripts/ifcfg-ens33

通过vi编辑器去修改配置文件（ip地址）

修改完成之后，esc退出编辑模式， :wq 保存退出。

四、重启系统并检查是否能Ping通外网。

重启的命令是reboot，检查是否能Ping通外网。命令是：ping www.baidu.com

reboot 重启。

再登录，通过ping 命令检查是否能连接外网 (若要断开连接按ctrl+c)

(1) 修改主机名称。命令是：vi /etc/hostname

eg：修改打开的文件内容为: hadoop100

注：它不会立马生效，需要重启系统才生效！

(2)配置IP地址和主机名的映射。命令是：vi /etc/hosts

在这个文件的最后一行添加一句：

IP地址 +主机名

eg：192.168.10.100 hadoop100

(3) 最后，关闭服务器的防火墙。对应的命令是：

systemctl stop firewalld

systemctl disable firewalld.service

(4) 重启

reboot

finalShell软件

作用：链接远程VM

一、安装finalShell

二、启动连接VM

spark 常见操作命令

配置虚拟机配置即让自己的虚拟机可以联网，和别的虚拟机通讯一、配置vm虚拟机网段。具体设置为：虚拟机左上角点击编辑→虚拟网络编辑器 选择VMnet8， 要改动两个地方（注意：它会需要管理员权限&#xff…...

编程日记 2025/9/4 18:24:40

深入理解设计模式中的工厂模式（Factory Pattern）

各类资料学习下载合集 https://pan.quark.cn/s/8c91ccb5a474 工厂模式是创建对象的一种设计模式，属于创建型设计模式。它提供了一种方法来创建对象，而无需在代码中直接指定对象的具体类。工厂模式通过将对象的创建过程封装起来，使得代码更加灵活、可维护…...

编程日记 2025/9/4 18:23:47

DPDK网络开发

DPDK（Data Plane Development Kit）是一个用于快速数据包处理的开源库，广泛应用于高性能网络应用开发。环境准备硬件要求 NIC（网络接口卡）：支持DPDK的网卡，如Intel的82599、X710等。 CPU&am…...

编程日记 2025/9/4 18:23:47

第三节：基于Winform框架的串口助手小项目---串口操作《C#编程》

知识是无尽的宝藏，学习的过程虽有挑战，但每一次突破都是对自我的升华，向着更优秀的自己全力进发。 -----------WHAPPY 本节将重点介绍，如何修改控件的属性、SerialPort类的使用及实现串口初始化的操作 1.修改控件属性修改属性…...

编程日记 2025/9/3 4:12:50

机器学习核函数

在机器学习中，核函数（Kernel Function）是一个非常重要的概念，特别是在支持向量机（SVM）等算法中有着广泛的应用。下面从定义、作用、常见的核函数类型、工作原理等方面详细介绍： 定义&#xff1…...

编程日记 2025/9/4 18:24:39

一、开放端口 1. 开放一个端口 sudo firewall-cmd --zonepublic --add-port8443/tcp --permanent sudo firewall-cmd --reload 2. 开放一组连续端口 sudo firewall-cmd --zonepublic --add-port100-500/tcp --permanent sudo firewall-cmd --reload 3. 一次开放多个不连续…...

编程日记 2025/9/3 22:10:44

【金融量化】Ptrade中的基础交易与高级量化交易策略的下单接口

1 基础交易与订单管理接口 1. order 功能：用于按指定数量买卖股票或其他金融产品。参数： security：股票代码（字符串类型）。amount：交易数量（整数类型），正数表示买入&…...

编程日记 2025/9/4 18:21:19

解决docker认证问题 failed to authorize: failed to fetch oauth token

报错信息[bash1]解决方案全局代理打开“buildkit”: false ，见[图1] [bash1] >docker build -t ffpg . [] Building 71.8s (3/3) FINISHED docker:desktop-linux> [internal] load bui…...

编程日记 2025/9/2 19:11:49

从“人力投放”到“智能战争”，谁能抢占先机？

流量成本飙升、用户行为碎片化、广告创意同质化……传统网络推广模式正面临失效危机。而AI技术的爆发，正在彻底改写游戏规则。小马识途营销顾问解析：“AI如何颠覆网络推广逻辑？企业又该如何借势破局？” 一、精准营销：…...

编程日记 2025/9/2 17:32:21

STM32_IIC外设工作流程

STM32 IC 外设工作流程（基于寄存器） 在 STM32 中，IC 通信主要通过一系列寄存器控制。理解这些寄存器的作用，能够帮助我们掌握 IC 硬件的运行机制，实现高效的数据传输。本文以 STM32F1（如 STM32F103&#x…...

编程日记 2025/9/4 18:24:40

Python 爬取唐诗宋词三百首

你可以使用 requests 和 BeautifulSoup 来爬取《唐诗三百首》和《宋词三百首》的数据。以下是一个基本的 Python 爬虫示例，它从中华诗词网或类似的网站获取数据并保存为 JSON 文件。 import requests from bs4 import BeautifulSoup import json import time# 爬取…...

编程日记 2025/9/1 20:31:59

浅浅初识AI、AI大模型、AGI

前记：这里只是简单了解，后面有时间会专门来扩展和深入。当前，人工智能（AI）及其细分领域（如AI算法工程师、自然语言处理NLP、通用人工智能AGI）的就业前景呈现高速增长态势，市场需求…...

编程日记 2025/9/4 18:24:38

Spring40种注解（下）！！

Spring Bean 注解 ComponentScan ComponentScan注解用于配置Spring需要扫描的被组件注解注释的类所在的包。可以通过配置其basePackages属性或者value属性来配置需要扫描的包路径。value属性是basePackages的别名。 Component Component注解用于标注一个普通的组件类&#…...

编程日记 2025/9/2 8:14:28

DeepSeek 系列模型：论文精读《A Survey of DeepSeek Models》

引言：一篇快速了解 DeepSeek 系列的论文。我在翻译时加入了一些可以提高 “可读性” 的连词 ✅ NLP 研 2 选手的学习笔记笔者简介：Wang Linyong，NPU，2023级，计算机技术研究方向：文本生成、大语言模型论文…...

编程日记 2025/8/27 7:13:27

LeetCode hot 100—环形链表 II

题目给定一个链表的头节点 head ，返回链表开始入环的第一个节点。如果链表无环，则返回 null。如果链表中有某个节点，可以通过连续跟踪 next 指针再次到达，则链表中存在环。为了表示给定链表中的环，评测系统内部…...

编程日记 2025/9/3 4:43:18

【AI】【Unity】关于Unity接入DeepseekAPI遇到的坑

前言由于deepseek网页端在白天日常抽风，无法正常的使用，所以调用API就成了目前最好的选择，尤其是Deepseek的API价格低得可怕，这不是和白送的一样吗！然后使用过很多本地部署接入API的方式，例如Chatbox、Pa…...

编程日记 2025/9/4 18:22:43

计算机视觉算法实战——医学影像分割（主页有源码）

✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连✨ 1. 领域简介✨✨ 医学影像分割是计算机视觉在医疗领域的重要应用，旨在从CT、MRI、X光等医学图像中精确分割出目标区域&…...

编程日记 2025/9/4 18:20:23

51单片机——存储类型

主要内容：区分data,bdata,idata,pdata,xdata,code 8051系列单片机存储器结构的特点：ROM和RAM独立编址 8051系列单片机将程序存储器（ROM）和数据存储器（RAM）分开，并有各自的寻址机构和寻址方式。…...

编程日记 2025/8/28 14:46:18

python19-if和match的美

课程：B站大学记录python学习，直到学会基本的爬虫，使用python搭建接口自动化测试就算学会了，在进阶webui自动化，app自动化分支语句那些事儿 if 条件判断if...else 判断语句if...elif...else 多重条件分支嵌套也能在 e…...

编程日记 2025/9/4 18:21:18

期权有哪些用处？期权和期货比优势在哪？

期权如同金融市场的“瑞士军刀”，既能防御风险，又能主动出击。相较于期货的“刚性对决”，期权更像“柔性博弈”——通过策略组合在不确定性中捕捉确定性收益。期权有哪些用处？ 期权的核心价值在于其非对称性——买方风险有限&am…...

编程日记 2025/9/1 17:16:25

【html期末作业网页设计】

html期末作业网页设计作者有话说项目功能介绍网站结构完整代码网站样图作者有话说目前，我们的项目已经搭建了各页面的基本框架，但内容填充还不完善，各页面之间的跳转逻辑也还需要进一步优化。我们深知，一个好的项目需要不断…...

编程日记 2025/8/30 6:56:21

ComfyUI AnimeDiff动画参数总结

ComfyUI AnimeDiff动画参数总结一、动画生成核心参数参数名称建议值/范围作用说明备注步数（Steps）15-25控制AI计算迭代次数，越高细节越精细，但耗时更长推荐20步，显存不足可降至15步CFG值7.0-8.5提示词对画面的控制…...

编程日记 2025/9/4 18:24:39

基于Three.js的多视图3D Tiles同步可视化技术解析

文章目录基于Three.js的多视图3D Tiles同步可视化技术解析一、技术背景与价值二、核心实现原理2.1 视口分割算法2.2 视角同步机制三、关键代码解析3.1 渲染管线优化3.2 3D Tiles加载四、交互系统实现4.1 多视图事件分发4.2 射线拾取优化五、性能优化方案5.1 渲染性能指标5.2 W…...

编程日记 2025/9/2 11:03:53

7、什么是死锁，如何避免死锁？【高频】

（1）什么是死锁： 死锁是指在两个或多个进程的执行时，每个进程都持有资源，并都在等待其他进程释放它所需的资源，如果此时所有的进程一直占有资源而不释放，就导致了死锁。死锁只有同时满足四…...

编程日记 2025/9/4 18:21:17

自动化学习-使用git进行版本管理

目录一、为什么要学习git 二、git是什么三、git如何使用 1、git的下载安装和配置 2、git常用的命令 3、gitee远程仓库的使用 （1）注册 （2）创建仓库 （3）配置公钥（建立电脑和git…...

编程日记 2025/9/3 0:11:32

前端大文件上传

一、切片上传技术原理切片上传是把大文件分割成多个较小的切片，分别上传这些切片，最后在服务器端将它们合并成完整文件。这种方式能有效应对网络不稳定导致的上传失败问题，还可利用多线程并行上传，提升上传效率。二、前端实现…...

编程日记 2025/9/1 14:40:55

【网络】实现电脑与笔记本电脑之间的直接网络连接

要实现电脑与笔记本电脑之间的直接网络连接，可以通过有线或无线两种方式。以下是详细的步骤指南： 一、有线直连（通过网线） 1. 准备工具网线：使用交叉网线（适用于旧设备）或普通直连网线&#…...

编程日记 2025/9/4 18:21:18

“深入浅出”系列之音视频开发：（12）使用FFmpeg实现倍速播放：技术细节与优化思路

一、前言在音视频处理领域，倍速播放是一个常见的需求，尤其是在视频播放器、在线教育平台等场景中，用户常常需要以不同的速度播放视频内容。然而，实现一个高质量的倍速播放功能并不容易，尤其是在处理音频时&#xff0…...

编程日记 2025/8/28 6:03:19

qt作业day2

1：在注册登录的练习里面，追加一个QListWidget 项目列表要求：点击注册之后，将账号显示到 listWidget上面去以及，在listWidget中双击某个账号的时候，将该账号删除 .h #ifndef WIDGET_H #define WIDGET_H …...

编程日记 2025/9/3 14:44:39

Qt：day1

一、作业写1个Widget窗口，窗口里面放1个按钮，按钮随便叫什么； 创建2个Widget对象： Widget w1, w2; w1.show(); w2不管； 要求： 点击 w1.btn，w1隐藏，w2显示； 点击 w2.btn&…...

编程日记 2025/9/4 18:22:44

基于微信小程序的停车场管理系统的设计与实现

第1章绪论 1.1 课题背景随着移动互联形式的不断发展，各行各业都在摸索移动互联对本行业的改变，不断的尝试开发出适合于本行业或者本公司的APP。但是这样一来用户的手机上就需要安装各种软件，但是APP作为一个只为某个公司服务的一个软件&a…...

编程日记 2025/8/31 17:19:16

详细Linux基础知识（不断完善）

终端类型分类 1. 物理终端直接连接到计算机的硬件设备2. 虚拟终端通过快捷键切换的文本模式界面： Ctrl + Alt + F1 # 登录窗口 Ctrl + Alt + F2 # 当前图形界面 Ctrl + Alt + F3 # 虚拟命令终端 Ctrl + Alt + F4-F6 # 备用虚拟终端3. 图形终端模拟终端：图形环境中的…...

编程日记 2025/9/4 18:22:44

类和对象-继承-C++

1.定义面向对象的三大特征之一，为了减少重复的代码 2.语法 class 子类 ：继承方式父类 （子类也叫派生类，父类也称为基类） 例：class age：public person； #include<iostrea…...

编程日记 2025/8/30 13:22:41

初阶数据结构（C语言实现）——3顺序表和链表（1）

目录【本节目标】1. 线性表2.顺序表2.1概念及结构2.2 接口实现2.2.0 动态顺序表2.2.1 顺序表初始化SLInit（）2.2.2 销毁和打印2.2.3 尾插SLPushBack（）2.2.4 尾删SLPopBack（）2.2.5 头插2.2.6 头删2.2.7 插入…...

编程日记 2025/9/4 18:23:48

nuxt常用组件库html-validator、@nuxtjs/i18n、@nuxt/image、@unocss/nuxt使用解析

html-validator 主要用于自动验证nuxt服务器呈现的HTML(SSR和SSG)，以检测可能导致水合错误的HTML常见问题，有助于减少水合错误，检测常见的可访问性错误。安装 npx nuxilatest module add html-validator配置若自动更新nuxt.config.ts配置文…...

编程日记 2025/8/30 4:26:04

4G工业路由器在公交充电桩中的应用与优势

随着电动公交车的普及，公交充电桩的稳定运行和高效管理是交通营运部门最关心的问题。4G工业路由器凭借其卓越的数据采集和通讯能力，成为实现充电桩智能化管理的关键。公交充电桩运维管理需求概述： 1.实时性：实时监控充电状态、剩…...

编程日记 2025/9/3 0:19:25

matlab 四维数据可视化（已解决）

虽然这不是传统意义上的“4维可视化”，但你可以通过在三维空间中表示两个维度来间接展示4维数据。例如，你可以使用颜色来表示第四个维度。 clc clear close all% 假设X, Y, Z为你的三维数据，C为第四维数据 X rand(100, 1); Y rand(100, 1);…...

编程日记 2025/9/4 18:23:46

歌曲分类和流行度预测

1. 项目介绍本项目从kaggle平台上下载了数据集，该数据集包含了3万多首来自Spotify API 的歌曲，共有23个特征。首先对数据集进行预处理，如重复行、缺失值、标准化处理等。再对预处理后的数据进行探索性分析，观察各变量的分布情况&…...

编程日记 2025/8/29 15:06:09

经验分享：用一张表解决并发冲突！数据库事务锁的核心实现逻辑

背景对于一些内部使用的管理系统来说，可能没有引入Redis，又想基于现有的基础设施处理并发问题，而数据库是每个应用都避不开的基础设施之一，因此分享个我曾经维护过的一个系统中，使用数据库表来实现事务锁的方式。之…...

编程日记 2025/9/3 5:46:00

oracle decode

1. 基本语法 DECODE(expression, search1, result1, search2, result2, ..., default_result) expression ：需要比较的表达式或列。search1, search2, ... ：要匹配的值。result1, result2, ... ：当 expression 等于 search 时返回的结果。def…...

编程日记 2025/9/4 18:21:19

让后台界面布局更灵活：在GrapesJS中复刻Java的五区式布局

当你想要在可视化编辑器中做一个类似Java BorderLayout 的五区布局，却发现市面上大多只能“简单拼接”而难以自由扩展时，你或许就需要一个更灵活的布局管理器来帮忙。本篇文章就从这个痛点开始，带你一步步揭秘如何用 GrapesJS 自定义并实现一…...

编程日记 2025/9/4 0:28:23

【网络安全 | 漏洞挖掘】分享21个基础漏洞案例

未经许可，不得转载。文章目录案例1：绕过500状态码案例2：修改前端实现任意文件上传案例3：Nmap扫描端口命令案例4：绕过限制实现任意文件读取案例5：删除任意目录文件案例6：锁定任意账户案例7：重置任意用户密码案例8：接管任意账户方法一方法二案例9：功能校验机制绕过案…...

编程日记 2025/8/16 12:02:38

期权适合什么类型的投资者交易？

财顺小编本文主要介绍期权适合什么类型的投资者交易？期权适合的投资者类型需结合其风险偏好、投资目标及市场判断能力综合评估。期权适合什么类型的投资者交易？ 1. 风险管理型投资者（稳健型） 适用场景：持有股票、大…...

编程日记 2025/9/3 22:06:53

浅谈C++/C命名冲突

前言在这里我会简要地介绍产生命名冲突的原因，和C中处理命名冲突的方法，同时和C语言的解决办法进行比较。相信你在阅读完之后一定会有收获。对于我们来说，了解编译器的编译链接过程才能更好的理解编译器是如何报错的，更能让我们…...

编程日记 2025/9/2 15:08:20

【星云 Orbit • STM32F4】08. 用判断数据头来接收据的串口通用程序框架

【星云 Orbit • STM32F4】08. 用判断数据头来接收据的串口通用程序框架 1. 引言本教程旨在帮助嵌入式开发小白从零开始，学习如何在STM32F407微控制器上实现一个基于串口的数据接收程序。该程序能够通过判断数据头来接收一串数据，并将其存储到缓冲区中…...

编程日记 2025/9/1 1:57:19

C# OnnxRuntime部署DAMO-YOLO香烟检测

目录说明效果模型信息项目代码下载参考说明效果模型信息 Model Properties ------------------------- --------------------------------------------------------------- Inputs ------------------------- name：input tensor：Floa…...

编程日记 2025/9/3 2:04:33

探索Elasticsearch:索引的CRUD

在企业环境中，Elasticsearch的索引CRUD（创建Create、读取Read、更新Update、删除Delete）操作是非常基础且频繁使用的功能。这些操作对于管理和维护数据至关重要，尤其是在处理大规模数据集和需要实时搜索与分析的应用场景中。目录…...

编程日记 2025/8/29 10:27:51

C++：多态与虚函数

1.虚函数，在函数前加virtual即可。有虚函数时，父类指针指向父类对象时就会使用父类的成员，指向子类对象时就可以使用子类成员，进而我们引入了多态的概念。 2.多态：父类指针指向子类的对象，通过父类指针调用…...

编程日记 2025/9/2 19:00:59

【Python 数据结构 2.时间复杂度和空间复杂度】

Life is a journey —— 25.2.28 一、引例：穷举法 1.单层循环所谓穷举法，就是我们通常所说的枚举，就是把所有情况都遍历了的意思。例：给定n（n ≤ 1000）个元素ai，求其中奇数有多少个判断一…...

编程日记 2025/9/2 16:14:11

【Qt QML】QML鼠标事件(MouseArea)

QML鼠标事件全面解析一、MouseArea基础概念在 QML 中，鼠标事件是处理用户与界面元素交互的重要部分。QML 提供了多种方式来处理鼠标事件，MouseArea 是 QML 中用于处理鼠标事件的核心元素，它可以覆盖在其他元素之上，捕获鼠标操作并触发相应的信号。 1、基本用法 import …...

编程日记 2025/8/18 16:43:00

相关文章：