当前位置：首页 > news >正文

hdfs:介绍三个脚本

news 来源：原创 2025/5/13 18:17:20

1、jps-cluster.sh

如果我们想在Bigdata01 这台电脑上，查看整个集群的服务启动情况，可以使用这个脚本文件。

#!/bin/bash
USAGE="使⽤⽅法：sh jps-cluster.sh"
NODES=("bigdata01" "bigdata02" "bigdata03")
for NODE in ${NODES[*]};do
echo "--------$NODE--------"
ssh $NODE "/opt/installs/jdk/bin/jps"
done
echo "------------------------------------------"
echo "--------jps-cluster.sh脚本执⾏完成!--------"

记得赋权限

chmod u+x jps-cluster.sh

不管在哪个地方都可以执行该命令 jps-cluster.sh

2、集群文件分发脚本【xsync.sh】

我们经常进行文件的长拷贝，拷贝完第一台，拷贝第二台，如下所示：
scp -r 文件或者文件夹 root@主机名:/路径
可以一个命令下去，分发所有的Linux服务器，不用一个个的长拷贝了。
需要有一个服务，rsync
需要在所有的分发的电脑上安装 rsync。

脚本文件：

yum install -y rsync

一定要注意：此脚本文件，不要在windows进行编辑，否则会报错，全程使用linux进行编辑，原因是windows中的字符集和linux中的不一样。
touch xsync.sh
chmod u+x xsync.sh
使用的案例： xsync.sh /etc/profile

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if [ $pcount -lt 1 ]
then
echo No Enough Arguement!
exit;
fi

#2. 遍历集群所有机器
for host in bigdata02 bigdata03
do
echo ==================== $host ====================
#3. 递归遍历所有目录
for file in $@
do
#4 判断文件是否存在
if [ -e $file ]
then
#5. 获取全路径
pdir=$(cd -P $(dirname $file); pwd)
echo pdir=$pdir

#6. 获取当前文件的名称
fname=$(basename $file)
echo fname=$fname

#7. 通过ssh执行命令：在$host主机上递归创建文件夹（如果存在该文件夹）
ssh $host "source /etc/profile;mkdir -p $pdir"

#8. 远程同步文件至$host主机的$USER用户的$pdir文件夹下
rsync -av $pdir/$fname $USER@$host:$pdir
else
echo $file Does Not Exists!
fi
done
done

rsync -av

最常用的选项，表示递归模式，保留软链接、文件权限、修改时间戳、属主、属组、设备文件、特殊文件，详细显示执行过程

测试一下：

xsync.sh 跟上你想同步的文件或者文件夹都可以
xsync.sh /etc/hosts 将hosts文件同步给其他两台电脑。

3、命令同步执行脚本[xcall.sh]

一个命令在一个电脑上运行，是否可以在多台电脑上同步执行呢？
比如 yum install -y rsync
vi xcall.sh
编辑
chmod u+x xcall.sh

#!/bin/bash

params=$@
i=1
for (( i=1 ; i <= 3 ; i = $i + 1 )) ; do
echo ============= bigdata0$i $params =============
ssh bigdata0$i "$params"
done

测试：

xcall.sh hostname
xcall.sh ifconfig
xcall.sh yum install -y rsync
xcall.sh source /etc/profile

不能是xcall.sh jps
除非写全路径：xcall.sh /opt/installs/jdk/bin/jps
可以将 jps这个命令做一个软链接到/usr/local/bin 下
xcall.sh ln -s /opt/installs/jdk/bin/jps /usr/local/bin/jps
这样一修复，就可以 xcall.sh jps

hdfs:介绍三个脚本

1、jps-cluster.sh 如果我们想在Bigdata01 这台电脑上，查看整个集群的服务启动情况，可以使用这个脚本文件。 #!/bin/bash USAGE"使⽤⽅法：sh jps-cluster.sh" NODES("bigdata01" "bigdata02" "bigdata03…...

编程日记 2025/5/13 18:17:20

【Oracle篇】使用Hint对优化器的执行计划进行干预(含单表、多表、查询块、声明四大类Hint干预)

💫《博主介绍》：✨又是一天没白过，我是奈斯，从事IT领域✨ 💫《擅长领域》：✌️擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控；并对SQLserver、NoSQL(…...

编程日记 2025/5/13 17:29:41

【Rust自学】15.7. 循环引用导致内存泄漏

说句题外话，这篇文章真心很难，有看不懂可以在评论区问，我会尽快作答的。喜欢的话别忘了点赞、收藏加关注哦（加关注即可阅读全文），对接下来的教程有兴趣的可以关注专栏。谢谢喵！(･ω…...

编程日记 2025/5/13 17:59:29

4.scala默认参数值

Scala具备给参数提供默认值的能力，这样调用者就可以忽略这些具有默认值的参数。 def log(message: String, level: String "INFO") println(s"$level: $message")log("System starting") // prints INFO: System starting log(&q…...

编程日记 2025/5/13 18:05:00

前端知识速记—JS篇：null 与 undefined

前端知识速记—JS篇：null 与 undefined 什么是 null 和 undefined？ 1. undefined 的含义 undefined 是 JavaScript 中默认的值，表示某个变量已被声明但尚未被赋值。当尝试访问一个未初始化的变量、函数没有返回值时，都会得到 u…...

编程日记 2025/5/13 18:13:00

微信小程序中常见的跳转方式及其特点的表格总结（wx.navigateTo 适合需要返回上一页的场景）

文章目录详细说明总结wx.navigateTo 的特点为什么 wx.navigateTo 最常用？其他跳转方式的使用频率总结以下是微信小程序中常见的跳转方式及其特点的表格总结： 跳转方式API 方法特点适用场景wx.navigateTowx.navigateTo({ url: 路径 })保留当前页面&…...

编程日记 2025/5/13 18:01:46

【人工智能】基于Python的机器翻译系统，从RNN到Transformer的演进与实现

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界机器翻译（Machine Translation, MT）作为自然语言处理领域的重要应用之一，近年来受到了广泛的关注。在本篇文章中，我们将详细探讨如何使…...

编程日记 2025/5/8 9:40:22

蓝桥备赛指南（5）

queue队列 queue是一种先进先出的数据结构。它提供了一组函数来操作和访问元素，但它的功能相对较简单，queue函数的内部实现了底层容器来存储元素，并且只能通过特定的函数来访问和操作元素。 queue函数的常用函数 1.push()函数：…...

编程日记 2025/5/13 18:07:07

蓝桥云客好数

0好数 - 蓝桥云课问题描述一个整数如果按从低位到高位的顺序，奇数位（个位、百位、万位…）上的数字是奇数，偶数位（十位、千位、十万位…）上的数字是偶数，我们就称之为“好数”。给定一个正…...

编程日记 2025/5/6 13:15:11

CF 764B.Timofey and cubes(Java实现)

题目分析输入n个数字，首尾交换，奇数对换，偶数对不换思路分析存入数组，遍历时判断i%20时(数组下标0开始，所以题目分析没有错)，对换代码 import java.util.*;public class Main {public static void ma…...

编程日记 2025/5/13 18:13:00

四.3 Redis 五大数据类型/结构的详细说明/详细使用（ hash 哈希表数据类型详解和使用）

四.3 Redis 五大数据类型/结构的详细说明/详细使用（ hash 哈希表数据类型详解和使用） 文章目录四.3 Redis 五大数据类型/结构的详细说明/详细使用（ hash 哈希表数据类型详解和使用）2.hash 哈希表常用指令(详细讲解说明)2.1 hset …...

编程日记 2025/5/6 19:51:44

AIGC（生成式AI）试用 20 -- deepseek 初识

>> 基本概念 Ollama -- 运行大模型，管理运行AI大模型的工具，用来安装布置DeepSeek https://ollama.com/ , Get up and running with large language models. AnythingLLM -- 大模型增强应用，GUI大模型交互程序 Download AnythingLLM …...

编程日记 2025/5/13 17:12:14

你好！这是我自己的CSDN博客！

写于2025年1月30日我是一个普通的嵌入式软件程序员，喜欢研究Linux（应用层跟内核从都有粗浅的涉略），单片机，操作系统和计算机体系架构等内容，目前是一枚普通的本科生。笔者是一个朴素的开源主义者&#xf…...

编程日记 2025/5/13 18:01:47

将pandas.core.series.Series类型的小数转化成百分数

大年初二，大家过年好，蛇年行大运！ 今天在编写一个代码的时候，使用 import pandas as pd产生了pandas.core.series.Series类型的数据，里面有小数，样式如下： 目的：将这些小数转化为百…...

编程日记 2025/5/12 21:54:17

[EAI-027] RDT-1B，目前最大的用于机器人双臂操作的机器人基础模型

Paper Card 论文标题：RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation 论文作者：Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu 论文链接：https://arxiv.org/ab…...

编程日记 2025/5/13 18:17:20

oracle中使用in 和 not in 查询效率分析

在Oracle数据库中，IN和NOT IN的查询效率受多种因素影响，以下是关键点总结和优化建议： 1. IN 的效率优化方式： IN 通常会被优化为 OR条件或半连接（Semi-Join），如果子查询关联到外部表&#x…...

编程日记 2025/5/8 12:20:30

【python】四帧差法实现运动目标检测

四帧差法是一种运动目标检测技术，它通过比较连续四帧图像之间的差异来检测运动物体。这种方法可以在一定的程度上提高检测的准确性。目录 1 方案 2 实践 ① 代码 ② 效果图 1 方案具体的步骤如下： ① 读取视频流：使用cv2.VideoCapture…...

编程日记 2025/5/13 17:58:27

指针的介绍4【回调函数、qsort函数的运用】

1.回调函数 1.1定义回调函数就是通过函数指针而被调用的函数把函数的指针（地址）作为参数传递给另⼀个函数，当这个指针被⽤来调⽤其所指向的函数时，被调⽤的函数就是回调函数回调函数不是由该函数的实现⽅直接调⽤&#xff0…...

编程日记 2025/5/13 18:11:07

Attention Free Transformer (AFT)-2020论文笔记

名称： Attention Free Transformer (AFT) 来源： [2105.14103] An Attention Free Transformer 相关工作： #Approximatingthedotproduct #Sparselocalattention #Contextcompression #Eliminatingdotproductattention #MLPsforvision 创…...

编程日记 2025/5/13 18:14:13

Pyside的QWebEngineProfile类

QWebEngineProfile 是 PySide/Qt 中用于管理浏览器引擎（WebEngine）配置的类，属于 QtWebEngineCore 模块。它主要用于控制网页的全局行为，例如缓存、Cookie、持久化存储、用户代理（User-Agent）、代理设置等。…...

编程日记 2025/5/12 21:37:46

Java继承中的静态方法隐藏与实例变量隐藏：深入解析与最佳实践

引言在Java面向对象编程中，继承是实现代码复用的核心机制。然而，继承中的静态方法（static）和实例变量的行为常常让开发者感到困惑。许多初学者甚至经验丰富的程序员容易混淆方法覆盖（Override）、方法隐藏…...

编程日记 2025/5/13 18:00:41

day6手机摄影社区，可以去苹果摄影社区学习拍摄技巧

逛自己手机的社区：即（手机牌子）摄影社区拍照时防止抖动可以控制自己的呼吸，不要大喘气拍一张照片后，如何简单的用手机修图？ HDR模式就是让高光部分和阴影部分更协调（拍风紧时可以打开&…...

编程日记 2025/5/13 18:07:07

从AD的原理图自动提取引脚网络的小工具

这里跟大家分享一个我自己写的小软件，实现从AD的原理图里自动找出网络名称和引脚的对应。存成文本方便后续做表格或是使用简单行列编辑生成引脚约束文件（如.XDC .UCF .TCL等）。我们在FPGA设计中需要引脚锁定文件，就是指示TOP层…...

编程日记 2025/5/13 18:05:00

H3CNE-31-BFD

Bidirectional Forwarding Dection，双向转发检查作用：毫秒级故障检查，通常结合三层协议（静态路由、vrrp、ospf、BGP等），实现链路故障快速检查。 BFD配置示例没有中间的SW，接口down&#xff…...

编程日记 2025/5/11 9:38:33

Linux安装zookeeper

1, 下载 Apache ZooKeeperhttps://zookeeper.apache.org/releases.htmlhttps://zookeeper.apache.org/releases.htmlhttps://zookeeper.apache.org/releases.htmlhttps://zookeeper.apache.org/releases.htmlhttps://zookeeper.apache.org/releases.htmlhttps://zookeeper.apa…...

编程日记 2025/5/12 15:41:34

QPS 值是怎样进行计算和应用的

1. QPS 值的定义 QPS（Queries Per Second），即每秒查询率，指一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。它表示系统在某一特定时间内能够处理的查询请求的数量…...

编程日记 2025/5/6 11:26:29

【视频+图文详解】HTML基础4-html标签的基本使用

图文教程 html标签的基本使用无序列表作用：定义一个没有顺序的列表结构由两个标签组成：<ul>以及<li>（两个标签都属于容器级标签，其中ul只能嵌套li标签，但li标签能嵌套任何标签，甚至ul标…...

编程日记 2025/4/29 11:26:38

内外网文件摆渡企业常见应用场景和对应方案

在如今的企业环境中，内外网文件摆渡的需求越来越常见，也变得越来越重要。随着信息化的不断推进，企业内部和外部之间的数据交换越来越频繁，如何安全、高效地进行文件传输成了一个关键问题。今天，咱就来聊聊内外网文件摆…...

编程日记 2025/5/8 3:47:27

基于微信小程序的新闻资讯系统设计与实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌。技术范围：SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。主要内容：…...

编程日记 2025/5/9 7:02:13

透视B/S架构与C/S架构：构建未来网络应用的智慧选择

透视B/S架构与C/S架构：构建未来网络应用的智慧选择在信息技术迅猛发展的今天，网络架构的选择对企业和开发者来说至关重要。B/S架构（Browser/Server）与C/S架构（Client/Server）是两种主流的架构模式&#x…...

编程日记 2025/5/4 22:34:23

受击反馈HitReact、死亡效果Death Dissolve、Floating伤害值Text(末尾附客户端RPC )

受击反馈HitReact 设置角色受击标签 (GameplayTag基本了解待补充) 角色监听标签并设置移动速度创建一个受击技能，并应用GE 实现设置角色的受击蒙太奇动画实现角色受击时播放蒙太奇动画，为了保证通用性，将其设置为一个函数，并…...

编程日记 2025/5/13 17:57:25

【网络】3.HTTP(讲解HTTP协议和写HTTP服务)

目录 1 认识URL1.1 URI的格式 2 HTTP协议2.1 请求报文2.2 响应报文 3 模拟HTTP3.1 Socket.hpp3.2 HttpServer.hpp3.2.1 start()3.2.2 ThreadRun()3.2.3 HandlerHttp（） 总结 1 认识URL 什么是URI？ URI 是 Uniform Resource Identifier的缩写&…...

编程日记 2025/5/12 13:25:30

mysql_init和mysql_real_connect的形象化认识

解析总结 1. mysql_init 的作用 mysql_init 用于初始化一个 MYSQL 结构体，为后续数据库连接和操作做准备。该结构体存储连接配置及状态信息，是 MySQL C API 的核心句柄。示例： MYSQL *conn mysql_init(NULL); // 初始化连接句柄2. mysql_…...

编程日记 2025/5/7 8:52:50

01.01、判定字符是否唯一

01.01、[简单] 判定字符是否唯一 1、题目描述实现一个算法，确定一个字符串 s 的所有字符是否全都不同。在这一题中，我们的任务是判断一个字符串 s 中的所有字符是否全都不同。我们将讨论两种不同的方法来解决这个问题，并详细解释每种方法…...

编程日记 2025/5/9 22:31:37

[NOIP2007]矩阵取数游戏

点我写题题目描述帅帅经常跟同学玩一个矩阵取数游戏：对于一个给定的n*m的矩阵，矩阵中的每个元素aij均为非负整数。游戏规则如下： 1.每次取数时须从每行各取走一个元素，共n个。m次后取完矩阵所有元素； 2.每次取走的…...

编程日记 2025/5/9 13:22:58

C++模板初识

文章目录一、函数模板1. 函数模板2. 函数模板、模板的特例化、非模板函数的重载关系3. 外部调用4. 模板的非类型参数5. 代码示例二、类模板一、函数模板 1. 函数模板模板函数：在函数调用点，编译器用用户指定的类型，从原模板实例化一份函…...

编程日记 2025/5/6 17:32:16

C# Winform制作一个登录系统

using System; using System.Collections; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Windows.Forms;namespace 登录 {p…...

编程日记 2025/5/6 20:22:19

1、jps-cluster.sh

2、集群文件分发脚本【xsync.sh】

3、命令同步执行脚本[xcall.sh]

相关文章：