当前位置：首页 > news >正文

Hadoop第一课（配置linux系统）

news 来源：原创 2025/9/14 4:54:27

1、让hadoop用户，有root权限，如果可以不输密码更好：
(1)先登入root用户
(2)visudo命令进入配置文件
(3)找到 root ALL=(ALL) ALL这一行，在该行下面增加:hadoop ALL=(ALL) ALL

（：set nu可以显示行号）

2、把主机名改成master：
(1)sudo vim /etc/hostname
(2)把第一行改成master
(3):wq保存

3、改host，建立主机名与IP的映射
(1)sudo vim /etc/hosts
(2)加一行192.168.10.128 master
(3)保存

4、关闭防火墙
(1)systemctl stop firewalld
(2)systemctl disable firewalld

5、SSH免密登录
(1)ssh-keygen -t rsa
(2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
(3)chmod 700 ~/.ssh
(4)chmod 600 ~/.ssh/*

测试：ssh hadoop，看看能否免密：

6、XShell、XFTP连接你的虚拟机

（1）更改网络适配器-->打开虚拟网卡

效果如下：

(2) Xshell连接虚拟机

（3）Xftp连接虚拟机

Hadoop第一课（配置linux系统）

1、让hadoop用户，有root权限，如果可以不输密码更好： (1)先登入root用户 (2)visudo命令进入配置文件 (3)找到 root ALL(ALL) ALL这一行，在该行下面增加:hadoop ALL(ALL) ALL （：set nu可以显示行号&#xff…...

编程日记 2025/9/14 4:54:27

Java+Vue+uniapp微信小程序校园自助打印系统（程序+论文+讲解+安装+调试+售后）

感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，我会一一回复，希望帮助更多的人。系统介绍在当今时代，网络与科学技术正以前所未有的速度迅猛发展，这股强大…...

编程日记 2025/9/13 18:59:25

QT 中的元对象系统(二)：元对象实现原理QMetaObject

目录 1.元对象系统的构成 2.QObject和QMetaObject的关系 3.Qt 元对象模型QMetaObject 3.1.基本信息 3.2.类信息classinfo 3.3.类构造函数constructor 3.4.枚举信息 enumerator 3.5.类方法method 3.6.类属性peoproty 4.MOS(Meta Object System)示例 5.总结 1.元对象系…...

编程日记 2025/9/11 14:57:02

C++:指针函数与函数指针

文章目录概述什么是指针函数（Pointer Function）什么是函数指针（Function Pointer）总结： 概述什么是指针函数（Pointer Function） 指针函数是指返回类型为指针的函数。即，函数返回…...

编程日记 2025/9/13 4:12:34

用HTML5+CSS+JavaScript实现新奇挂钟动画

用HTML5+CSS+JavaScript实现新奇挂钟动画引言在技术博客中，如何吸引粉丝并保持他们的关注？除了干货内容，独特的视觉效果也是关键。今天，我们将通过HTML5、CSS和JavaScript实现一个新奇挂钟动画，并将其嵌入到你的网站中。这个动画不仅能让你的网站脱颖而出，还能展示你的…...

编程日记 2025/8/28 1:49:50

【MySQL篇】表的操作

1，创建表语法： create table ( field1 datatype, field2 datatype, field3 datatype )charset 字符集 collate 校验规则 engine 存储引擎; 说明： field表示列名datatype表示列的类型charset字符集，如果没有指明，则…...

编程日记 2025/9/9 1:49:50

CCF-CSP历年真题大全附题解python

2023012的真题 202312-1 仓库规划 5415. 仓库规划 - AcWing题库高质量的算法题库https://www.acwing.com/problem/content/5418/ 解题思路： 其实就是对比（x.y,z.....）需要找到一个每个元素都大于这个坐标得坐标，本题可以直接…...

编程日记 2025/9/13 10:20:08

Mysql——约束与多表查询

一、约束 1.1定义约束是对表中的数据进行限制的一套规则，用于防止用户向数据库中输入无效数据。它可以保证表中的数据满足特定业务规则和逻辑，从而维护数据的准确性和可靠性。 1.2作用数据完整性 ：约束可以确保数据在插入、更新或删除时符…...

编程日记 2025/9/13 20:38:09

如何看待 Kaiming He 最新提出的 Fractal Generative Models ？

何恺明团队提出的分形生成模型（Fractal Generative Models）引发了广泛关注，其核心思想是通过递归调用生成模型模块构建自相似结构，类似数学中的分形概念（如雪花结构），从而高效生成高分辨率数据（如图像）。 Fractal Generative Models即分形生成模型，是一种新型的生成…...

编程日记 2025/9/11 21:48:32

【大模型系列篇】如何解决DeepSeek-R1结构化输出问题，使用PydanticAl和DeepSeek构建结构化Agent

今日号外：🔥🔥🔥 DeepSeek开源周：炸场！DeepSeek开源FlashMLA，提升GPU效率下面我们开始今天的主题，deepseek官方明确表示deepseek-r1目前不支持json输出/function call，可…...

编程日记 2025/9/9 10:49:13

Metal 学习笔记五：3D变换

在上一章中，您通过在 vertex 函数中计算position，来平移顶点和在屏幕上移动对象。但是，在 3D 空间中，您还想执行更多操作，例如旋转和缩放对象。您还需要一个场景内摄像机，以便您可以在场景中移动。要移动…...

编程日记 2025/9/13 9:59:33

Android-创建mipmap-anydpi-v26的Logo

利用 Android Studio 自动创建创建新项目：打开 Android Studio，点击 “Start a new Android Studio project” 创建新项目。在创建项目的过程中，当设置Target SDK Version为 26 或更高版本时，Android Studio 会在项目的res目录下…...

编程日记 2025/9/12 15:22:48

DOM 事件 HTML 标签属性速查手册

以下是一份 DOM 事件 & HTML 标签属性速查手册，涵盖常用场景和示例，助你快速查阅和使用： 一、DOM 事件速查表 1. 鼠标事件事件名触发时机适用元素示例代码click元素被点击任意可见元素button.addEventListener(click, () > { ... …...

编程日记 2025/9/8 15:07:22

差旅费控平台作用、功能、11款主流产品优劣势对比

本文将对比以下11款主流费控系统：合思、喜报销、泛微费控报销系统、经贝管家、每刻报销、SAP Concur、Expensify、Zoho Expense等。随着全球化和企业跨地区运营的不断发展，企业差旅管理已逐渐成为许多公司面临的管理挑战之一。从差旅申请到费用报销的全…...

编程日记 2025/9/12 7:28:33

常用的配置文件格式对比（ini，toml，yaml，json，env，settings.py）及应用程序修改自身配置并保留注释

代码与环境配置解耦 git分支的代码应做到“环境无关”：代码本身不硬编码任何环境特定的配置（如数据库连接、密钥、API地址），而是通过外部机制动态注入。配置与代码分离：将配置信息存储在代码库之外（如环…...

编程日记 2025/9/11 12:01:07

MySQL 存储过程详解

文章目录 1. 存储过程定义1.1 基本概念1.2 核心特点1.3 存储过程 vs 函数 2. 工作原理与示意图2.1 执行流程2.2 示意图 3. 使用场景3.1 复杂业务逻辑3.2 批量数据处理3.3 权限控制3.4 性能优化 4. 示例与说明4.1 基础示例：创建存储过程4.2 带输出参数的存储过程4.3 …...

编程日记 2025/9/10 22:24:26

使用DeepSeek/chatgpt等AI工具辅助网络协议流量数据包分析

随着deepseek,chatgpt等大模型的能力越来越强大，本文将介绍一下deepseek等LLM在分数流量数据包这方面的能力。为需要借助LLM等大模型辅助分析流量数据包的同学提供参考，也了解一下目前是否有必要继续学习wireshark工具以及复杂的协议知识。 pcap格式目…...

编程日记 2025/9/12 16:11:51

源码压缩包泄露

##解题思路因为网站的文件都放在www下面，所以直接访问/www.zip就可以得到网页的源码压缩包在fl000g.txt这个文件中看到一个flag{flag_here}不像是真的flag，尝试提交ctfshow{flag_here}，果然提交失败打开文件属性之类的，也没有…...

编程日记 2025/9/10 15:15:39

TCP/IP 5层协议簇：数据链路层（交换机工作原理）

目录 1. 数据链路层 2. 帧 3. 工作在数据链路层的设备 4. 交换机工作原理 1. 数据链路层数据链路层（2层Data Link Layer）：传输单元是帧、这层工作的主要设备二层交换机、网卡 2. 帧帧的结构如下：帧最大1518字节如下&…...

编程日记 2025/9/13 0:48:01

TCP/IP的分层结构、各层的典型协议，以及与ISO七层模型的差别

1. TCP/IP的分层结构 TCP/IP模型是一个四层模型，主要用于网络通信的设计和实现。它的分层结构如下： (1) 应用层（Application Layer） 功能：提供应用程序之间的通信服务，处理特定的应用细节。典型协议&am…...

编程日记 2025/9/11 12:24:18

【分布式理论11】分布式协同之分布式事务（一个应用操作多个资源）：从刚性事务到柔性事务的演进

文章目录一. 什么是分布式事务？二. 分布式事务的挑战三. 事务的ACID特性四. CAP理论与BASE理论1. CAP理论1.1. 三大特性1.2. 三者不能兼得 2. BASE理论五. 分布式事务解决方案1. 两阶段提交（2PC）2. TCC（Try-Confirm-Cancel&…...

编程日记 2025/9/11 1:00:23

Linux: 已占用接口

Linux: 已占用接口 1. netstat（适用于旧系统）1.1 书中对该命令的介绍 2. ss（适用于新系统，替代 netstat）3. lsof（查看详细进程信息）4. fuser（快速查找占用端口的进程）5. …...

编程日记 2025/9/10 19:34:35

HWUI 和 Skia

📌 HWUI 和 Skia 的关系 Skia 是 Android 的底层 2D 图形库，提供 CPU 和 GPU 渲染能力，支持 OpenGL、Vulkan、Metal 等后端。HWUI 是 Android UI 组件的 GPU 渲染引擎，主要用于加速 View、动画、阴影等 UI 元素的绘制。HWUI 依赖…...

编程日记 2025/9/11 14:09:56

Pytorch使用手册--将 PyTorch 模型导出为 ONNX（专题二十六）

注意截至 PyTorch 2.1，ONNX 导出器有两个版本。 torch.onnx.dynamo_export 是最新的（仍处于测试阶段）导出器，基于 PyTorch 2.0 发布的 TorchDynamo 技术。 torch.onnx.export 基于 TorchScript 后端，自 PyTorch 1.2.0 起可用。一、torch.onnx.dynamo_export使用在 60 …...

编程日记 2025/9/11 13:30:24

GitHub SSH连接问题解决指南

🔍 GitHub SSH连接问题解决指南问题描述遇到错误：ssh: connect to host github.com port 22: Connection refused 说明您的网络环境无法访问GitHub的SSH端口22，常见原因： 防火墙/网络运营商限制（国内常见&#xf…...

编程日记 2025/9/13 22:59:11

【Linux】vim 设置

【Linux】vim 设置零、起因刚学Linux，有时候会重装Linux系统，然后默认的vi不太好用，需要进行一些设置，本文简述如何配置一个好用的vim。壹、软件安装 sudo apt-get install vim贰、配置路径对所有用户生效： …...

编程日记 2025/9/10 15:24:48

2025届开发岗秋招经验教训总结

实习实习的作用： 学习知识，充实简历了解特定部门的氛围转正比秋招提前占坑提前展现工作能力，争取更高起薪其中，除非有梦中情组，我认为占坑是最不重要的一个，因为现在的校招就业形势并未严峻到转正占满…...

编程日记 2025/9/6 18:37:51

Java 之集成 DataX 数据同步工具

1、官网下载 DataX https://github.com/alibaba/DataX 2、将依赖添加到本地（DataX没有maven坐标，需要自己安装） mvn install:install-file -Dfile"datax-common-0.0.1.jar" "-DgroupIdcom.datax" "-DartifactIdda…...

编程日记 2025/9/10 16:30:04

JMH 详细使用

JMH 基本使用官方地址 JMH 是一个用于 Java 代码微基准测试的工具，允许开发者对特定部分进行精确的性能测试； 安装 JMH 环境： Maven 项目；JDK 8； Maven 方式安装引入如下依赖： <dependencies>…...

编程日记 2025/9/13 11:39:41

2025 PHP授权系统网站源码

2025 PHP授权系统网站源码安装教程： PHP7.0以上先上传源码到服务器，然后再配置伪静态， 访问域名根据操作完成安装， 然后配置伪静态规则。 Ngix伪静态规则： location / { if (!-e $request_filename) { rewrite …...

编程日记 2025/9/13 18:31:15

【对话推荐系统】Towards Topic-Guided Conversational Recommender System 论文阅读

Towards Topic-Guided Conversational Recommender System 论文阅读 Abstract1 Introduction2 Related Work2.1 Conversation System2.2 Conversational Recommender System2.3 Dataset for Conversational Recommendation 3 Dataset Construction3.1 Collecting Movies for Re…...

编程日记 2025/9/10 10:00:32

git 使用常见错误整理

1. git am 应用补丁时遇到错误 fatal: previous rebase directory .git/rebase-apply still exists but mbox given fatal:之前的变基目录 .git/rebase-apply仍然存在，但却提供了mbox 答：这通常是因为之前的 git am 或 git rebase 操作失败后&#xf…...

编程日记 2025/9/9 20:30:03

数据存储：一文掌握存储数据到mysql的详细使用

文章目录一、环境准备1.1 安装MySQL数据库1.2 安装Python MySQL驱动二、连接到MySQL数据库三、执行基本的CRUD操作3.1 创建（Create）：插入数据3.2 读取（Read）：查询数据3.3 更新（Update&#xf…...

编程日记 2025/9/9 3:54:52

React 源码揭秘 | 更新队列

前面几篇遇到updateQueue的时候，我们把它先简单的当成了一个队列处理，这篇我们来详细讨论一下这个更新队列。有关updateQueue中的部分，可以见源码 UpdateQueue实现 Update对象我们先来看一下UpdateQueue中的内容，Update对象&…...

编程日记 2025/9/8 11:35:02

Vue3 + Vite + TS,使用配置项目别名属性：resolve

使用 resolve 配置全局项目路径别名 1.优化了开发中单页面引用其他模块的路径复杂性 2.妥妥解决了，组件复用当中提高开发效率 // 不使用配置 import { useStore } from ../../../stores // 使用配置可根据开发者需求任意定义，较多 import { useStore…...

编程日记 2025/9/9 2:18:30

使用 C# 以api的形式调用 DeepSeek

一：创建 API 密钥首先，您需要来自 DeepSeek 的 API 密钥。访问 DeepSeek，创建一个帐户，并生成一个新的 API 密钥。二：安装所需的 NuGet 包使用 NuGet 包管理器安装包，或在包管理器控制台中运行以下命…...

编程日记 2025/9/11 17:56:50

手机放兜里，支付宝“碰一下”被盗刷？

大家好，我是小悟。近期，网络上关于“支付宝‘碰一下’支付易被盗刷”的传言甚嚣尘上，不少用户对此心生疑虑。首先，要明确一点：“碰一下”支付并不会像某些传言中所描述的那样容易被隔空盗刷。这一观点已经得到了支付…...

编程日记 2025/8/17 8:44:26

0x01 html和css

css 对于三种css使用方式： 第一种：行内样式 <span style"color: grey;">2024年05月15日 20:07</span>第二种：内部样式 <!DOCTYPE html> <html lang"en"> <head>...<style>span{…...

编程日记 2025/9/10 10:22:20

模型和数据集的平台之在Hugging Face上进行模型下载、上传以及创建专属Space

模型下载步骤： 注册Hugging Face平台 https://huggingface.co/ 新建一个hf_download_josn.py 文件 touch hf_download_josn.py 编写hf_download_josn.py文件 import os from huggingface_hub import hf_hub_download# 指定模型标识符 repo_id "inter…...

编程日记 2025/9/12 15:09:17

轮式机器人在复杂地形中如何选择合适的全局路径规划算法？

已思考完成收起嗯，用户问的是轮式机器人在复杂地形中如何选择合适的全局路径规划算法。首先，我需要理解复杂地形可能带来的挑战，比如崎岖的路面、动态障碍物、非结构化环境等等。轮式机器人在这里的运动控制需要考虑地形通过性、稳定性&…...

编程日记 2025/9/9 3:49:18

免费使用 DeepSeek API 教程及资源汇总

免费使用 DeepSeek API 教程及资源汇总一、DeepSeek API 资源汇总1.1 火山引擎1.2 百度千帆1.3 阿里百炼1.4 腾讯云二、其他平台2.1 华为云2.2 硅基流动三、总结 DeepSeek-R1 作为 2025 年初发布的推理大模型，凭借其卓越的逻辑推理能力和成本优势，迅速…...

编程日记 2025/9/12 14:22:32

文献汇总｜AI生成图像检测相关数据集汇总

前言：本博客汇总当前AI生成图像检测领域用到的数据集及相关链接。 ⚠️：除标注「未公开」数据集，其余数据集均已开源。目录 2020202220232024 2020 CNNSpot https://github.com/peterwang512/CNNDetection Testset: The zip file contains …...

编程日记 2025/9/13 23:17:31

C# 弃元的使用

总目录前言在C# 7.0及更高版本中，弃元（Discard）是一个新的语言特性，允许开发者在特定情况下忽略某些值。弃元用下划线 _ 作为占位符，明确表示忽略某个值，提升代码可读性一、弃元是什么？ 1.…...

编程日记 2025/9/11 0:44:08

蓝桥杯备考：贪心算法之矩阵消除游戏

这道题是牛客上的一道题，它呢和我们之前的排座位游戏非常之相似，但是，排座位问题选择行和列是不会改变元素的值的，这道题呢每每选一行都会把这行或者这列清零，所以我们的策略就是先用二进制把选择所有行的情况全部枚举…...

编程日记 2025/9/8 21:46:18

React面试（一）

文章目录 1.vue和react有什么异同2.useEffect中为什么不能使用异步3.useEffect和useLayoutEffect的区别4.react的生命周期5.state和prop的区别6.受控组件和非受控组件7.为什么react16之后不把事件挂载到document上了8.讲一下react的hoc，它可以用来做什么&#xff1f…...

编程日记 2025/9/14 4:16:55

《解锁AI密码，机器人精准感知环境不再是梦！》

在科技飞速发展的当下，人工智能与机器人技术的融合正深刻改变着世界。其中，人工智能助力机器人实现更精准的环境感知，已成为该领域的核心课题，吸引着全球科研人员与科技企业的目光。这不仅关乎机器人能否在复杂环境中高效执行任务…...

编程日记 2025/9/13 21:20:21

C/C++语言知识点二

1. 编程算法之“哨兵”思想哨兵思想是一种编程技巧，通过在数据结构的边界或特定位置放置一个特殊值（称为“哨兵”），来简化逻辑判断和提高代码效率。哨兵通常是一个标记值，用于指示某种条件或边界，从而避免…...

编程日记 2025/9/7 21:45:13

【SpringBoot】——分组校验、自定义注解、登入验证（集成redis）、属性配置方式、多环境开发系统学习知识

🎼个人主页：【Y小夜】 😎作者简介：一位双非学校的大三学生，编程爱好者， 专注于基础和实战分享，欢迎私信咨询！ 🎆入门专栏：🎇【MySQL&#xff0…...

编程日记 2025/9/11 1:25:49

【EB-03】 AUTOSAR builder与EB RTE集成

AUTOSAR builder与EB RTE集成 1. Import Arxml files to Tresos2. Run MultiTask Script3. Add Components3.1 Run EcuExtractCreator Script4. Mapping Component to Partitions5. Event Mapping/Runnables Mapping to Tasks6. Port Connect7. Run SvcAs_Trigger Script8. Ver…...

编程日记 2025/9/9 16:15:30

布署elfk-准备工作

建议申请5台机器部署elfk： filebeat(每台app)--> logstash(2台keepalived)--> elasticsearch(3台)--> kibana(部署es上)采集输出处理转发分布式存储展示 ELK中文社区: 搜索客，搜索人自己的社区官方…...

编程日记 2025/9/11 3:51:19

1、让hadoop用户，有root权限，如果可以不输密码更好： (1)先登入root用户 (2)visudo命令进入配置文件 (3)找到 root ALL=(ALL) ALL这一行，在该行下面增加:hadoop ALL=(ALL) ALL

2、把主机名改成master： (1)sudo vim /etc/hostname (2)把第一行改成master (3):wq保存

3、改host，建立主机名与IP的映射 (1)sudo vim /etc/hosts (2)加一行192.168.10.128 master (3)保存

4、关闭防火墙 (1)systemctl stop firewalld (2)systemctl disable firewalld

5、SSH免密登录 (1)ssh-keygen -t rsa (2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys (3)chmod 700 ~/.ssh (4)chmod 600 ~/.ssh/*