当前位置：首页 > news >正文

【hadoop】HBase分布式数据库安装部署

news 来源：原创 2025/7/3 23:08:00

一、HBase集群的安装与配置

步骤：

1、使用XFTP将HBase安装包hbase-1.2.0-bin.tar.gz发送到master机器的主目录。

2、解压安装包：

tar -zxvf ~/hbase-1.2.0-bin.tar.gz

3、修改文件夹的名字，将其改为hbase，或者创建软连接也可：

mv ~/hbase-1.2.0 ~/hbase

以上也可以通过命令的方式安装：看这篇文章：版本号不同没关系的，正常使用。

【hadoop】安装HBase-CSDN博客

以下是配置：

4、修改HBase集群相关配置文件，这些配置文件位于安装路径下的conf文件夹中，进入到该目录下，修改相关配置文件即可。

cd ~/hbase/conf

5、先修改hbase-site.xml配置文件：

vim hbase-site.xml

内容如下：

<configuration><property><name>hbase.zookeeper.quorum</name><value>master,slave1,slave2</value><!--指定Zookeeper集群节点--></property><property><name>hbase.zookeeper.property.dataDir</name><value>/home/hadoop/data/zookeeper/zkdata</value><!--指定Zookeeper数据存储目录--></property><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value><!--指定Zookeeper端口号--></property><property><name>hbase.rootdir</name><value>hdfs://mycluster/hbase</value><!--指定HBase在HDFS上的根目录--></property><property><name>hbase.cluster.distributed</name><value>true</value><!--指定true为分布式集群部署--></property>
</configuration>

一些参数，需要根据你的实际情况修改，配置文件修改完成后保存。

6、修改regionservers配置文件：

vim regionservers

配置内容如下：

master
slave1
slave2

添加3个节点角色，三台机器都配置为RegionServer角色；

7、修改backup-masters配置文件：

vim backup-masters

配置内容如下：

slave1

为HMaster角色配置高可用，这里选择slave1作为备用节点；

8、修改hbase-env.sh配置文件，添加相关环境变量：

行号显示是按Esc键输入： :set nu

（1）配置jdk的路径，找到第27行，先把'#'去掉，然后把路径修改为jdk的安装路径/home/hadoop/jdk1.8.0_311，该行完整内容为：

vim hbase-env.sh

export JAVA_HOME=/home/hadoop/jdk1.8.0_311/

（2）注释掉46、47行，在这两行开始的地方加上'#'符号；

（3）不使用内置的ZooKeeper集群，改为使用我们自己的ZooKeeper集群，找到第128行，先把'#'去掉，然后把该项设置成false，该行完整内容为：

export HBASE_MANAGES_ZK=false

以上3步都完成以后，保存。

9、将配置好的HBase整个文件夹打包发送至slave1和slave2节点，在master上执行以下scp命令：

scp -r ~/hbase hadoop@slave1:~/
scp -r ~/hbase hadoop@slave2:~/

10、配置环境变量，后续只需要在master上启动HBase，因此只在master上配置即可

vim ~/.bashrc

在文件末尾添加以下内容：

export HBASE_HOME=/home/hadoop/hbase
export PATH=$HBASE_HOME/bin:$PATH

保存文件，然后刷新环境变量或重新启动命令行终端：

source ~/.bashrc

二、HBase集群服务的启动

HBase集群中的数据是存储在HDFS之中的，而HDFS的高可用集群依赖ZooKeeper提供协调服务，因此要启动HBase集群服务，需要先提前启用ZooKeeper集群，再启动HDFS集群，最后启动HBase集群。

步骤：

1、启动ZooKeeper集群，在集群所有节点上分别执行以下命令启动ZooKeeper集群：

zkServer.sh start

2、启动HDFS集群，在master上执行以下命令启动HDFS集群：

start-dfs.sh

3、启动HBase集群，在master上执行以下命令启动HBase集群：

start-hbase.sh

4、使用jps命令可以查看HBase启动进程，如果启动正确，那么在master和slave1上会出现HMaster和HRegionServer两个进程，在slave2上会出现HRegionServer一个进程。

5、你也可以在浏览器上输入IP:16010端口访问Web界面：http://192.168.203.133:16010/master-status

如果输入master的ip+16010端口，会显示该节点的角色为Master。

如果输入slave1的ip+16010端口，则会显示该节点角色为Backup Master。

【hadoop】HBase分布式数据库安装部署

一、HBase集群的安装与配置步骤： 1、使用XFTP将HBase安装包hbase-1.2.0-bin.tar.gz发送到master机器的主目录。 2、解压安装包： tar -zxvf ~/hbase-1.2.0-bin.tar.gz 3、修改文件夹的名字，将其改为hbase，或者创建软连接也可…...

编程日记 2025/7/3 23:08:00

理解npm的工作原理：优化你的项目依赖管理流程

目录什么是npm npm核心功能 npm 常用指令及其作用执行npm i 发生了什么? 1. 解析命令与参数 2. 检查依赖文件 3. 依赖版本解析与树构建 4. 缓存检查与包下载 5. 解压包到 node_modules 6. 更新 package-lock.json 7. 处理特殊依赖类型 8. 执行生命周期脚本 9. …...

编程日记 2025/7/3 20:09:24

【Python笔记 04】输入函数、转义字符

一、Input 输入函数 prompt是提示，会在控制台显示，用作提示函数。 name input("请输入您的姓名：") print (name)提示你输入任意信息： 输入input test后回车，他输出input test 二、常用的转义字符只讲…...

编程日记 2025/7/3 20:06:27

数据库的操作中，查询是最重要的一、基本查询-数据准备 -- 数据准备 create database if not exists mydb2; use mydb2; create table product( pid int primary key auto_increment, pname varchar(20) not null, price double, category_id varchar(20) …...

编程日记 2025/7/3 20:05:45

13、性能优化：魔法的流畅之道——React 19 memo/lazy

一、记忆封印术（React.memo） 1. 咒语本质 "memo是时间转换器的记忆晶石，冻结无意义的能量波动！" 通过浅层比较（shallowCompare）或自定义预言契约，阻止组件在props未变时重新渲染。 …...

编程日记 2025/7/3 22:20:19

低代码平台开发手机USB-HID调试助手

项目介绍 USB-HID调试助手是一种专门用于调试和测试USB-HID设备的软件工具。USB-HID设备是一类通过USB接口与计算机通信的设备，常见的HID设备包括键盘、鼠标、游戏控制器、以及一些专用的工业控制设备等。主要功能包括： 数据监控：实时监控和…...

编程日记 2025/7/3 23:04:50

Langchain_Agent+数据库

本处使用Agent数据库，可以直接执行SQL语句。可以多次循环查询问题前文通过chain去联系数据库并进行操作； 通过链的不断内嵌组合，生成SQL在执行SQL再返回。初始化 import os from operator import itemgetterimport bs4 from langchain.ch…...

编程日记 2025/6/29 10:31:02

Code Splitting 分包策略

以下是关于分包策略（Code Splitting）的深度技术解析，涵盖原理、策略、工具实现及优化技巧：一、分包核心价值与底层原理 1. 核心价值矩阵维度未分包场景合理分包后首屏速度需加载全部资源仅加载关键资源缓存效率任意修改导致全量缓存失效按模块变更频率分层缓存并行加载单…...

编程日记 2025/7/3 22:11:09

AI 开发入门之 RAG 技术

目录一、从一个简单的问题开始二、语言模型“闭卷考试”的困境三、RAG 是什么—LLM 的现实世界“外挂”四、RAG 的七步流程第一步：加载数据（Load）第二步：切分文本（Chunking）第三步：向量化&…...

编程日记 2025/6/29 11:10:59

day36图像处理OpenCV

文章目录一、图像预处理18 模板匹配18.1模板匹配18.2 匹配方法18.2.1 平方差匹配18.2.2 归一化平方差匹配18.2.3 相关匹配18.2.4 归一化相关匹配18.2.5 相关系数匹配18.2.6 归一化相关系数匹配 18.3 绘制轮廓18.4案例一、图像预处理 18 模板匹配 18.1模板匹配模板匹配就是…...

编程日记 2025/7/3 23:03:54

系统与网络安全------弹性交换网络（3）

资料整理于网络资料、书本资料、AI，仅供个人学习参考。 STP协议环路的危害单点故障 PC之间的互通链路仅仅存在1个任何一条链路出现问题，PC之间都会无法通信解决办法提高网络可靠性增加冗余/备份链路增加备份链路后交换网络上产生二层环路 …...

编程日记 2025/6/29 9:22:50

FPGA上实现YOLOv5的一般过程

在FPGA上实现YOLOv5 YOLO算法现在被工业界广泛的应用，虽说现在有很多的NPU供我们使用，但是我们为了自己去实现一个NPU所以在本文中去实现了一个可以在FPGA上运行的YOLOv5。 YOLOv5的开源代码链接为 https://github.com/ultralytics/yolov5 为了在FPGA中…...

编程日记 2025/7/3 22:32:34

verilog和system verilog常用数据类型以及常量汇总

int和unsigned 在 Verilog-2001 中，没有 int 和 unsigned 这样的数据类型。这些关键字是 SystemVerilog 的特性，而不是 Verilog-2001 的一部分。 Verilog-2001 的数据类型在 Verilog-2001 中，支持的数据类型主要包括以下几种： …...

编程日记 2025/6/29 12:01:13

wordpress学习笔记

P1 P2 P3...

编程日记 2025/6/29 11:57:52

Rust 学习笔记：编程语言的相关概念

Rust 学习笔记：编程语言的相关概念 Rust 学习笔记：编程语言的相关概念动态类型 vs 静态类型动态类型 (Dynamically Typed)静态类型 (Statically Typed)对比示例强类型 vs 弱类型强类型 (Strongly Typed)弱类型 (Weakly Typed)对比示例编译型语言 vs 解…...

编程日记 2025/6/29 12:14:41

react nativeWebView跨页面通信

场景 react native项目里，有一些移动端的应用喜欢使用h5来开发，会出现需要跨tab和跨页面通信的场景，可以使用pubsub-js来实现通信。实现思路在react native 层实现pubsub的公共API，提供订阅消息、发布消息、取消订阅接口&…...

编程日记 2025/6/29 10:45:54

Python爬虫（3）HTML核心技巧：从零掌握class与id选择器，精准定位网页元素

目录一、背景与意义‌二、class与id的基础概念与语法规则‌2.1 什么是class与id？‌2.2 核心区别总结三、应用场景与实战案例‌3.1 场景1：CSS样式管理‌3.2 场景2：JavaScript交互‌3.3 场景3：SEO优化与语义化‌ 四、常见误区与最…...

编程日记 2025/6/29 9:20:35

BGE（BAAI General Embedding）模型详解

BGE（BAAI General Embedding）模型详解 BGE（BAAI General Embedding）是北京智源人工智能研究院（BAAI）推出的通用文本嵌入模型系列，旨在为各种自然语言处理任务提供高质量的向量表示。一、BGE模…...

编程日记 2025/7/2 23:12:16

【Linux网络】应用层自定义协议与序列化及Socket模拟封装

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/6/29 9:22:35

Rust项目GPG签名配置指南

Rust项目GPG签名配置指南一、环境准备 # 安装Gpg4win（Windows） winget install -e --id GnuPG.Gpg4win二、密钥生成与配置 # 生成RSA4096密钥 gpg --full-generate-key # 类型选RSA and RSA，长度4096，邮箱填z3266420686202216…...

编程日记 2025/6/29 9:20:43

6.第六章：数据分类的技术体系

文章目录 6.1 数据分类的技术架构6.1.1 数据分类的整体流程6.1.2 数据分类的技术组件6.1.2.1 数据采集与预处理6.1.2.2 特征工程与选择6.1.2.3 分类模型构建6.1.2.4 模型评估与优化6.1.2.5 分类结果应用与反馈 6.2 数据分类的核心技术与算法6.2.1 传统机器学习算法6.2.2 深度学…...

编程日记 2025/6/29 10:28:37

Nginx 反向代理，啥是“反向代理“啊，为啥叫“反向“代理？而不叫“正向”代理？它能干哈？

Nginx 反向代理的理解与配置 User 我打包了我的前端vue项目，上传到服务器，在宝塔面板安装了nginx服务，配置了文件 nginx.txt .运行了项目。我想清楚，什么是nginx反向代理？是nginx作为一个中介？中间件来集…...

编程日记 2025/6/29 9:20:37

下篇：深入剖析 BLE GATT / GAP / SMP 与应用层（约5000字）

引言在 BLE 协议栈的最上层，GAP 定义设备角色与连接管理，GATT 构建服务与特征，SMP 负责安全保障，应用层则承载具体业务逻辑与 Profile。掌握这一层，可实现安全可靠的设备发现、配对、服务交互和定制化业务。本文将详解 GAP、GATT、SMP 三大模块，并通过示例、PlantUML 时…...

编程日记 2025/6/29 10:31:27

Linux Awk 深度解析：10个生产级自动化与云原生场景

看图猜诗，你有任何想法都可以在评论区留言哦~ 摘要 Awk 作为 Linux 文本处理三剑客中的“数据工程师”，凭借字段分割、模式匹配和数学运算三位一体的能力，成为处理结构化文本（日志、CSV、配置文件）的终极工具。本文聚…...

编程日记 2025/6/29 11:25:27

无人设备遥控之调度自动化技术篇

无人设备遥控器的调度自动化技术是现代科技发展的重要成果，它通过集成先进的通信、控制、传感器及人工智能技术，实现了对无人设备的高效、精准调度与自动化管理。一、核心技术无线通信技术调度自动化依赖于高速、稳定的无线通信网络（如5…...

编程日记 2025/6/29 10:24:41

STM32F407 HAL库使用 DMA_Normal 模式实现 UART 循环发送（无需中断）

在 STM32 开发中，很多人喜欢使用 DMA 来加速串口发送数据。然而，默认的 DMA 往往配合中断或使用循环模式（DMA_CIRCULAR）使用。但在某些特定需求下，我们希望： 使用 DMA_NORMAL 模式，确保 DMA 每次…...

编程日记 2025/6/29 11:32:37

汽车自动驾驶介绍

0 Preface/Foreword 1 介绍 1.1 FSD FSD: Full Self-Driving，完全自动驾驶 （Tesla） 1.2 自动驾驶级别 L0 - L2：辅助驾驶L3：有条件自动驾驶L4/5 ：高度/完全自动驾驶...

编程日记 2025/6/29 11:26:09

Uniapp-小程序从入门到精通

沉淀UNIAPP项目精华模版 ******************************************************************************************************************************************* 1、数据库的导入SQL **************************************************************************…...

编程日记 2025/6/29 9:25:26

深度剖析操作系统核心（第一节）：从X86/ARM/MIPS处理器架构到虚拟内存、分段分页、Linux内存管理，再揭秘进程线程限制与优化秘籍，助你成为OS高手！

文章目录 OS处理器X86ARMMIPSPowerPC 内存管理虚拟内存内存分段内存分页段页式内存管理Linux 内存管理 OS 处理器常见处理器有X86、ARM、MIPS、PowerPC四种。 X86 X86架构是芯片巨头Intel设计制造的一种微处理器体系结构的统称。如果这样说你不理解，那么当我说…...

编程日记 2025/6/29 12:08:29

基于 EFISH-SBC-RK3588 的无人机通信云端数据处理模块方案‌

一、硬件架构设计‌ ‌核心计算单元（EFISH-SBC-RK3588）‌ ‌异构计算能力‌：搭载 8 核 ARM 架构（4Cortex-A762.4GHz 4Cortex-A551.8GHz），集成 6 TOPS NPU 与 Mali-G610 GPU，支持多任务并行处理…...

编程日记 2025/6/29 11:35:03

Unity 内置Standard Shader UNITY_BRDF_PBS函数分析 (二)

四、BRDF1_Unity_PBS // 主物理基BRDF实现 // 基于Disney工作并以Torrance-Sparrow微面模型为基础 // 公式： // BRDF kD / π kS * (D * V * F) / 4 // I BRDF * (N L) // // * NDF（法线分布函数）可根据 UNITY_BRDF_GGX 选择&#…...

编程日记 2025/6/29 11:45:23

GitHub万星项目维护者分享：开源协作的避坑指南

GitHub万星项目维护者分享：开源协作的避坑指南 ——开发者张三与237个文件改动PR的五年战争序幕：深夜的炸弹 2019年夏天，张三维护的开源项目TerminalX刚突破8000星，一个标题猩红的PR突然弹出：“彻底重构&#xff0…...

编程日记 2025/6/29 10:50:12

Linux基础篇、第四章_01软件安装rpm_yum_源码安装_二进制安装

Linux基础篇欢迎来到Linux的世界，看笔记好好学多敲多打，每个人都是大神！ ————laowang 基础命令：rpm、yum、源码安装、二进制安装一、rpm本地安装： (无需网络安装，无法解决软件依赖) rpm -ivh …...

编程日记 2025/6/29 9:20:38

焊接机排错

焊接机一、前定位后焊接两个机台，①极柱定位，相机定位所有极柱点和mark点；②焊接机，相机定位mark点原理：极柱定位在成功定位到所有极柱点和mark点后，可以建立mark点和极柱点的关系。焊接机定位到mark点…...

编程日记 2025/6/29 9:23:23

4.2 Prompt工程与任务建模：高效提示词设计与任务拆解方法

提示词工程（Prompt Engineering）和任务建模（Task Modeling）已成为构建高效智能代理（Agent）系统的核心技术。提示词工程通过精心设计的自然语言提示词（Prompts），引导大型语…...

编程日记 2025/7/1 10:03:55

oracle 锁的添加方式和死锁的解决

DML锁添加方式 DML 锁可由一个用户进程以显式的方式加锁，也可通过某些 SQL 语句隐含方式实现。 DML 锁有三种加锁方式：共享锁方式、独占锁方式、共享更新。共享锁，独占锁用于 TM 锁，共享锁用于 TX 锁。 1)共享方式的表级锁共享方…...

编程日记 2025/6/29 9:20:45

Nginx 二进制部署与 Docker 部署深度对比

一、核心概念解析 1. 二进制部署通过包管理器（如 apt/yum）或源码编译安装 Nginx，直接运行在宿主机上。其特点包括： 直接性：与操作系统深度绑定，直接使用系统库和内核功能。定制化：支持通过…...

编程日记 2025/6/29 9:20:48

以太网的mac帧格式

一.以太网的mac帧帧的要求 1.长度 2.物理层...

编程日记 2025/6/29 12:11:59

每日算法-250424

每日算法打卡 (24/04/25) - LeetCode 2971 & 1647 记录一下今天解决的两道 LeetCode 题目 2971. 找到最大周长的多边形题目思路贪心一个基本的多边形构成条件是：最长边必须小于其他所有边的长度之和。为了找到周长最大的多边形，我们应该尽可能…...

编程日记 2025/6/29 9:20:44

在本地部署n8n：完整指南

n8n是一个强大的工作流自动化工具，可以帮助你连接不同的应用程序和服务，无需编写复杂的代码。本指南将带你完成在本地计算机上部署n8n的完整过程。什么是n8n？ n8n（发音为"n-eight-n"）是一个开源的工作流自…...

编程日记 2025/6/29 9:20:50

棋盘格角点检测顺序问题

文章目录前言一、OpenCV函数测试二、原因分析三、libcbdetect修改总结前言棋盘格角点检测在相机拼接、机械臂手眼标定中等应用很广泛，通常也要求尽量各种角度摆放从而保证标定精度。然后就自然想到了这个问题：如果棋盘格任意角度摆放怎么能对应上角点…...

编程日记 2025/6/29 10:13:30

C++之类和对象：定义，实例化，this指针，封装

C语言是面向过程的，C是面向对象的，利用对象交互，接口完成事情。类的定义： 我们在C语言中可以用struct创建自定义结构体，在C中可以在结构体中定义函数了，这种就被称为类。 #include<iostream> usi…...

编程日记 2025/6/29 9:47:14

Ubuntu系统下交叉编译iperf3

一、参考资料 Linux下iperf3移植到arm下测试100M网口-CSDN博客 Iperf3移植到ARM Linux及使用教程-CSDN博客二、准备工作 1. 编译环境宿主机：Ubuntu 20.04.6 LTSHost：ARM32位交叉编译器：arm-linux-gnueabihf-gcc-11.1.0 2. 设置交叉编…...

编程日记 2025/6/29 9:20:52

游戏引擎学习第243天:异步纹理下载

仓库 https://gitee.com/mrxiao_com/2d_game_6 https://gitee.com/mrxiao_com/2d_game_5 回顾并为今天设定阶段目前的开发工作主要回到了图形渲染相关的部分。我们之前写了自己的软件渲染器，这个渲染器性能意外地好，甚至可以以相对不错的帧率运行过场…...

编程日记 2025/6/29 10:40:01