当前位置：首页 > news >正文

【hadoop】Hive数据仓库安装部署

news 来源：原创 2025/9/17 5:46:33

一、MySQL的安装与配置

换源：

最下面附加部分
1、在master上直接使用yum命令在线安装MySQL数据库：

sudo yum install mysql-server

途中会询问是否继续，输入Y并按回车。

2、启动MySQL服务：

sudo service mysqld start

3、设置MySQL的root用户密码：

MySQL安装完成后，默认root用户是没有密码的，需要先登录并设置其密码：

mysql -u root -p

不用输密码直接回车，登录进去以后执行以下命令设置root用户密码：（标红的才是命令，蓝色的123456则是要设置的密码，你可以按需更改）

mysql>set password for root@localhost=password('123456');

尝试quit退出并重新使用root用户登录MySQL，

如果成功输入密码登录，就说明密码设置成功。

二、Hive的安装与配置

1、先把hive安装包apache-hive-2.3.7-bin.tar.gz发送到master的主目录上，然后在master上解压该安装包：

cd ~
tar -zxvf apache-hive-2.3.7-bin.tar.gz

2、由于解压出来的文件夹名字比较长，可以将其改名为hive，或者自行创建软连接也可：

mv ~/apache-hive-2.3.7-bin ~/hive

3、复制hive配置文件：

hive的配置文件是hive-site.xml，该文件位于hive安装路径下的conf文件夹中。但一开始该配置文件并不存在，直接使用vim新建一个配置文件即可：

cd ~/hive/conf
vim hive-site.xml

配置文件内容如下：

<configuration>
<property><name>hive.exec.local.scratchdir</name><value>/home/hadoop/hive/iotmp</value>
</property>
<property><name>hive.downloaded.resources.dir</name><value>/home/hadoop/hive/iotmp</value>
</property>
<property><name>hive.querylog.location</name><value>/home/hadoop/hive/iotmp</value>
</property>
#指定连接驱动为MySQL的jdbc
<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property>
#配置连接MySQL的URL
<property><name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
</property>
#配置登录MySQL的用户名
<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value>
</property>
#配置登录MySQL的密码
<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value>
</property>
</configuration>

6、配置环境变量

在.bashrc文件中添加内容。先执行以下命令打开.bashrc文件：

vim ~/.bashrc

在文件末尾加上以下语句：

export HIVE_HOME=/home/hadoop/hive
export PATH=$HIVE_HOME/bin:$PATH

添加完成后保存，然后控制台执行以下命令刷新即可：

source ~/.bashrc

7、添加MySQL驱动包

将mysql-connector-java-5.1.38.jar驱动包上传到master主机上，并把它放到hive安装目录下的lib文件夹内即可：

mv ~/mysql-connector-java-5.1.38.jar ~/hive/lib/

三、Hive的初始化

第一次启动Hive需要先进行初始化，后续再次启动则不用。具体操作命令如下：

schematool -dbType mysql -initSchema

四、Hive的启动

启动Hive时，必须保证Hadoop集群已经正确启动。
Hadoop启动后，使用以下命令打开Hive的CLI：

hive
hive>show databases;

如果上述操作没问题，则hive客户端已经安装成功。

如图：

附加：yum仓库换源

如果你的CentOS系统yum命令无法访问默认仓库地址，则可以按照这里的操作步骤进行换源。这里把yum仓库更换为阿里源，以便于国内进行访问。

输入以下命令，使用vim编辑器修改yum配置：

sudo vim /etc/yum.repos.d/CentOS-Base.repo

然后把里面的内容修改为以下：

[base]
name=CentOS-$releasever - Base
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#released updates 
[updates]
name=CentOS-$releasever - Updates
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
enabled=0

修改完成后保存关闭，执行以下命令清理yum的缓存并更新软件包索引：

sudo yum clean all
sudo yum makecache
sudo wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
sudo yum update

【hadoop】Hive数据仓库安装部署

一、MySQL的安装与配置换源： 最下面附加部分 1、在master上直接使用yum命令在线安装MySQL数据库： sudo yum install mysql-server 途中会询问是否继续，输入Y并按回车。 2、启动MySQL服务： sudo service mysqld start 3、设…...

编程日记 2025/9/17 5:46:33

Unity Addressables资源生命周期自动化监控技术详解

一、Addressables资源生命周期管理痛点 1. 常见资源泄漏场景泄漏类型典型表现检测难度隐式引用泄漏脚本持有AssetReference未释放高异步操作未处理AsyncOperationHandle未释放中循环依赖泄漏资源相互引用无法释放极高事件订阅泄漏未取消事件监听导致对象保留高 2. 传统管理…...

编程日记 2025/9/15 4:46:26

Linux网络编程——深入理解TCP的可靠性、滑动窗口、流量控制、拥塞控制

目录一、前言二、流量控制三、TCP的滑动窗口 1、原理 2、机制 3、数据重发 Ⅰ、只是确认应答包(ACK)丢了 Ⅱ、发送数据包丢失 4、缓冲区结构四、TCP的拥塞控制 1、慢启动 2、拥塞避免 3、快速重传 4、快速恢复五、延迟应答六、捎带应答七、再谈TCP的面…...

编程日记 2025/9/10 22:26:15

Manifold-IJ 2022.1.21 版本解析：IntelliJ IDEA 的 Java 增强插件指南

Manifold-IJ-2022.1.21 可能是 IntelliJ IDEA 的一个插件或相关版本，特别是与 Manifold 这个增强 Java 开发体验的框架相关的组件。很多时候没有网络环境，而又需要这个插件。 Manifold-IJ 2022.1.21下载：https://pan.quark.cn/s/ad907344c…...

编程日记 2025/9/17 5:46:32

linux内核

一初识linux内核 1.1操作系统和内核简介操作系统的精确定义并没有一个统一的标准，这里我认为操作系统是指整个系统负责完成最基本功能和系统管理的那些部分这些部分包括内核，设备驱动程序，启动引导程序，基本的文件管理工具和…...

编程日记 2025/9/17 5:44:34

基于CNN-LSTM-GRU的深度Q网络（Deep Q-Network，DQN）求解移动机器人路径规划，MATLAB代码

一、深度Q网络（Deep Q-Network，DQN）介绍 1、背景与动机深度Q网络（DQN）是深度强化学习领域的里程碑算法，由DeepMind于2013年提出。它首次在 Atari 2600 游戏上实现了超越人类的表现，解决了传统…...

编程日记 2025/9/10 4:22:24

C++23新特性：显式对象形参与显式对象成员函数

文章目录一、背景与动机二、语法与基本使用三、优势与应用场景（一）简化代码（二）提升模板编程灵活性（三）与Lambda表达式结合四、限制与注意事项五、总结 C23标准引入了一项重要的语言特性——显式对象形参…...

编程日记 2025/9/17 5:44:34

leetcode_242. 有效的字母异位词_java

242. 有效的字母异位词https://leetcode.cn/problems/valid-anagram/ 1、题目给定两个字符串 s 和 t ，编写一个函数来判断 t 是否是 s 的字母异位词（字母异位词是通过重新排列不同单词或短语的字母而形成的单词或短语，并使用所有原字母一次…...

编程日记 2025/9/11 19:42:24

【Docker基础】容器技术详解：生命周期、命令与实战案例

文章目录一、什么是容器？二、为什么需要容器三、容器的生命周期容器状态容器OOM容器异常退出容器异常退出容器暂停四、容器命令命令清单详细介绍五、容器操作案例容器的状态迁移容器批量操作容器交互模式attached 模式detached 模式interactive 模式容器与宿主…...

编程日记 2025/9/17 5:45:28

电子电气架构 --- 为配备区域计算的下一代电子/电气（E/E）架构

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁，漫无目的走着，大概这就是成年人最深的孤独吧! 旧人不知我近况，新人不知我过…...

编程日记 2025/9/11 18:29:27

n int(input()) for _ in range(n):line input().strip()line list(line)for i in range(1,len(line)1):if i%2 0:line[i-2], line[i-1] line[i-1],line[i-2] print(.join(line))以下分不同数据类型说明 Python 实现奇偶互换的方法： 字符串的奇偶位互换若字…...

编程日记 2025/9/12 13:28:03

51单片机Day03---让一个LED灯闪烁

目录 1.研究原理图： 2.一些小知识（重定义的使用）： （1）在单片机中，unsigned int 常用于以下场景： （2）unsigned char： 3.思路构造：…...

编程日记 2025/9/10 12:52:32

城电科技 | 从概念到落地：如何打造真正的智慧零碳园区？

在科技飞速发展的当下，智慧零碳园区成为了引领未来发展的重要范式。那么，究竟什么是智慧零碳园区呢？ 智慧零碳园区，是借助前沿信息技术，把物联网、云计算、大数据等技术深度融入园区管理及产业运营，以此达…...

编程日记 2025/9/17 5:45:27

oracle常见问题处理集锦

oracle常见问题处理集锦 oracle常见问题处理集锦ORA:28000 the count is locked oracle常见问题处理集锦 ORA:28000 the count is locked ORA-28000: 账户已被锁定这个错误表示你尝试登录的 Oracle 数据库用户账户已被锁定，常见原因包括： 多次密码输错…...

编程日记 2025/9/11 10:26:51

Java-JDBC入门程序、预编译SQL

一. JDBC JDBC：Java DataBase Connectivity 就是使用Java语言操作关系型数据库的一套API 本质：sun公司官方定义一套操作所有关系型数据库的规范，即接口；各个数据库厂商去实现这套接口，提供数据库驱动jar包。我们可以使…...

编程日记 2025/9/17 5:45:27

【SQL】基于多源SQL 去重方法对比 -- 精华版

【SQL】基于SQL 去重方法对比 -- 精华版一、引言二、基于SQL去重方法完整对比1. MySQL去重方法及优劣势1.1 DISTINCT关键字1.2 GROUP BY子句1.3 UNION系列操作1.4 子查询自关联 2. Hive去重方法及优劣势2.1 DISTINCT关键字2.2 GROUP BY子句2.3 ROW_NUMBER窗口函数2.4 …...

编程日记 2025/9/15 16:35:50

list的使用以及模拟实现

本章目标 1.list的使用 2.list的模拟实现 1.list的使用在stl中list是一个链表,并且是一个双向带头循环链表,这种结构的链表是最优结构. 因为它的实现上也是一块线性空间,它的使用上是与string和vector类似的.但相对的因为底层物理结构上它并不像vector是线性连续的,它并没有…...

编程日记 2025/9/16 15:17:12

java继承练习

//创建父类public class Employee {private String id;private String name;private double salary;public Employee() {}public Employee(String id, String name, double salary) {this.id id;this.name name;this.salary salary;}public String getId() {return id;}pu…...

编程日记 2025/9/15 4:27:41

猫咪如厕检测与分类识别系统系列【一】功能需求分析及猫咪分类特征提取

开发背景家里养了三只猫咪，其中一只布偶猫经常出入厕所。但因为平时忙于学业，没法时刻关注牠的行为。我知道猫咪的如厕频率和时长与健康状况密切相关，频繁如厕可能是泌尿问题，停留过久也可能是便秘或不适。为了更科学地了解牠的…...

编程日记 2025/9/10 5:31:53

sparkcore编程算子

今天是Spark Core编程算子 Value类型算子 1. map 将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。Map算子是分区内一个数据一个数据的执行，类似于串行操作。特点： - 主要目的将数据源中的数据进行…...

编程日记 2025/9/16 0:48:33

【EI会议】第三届机器人与软件工程前沿国际会议（FRSE 2025）

第三届机器人与软件工程前沿国际会议（FRSE 2025）将于2025年8月8日-10日在中国张家界召开。会议由清华大学自动化系主办，长沙理工大学、湖南科技大学、吉首大学、AC学术中心协办。一、会议信息大会官网：www.icfrse.org 会议时…...

编程日记 2025/9/14 14:58:41

机器人系统仿真--1.机器人模型URDF

添加机器人地盘...

编程日记 2025/9/11 4:31:19

具身机器人中AI（DEEPSEEK）与PLC、驱动器协同发展研究：突破数据困境与指令精确控制（3）

具身机器人中AI（DEEPSEEK）与PLC、驱动器协同发展研究：突破数据困境与指令精确控制（1）-CSDN博客具身机器人中AI（DEEPSEEK）与PLC、驱动器协同发展研究：突破数据困境与指令精确控制&a…...

编程日记 2025/9/10 6:28:38

+++++背到厌倦。持续更新

Spring IoC 的工作流程: 读取 BeanDefinition: Spring 容器启动时，会读取 Bean 的配置信息 (例如 XML 配置文件、注解或 Java 代码)，并将这些配置信息转换为 BeanDefinition 对象。创建 Bean 实例: 根据 BeanDefinition 中的信息，Spring 容器…...

编程日记 2025/9/10 18:56:35

修改 docker 工作目录

一、停掉 containerd、cri-docker、docker systemctl stop containerd systemctl stop cri-docker systemctl stop docker 二、拷贝 docker 工作目录下的所有文件到新路径 rsync -aP /var/lib/docker/ /docker/data/ 三、daemon.json 添加新工作目录路径 {"registry-…...

编程日记 2025/9/10 14:27:27

51c嵌入式~继电器~合集1

我自己的原文哦~ https://blog.51cto.com/whaosoft/13775821 一、继电器应用细节继电器的应用，相信大家都知道，在电路中只要给它供电、断电也就可以工作了。本文讨论它的应用细节。现在流行的接法图中，继电器的线圈经过Q1作为开关&am…...

编程日记 2025/9/13 13:21:40

舵机：机器人领域的“关节革命者”

机器人的技术，每一个细微的进步都可能引领一场行业变革。而在这场变革中，舵机作为机器人关节的核心部件，正悄然上演着一场革命性的应用风暴。从简单的关节运动到复杂的姿态控制，舵机以其卓越的性能和无限的可能，重新定…...

编程日记 2025/9/10 20:11:12

飞书集成衡石ChatBot实战：如何10分钟搭建一个业务数据问答机器人？

让数据查询像聊天一样简单在快节奏的业务环境中，数据查询的实时性和便捷性至关重要。传统BI工具需要复杂的操作，而衡石ChatBot结合飞书，让业务人员只需在聊天窗口提问，就能立刻获取数据反馈，真正实现“零门槛”数据分…...

编程日记 2025/9/10 0:08:12

高并发环境下超发现象的详细分析，包含场景示例、影响分析及解决方案(悲观锁、乐观锁、分布式锁）

以下是针对高并发环境下超发现象的详细分析，包含场景示例、影响分析及解决方案： 高并发下的超发详解 1. 超发现象定义超发（Over-issuance）指在并发操作中，系统实际发放的资源（如商品库存）超过…...

编程日记 2025/9/11 10:09:24

Git 分支整合策略：Cherry-pick、Merge、Rebase 三者之间对比

Git 分支整合策略详解：Cherry-pick、Merge、Rebase 在日常的 Git 多分支协作开发中，代码合并是常见操作。Git 中主要提供以下三种方式来合并或迁移分支的提交： Cherry-pick：精确挑选部分提交复制到当前分支；Merge&am…...

编程日记 2025/9/15 8:03:52

嵌入式八股---计算机网络篇

前言这块主要是结合着LWIP去理解计算机网络中常见的面试题 OSI四层/五层/七层模型 OSI分层（7层）：物理层、数据链路层、网络层、传输层、会话层(http)、表示层(加密)、应用层。 TCP/IP分层（4层）：网络接口层…...

编程日记 2025/9/15 21:13:56

使用 3D Layout 和 Icepak 进行 PCB、DCIR 和热分析

在本教程中，您将学习如何使用 3D Layout 执行 DCIR，然后使用功率损耗数据执行热分析。热分析将使用电子桌面 Icepak 进行。SIwave 及其嵌入式 icepak 可用于执行相同的分析，但有一个例外。电子桌面 Icepak 是一款功能齐全的 3D 工具。用户可以…...

编程日记 2025/9/10 5:37:28

UE5 Windows游戏窗口置顶

参考资料：UE5 UE4 项目设置全局置顶_ue4运行设置置顶-CSDN博客修改完build.cs后，关掉重新生成解决方案。（不然可能编译报错，在这卡了半个小时） 不知道怎么用C的，可以用这个 Topmost - Keep Editor/Game w…...

编程日记 2025/9/10 20:06:55

【Linux】进程管理

一、程序与进程区别 1.程序： 存放在磁盘文件可执行文件（静态存在） 特点静态性：程序是静态的，它只是一组指令的集合，在未被执行时，不会占用计算机的运行资源，也不会产生任何实际的…...

编程日记 2025/9/10 6:25:07

Android Studio PNG转SVG方法总结

在 Android Studio 中，将 PNG 位图转换为 SVG 矢量图并非直接内置的功能，但你可以通过以下步骤实现目标： 方法 1：使用在线转换工具访问在线转换网站推荐工具： CloudConvert Vector Magic OnlineConvertFree 上传…...

编程日记 2025/9/14 8:28:12

第6篇：Linux程序访问控制FPGA端LEDR＜四＞

Q：如何设计.c程序代码控制FPGA端外设LEDR动态显示？ A：我们来设计程序实现简易计数器：将上一期点亮LEDR的程序代码*LEDR_ptr 0x2aa 改为 *LEDR_ptr *LEDR_ptr 1，读取LEDR端口的data寄存器，将寄存器值递增…...

编程日记 2025/9/10 5:26:52

DP扰码模块verilog仿真

在DisplayPort 1.4协议中，为了减少EMI，在8B/10B编码之前，需进行扰码Scramble。扰码用到了16-bit LFSR，表达式如下。 LFSR每移位8个bit后，用最高有效 8 位以相反的位顺序与一个字节数据进行异或从而实现数据加扰/解扰。…...

编程日记 2025/9/14 6:30:21

协作焊接机器人的应用场景

协作焊接机器人凭借其灵活性、安全性和高效性，在多个领域有着广泛的应用场景，以下是一些主要的方面： 汽车制造车身焊接：在汽车车身生产线上，协作焊接机器人可与工人协同工作，完成车身各部件的焊接任务。例…...

编程日记 2025/9/11 17:24:15

深入解析计算机操作系统的底层架构与核心模块功能

深入解析计算机操作系统的底层架构与核心模块功能一、操作系统底层架构总览操作系统处于计算机系统的核心地位，是计算机硬件与用户之间的关键纽带，承担着资源管理者的重要角色。它负责统筹管理计算机的各类资源，如CPU、内存、存储设备以及…...

编程日记 2025/9/11 15:02:02

Elasticsearch 官网阅读学习笔记01

Elasticsearch 官网阅读学习笔记01 什么是 Elasticsearch？ Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Elasticsearch 可为所有类型的数据提供近乎实时的搜索和分析。无论您拥有的是结构化或非结构化文本、数值数据还是地理空间数据 Elastic…...

编程日记 2025/9/11 12:10:42

玩转Docker | 使用Docker搭建Van-Nav导航站

玩转Docker | 使用Docker搭建Van-Nav导航站前言一、Van-Nav介绍van-nav 简介主要特点二、系统要求环境要求环境检查Docker版本检查检查操作系统版本三、部署Van-Nav服务下载镜像创建容器检查容器状态检查服务端口安全设置四、访问Van-Nav应用访问Van-Nav首页登录后台管理五、添…...

编程日记 2025/9/10 6:21:36

若依前后端部署

后端：直接把代码从gitee上拉去到本地目录 (https://gitee.com/y_project/RuoYi-Vue ) 注意下redis连接时password改auth 后端启动成功前端：运行前首先确保安装了node环境，随后执行： ！！一定要用管理员权限…...

编程日记 2025/9/11 22:35:03

笔记：头文件与静态库的使用及组织方式

笔记：头文件与静态库的使用及组织方式 1. 头文件的作用接口声明：提供函数、类、变量等标识符的声明，供其他模块调用。编译依赖：编译器需要头文件来验证函数调用和类型匹配。避免重复定义：通过包含保护（如…...

编程日记 2025/9/15 0:48:08

PostgreSQL-常用命令

PostgreSQL 提供了丰富的命令行工具和 SQL 命令，用于管理和操作数据库。以下是一些常用的命令和操作： 1. 数据库管理创建数据库 CREATE DATABASE dbname; 删除数据库 DROP DATABASE dbname; 列出所有数据库 \l SELECT datname FROM pg_database;…...

编程日记 2025/9/10 15:01:48

如何在 Postman(测试工具) 中实现 Cookie 持久化并保持同一会话

在开发基于 Spring Boot 的 Web 应用时，使用 Session 存储验证码等敏感信息是常见的做法。然而，在调试接口时，你可能会遇到这样一个问题：第一次请求接口时存入的验证码在第二次请求时无法获取，原因往往是两个请求所使用…...

编程日记 2025/9/16 3:54:12

粘性定位（position:sticky）——微信小程序学习笔记

1. 简介 CSS 中的粘性定位（Sticky positioning）是一种特殊的定位方式，它可以使元素在滚动时保持在视窗的特定位置，类似于相对定位（relative），但当页面滚动到元素的位置时，它会表现得…...

编程日记 2025/9/13 16:53:54

谷歌浏览器极速安装指南

目录 📋 准备工作步骤一：访问官网 🌐 步骤二：获取安装包 ⬇️ 步骤三：一键安装 🖱️ 步骤四：首次启动设置 ⚙️ 步骤五：开始探索！ 🌟 💬 …...

编程日记 2025/9/10 1:15:50

【2024年最新IEEE Trans】模糊斜率熵Fuzzy Slope entropy及5种多尺度，应用于状态识别、故障诊断！

引言 2024年11月，研究者在测量领域国际顶级期刊《IEEE Transactions on Instrumentation and Measurement》（IF 5.6，JCR 1区，中科院二区）上发表科学研究成果，以“Optimized Fuzzy Slope Entropy: A Comple…...

编程日记 2025/9/11 15:31:01