当前位置：首页 > news >正文

Hive之[Hive]详细安装步骤

news 来源：原创 2025/5/11 13:07:15

hive 是依赖hadoop中的hdfs作为存储，依赖mysql管理元数据

master节点

集群环境

master  192.168.204.130
slave1  192.168.204.131
slave2  192.168.204.132

组件下载地址

https://archive.apache.org/dist/hive/hive-1.2.2/
或
链接: https://pan.baidu.com/s/1DrvGTGn4_OFxO9WLmljJ_g 提取码: 1234

下载完后上传至虚拟机master的/usr/local/src文件夹下；解压：

tar -zxvf apache-hive-1.2.2-bin.tar.gz

修改hive运行环境配置文件：hive-env.sh

cd /usr/local/src/apache-hive-1.2.2-bin/conf
mv hive-env.sh.template hive-env.sh
vim hive-env.sh

添加如下内容：

export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export HIVE_CONF_DIR=/usr/local/src/apache-hive-1.2.2-bin/conf

创建hive-site.xml文件

touch hive-site.xml
vim hive-site.xml

添加如下内容：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.metastore.warehouse.dir</name><value>hdfs://master:9000/hive/warehouse</value></property><property><name>hive.exec.scratchdir</name><value>hdfs://master:9000/hive/tmp</value></property><property><name>hive.querylog.location</name><value>/usr/hive/log</value><description>设置hive job日志存储位置</description></property><property><name>hive.cli.print.header</name><value>true</value><description>设置显示列名</description></property><property><name>hive.resultset.use.unique.column.names</name><value>false</value><description>增加列名可读性</description></property><property><name>hive.exec.dynamic.partition</name><value>true</value><description>开启动态分区</description></property><property><name>hive.exec.dynamic.partition.mode</name><value>nonstrict</value><description>设置动态分区模式为非严格模式</description></property><property><name>hive.enforce.bucketing</name><value>true</value><description>是否启用bucketing，写入table数据</description></property>
<!--<property><name>hive.metastore.uris</name><value>thrift://master:9083</value><description>元数据服务</description></property>
-->
<!--test flume to hive <property><name>hive.support.concurrency</name><value>true</value><description>是否支持并发，默认是false</description></property><property><name>hive.txn.manager</name><value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value><description>打开一部分事务支持协同配置</description></property><property><name>hive.compactor.initiator.on</name><value>true</value><description>运行启动程序和清除线程,用于打开所需参数的完整列表事务</description></property><property><name>hive.compactor.worker.threads</name><value>1</value><description>增加工作线程的数量将减少花费的时间</description></property>
-->
<!--设置hiveserver2链接参数--><property><name>yarn.app.mapreduce.am.command-opts</name><value>-Djava.net.preferIPv4Stack=true -Xmx200m</value></property><property><name>mapreduce.map.java.opts</name><value>-Djava.net.preferIPv4Stack=true -Xmx200m</value></property><property><name>mapreduce.reduce.java.opts</name><value>-Djava.net.preferIPv4Stack=true -Xmx200m</value></property>
</configuration>

增加环境变量

Master节点

vim ~/.bashrc

添加以下两行:

export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export PATH=$PATH:${HIVE_HOME}/bin

刷新环境变量，让配置生效：

source ~/.bashrc

修改文件夹所属权限(包含master、slave1和slave2三个节点)

查看文件夹所属权限

cd /usr/local/src/
[root@master src]# ll
总用量 0
drwxr-xr-x  8 root  root  159 2月  10 19:00 apache-hive-1.2.2-bin
drwxr-xr-x 12 10011 10011 183 2月   8 16:51 hadoop-2.6.1
drwxr-xr-x  7    10   143 245 7月   7 2018 jdk1.8.0_181

修改

[root@master src]# chown -R root:root hadoop-2.6.1 jdk1.8.0_181
[root@master src]# ll
总用量 0
drwxr-xr-x  8 root root 159 2月  10 19:00 apache-hive-1.2.2-bin
drwxr-xr-x 12 root root 183 2月   8 16:51 hadoop-2.6.1
drwxr-xr-x  7 root root 245 7月   7 2018 jdk1.8.0_181

替换掉Hadoop的jline包

删除Hadoop下的jline包

cd /usr/local/src/hadoop-2.6.1/share/hadoop/yarn/lib/
rm -rf jline-0.9.94.jar

复制hive下的jline包到hadoop的lib文件夹

cd /usr/local/src/apache-hive-1.2.2-bin/lib
cp jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib/

安装MySQL连接工具

master节点
下载安装包

链接: https://pan.baidu.com/s/1ZJsntsUqIxd8HuJibLlPdw 提取码: 1234

找到mysql-connector-java-5.1.44.tar，
下载之后上传到虚拟机/usr/local/src文件夹下, 解压:

tar xvf mysql-connector-java-5.1.44.tar

复制链接库文件：

cd mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar $HIVE_HOME/lib/

初始化元数据库

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

启动Hive服务

hadoop集群启动之后，需要等待一会，等待hadoop退出安全模式，退出之后才可以启动hive
检查hadoop集群状态：

hadoop dfsadmin -report
如果有：Safe mode is ON的时候，不可以启动hive，需要等待一会

启动hive

[root@master hadoop-2.6.1]# hiveLogging initialized using configuration in jar:file:/usr/local/src/apache-hive-1.2.2-bin/lib/hive-common-1.2.2.jar!/hive-log4j.properties
hive> show databases;
OK
database_name
default
Time taken: 0.666 seconds, Fetched: 1 row(s)
hive> exit;
[root@master hadoop-2.6.1]#

参考1
参考2

Hive之[Hive]详细安装步骤

hive 是依赖hadoop中的hdfs作为存储，依赖mysql管理元数据 master节点集群环境 master 192.168.204.130 slave1 192.168.204.131 slave2 192.168.204.132组件下载地址 https://archive.apache.org/dist/hive/hive-1.2.2/ 或链接: https://pan.baidu.com/s/1…...

编程日记 2025/5/11 13:07:15

3.【线性代数】——矩阵乘法和逆矩阵

三矩阵乘法和逆矩阵 1. 矩阵乘法1.1 常规方法1.2 列向量组合1.3 行向量组合1.4 单行和单列的乘积和1.5 块乘法 2. 逆矩阵2.1 逆矩阵的定义2.2 奇异矩阵2.3 Gauss-Jordan 求逆矩阵2.3.1 求逆矩阵 ⟺ \Longleftrightarrow ⟺解方程组2.3.2 Gauss-Jordan求逆矩阵 1. 矩阵乘法 1.…...

编程日记 2025/5/11 12:13:45

手动配置IP

手动配置IP，需要考虑四个配置项： 四个配置项 IP地址、子网掩码、默认网关、DNS服务器 IP地址：格式表现为点分十进制，如192.168.254.1 子网掩码：用于区分网络位和主机位【子网掩码的二进制表达式一定是连续的&#…...

编程日记 2025/5/7 17:34:26

unity is running as administrator 管理员权限问题

每次打开工程弹出unity is running as administrator的窗口 unity版本2022.3.34f1，电脑系统是win 11系统解决方法一：解决方法二： unity版本2022.3.34f1，电脑系统是win 11系统每次打开工程都会出现unity is running as administr…...

编程日记 2025/5/7 1:28:07

AI在电竞比分网中的主要应用场景

AI在电竞体育比分网的数据应用非常广泛，能够显著提升数据分析、预测、用户体验和商业价值。以下是AI在电竞比分网中的主要应用场景： 1. 实时数据采集与分析比赛数据实时更新：AI通过自动化系统实时采集比赛数据（如击杀数、经济差、…...

编程日记 2025/5/6 20:20:38

消息中间件：RabbitMQ镜像集群部署配置全流程

目录 1、特点 2、RabbitMQ的消息传递模式 2.1、简单模式（Simple Mode） 2.2、工作队列模式（Work Queue Mode） 2.3、发布/订阅模式（Publish/Subscribe Mode） 2.4、路由模式（Routing Mode&am…...

编程日记 2025/5/5 7:22:52

TCP的拥塞控制

什么是TCP的拥塞控制？它的工作原理是什么？为什么需要拥塞控制？ TCP拥塞控制简介想象一下，你和一群朋友在一条狭窄的小路上跑步。如果每个人都拼命跑，小路很快就会变得拥挤不堪，大家互相碰撞，…...

编程日记 2025/5/11 12:04:09

Jenkins 配置 Git Repository 五

Jenkins 配置 Git Repository 五这里包含了 Freestyle project 任务类型和 Pipeline 任务类型关于 Git 仓库的配置，如下不同的任务类型，只是在不同的模块找到配置 Git 仓库找到 Git 仓库配置位置之后，所有的任务类型配置都是一样的 …...

编程日记 2025/5/11 12:11:36

父组件中循环子组件调用

父组件中循环子组件调用父组件 //father.vue <template><view><view v-for"(item,index) in list"><son ref"son"></son></view><buton click"submit">123</buton></view> </templ…...

编程日记 2025/5/11 11:46:51

【网络安全.渗透测试】Cobalt strike（CS）工具使用说明

目录前言一、工具显著优势二、安装 Java 运行环境三、实验环境搭建要点四、核心操作流程详解（一）环境准备与连接步骤（二）主机上线与深度渗透流程五、其他实用功能应用指南（一）office 宏 payload 应用（二）Https Payload 应用（三）信息收集策略 …...

编程日记 2025/4/16 18:56:33

C++ 设计模式-建造者模式

以下是一个完整的C建造者模式示例，包含产品类、建造者接口、具体建造者、指挥者以及测试代码： #include <iostream> #include <string> #include <memory>// 产品类：汽车 class Car { public:void setBody(const std::str…...

编程日记 2025/4/30 9:08:34

【Unity3D】Unable to detect SDK in the selected directory

某天突然发现SDK选中自己的目录或打安卓包时提示SDK Tools相关的报错打开Android Studio的SDK Manager更新Android SDK Tools...

编程日记 2025/5/11 12:18:55

QML使用ChartView绘制饼状图

一、工程配置首先修改CMakeLists.txt，按下图修改： find_package(Qt6 6.4 REQUIRED COMPONENTS Quick Widgets) PRIVATEtarget_link_libraries(appuntitledPRIVATE Qt6::QuickPRIVATE Qt6::Widgets )其次修改main.cpp，按下图修改&#xff…...

编程日记 2025/5/9 0:47:28

ollama本地部署 deepseek离线模型安装一套从安装到UI运行

一、安装本地ollama 1、下载ollama (1)百度网盘windows版本通过网盘分享的文件：OllamaSetup.exe 链接: https://pan.baidu.com/s/15ca6WAzrc4wWph5H9BEOzw 提取码: 283u (2)进入官网：Ollama 2、选择你的系统等待下载完成就可以了。注：这…...

编程日记 2025/5/10 22:02:06

【linux】ubunbu切换到root

在 Ubuntu 中切换到 root 用户有几种方法，具体取决于你的需求和权限配置。以下是常见的几种方式： 1. 使用 sudo 临时切换到 root 如果你当前用户有 sudo 权限，可以使用以下命令临时切换到 root 用户： bash sudo -i 或者&#xff1…...

编程日记 2025/5/5 5:16:27

推理框架对比：ReAct、思维链(COT)和思维树(TOT)谁更胜一筹

推理框架作为 AI 解决复杂问题的核心机制，正逐渐成为研究和应用的焦点。ReAct、思维链（Chain-of-Thought，CoT）（Chain-of-Thought (CoT)：引导大型语言模型解决问题的有效策略）和思维树&#xff0…...

编程日记 2025/5/6 0:21:31

electron.vite 项目创建以及better-sqlite3数据库使用

1.安装electron.vite npm create quick-start/electronlatest中文官网：https://cn.electron-vite.org/ 2. 安装项目依赖 npm i3.修改 electron-builder 配置文件 appId: com.electron.app productName: text33 directories:buildResources: build files:- !**/.v…...

编程日记 2025/5/6 9:08:40

Dockerfiles 的 Top 10 常见 DevOps/SRE 面试问题及答案

1. RUN 和 CMD 之间有什么区别？ RUN : 在镜像构建过程中执行命令，创建一个新的层。通常用于安装软件包。示例: RUN apt-get update && apt-get install -y curlCMD : 指定容器启动时默认运行的命令。它在运行时执行，而不是在构建过程…...

编程日记 2025/5/1 6:20:18

Sentinel——Spring Boot 应用接入 Sentinel 后内存开销增长计算方式

接入 Sentinel 对 Spring Boot 应用的内存消耗影响主要取决于规则数量、资源数量、监控粒度、并发量等因素。 1. 核心内存消耗来源 (1) Sentinel 核心库默认依赖：Sentinel Core 本身占用较小，通常在 10~50MB（取决于资源数量和规则复杂度…...

编程日记 2025/5/8 8:13:00

domain 网络安全网络安全域

文章目录 1、域的概述 1.1、工作组与域1.2、域的特点1.3、域的组成1.4、域的部署概述1.5、活动目录1.6、组策略GPO 2、域的部署实验 2.1、建立局域网，配置IP2.2、安装活动目录2.3、添加用户到指定域2.4、将PC加入域2.5、实验常见问题 3、OU（组织单位…...

编程日记 2025/5/4 2:01:13

OpenCV机器学习（2）提升算法类cv::ml::Boost

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 cv::ml::Boost 是 OpenCV 机器学习模块中的一部分，用于实现提升算法（Boosting Algorithms）。Boosting 是一种…...

编程日记 2025/5/7 6:00:14

【Java 面试八股文】框架篇

框架篇 1. Spring框架中的单例bean是线程安全的吗？2. 什么是AOP？3. 你们项目中有没有使用到AOP？4. Spring中的事务是如何实现的？5. Spring中事务失效的场景有哪些？6. Spring的bean的生命周期？7. Spring中的…...

编程日记 2025/5/10 17:43:26

基于HAL库的按钮实验

实验目的掌握STM32 HAL库的GPIO输入配置方法。实现通过按钮控制LED亮灭（支持轮询和中断两种模式）。熟悉STM32CubeMX的外部中断（EXTI）配置流程。实验硬件开发板：STM32系列开发板（如STM32F103C8T6、N…...

编程日记 2025/5/11 11:21:18

TCP 端口号为何位于首部前四个字节？协议设计的智慧与启示

知乎的一个问题很有意思：“为什么在TCP首部中要把TCP的端口号放入最开始的四个字节？” 这种问题很适合我这种搞历史的人，大年初一我给出了一个简短的解释，但仔细探究这个问题，我们将会获得 TCP/IP 被定义的过程。文…...

编程日记 2025/5/10 9:49:17

前端实现在PDF上添加标注(1)

前段时间接到一个需求，用户希望网页上预览PDF，同时能在PDF上添加文字，划线，箭头和用矩形框选的标注，另外还需要对已有的标注进行修改，删除。期初在互联网上一通搜索，对这个需求来讲发现了两个问…...

编程日记 2025/5/9 21:15:45

Springboot 中如何使用Sentinel

在 Spring Boot 中使用 Sentinel 非常方便，Spring Cloud Alibaba 提供了 spring-cloud-starter-alibaba-sentinel 组件，可以快速将 Sentinel 集成到你的 Spring Boot 应用中，并利用其强大的流量控制和容错能力。下面是一个详细的步骤指南 …...

编程日记 2025/5/8 6:16:34

如何优化React应用的性能？

文章目录 1. 引言2. 渲染优化2.1 使用 React.memo 避免不必要的重新渲染2.2 使用 shouldComponentUpdate 或 PureComponent2.3 使用 useMemo 和 useCallback 3. 异步渲染与懒加载3.1 使用 React.lazy 和 Suspense 实现懒加载3.2 分割代码（Code-Splitting&#xff09…...

编程日记 2025/5/7 15:08:52

ES的java操作

ES的java操作一、添加依赖在pom文件中添加依赖包 <dependencies><dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId><version>7.8.0</version></dependency><!-- elastic…...

编程日记 2025/5/4 23:23:30

八大排序——简单选择排序

目录 1.1基本操作： 1.2动态图： 1.3代码： 代码解释 1. main 方法 2. selectSort 方法示例运行过程初始数组每轮排序后的数组最终排序结果代码总结 1.1基本操作： 选择排序（select sorting）也…...

编程日记 2025/5/11 2:40:31

算法学习笔记之贪心算法

导引（硕鼠的交易） 硕鼠准备了M磅猫粮与看守仓库的猫交易奶酪。仓库有N个房间，第i个房间有 J[i] 磅奶酪并需要 F[i] 磅猫粮交换，硕鼠可以按比例来交换，不必交换所有的奶酪计算硕鼠最多能得到多少磅奶酪。输入M和…...

编程日记 2025/5/6 11:27:00

【数据结构】(8) 二叉树

一、树形结构 1、什么是树形结构根节点没有前驱，其它节点只有一个前驱（双亲/父结点）。所有节点可以有 0 ~ 多个后继，即分支（孩子结点）。每个结点作为子树的根节点，这些子树互不相交。 2、关于…...

编程日记 2025/5/10 6:13:35

前端大屏适配方案：从设计到实现的全流程指南

引言随着数据可视化需求的增长，大屏展示项目在前端开发中越来越常见。然而，大屏开发面临独特的挑战： 屏幕分辨率多样：从1080P到4K甚至8K，如何保证清晰度？布局复杂：多图表、多组件如何合理排列…...

编程日记 2025/5/6 19:36:09

10. Hbase Compaction命令

一. 什么是Compaction 在 HBase 中，频繁进行数据插入、更新和删除操作会生成许多小的 HFile，当 HFile 数量增多时，会影响HBase的读写性能。此外，垃圾数据的存在也会增加存储需求。因此，定期进行 Compact操作&#xff…...

编程日记 2025/5/11 1:59:49

完善sql盲注中的其他函数 dnslog+sqlmap外带数据

2. 布尔盲注布尔盲注是通过观察应用程序的响应（如页面内容、HTTP 状态码等）来判断查询条件是否为真。 <?php // 数据库连接配置 $host localhost; $dbname testdb; $user root; $password password; // 创建数据库连接 $conn new mysqli($ho…...

编程日记 2025/5/10 14:45:04

Python 识别图片和扫描PDF中的文字

目录工具与设置 Python 识别图片中的文字 Python 识别图片中的文字及其坐标位置 Python 识别扫描PDF中的文字注意事项在处理扫描的PDF和图片时，文字信息往往无法直接编辑、搜索或复制，这给信息提取和分析带来了诸多不便。手动录入信息不仅耗时费…...

编程日记 2025/5/1 2:43:45

Java 有哪些锁，他们的区别是什么

Java 锁的分类 Java 中的锁可以从多个维度进行分类： 悲观锁 vs. 乐观锁公平锁 vs. 非公平锁独占锁 (互斥锁) vs. 共享锁 (读写锁)可重入锁 vs. 不可重入锁自旋锁偏向锁 vs. 轻量级锁 vs. 重量级锁 (JVM 锁优化) 1. synchronized 关键字： 类型: 悲观锁…...

编程日记 2025/5/9 11:01:12

CSS实现单行、多行文本溢出显示省略号（…）

在网页设计中，我们常常遇到这样的情况：文本内容太长，无法完全显示在一个固定的区域内。为了让界面看起来更整洁，我们可以使用省略号（…）来表示内容溢出。这不仅能提升用户体验，还能避免内容溢出…...

编程日记 2025/5/7 2:27:07

网络协议/MQTT Paho.MQTT客户端库接口基础知识

开源c版mqtt客户端：https://github.com/eclipse-paho/paho.mqtt.cMQTT 客户端与服务器之间支持的通信协议主要包括：协议地址格式加密默认端口适用场景服务器地址示例TCPtcp://不加密1883局域网或对安全性要求不高的场景tcp://localhost:1883TLS/SSLssl://加密8883对安全性要…...

编程日记 2025/5/11 1:31:08

VSCode C/C++ 开发环境完整配置及常见问题（自用）

这里主要记录了一些与配置相关的内容。由于网上教程众多，部分解决方法并不能完全契合我遇到的问题，因此我选择以自己偏好的方式，对 VSCode 进行完整的配置，并记录在使用过程中遇到的问题及解决方案。后续内容也会持续更新和完善。…...

编程日记 2025/5/7 5:39:32

深入解析 Go 中的 `io.Pipe()`：实现高效的并发通信

在 Go 语言中，io.Pipe() 是一个强大且灵活的工具，用于在不同的 goroutine 之间实现高效的同步和通信。它通过创建一对连接的 I/O 流，允许数据在管道的两端安全地传递。本文将详细介绍 io.Pipe() 的工作原理、主要特点、使用方法以及一些实际应…...

编程日记 2025/5/7 10:33:31

【Kubernetes】常用命令全解析：从入门到实战（中）

🐇明明跟你说过：个人主页 🏅个人专栏：《Kubernetes航线图：从船长到K8s掌舵者》 🏅 🔖行路有良友，便是天堂🔖 目录一、引言 1、什么是k8s 2、K8s的核心功能二、资…...

编程日记 2025/4/23 15:56:18

嵌入式八股文面试题（二）C语言算法

相关概念请查看文章：C语言概念。 1. 如何实现一个简单的内存池？ 简单实现： #include <stdio.h> #include <stdlib.h>//内存块 typedef struct MemoryBlock {void *data; // 内存块起始地址struct MemoryBlock *next; // 下一个内…...

编程日记 2025/5/7 11:35:54

Proxmox VE 8.3 qm 方式导入ESXi Linux OVA UEFI模式虚拟机

前言实现esxi ova uefi 虚拟机导入到pve，Linux UEFI 都支持创建一个105虚拟机 qm 参数使用参考，以下可以根据自己的实际情况执行调整 esxi 导出虚拟机参考 #vmid (100 - 999999999) vmid=105# qm vm name...

编程日记 2025/5/9 21:27:53

人工智能浪潮下脑力劳动的变革与重塑：挑战、机遇与应对策略

一、引言 1.1 研究背景与意义近年来，人工智能技术发展迅猛，已成为全球科技领域的焦点。从图像识别、语音识别到自然语言处理，从智能家居、智能交通到智能医疗，人工智能技术的应用几乎涵盖了我们生活的方方面面，给人…...

编程日记 2025/5/11 2:39:42

【线性代数】1行列式

1. 行列式的概念行列式的符号表示：行列式的计算结果：一个数计算模型1：二阶行列式二阶行列式：三阶行列式： n阶行列式： 🍎计算行列式计算模型2：上三角形行列式上三角形行列式特征：主对角线下皆为0。上三角形行列式：化上三角形通用方法：主对角线下，…...

编程日记 2025/5/8 17:12:21

厘米和磅的转换关系

在排版和设计领域，厘米（cm）和磅（pt）都是常用的长度度量单位，它们之间的转换关系基于特定的换算标准，下面为你详细介绍： 基本换算关系磅是印刷行业常用的长度单位，1英寸…...

编程日记 2025/5/6 10:03:25

vant4 van-list组件的使用

<van-listv-if"joblist && joblist.length > 0"v-model:loading"loading":finished"finished":immediate-check"false"finished-text"没有更多了"load"onLoad">// 加载 const loading ref(fals…...

编程日记 2025/5/9 7:48:34