当前位置：首页 > news >正文

Hive高可用配置

news 来源：原创 2025/5/14 22:52:59

在hive的商用上没有集群一说，而且它本身也不是数据库，只是hadoop的数据sql化工具，但是hive可以配置高可用，通常业内对元数据服务会开5个，而HS2服务开3个，来保证hive服务的高可用

配置方式也很简单，你只需在原有的hive-site.xml文件上，配置如下信息即可

<!--启用hiveserver2高可用-->
<property><name>hive.server2.support.dynamic.service.discovery</name><value>true</value>
</property>
<!--hiveserver2高可用向zookeeper注册的信息路径名-->
<property><name>hive.server2.zookeeper.namespace</name><value>hiveserver2_zk</value>
</property>
<!--zookeeper集群-->
<property><name>hive.zookeeper.quorum</name><value>node1:2181,node2:2181,node3:2181</value>
</property>
<!--hive访问zookeeper集群的端口号-->
<property><name>hive.zookeeper.client.port</name><value>2181</value>
</property>
<!--HS2高可用的服务节点，可以具体节点改这个配置也可以改成4个0-->
<property><name>hive.server2.thrift.bind.host</name><value>node2</value>
</property>
<!--配置metastore高可用，所有HS2服务节点统一设置即可-->
<property><name>hive.metastore.uris</name><value>thrift://node2:9083,thrift://node3:9083</value>
</property>

随后将hive整体同步到高可用服务对应的节点上，并在对应的节点上，使用下面的命令启动对应的服务

/opt/hive313/bin/hive --service metastore &
/opt/hive313/bin/hive --service hiveserver2 &

随后进入zkCli里面确保配置文件里面写的的zk节点已经注册
在这里插入图片描述
验证连接，此时连接的jdbc路径就要变一种格式了，原来单一hive节点用如下简单的格式即可

/opt/hive-3.1.3/bin/beeline -u jdbc:hive2://node2:10000

当然上面这个命令还是能用的，只是但和直接访问一个namenode的9000端口一样，是直接访问一个定死的服务，而高可用的连接路径需要使用如下格式

jdbc:hive2://node1:2181,node2:2181,node3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk;user=root;password=123456

上面这个格式你可以简写成如下格式，前提是你的zk用的就是2181端口，后面的用户名和密码看情况携带

jdbc:hive2://node1,node2,node3/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk root 123456

但是！！！！坑爹的来了，有三个天坑！！！！你要知道

第一个天坑！！beeline要连接高可用的HS2，不能用-u参数了，必须进去之后操作

就是说下面这个命令不能用了
/opt/hive-3.1.3/bin/beeline -u 你需要进入beeline
[root@node3 ~]# /opt/hive313/bin/beeline 
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive313/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop323/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Beeline version 3.1.3 by Apache Hive
----------------------------》进入bee后用!connect 方式才能连接
beeline> !connect jdbc:hive2://node1,node2,node3/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk
Connecting to jdbc:hive2://node1,node2,node3/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk
Enter username for jdbc:hive2://node1,node2,node3/: 12345
Enter password for jdbc:hive2://node1,node2,node3/: *****
24/11/30 17:18:43 [main]: INFO jdbc.HiveConnection: Connected to node3:10000
Connected to: Apache Hive (version 3.1.3)
Driver: Hive JDBC (version 3.1.3)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node1,node2,node3/> show tables;
INFO  : Compiling command(queryId=root_20241130172336_02962b8a-b8cd-4b10-bd3d-4eee69993b74): show tables
INFO  : Concurrency mode is disabled, not creating a lock manager
INFO  : Semantic Analysis Completed (retrial = false)
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:tab_name, type:string, comment:from deserializer)], properties:null)
INFO  : Completed compiling command(queryId=root_20241130172336_02962b8a-b8cd-4b10-bd3d-4eee69993b74); Time taken: 0.585 seconds
INFO  : Concurrency mode is disabled, not creating a lock manager
INFO  : Executing command(queryId=root_20241130172336_02962b8a-b8cd-4b10-bd3d-4eee69993b74): show tables
INFO  : Starting task [Stage-0:DDL] in serial mode
INFO  : Completed executing command(queryId=root_20241130172336_02962b8a-b8cd-4b10-bd3d-4eee69993b74); Time taken: 0.03 seconds
INFO  : OK
INFO  : Concurrency mode is disabled, not creating a lock manager
+-----------+
| tab_name  |
+-----------+
| t         |
+-----------+
1 row selected (0.814 seconds)
0: jdbc:hive2://node1,node2,node3/>

第二个天坑！！！！无论你后面是用Java的JDBC连接还是其他的方式，连接路径中zk集群地址后面的/不能少！！必须是jdbc:hive2://zk集群/;。。。。格式，即使你指定连接的库也要在末尾有一个斜杠jdbc:hive2://zk集群/default-----就是这里末尾的斜杠------>>/<<-----------------;。。。。

第三个天坑！！！高可用连接和Tez不兼容，这就导致你要是用高可用连接那就不能把任务跑在Tez引擎上面，不然会发生guava包掉包的问题。格外的要说一下这个掉包的问题，如果看过我分享的hadoop测试集群3.x搭建方式的朋友，应该都知道hadoop3.x和hive3.x搭配的时候，需要将hadoop的guava包替换给hive，因为hive3.x自带的guava包版本较低，使得启动的时候报错，而在这个基础上再配置一个本身和hive不是完全兼容的tez时，需要从源码开始编译，并且手动强制的在hive-env.sh中将guava包声明给hive，就是为了解决任务跑在tez上面会掉guava包，从而导致任务刚启动就会报java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V的错误，而当你以高可用的方式连接HS2，并且任务跑在tez上，你会发现，任务能正常起来，但是在reduce阶段，guava包就掉了，这个问题我在工作中和产品线上的rd去聊过，他们当时二次封装的时候也发现了这个问题，但是没解决方法，最后默认hive还时用MR，底层逻辑判断了一下，如果用户的提交参数带了tez引擎，那么跑任务用的HS2连接用的是当前服务中存活的单一服务连接方式，至于这个存活节点列表是写了一套寻址的逻辑，导致任务的日志里面，会出现WARE级别的ipc相关的寻址信息，每次用户用的时候都会很疑惑这是个报错吗？前段时间干脆下线了对用户直接开放的hive任务类型，实在需要才以白名单的方式提供，来减少维护成本，真的能笑死。

Hive高可用配置

在hive的商用上没有集群一说，而且它本身也不是数据库，只是hadoop的数据sql化工具，但是hive可以配置高可用，通常业内对元数据服务会开5个，而HS2服务开3个，来保证hive服务的高可用配置方式也很简单&#xf…...

编程日记 2025/5/14 22:52:59

探索AI新世界！热门工具与学习资源免费获取

抖知书老师推荐： 人工智能技术的迅速发展让人们既充满期待又有些迷茫。有人担忧被AI技术取代，有人却积极拥抱这场科技浪潮。无论你处于哪种心态，人工智能已经深入到我们生活的方方面面。如果你希望轻松掌握最新的AI工具与动态，…...

编程日记 2025/5/14 22:09:01

MAUI APP开发蓝牙协议的经验分享：与跳绳设备对接

在开发MAUI应用程序时，蓝牙协议的应用是一个重要的环节，尤其是在需要与外部设备如智能跳绳进行数据交换的场景中。以下是我在开发过程中的一些经验和心得，希望能为你的项目提供帮助。 1. 蓝牙协议基础蓝牙协议是无线通信的一种标准&#x…...

编程日记 2025/5/5 8:48:56

常见Linux命令（详解）

文章目录常见Linux命令文件目录类命令pwd 打印当前目录的绝对路径ls 列出目录内容cd 切换路径mkdir 建立目录rmdir 删除目录touch 创建空文件cp 复制文件或目录rm 移除文件或者目录mv 移动文件与目录或重命名cat 查看文件内容more 文件分屏查看器less 分屏显示文件内容head 显…...

编程日记 2025/5/14 22:48:23

LeetCode763. 划分字母区间（2024冬季每日一题 23）

给你一个字符串 s 。我们要把这个字符串划分为尽可能多的片段，同一字母最多出现在一个片段中。注意，划分结果需要满足：将所有划分结果按顺序连接，得到的字符串仍然是 s 。返回一个表示每个字符串片段的长度的列表。示例 1&a…...

编程日记 2025/5/14 14:37:23

【k8s 深入学习之 event 聚合】event count累记聚合（采用 Patch），Message 聚合形成聚合 event（采用Create）

参考 15.深入k8s：Event事件处理及其源码分析 - luozhiyun - 博客园event 模块总览 EventRecorder：是事件生成者，k8s组件通过调用它的方法来生成事件；EventBroadcaster：事件广播器，负责消费EventRecorder产生的事件，然后分发给broadcasterWatcher；broadcasterWatcher：用…...

编程日记 2025/5/14 21:31:06

Java--数组的定义与使用

1.数组的基本概念 1.1为什么用数组在程序设计中,每一个数据总是对应一个变量.当数据量越大,就需要更多的变量来存储.我们将相同类型的数据存储到一个集合中,就可以更方便我们对数据进行访问,同时可以减少不断定义变量.这个集合就叫做数组 1.2数组的定义数组是一种基本的数…...

编程日记 2025/5/14 8:23:39

tcpdump抓包wireshark分析

背景分析特定协议的数据包，如 HTTP、DNS、TCP、UDP 等，诊断网络问题，例如连接故障、延迟和数据包丢失。大概过程 1.安装tcpdump yum update yum install tcpdump2.抓包，从当前时间起，一小时后停止&#xff0c…...

编程日记 2025/5/12 17:32:58

qtcanpool 知 09：测试框架

文章目录前言不满改进优化后语前言很久以前，作者写的代码都没有测试用例，最多就是写个 demo 验证一下，毕竟不是专业出身，也没经过大公司的洗礼。后来，参与到一些项目才知道有专门的测试，而且开发也要测…...

编程日记 2025/5/14 21:33:32

使用Apache HttpClient发起一个GET HTTP请求

Apache HttpClient 是一个强大且灵活的Java库，用于处理HTTP请求。它提供了广泛的功能，包括对不同HTTP方法的支持、连接管理、Cookie处理等。无论是与RESTful API交互、下载网页内容还是自动化网页任务，Apache HttpClient 都能通过其简洁而…...

编程日记 2025/5/14 21:51:33

C++ STL 容器系列（三）list —— 编程世界的万能胶，数据结构中的百变精灵

STL系列学习参考： C STL系列__zwy的博客-CSDN博客https://blog.csdn.net/bite_zwy/category_12838593.html 学习C STL的三个境界，会用，明理，能扩展，STL中的所有容器都遵循这个规律，下面我们就按照这三个境…...

编程日记 2025/5/11 0:39:05

【前端学习笔记】TypeScript学习

1.什么是TypeScript TypeScript（简称 TS）是微软公司开发的一种基于 JavaScript （简称 JS）语言的编程语言。TypeScript 可以看成是 JavaScript 的超集（superset），添加了类型系统和编译时类型检查…...

编程日记 2025/5/10 2:36:16

qt三大调试方法总结(printf\qDebug\qCDebug)

文章目录 1 传统方法2 qDebug传统方法扩展1 控制输出扩展2 日志格式扩展3 日志保存扩展4 源码定义护展5 开源扩展3 qCDebug方法扩展1 控制扩展2 格式化扩展3 保存日志扩展4 源码定义参考1 传统方法 #include<stdio.h> printf(“xboard hello printf”) 2 qDebug传统方法…...

编程日记 2025/5/13 17:03:04

耶鲁大学公开课《心理学导论》学习笔记：第 1 课 - 导论

概述作为一个程序员，或者说，我们不管做什么行业，都可以或多或少的学习一些心理学我们在生活工作中，其实都会有意无意的接触一些心理学原理，例如，【番茄工作法】、【内在动机与外在激励】这里选择的是&…...

编程日记 2025/4/30 4:14:55

Android ConstraintLayout 约束布局的使用手册

目录前言一、ConstraintLayout基本介绍二、ConstraintLayout使用步骤 1、引入库 2、基本使用，实现按钮居中。相对于父布局的约束。 3、A Button 居中展示，B Button展示在A Button正下方（距离A 46dp）。相对于兄弟控件的约束…...

编程日记 2025/5/14 10:04:55

STM32F030单片机AD采集应用总结

最近在设计一款产品的AD时，采集到的电压老是比输入电压0.2V左右，电路如图所示查阅资料得知，STM32f030 的输入阻抗应小于 50K。于是将电阻改为 39K/10K，但情况依旧。随后，干脆将电阻值改为 3.9K/1K，虽有一定…...

编程日记 2025/5/9 23:46:50

Web开发基础学习——通过React示例学习模态对话框

Web开发基础学习系列文章目录第一章基础知识学习之通过React组件学习模态对话框文章目录 Web开发基础学习系列文章目录前言一、创建新的 React 应用二、创建模态对话框组件三、修改 App.js四、添加样式五、启动应用六、访问应用总结前言模态对话框（Modal D…...

编程日记 2025/5/13 14:05:36

实例分割详解

实例分割详解引言实例分割是计算机视觉领域的一项复杂任务，它要求模型能够识别图像中不同类别的对象，并对每个单独的对象进行像素级别的分类。与语义分割不同的是，实例分割不仅要区分不同的类别，还要识别同一类别中的不同个体…...

编程日记 2025/5/12 1:57:51

Flink四大基石之State(状态) 的使用详解

目录一、有状态计算与无状态计算 （一）概念差异 （二）应用场景二、有状态计算中的状态分类 （一）托管状态（Managed State）与原生状态（Raw State） 两者的…...

编程日记 2025/5/11 10:57:05

vue深入理解输入框字符限制的优化设计

文章目录深入理解输入框字符限制的优化设计背景与挑战输入框限制的重要性常见需求多种实现方法解析方法一：基于实时过滤的字符限制方法二：借助正则验证方法三：提交时二次校验性能优化无障碍设计延伸场景与最佳实践1. 多语言国际化支持2. 动…...

编程日记 2025/5/13 4:56:00

MySQL的子查询

SQL语句中嵌套select语句,嵌套查询案例： select * from t1 where column1 (select column1 from t2); 补： 1.子查询外部的语句可以是insert/update/delete/select的任何一个 2.位置也可以在where/from/select之后类型： 1.标量子查询…...

编程日记 2025/5/11 11:03:32

Kubernetes架构原则和对象设计

云原生学习路线导航页（持续更新中） 快捷链接 Kubernetes常见问题解答本文从 Google Borg系统的架构设计开始，深入讲解Kubernetes架构及组件的基本原理 1.什么是云计算 1.1.传统行业应用假设有10台服务器，两个应用。小规模管…...

编程日记 2025/5/12 6:14:52

npm : 无法加载文件 D:\nodejs\npm.ps1，因为在此系统上禁止运行脚本

要以管理员身份打开PowerShell，请按照以下步骤操作： 在Windows搜索框中查找PowerShell： 在任务栏上，点击左下角的Windows徽标（或按Win S键）以打开搜索框。输入“PowerShell”以查找PowerShell应用程序。右…...

编程日记 2025/5/11 9:40:33

Linux CentOS

阿里云开源镜像下载链接 https://mirrors.aliyun.com/centos/7/isos/x86_64/ VMware 安装 CentOS7 自定义下一步选择稍后安装操作系统选择输入查看物理机CPU内核数量 CtrlShiftEsc 总数不超过物理机内核数量推荐内存自选推荐推荐默认拆分成多个默认自定义硬件…...

编程日记 2025/5/8 21:54:38

如何用注册机破解Reflexive游戏

相信有许多小朋友（像我以前一样）已经迫不及待地准备准备对浩瀚的、像三星堆一般的Reflexive游戏合集进行考古挖掘工作了。不巧的是，打开游戏之后发现常常提示要付费才能解锁完整版。一、下载注册机与破解文件首先，在我的永硕网…...

编程日记 2025/5/11 5:31:47

【算法day7】字符串：反转与替换

题目引用反转字符串反转字符串II替换数字 1.反转字符串编写一个函数，其作用是将输入的字符串反转过来。输入字符串以字符数组 s 的形式给出。不要给另外的数组分配额外的空间，你必须原地修改输入数组、使用 O(1) 的额外空间解决这一问题。示例 1&am…...

编程日记 2025/4/29 7:59:33

基于Linux C++多线程服务器 + Qt上位机开发 + STM32 + 8266WIFI的智慧无人超市

前言针对传统超市购物车结账排队时间长、付款效率低的问题，提出了一种更符合现代社会人们购物方式-基于RFID的自助收银系统。习惯了快节奏生活的人们都会选择自助收银机结账，理由显而易见：自助收银机结账很方便，几乎不用排队&am…...

编程日记 2025/5/14 15:39:36

继电器测试的培训和学习资源有哪些推荐？

继电器是电气控制设备中常见的一种元件，用于实现电路的开关控制和保护功能。对于从事电气相关工作的人员来说，掌握继电器的测试技能是非常重要的。以下是一些推荐的继电器测试培训和学习资源： 1. 在线课程：许多在线学习平台提供了…...

编程日记 2025/5/14 17:58:18

学习日志020---qt信号与槽

作业 import sysfrom PySide6.QtWidgets import QApplication, QWidget,QPushButton,QLineEditfrom Form import Ui_Form from second import Ui_second from PySide6.QtCore import Qtclass MyWidget(QWidget,Ui_Form):def __init__(self):super().__init__()self.setupUi(se…...

编程日记 2025/5/9 17:55:44

相关文章：