当前位置：首页 > news >正文

Hive其四，Hive的数据导出，案例展示，表类型介绍

news 来源：原创 2025/5/20 1:17:37

一、Hive的数据导出

1）导出数据到本地目录

2）导出到hdfs的目录下

3）直接将结果导出到本地文件中

二、一个案例

三、表类型

1、表类型介绍

2、内部表和外部表转换

3、两种表的区别

4、练习

一、Hive的数据导出

数据导出的分类：

1. 从hive表中导出本地文件系统中(目录、文件)

2. 从hive表中导出hdfs文件系统中

3. hive表中导出到其它hive表中

1）导出数据到本地目录

insert overwrite local directory '/root/out/00' select * from t_user;这个00不是文件名，而是文件夹的名字，没有可以自动创建

2）导出到hdfs的目录下

insert overwrite directory '/root/out/00' select * from t_user;

假如你导出的数据想要一个分隔符，比如逗号

insert overwrite directory '/root/out/00' 
row format delimited fields terminated by ','
select * from t_user;

3）直接将结果导出到本地文件中

hive -e "sql语句"   不需要进入hive，直接执行hive的语句
hive -e "select * from  databaseName.t_user" >> /root/out/a.txt
hive -e "use databaseName;select * from  t_user" >> /root/out/a.txt

制表符就是 Tab 键，Tab 键就是 \t

二、一个案例

数据整理：emp.txt

7369,SMITH,CLERK,7902,1980-12-17,800,null,20
7499,ALLEN,SALESMAN,7698,1981-02-20,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02,2975,null,20
7654,MARTIN,SALESMAN,7698,1981-09-28,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01,2850,null,30
7782,CLARK,MANAGER,7839,1981-06-09,2450,null,10
7788,SCOTT,ANALYST,7566,1987-04-19,3000,null,20
7839,KING,PRESIDENT,null,1981-11-17,5000,null,10
7844,TURNER,SALESMAN,7698,1981-09-08,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23,1100,null,20
7900,JAMES,CLERK,7698,1981-12-03,950,null,30
7902,FORD,ANALYST,7566,1981-12-02,3000,null,20
7934,MILLER,CLERK,7782,1982-01-23,1300,null,10
3423,cfxj,MANAGER,8899,2022-01-01,50000,100000,40

根据数据的字段和格式，建表：

create table emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int
)
row format delimited 
fields terminated by ',';

加载数据：

load data local inpath "/home/hivedata/emp.txt" into table emp;

编写指标：

1、统计有领导的员工有哪些？
不完美
select * from emp where mgr is not null;
完美的写法：
select * from emp e1 where exists (select * from emp e2 where e2.empno = e1.mgr);还有其他写法：
select * from emp where mgr in (select distinct empno from emp);2、统计每个部门的员工的总工资和总薪水是多少？
select sum(sal),sum(comm+sal),deptno from emp group by deptno;8750    NULL    10
10875   NULL    20
9400    7800    30
50000   150000  40
Time taken: 1.965 seconds, Fetched: 4 row(s)null + 任何数字 结果为null
需要一个函数 IFNULL(mysql中的函数)，在hive中的对应的函数是nvl
select sum(sal),sum(nvl(comm,0)+sal),deptno from emp group by deptno;

Hive中的函数是非常重要的，课下多留意，积累！

三、表类型

1、表类型介绍

内部表：

表面来看，我们建的所有的表，默认都是内部表，内部表又叫做管理表，它的位置也很固定/user/hive/warehouse下面。

外部表：

创建的时候需要加关键字external 修饰，而且，外部表它的数据的存储位置可以不在/user/hive/warehouse，可以指定位置。

建表的语法格式：

 create external table tableName(id int,name string) [location 'path'];

举例：

create external table t_user7(
id int,
name string
)
row format delimited
fields terminated by ','
location '/publicData'这个location 是本地的意思还是hdfs的路径呢？答案是必须在hdfs上。

2、内部表和外部表转换

内部表转外部表

desc extended t_user; 查看表结构的详细信息

alter table tableName set tblproperties('EXTERNAL'='TRUE');

注意：内部表转外部表，true一定要大写;

外部表转内部表

alter table tableName set tblproperties('EXTERNAL'='false');

说明：false不区分大小

3、两种表的区别

用的最多的都是外部表，因为可以分析数据(OLAP)。

OLAP: 为分析而生的数据库 A(分析)

OLTP: 存储数据，保证数据的安全。 T(事务的意思)

最大的区别就是删除表的时候，内部表会删除元数据和真正的hdfs上的数据。而外部表只删除元数据。

思考：为什么这么做？

Hive是一个数据分析的工具，存储数据不是它的本意。

假如一个人，将数据上传至hdfs，这个数据量很大，一般不挪动位置，你可以建一个外部表数据的位置指向hdfs的某个文件夹，然后就可以分析了。

/home a.txt 2G

建一个外部表，指向/home/a.txt , 分析完毕之后，删除表就可以了，干嘛要删除数据，没必要。--用后即焚！

微信小程序--> 阅后即焚。

1) 内部表和外部表在创建时的差别

就差两个关键字，EXTERNAL 和 LOCATION 举例：

- 内部表 -- CREATE TABLE T_INNER(ID INT);

- 外部表 -- CREATE EXTERNAL TABLE T_OUTER(ID INT) LOCATION 'HDFS:///AA/BB/XX';

2) Hive表创建时要做的两件事：

1、在hdfs下创建表目录

2、在元数据库mysql创建相应表的描述数据（元数据）

3) drop时有不同的特性：

1、drop时，元数据都会被清除

2、drop时，内部表的表目录会被删除，但是外部表的表目录不会被删除。

4) 使用场景

内部表: 平时用来测试或者少量数据,并且自己可以随时修改删除数据.

外部表：使用后数据不想被删除的情况使用外部表（推荐使用）所以，整个数据仓库的最底层的表使用外部表。

4、练习

创建不存在的文件夹  
hdfs dfs -mkdir -p /user/hdfs/source/out_table
接着创建一个外部表
create external table out_table (id int,name string
)
row format delimited
fields terminated by ','
location '/user/hdfs/source/out_table';加载数据：load data local inpath '/home/hivedata/user.txt' into table out_table;

查看数据存放的位置：

drop table out_table;

发现数据依然存在：

假如我再创建一个表，数据指向这个文件夹，表中是否会有数据？

create external table student (sid int,sname string
)
row format delimited
fields terminated by ','
location '/user/hdfs/source/out_table';

查看表数据，数据即可出现，根本不需要导入操作

Hive其四，Hive的数据导出，案例展示，表类型介绍

目录一、Hive的数据导出 1）导出数据到本地目录 2）导出到hdfs的目录下 3）直接将结果导出到本地文件中二、一个案例三、表类型 1、表类型介绍 2、内部表和外部表转换 3、两种表的区别 4、练习一、Hive的数据导出数据导出的分类&…...

编程日记 2025/5/20 1:17:37

shell脚本定义特殊字符导致执行mysql文件错误的问题

记得有一次版本发布过程中有提供一个sh脚本用于一键执行sql文件，遇到一个shell脚本定义特殊字符的问题，sh脚本的内容类似以下内容： # 数据库ip地址 ip"127.0.0.1" # 数据库密码 cmdbcmdb!#$! smsm!#$!# 执行脚本文件（参…...

编程日记 2025/5/16 8:02:53

【从零开始入门unity游戏开发之——C#篇29】C#泛型（T）和泛型约束

文章目录一、泛型1、泛型是什么2、泛型分类2.1. **泛型类和泛型接口**2.2. **泛型方法** 3、泛型类和接口3.1 泛型类示例：3.2 泛型接口示例：3.3 泛型类接受多个类型参数： 4、泛型方法4.1. **普通类中的泛型方法**4.2. **泛型类中的泛型方法*…...

编程日记 2025/5/19 20:39:39

1. dump_data.sh调用sql_dump.sh导出数据 2. load_data.sh将导出的数据加载至KADB 1. dump_data.sh #!/bin/bash begin_time$(date %Y%m%d -d -1 day) end_time$(date %Y%m%d) echo "数据导出日期:"$begin_time echo "数据导出日期:"$begin_time >>…...

编程日记 2025/5/13 2:48:21

两道数组有关的OJ练习题

系列文章目录 🎈 🎈 我的CSDN主页:OTWOL的主页，欢迎！！！👋🏼👋🏼 🎉🎉我的C语言初阶合集：C语言初阶合集，希望能…...

编程日记 2025/5/15 21:53:02

仿闲鱼的二手交易小程序软件开发闲置物品回收平台系统源码

市场前景闲置物品交易软件的市场前景广阔，主要基于以下几个方面的因素： 环保意识提升：随着人们环保意识的增强，越来越多的人开始关注资源的循环利用，闲置物品交易因此受到了广泛的关注。消费升级与时尚节奏加快&…...

编程日记 2025/5/15 3:47:53

uni-app使用组件button遇到的问题

在HBuilder X工具中新建一个空白项目， 1、新建一个about页然后在pages.json文件里加上路由 2、然后看下导航的方法，发现找不到navigateTo方法参考：button | uni-app官网第3行和第4行的代码倒是没问题的，第5行的代码有问题执行…...

编程日记 2025/5/1 23:06:32

halcon单相机+机器人*眼在手外标定心得

目的得到相机坐标系下的点与机器人底座base的转换关系，camera_in_base 两个不确定的定量 1，相机与机器人底座base之间的相对位置是固定的，既camera_in_base 2，机械手末端与标定物 tool_in_obj是固定的辅助确定量工作台与相…...

编程日记 2025/5/20 7:52:04

为什么在多数据源的情况下，单数据源的自动配置类会失效？

在 Spring Boot 中，DataSourceAutoConfiguration 是单数据源情况下的默认自动配置类。当引入多数据源方案（例如 dynamic-datasource-spring-boot-starter）后，单数据源的自动配置机制会失效，原因主要在于多数据源自动配…...

编程日记 2025/5/17 20:52:07

Y3编辑器教程8：资源管理器与存档、防作弊设置

文章目录一、资源管理器简介1.1 界面介绍1.2 资源商店1.3 AI专区1.3.1 AI文生图1.3.2 AI图生图1.3.3 立绘头像二、导入导出2.1 文件格式2.2 模型导入2.2.1 模型制作后导出2.2.2 模型文件导入Y3编辑器2.2.3 Y3编辑器角色、装饰物模型要求 2.3 纹理导入2.4 材质贴图2.4.1 材质支…...

编程日记 2025/5/16 12:22:46

域名劫持污染可以拦截吗？

在当今数字化的时代，互联网已经成为人们生活、工作和学习不可或缺的一部分。然而，网络世界并非一片净土，域名劫持污染这一威胁如同潜藏在暗处的 “幽灵”，时刻困扰着网络的安全与稳定，也引发了人们对于其是否可以被有效…...

编程日记 2025/5/20 3:43:04

解决“SVN无法上传或下载.so、.a等二进制文件“问题

今天，在使用Subversion提交代码到服务器时，发现无法提交*.a、*.so等二进制文件，右击这些文件，发现其属性为ignores。问题原因：SVN的配置文件里，屏蔽了*.a、*.so文件的上传与下载，并把这些…...

编程日记 2025/5/18 6:10:39

2024年河北省职业院校技能大赛云计算应用赛项赛题第2套（私有云）

#需要资源（软件包及镜像）或有问题的，可私聊博主！！！ #需要资源（软件包及镜像）或有问题的，可私聊博主！！！ #需要资源（软件包…...

编程日记 2025/5/17 5:53:11

登山第十六梯：深度恢复——解决机器人近视问题

文章目录一摘要二资源三内容一摘要深度感知是基于 3D 视觉的机器人技术的一个重要问题。然而，现实世界的主动立体或 ToF 深度相机经常会产生嘈杂且深度不完整，从而成为机器人性能的瓶颈。在这项工作中，提出了一个基于学习的立体…...

编程日记 2025/5/20 8:35:25

【自动驾驶】3 激光雷达③

5 激光雷达点云检测模型 🦋🦋🦋CenterPoint是Anchor‐Free的3D物体检测器，以点云作为输入，将三维物体在Bird‐View下的中心点作为关键点，基于关键点检测的方式回归物体的尺寸、方向和速度。相比于Anchor‐…...

编程日记 2025/5/16 21:35:17

新手福音：有哪些比Zotero更友好的文献管理软件？

别找了，3个被夸上天的论文阅读神器，我都帮你测评好了，直接抄我作业！！ Scholaread、Zotero和EndNote，这些工具在复杂的学术探索中给我点亮了一盏灯，那感觉棒极了！ 虽然每个工具都不…...

编程日记 2025/5/19 17:40:36

消费导刊杂志社消费导刊杂志消费导刊编辑部2024年第41期目录

征稿启事封2 轻工艺术浅谈青瓷创作中的艺术审美周水淼1-4 浅谈木雕艺术在红木家具创作中的应用蒋宝良5-8 浅谈对唐卡艺术高技能人才培养的必要性夏吾他9-12 龙泉宝剑锻造技艺叶明13-16 传承吸纳,创造吐新——论越窑青瓷新时代的传承和创新路径盛海尧17-20 浅析龙泉哥窑艺…...

编程日记 2025/5/14 14:06:52

Datawhale-AI活动2024.12.24

目录一、番茄时钟（1）输入Prompt（2）创建 HTML 文件解析1：HTML结构解析2：计时器内容解析3：按钮区域解析4：脚本引用 （3）使用JavaScript实现时钟功能解析1&#…...

编程日记 2025/5/16 17:43:56

揭秘:薪酬绩效管理咨询公司收费标准

在当今这个竞争激烈的商业环境中，企业的人力资源管理变得尤为重要，尤其是薪酬绩效管理体系的构建与优化。一个合理的薪酬绩效管理制度不仅能激发员工的积极性与创造力，还能帮助企业实现战略目标，提升整体竞争力。然而，…...

编程日记 2025/5/19 8:44:15

适用于机器视觉应用的智能机器视觉控制平台

工控机在机器视觉系统设计中是不可或缺的核心组件，在机器视觉中发挥着至关重要的作用，其强大的计算能力、高度的稳定性和可靠性、实时性以及图像处理和识别能力，为机器视觉检测提供了有力支持。 Nuvis系列机器视觉控制平台是适用于现如今机器…...

编程日记 2025/5/19 14:17:09

leetcode hot100 LRU缓存

146. LRU 缓存已解答中等相关标签相关企业请你设计并实现一个满足 LRU (最近最少使用) 缓存约束的数据结构。实现 LRUCache 类： LRUCache(int capacity) 以正整数作为容量 capacity 初始化 LRU 缓存int get(int key) 如果关键字 key 存在于缓存中&…...

编程日记 2025/5/15 17:23:07

什么是DDoS攻击?如何防范DDoS攻击?

定义 DDoS（Distributed Denial of Service）攻击全称为分布式拒绝服务攻击。它是一种恶意的网络攻击手段，攻击者通过控制大量的计算机（这些计算机通常被称为“僵尸主机”或“肉鸡”），同时向目标服务器或网络…...

编程日记 2025/5/20 7:52:04

使用 Dash 构建交互式数据可视化应用

使用 Dash 构建交互式数据可视化应用 1. 什么是 Dash？ Dash 是一个由 Plotly 开发的开源 Python 框架，用于快速构建交互式数据可视化应用。Dash 将前端（HTML、CSS 和 JavaScript）与后端（Python）无缝集成&…...

编程日记 2025/5/15 8:38:45

【Linux网络编程】第十五弹---传输层深度解析：端口号划分、UDP协议特性与TCP协议全面剖析（含连接管理、流量控制、拥塞控制等）

✨个人主页： 熬夜学编程的小林 💗系列专栏： 【C语言详解】【数据结构详解】【C详解】【Linux系统编程】【Linux网络编程】目录 1、传输层 1.1、再谈端口号 1.1.1、端口号范围划分 1.1.2、认识知名端口号 1.1.3、两个问题 1.2、UDP …...

编程日记 2025/5/18 17:53:30

SQL语句整理五-StarRocks

文章目录查看版本号：SPLIT：insert 和 update 结合 select：报错：1064 - StarRocks planner use long time 3000 ms in memo phase：字段增删改： 查看版本号： select current_version(); current…...

编程日记 2025/5/17 1:41:27

【GIS教程】使用GDAL实现栅格转矢量（GeoJSON、Shapefile）- 附完整代码

文章目录一、应用场景1、GeoJSON2、ESRI Shapefile3、GDAL 二、基本思路1、数据准备2、重投影（可选）3、创建空的矢量图层4、栅格转矢量三、完整代码四、总结五、拓展（使用ArcGIS工具进行栅格转矢量） 一、应用场景 TIFF格式的…...

编程日记 2025/5/20 8:10:40

美国加州房价数据分析02

5. 特征工程 5.1重构数据集承接上文提到的相似度排名，去掉部分无关的特征。 train_set.corr()["median_house_value"].sort_values(ascendingFalse)为了提高模型训练后的鲁棒性，即防止过拟合，不建议删除关联度最低几项特征&#…...

编程日记 2025/5/20 8:27:37

[安徽省赛 2021]misc签到

给了一个图片，改成jpg格式，查看属性发现备注 this_is_password 这可能是密码什么东西的把图片拉到kali里面用用工具binwalk工具分离发现了flag.txt文件把压缩包拉到windows系统中解压，输入密码得到flag NSSCTF{ab32056rfanla12380a…...

编程日记 2025/5/20 8:37:35

LeetCode：1705. 吃苹果的最大数目（优先级队列 + 贪心 Java）

目录 1705. 吃苹果的最大数目题目描述： 实现代码与解析： 优先级队列贪心原理思路： 1705. 吃苹果的最大数目题目描述： 有一棵特殊的苹果树，一连 n 天，每天都可以长出若干个苹果。在第 i 天&#x…...

编程日记 2025/5/20 7:59:26

MX3200显微尺寸测量仪

产品简介 MX3200显微尺寸测量仪将显微成像与传统影像测量相结合，实现了微小特征的大范围测量。配置电动塔台，可自动切换到不同的倍率，探测各种精密微观二维尺寸特征。尺寸测量功能丰富，可进行各种二维尺寸点、线、圆等的测量和形…...

编程日记 2025/5/20 8:21:59

VR 动感单车身心调适系统的功能与作用

如今，人们面临着来自各方的压力，国家重视国民身心健康，但人们在实际生活中却缺乏有效的身心调节方式。无论是久坐的白领，还是学业繁重的学生，都存在身体亚健康和心理压力大的问题。传统健身方式枯燥、心理咨询成本高且…...

编程日记 2025/5/20 3:49:15

LabVIEW伸缩臂参数监控系统

LabVIEW开发伸缩臂越野叉车参数监控系统主要应用于工程机械中的越野叉车，以提高车辆的作业效率和故障诊断能力。系统通过PEAK CAN硬件接口和LabVIEW软件平台实现对叉车作业参数的实时监控和故障分析，具有良好的实用性和推广价值。系统组成系统主要由P…...

编程日记 2025/5/20 8:23:45

Spring提供了很好事务管理机制

事务管理在系统开发中是不可缺少的一部分，Spring提供了很好事务管理机制分类主要分为编程式事务和声明式事务两种。编程式事务是指在代码中手动的管理事务的提交、回滚等操作，代码侵入性比较强，如下示例： try {//TODO so…...

编程日记 2025/5/12 9:19:34

Selenium 和 Playwright两大框架的不同之处

自动化测试工具百花齐放，其中 Selenium 和 Playwright 是两大热门框架，谁才是你的最佳选择？面对企业项目的真实需求，它们的差异究竟在哪儿？ Selenium 和 Playwright 是两种流行的自动化测试工具，它们都被用…...

编程日记 2025/5/18 13:31:41

【计算机视觉】轮廓检测

一、轮廓检测在计算机视觉中，轮廓检测是另一个比较重要的任务，不单是用来检测图像或者视频帧中物体的轮廓，而且还有其他操作与轮廓检测相关。以下代码展示了如何使用 OpenCV 进行图像阈值处理、寻找图像轮廓和绘制轮廓的完整流程&…...

编程日记 2025/5/20 8:12:22

【Linux】深入Linux：GCC/G++编译器实用指南

Linux相关知识点可以通过点击以下链接进行学习一起加油！初识指令指令进阶权限管理yum包管理与vim编辑器在Linux系统中，理解和掌握GCC/G编译器是开发者不可或缺的技能之一。本文将深入探讨它们的工作原理和实际运用，帮助读者更好地利用这些强…...

编程日记 2025/5/20 8:31:34

【未来编程：AI如何通过合成复用原则优化设计】

🌈个人主页: Aileen_0v0 🔥热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 💫个人格言:“没有罗马,那就自己创造罗马~” 文章目录前言合成复用原则含义继承复用含义UML图实现代码运行结果及分析优缺点合成复用（我有这…...

编程日记 2025/5/15 3:22:11

【Rust自学】5.3. struct的方法(Method)

喜欢的话别忘了点赞、收藏加关注哦，对接下来的教程有兴趣的可以关注专栏。谢谢喵！(･ω･) 5.3.1. 什么是方法(Method) 方法和函数类似，也是用fn关键字进行声明，方法也有名称，也有参数&#xff…...

编程日记 2025/5/16 3:34:02

单片机 STM32入门

一、什么是单片机单片机（Microcontroller Unit，MCU）是一种集成电路芯片，它将计算机的CPU、存储器（包括RAM和ROM）、输入/输出接口等集成在一个芯片上。单片机通常用于嵌入式系统，能够执行特定的…...

编程日记 2025/5/14 9:03:39

OneCode：开启高效编程新时代——企业定制出码手册

一、概述 OneCode 的 DSM（领域特定建模）出码模块是一个强大的工具，它支持多种建模方式，并具有强大的模型转换与集成能力，能够提升开发效率和代码质量，同时方便团队协作与知识传承，还具备方便的仿…...

编程日记 2025/5/16 20:50:35

学python还是学java？哪个相对来说比较容易上手?

在比较Python和Java哪个更容易上手时，可以从多个维度进行分析，包括语法简洁性、学习资源、应用领域、学习曲线等。一、语法简洁性 Python：Python的语法简洁明了，更接近自然语言，易于理解和记忆。它使用缩进来表示代…...

编程日记 2025/5/19 23:48:10

C语言项目天天酷跑（上篇）

前言这里讲述这个天天酷跑是怎么实现的，我会在天天酷跑的下篇添加源代码，这里会讲述天天酷跑这个项目是如何实现的每一个思路，都是作者自己学习于别人的代码而创作的项目和思路，这个代码和网上有些许不一样，因为掺杂了…...

编程日记 2025/5/16 8:03:45

Windows 11 安装 Dify 完整指南非docker环境

# Windows 11 安装 Dify 完整指南## 前置要求- Python 3.11 - Node.js 18 - PostgreSQL 14 - Redis for Windows - Git - Ollama (可选，用于本地模型)## 详细安装步骤### 1. 安装必要软件1. **Python 3.11**- 从 https://www.python.org/downloads/release/python-…...

编程日记 2025/5/16 8:49:50

MySQL变量

文章目录 MySQL变量系统变量查看系统变量设置系统变量自定义变量用户变量局部变量 MySQL变量 MySQL变量分为系统变量和自定义变量系统变量系统变量有全局变量和会话变量查看系统变量 #查看全局系统变量 show global variables; #根据条件查询全局系统变量 show global …...

编程日记 2025/5/17 11:58:40

Ubuntu离线安装Docker容器

前言使用安装的工具snap安装在沙箱中，并且该沙箱之外的权限有限。docker无法从其隔离的沙箱环境访问外部文件系统。目录前言准备环境卸载已安装的Docker环境快照安装的Dockerapt删除Docker 安装docker-compose下载执行文件将文件移到 /usr/local/bin赋予执行权限…...

编程日记 2025/5/16 2:03:18