【Hive入门】Hive数据导出完全指南:从HDFS到本地文件系统的专业实践
目录
引言
1 Hive数据导出概述
1.1 数据导出的核心概念
1.2 典型导出场景
2 Hive到HDFS导出详解
2.1 INSERT OVERWRITE DIRECTORY方法
2.2 多目录导出技术
2.3 动态分区导出
3 HDFS到本地文件系统转移
3.1 hadoop fs命令操作
3.2 分布式拷贝工具DistCp
4 直接导出到本地文件系统
4.1 本地目录导出
4.2 单文件导出技巧
5 高级导出技术与优化
5.1 自定义输出格式
5.2 并行导出优化
5.3 增量导出策略
6 案例解析
6.1 数据日报导出
6.2 跨集群数据迁移
7 常见问题与解决方案
7.1 导出性能瓶颈排查
7.2 中文乱码问题
7.3 权限问题处理
8 总结
8.1 选型建议
8.2 性能优化清单
引言
在大数据生态系统中,Hive作为数据仓库解决方案,不仅需要高效地导入数据,还需要将处理结果导出到各种目标系统。本文将全面介绍Hive数据导出的多种方法,特别聚焦于从HDFS到本地文件系统的专业实践,帮助数据工程师构建完整的数据工作流。
1 Hive数据导出概述
1.1 数据导出的核心概念
数据导出是指将Hive表中的数据提取出来,以特定格式和结构传输到外部系统的过程。与数据导入相比,导出操作需要考虑:
- 数据一致性:确保导出过程中数据不被修改
- 格式兼容性:选择适合目标系统的文件格式
- 性能考量:大数量导出时的效率问题
- 权限管理:跨系统访问的权限控制
1.2 典型导出场景

2 Hive到HDFS导出详解
2.1 INSERT OVERWRITE DIRECTORY方法
- 最常用的Hive数据导出方式,语法灵活且支持多种文件格式:
INSERT OVERWRITE DIRECTORY '/output/path'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
SELECT * FROM source_table;
参数说明:
- ROW FORMAT DELIMITED:指定行格式
- FIELDS TERMINATED BY:字段分隔符
- STORED AS:输出文件格式(TEXTFILE/SEQUENCEFILE等)
2.2 多目录导出技术
- Hive支持通过单个查询将数据导出到多个目录:
FROM source_table
INSERT OVERWRITE DIRECTORY '/output/path1'
SELECT col1, col2 WHERE condition1
INSERT OVERWRITE DIRECTORY '/output/path2'
SELECT col3, col4 WHERE condition2;
2.3 动态分区导出
- 结合动态分区特性实现智能导出
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;INSERT OVERWRITE DIRECTORY '/output/base_path'
PARTITION(dt, country)
SELECT col1, col2, dt, country
FROM source_table;
3 HDFS到本地文件系统转移
3.1 hadoop fs命令操作

- 常用命令示例:
# 基本导出
hadoop fs -get /user/hive/output/data.csv /home/user/# 递归导出目录
hadoop fs -getmerge -nl /user/hive/output/ /home/user/merged_data.csv# 带权限控制导出
hadoop fs -Ddfs.permissions.superusergroup=admin -get /secure/path /local/
3.2 分布式拷贝工具DistCp
- 对于大规模数据迁移,DistCp是更高效的选择:
hadoop distcp \
-Dmapreduce.job.queuename=high_priority \
-update \
-strategy dynamic \
-bandwidth 50 \
hdfs://namenode:8020/source \
file:///local/target/
关键参数:
- -update:仅拷贝更新的文件
- -bandwidth:限制带宽使用(MB/s)
- -strategy:选择拷贝策略
4 直接导出到本地文件系统
4.1 本地目录导出
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/hive_export'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
SELECT * FROM sales_data;
注意事项:
- 需要HiveServer2机器上的本地写权限
- 输出为多个文件(对应MapReduce任务数)
- 默认文件名为000000_0等
4.2 单文件导出技巧

- 示例代码
SET mapreduce.job.reduces=1;INSERT OVERWRITE LOCAL DIRECTORY '/tmp/single_file'
SELECT * FROM large_table;mv /tmp/single_file/000000_0 /tmp/single_file/full_data.csv;
5 高级导出技术与优化
5.1 自定义输出格式
- 通过实现Hive的FileFormat接口支持自定义输出:
public class CustomJsonOutputFormat extends FileOutputFormat<NullWritable, Text> {// 实现记录写入逻辑
}
- 注册后使用
SET hive.output.fileformat=com.example.CustomJsonOutputFormat;
INSERT OVERWRITE DIRECTORY '/json/output'
SELECT * FROM table;
5.2 并行导出优化

- 实现方法
-- 设置并行度
SET hive.exec.parallel=true;
SET hive.exec.parallel.thread.number=8;-- 分区并行导出
EXPORT TABLE partitioned_table
PARTITION(dt='2023-01')
TO '/output/parallel';
5.3 增量导出策略
- 基于时间戳的增量导出方案:
-- 创建增量记录表
CREATE TABLE export_metadata (table_name STRING,last_export TIMESTAMP
);-- 增量导出查询
INSERT OVERWRITE DIRECTORY '/incremental'
SELECT * FROM source_table
WHERE update_time > (SELECT last_export FROM export_metadata WHERE table_name = 'source_table');
6 案例解析
6.1 数据日报导出
- 需求:每日将订单数据导出为CSV供财务系统使用
- 解决方案
#!/bin/bash
# 设置日期变量
EXPORT_DATE=$(date -d "yesterday" +%Y-%m-%d)# Hive导出到HDFS
hive -e "
SET hive.cli.print.header=true;
INSERT OVERWRITE DIRECTORY '/data/export/orders_${EXPORT_DATE}'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
SELECT * FROM dw_orders
WHERE dt='${EXPORT_DATE}';"# 传输到本地系统
hadoop fs -getmerge /data/export/orders_${EXPORT_DATE} \
/home/finance/orders_${EXPORT_DATE}.csv# 添加标题行
sed -i '1i order_id,user_id,amount,create_time' \
/home/finance/orders_${EXPORT_DATE}.csv
6.2 跨集群数据迁移
- 场景:将生产集群Hive数据导出到测试集群
- 实现方案:

- 具体命令:
# 生产集群导出
hive -e "EXPORT TABLE prod_db.sales TO '/migration/sales'"# 跨集群拷贝
hadoop distcp \
hdfs://prod-nn:8020/migration/sales \
hdfs://test-nn:8020/migration/sales# 测试集群导入
hive -e "IMPORT TABLE test_db.sales FROM '/migration/sales'"
7 常见问题与解决方案
7.1 导出性能瓶颈排查

7.2 中文乱码问题
-- 在导出时指定编码
SET hive.exec.default.charset=utf-8;
SET mapreduce.output.fileoutputformat.output.encoding=utf-8;INSERT OVERWRITE DIRECTORY '/output'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '|'
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
SELECT * FROM chinese_table;
7.3 权限问题处理
- 典型错误场景:
Permission denied: user=impala, access=WRITE, inode="/export"
- 解决方法:
# 临时方案
hadoop fs -chmod -R 777 /export# 生产环境推荐
hadoop fs -mkdir /export
hadoop fs -chown impala:supergroup /export
hadoop fs -chmod 750 /export
8 总结
8.1 选型建议
导出需求 | 推荐方案 |
小量数据到本地 | INSERT OVERWRITE LOCAL |
大量数据到HDFS | INSERT OVERWRITE DIRECTORY |
跨集群迁移 | EXPORT + DistCp |
增量导出 | 时间戳过滤+元数据记录 |
结构化格式需求 | 自定义FileFormat |
8.2 性能优化清单
- 资源分配:适当增加导出任务内存
SET mapreduce.map.memory.mb=4096;
SET mapreduce.reduce.memory.mb=8192;
- 压缩输出:减少传输数据量
SET hive.exec.compress.output=true;
SET mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec;
- 文件合并:避免小文件问题
SET hive.merge.mapfiles=true;
SET hive.merge.size.per.task=256000000;
- 错误处理:自动重试机制
SET mapreduce.map.maxattempts=4;
SET mapreduce.reduce.maxattempts=4;
掌握Hive数据导出技术是大数据工程师的核心能力之一。本文介绍的各种方法和最佳实践,希望能帮助您了解构建高效可靠的数据导出流程。在实际应用中,建议根据具体场景灵活组合这些技术,并持续监控和优化导出性能。
相关文章:
【Hive入门】Hive数据导出完全指南:从HDFS到本地文件系统的专业实践
目录 引言 1 Hive数据导出概述 1.1 数据导出的核心概念 1.2 典型导出场景 2 Hive到HDFS导出详解 2.1 INSERT OVERWRITE DIRECTORY方法 2.2 多目录导出技术 2.3 动态分区导出 3 HDFS到本地文件系统转移 3.1 hadoop fs命令操作 3.2 分布式拷贝工具DistCp 4 直接导出到…...
stack __ queue(栈和队列)
1. stack的介绍和使用 栈和队列里面都叫容器适配器 存储数据就要交给别的容器 通过封装别的容器,可以进行相应的操作,来达到目的 适配的本质就是复用 这就没有迭代器了,不支持随便遍历 2. queue的介绍和使用 下面用一些题来深入理解 栈…...
UML 类图基础和类关系辨析
UML 类图 目录 1 概述 2 类图MerMaid基本表示法 3 类关系详解 3.1 实现和继承 3.1.1 实现(Realization)3.1.2 继承/泛化(Inheritance/Generalization) 3.2 聚合和组合 3.2.1 组合(Composition)3.2.2 聚…...
STM32F103C8T6信息
STM32F103C8T6 完整参数列表 一、核心参数 内核架构 ARM Cortex-M3 32位RISC处理器 最大主频:72 MHz(基于APB总线时钟) 运算性能:1.25 DMIPS/MHz(Dhrystone 2.1基准) 总线与存储 总线宽度ÿ…...
unity 读取csv
1.读取代码 string filePath Application.streamingAssetsPath "\\data.csv"; public List<MovieData> movieData new List<MovieData>(); private void ReadCSV(string filePath) { List<List<string>> data new List<…...
那些年踩过的坑之Arrays.asList
一、前言 熟悉开发的兄弟都知道,在写新增和删除功能的时候,大多数时候会写成批量的,原因也很简单,批量既支持单个也支持多个对象的操作,事情也是发生在这个批量方法的调用上,下面我简单说一下这个事情。 二…...
ASP.NET Core 自动识别 appsettings.json的机制解析
ASP.NET Core 自动识别 appsettings.json 的机制解析 在 ASP.NET Core 中,IConfiguration 能自动识别 appsettings.json 并直接读取值的机制,是通过框架的 “约定优于配置” 设计和 依赖注入系统 共同实现的。以下是详细原理: 默认配置源的自…...
深入解析Mlivus Cloud核心架构:rootcoord组件的最佳实践与调优指南
作为大禹智库的向量数据库高级研究员,同时也是《向量数据库指南》的作者,我在过去30年的向量数据库和AI应用实战中见证了这项技术的演进与革新。今天,我将以专业视角为您深入剖析Mlivus Cloud的核心组件之一——rootcoord,这个组件在系统架构中扮演着至关重要的角色。如果您…...
ApplicationEventPublisher用法-笔记
1.ApplicationEventPublisher简介 org.springframework.context.ApplicationEventPublisher 是 Spring 框架中用于发布自定义事件的核心接口。它允许你在 Spring 应用上下文中触发事件,并由其他组件(监听器)进行响应。 ApplicationEventPub…...
数字孪生:从概念到实践,重构未来产业的“虚拟镜像”
一、开篇:为什么数字孪生是下一个技术风口? 现象级案例引入: “特斯拉用数字孪生技术将电池故障预测准确率提升40%;西门子通过虚拟工厂模型缩短30%产品研发周期;波音777X飞机设计全程零实物原型……” 数据支撑&#…...
Python笔记:VS2013编译Python-3.5.10
注:本文是编译老版本,有点麻烦,测试了编译新版,基本上是傻瓜是操作即可 1. python官网下载源码 https://www.python.org/ftp/python/3.5.10/Python-3.5.10.tgz 2. 编译前查看目录中相关文档 源码目录结构 看README文档 经过查…...
STM32八股【6】-----CortexM3的双堆栈(MSP、PSP)设计
STM32的线程模式(Thread Mode)和内核模式(Handler Mode)以及其对应的权级和堆栈指针 线程模式: 正常代码执行时的模式(如 main 函数、FreeRTOS任务) 可以是特权级(使用MSPÿ…...
MySQL触法器
1. 什么是触发器及其特点 MySQL数据库中触发器是一个特殊的存储过程,不同的是执行存储过程要使用 CALL 语句来调用,而触发器的执行不需要使用 CALL 语句来调用,也不需要手工启动,只要一个预定义的事件发生就会被 MySQL自动调用。…...
金仓数据库征文-政务领域国产化数据库更替:金仓 KingbaseES 应用实践
目录 一.金仓数据库介绍 二.政务领域数据库替换的时代需求 三.金仓数据库 KingbaseES 在政务领域的替换优势 1.强大的兼容性与迁移能力 2.高安全性与稳定性保障 3.良好的国产化适配性 四.金仓数据库 KingbaseES 在政务领域的典型应用实践 1.电子政务办公系…...
微服务架构在云原生后端的深度融合与实践路径
📝个人主页🌹:一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 一、引言:后端架构的演变,走向云原生与微服务融合 过去十余年,后端架构经历了从单体应用(Monolithic)、垂直切分(Modularization)、到微服务(Microservices)的演进,每一次变化都是为了解决…...
北斗导航 | 北斗卫星导航单点定位与深度学习结合提升精度
以下是北斗卫星导航单点定位(SPP)与深度学习结合提升精度的关键方法总结,综合了误差建模、信号识别、动态环境适应等技术方向: 一、非直射信号(NLOS)抑制与权重修正 1. 双自注意力网络(Dual Self-Attention Network) 原理:通过同时建模卫星信号的空间环境特征(如天空…...
AlarmClock4.8.4(官方版)桌面时钟工具软件下载安装教程
1.软件名称:AlarmClock 2.软件版本:4.8.4 3.软件大小:187 MB 4.安装环境:win7/win10/win11(64位) 5.下载地址: https://www.kdocs.cn/l/cdZMwizD2ZL1?RL1MvMTM%3D 提示:先转存后下载,防止资…...
精益数据分析(23/126):把握创业阶段与第一关键指标
精益数据分析(23/126):把握创业阶段与第一关键指标 在创业和数据分析的学习过程中,每一次深入探索都可能为我们打开新的大门。今天,我依旧带着和大家共同进步的想法,来解读《精益数据分析》中的重要内容—…...
【华为HCIP | 华为数通工程师】821—多选解析—第十六页
多选814、关于OSPF AS-External-LSA说法正确的是: A、Net mask被设置全0 B、Link State ID被设置为目的网段地址 C、Advertising Router被设置为ASBR的Router ID D、使用Link State ID和Advertising Router可以唯一标识一条AS-External-LSA 解析:Net mask代表的是掩码…...
Linux:进程间通信->匿名管道实现内存池
1. 进程间通信 (1) 概念 进程间通信(IPC) 就是不同进程间交换数据的方法,进程间是独立的所以不能访问彼此的内存,需要某种机制来通信(管道、消息队列,共享内存等) (2) 目的 数据传输:一个进程需要他的数据发送给另一个进程 资源…...
Linux服务器离线安装ollama及大模型
Linux服务器离线安装ollama及大模型 核心思路:使用一台可以联网的电脑将需要的ollama安装包和大模型下载到本地,之后传输到Linux服务器上安装并配置 环境说明 联网机:macOS M1Pro Linux服务器:x86_64 安装ollama版本:…...
C++ 类及函数原型详解
一、引言 在C 编程中,类(Class)是面向对象编程的核心概念之一,它是一种用户自定义的数据类型,封装了数据和操作数据的函数(成员函数)。函数原型则为函数的声明提供了必要的信息,让编…...
大内存生产环境tomcat-jvm配置实践
话不多讲,奉上代码,分享经验,交流提高! 64G物理内存,8核CPU生产环境tomcat-jvm配置如下: JAVA_OPTS-server -XX:MaxMetaspaceSize4G -XX:ReservedCodeCacheSize2G -XX:UseG1GC -Xms48G -Xmx48G -XX:MaxGCPauseMilli…...
各类前端开发的框架比较及其核心特性、开发体验、生态系统以及在不同项目中的适用性
前端开发框架多种多样,每种框架都有其独特的优势和局限性。以下是几种流行的前端框架及其特点、优缺点和适合的项目类型介绍:包括它们的核心特性、开发体验、生态系统以及在不同项目中的适用性。 1. React.js 核心特性: 虚拟DOM:…...
Git基本使用(很详细)
一:Git 概述 1.1 定义:分布式版本控制系统 1.2 版本控制 (1)定义: 版本控制时一种记录文件内容变化,以便将来查阅特定版本修订情况的系统 (2)举例 多副本 优化: 不使用多…...
mybatis-plus里的com.baomidou.mybatisplus.core.override.MybatisMapperProxy 类的详细解析
以下是 com.baomidou.mybatisplus.core.override.MybatisMapperProxy 类的详细解析: 1. 类的作用 MybatisMapperProxy 是 MyBatis-Plus 框架中用于实现 Mapper 接口动态代理的核心类。它继承自 MyBatis 的 MapperProxy,并扩展了以下功能: …...
[密码学实战]商用密码产品密钥体系架构:从服务器密码机到动态口令系统
[密码学实战]商用密码产品密钥体系架构:从服务器密码机到动态口令系统 关键词:商用密码、密钥体系、服务器密码机、金融数据密码机、动态口令、智能密码钥匙 摘要:本文深度解读商用密码产品的核心密钥体系架构,涵盖服务器密码机、…...
BongoCat - 跨平台键盘猫动画工具
本文翻译整理自:https://github.com/ayangweb/BongoCat 文章目录 一、关于 BongoCat相关链接资源关键功能特性 二、下载安装系统要求下载方式macOSWindowsLinux (X11) 三、灵感来源四、效果演示 一、关于 BongoCat BongoCat 是一款跨平台的键盘猫动画工具…...
跨Linux发行版CPU指令集兼容性深度解析与实践指南
一、指令集差异全景透视 1.1 Ubuntu与Debian指令集差异对比 # 查询语句: lscpu | grep Flags # 结果 # Ubuntu 22.04 LTS Flags: fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop asimddp asimdfhm ssbs# De…...
docker的安装和简单使用(ubuntu环境)
环境准备 这里用的是linux的环境,如果没有云服务器的话,就是用虚拟环境吧。 虚拟环境的安装参考:vmware17的安装 linux镜像的安装 docker安装 我使用的是ubuntu,使用以下命令: 更新本地软件包索引 sudo apt u…...
Flutter 环境搭建 (Android)
目标 上一篇Flutter应用已经能在iOS,macOS和,chrome环境下正常运行了,这次把Android跑通。 环境 macOS 15.4.1 Visual Studio Code 1.99.3 Flutter 3.29.3 • channel stable • https://github.com/flutter/flutter.git Framework • revision ea121f8859 (11 da…...
数字化技术的五个环节:大数据、云计算、人工智能、区块链、移动互联网
在21世纪的科技浪潮中,数字化技术以其强大的生命力和无限的潜力,正逐步重塑着我们的世界。大数据、云计算、人工智能、区块链、移动互联网,这五大数字化技术的环节,如同构建智慧未来的基石,每一方面都承载着推动社会进…...
PWNOS:2.0(vulnhub靶机)
文章目录 靶机地址主机发现、端口扫描web渗透目录探测漏洞利用权限提升 解密工具地址总结 靶机地址 https://download.vulnhub.com/pwnos/pWnOS_v2.0.7z 这里如果是windows系统直接使用vmware或者virtubox打开可以使用,如果是mac系统需再去做一个配置,比较麻烦 这里…...
ubuntu22.04部署Snipe-IT
文章目录 参考链接一、写在前二、安装操作系统三、安装 PHP四、下载 Snipe-IT五、安装依赖六、安装数据库并创建用户七、安装 Snipe-IT八、安装 Nginx九、Web 继续安装 Snipe-IT补充: 最后 参考链接 How to Install Snipe-IT on Ubuntu 22.04 https://www.rosehost…...
【EDA】EDA中聚类(Clustering)和划分(Partitioning)
在VLSI物理设计自动化中,聚类(Clustering)和划分(Partitioning)是两个不同的关键步骤,主要区别如下: 1. 目标与核心任务 聚类(Clustering) 目标:将电路中的…...
Java 安全:如何实现用户认证与授权?
Java 安全:如何实现用户认证与授权? 在当今数字化的世界中,用户认证与授权是 Java 应用程序安全的关键环节。它们确保只有经过授权的用户才能访问特定资源,保护系统免受未授权访问的威胁。本文将深入探讨如何在 Java 中实现用户认…...
六个能够白嫖学习资料的网站
一、咖喱君的资源库 地址:https://flowus.cn/galijun/share/de0f6d2f-df17-4075-86ed-ebead0394a77 这是一个学习资料/学习网站分享平台,包含了英语、法语、德语、韩语、日语、泰语等几十种外国语言的学习资料及平台,这个网站的优势就是外语…...
AWS Glue ETL设计与调度最佳实践
一、引言 在AWS Glue中设计和调度ETL过程时,需结合其无服务器架构和托管服务特性,采用系统化方法和最佳实践,以提高效率、可靠性和可维护性。本文将从调度策略和设计方法两大维度详细论述,并辅以实际案例说明。 二、调度策略的最…...
《深入理解 AOP》
一、AOP 是什么 AOP(Aspect Oriented Programming),即面向切面编程,是软件开发中一种重要的编程范式。它通过横向抽取机制,将那些与业务逻辑本身无关、却为业务模块所共同调用的逻辑或责任(如事务处理、日…...
2022李宏毅老师机器学习课程笔记
机器学习笔记目录 1.绪论(内容概述)2.机器学习和深度学习的基本概念transformer 1.绪论(内容概述) 机器学习:让机器找一个函数,通过函数输出想要的结果。应用举例:语音识别,图像识别…...
时序数据库IoTDB在航空航天领域的解决方案
在快速发展的航空航天领域,高效、安全的数据管理成为了技术创新和持续发展的关键支撑。时序数据库IoTDB,凭借其国产自研、高效低流量数据同步、丰富的部署选择等优势,为航空航天产业提供了强有力的数据基础,助力产业加速转型升级。…...
洛谷 B3647:【模板】Floyd 算法
【题目来源】 https://www.luogu.com.cn/problem/B3647 【题目描述】 给出一张由 n 个点 m 条边组成的无向图。 求出所有点对 (i,j) 之间的最短路径。 【输入格式】 第一行为两个整数 n,m,分别代表点的个数和边的条数。 接下来 m 行,每行三…...
【25软考网工】第三章(4)生成树协议、广播风暴和MAC地址表震荡
目录 一、生成树协议1. 生成树技术背景1)单链路上行存在单点故障2)二层环路问题3)二层环路问题——广播风暴实验验证 广播风暴例题1:二层环路故障现象4)二层环路问题—— MAC地址表震荡实验验证 MAC地址表震荡的现象 2…...
解释器体系结构风格-笔记
解释器(Interpreter)是一种软件设计模式或体系结构风格,主要用于为语言(或表达式)定义其语法、语义,并通过解释器来解析和执行语言中的表达式。解释器体系结构风格广泛应用于编程语言、脚本语言、规则引擎、…...
删除新安装IBM Guardium Data Protection 12.1的baltimorecybertrustroot证书
登录web console,会显示 baltimorecybertrustroot证书过期警告。 采用下面的命令删除过期证书就可消除警告。 collector02.cpd.com> delete certificate keystore Select an alias from the list below to delete the corresponding certificate. Alias List:…...
反序列化漏洞1
一、PHP类与对象 1. 类 概念理解: 类是共享相同结构和行为的对象的集合,可以理解为特征的提取。例如将耳朵长、尾巴短、红眼睛、吃胡萝卜、蹦跳行走的动物特征抽象为"兔子"类。代码结构: 使用class关键字定义类类名遵循大驼峰命名法包含成员变量(属性)和…...
正则表达式三剑客之——awk命令
目录 一.什么是awk 二.awk的语法格式 1.选项 2. 模式(Pattern) 3. 操作(Action) 4. 输入文件(file) 5.总结 三.awk的工作原理 1. 逐行扫描输入 2. 匹配模式 1.正则表达式: 2.逻辑表…...
施磊老师基于muduo网络库的集群聊天服务器(七)
文章目录 数据表字符集问题支持中文和英文**为什么使用 utf8mb4?** 推荐 查看整个表, 再单独修改 客户端群组功能创建群组添加群组群组聊天接收在线群组消息接收离线群组消息补充服务器事件处理器补充服务器查询群组列表问题解决测试 目前报错总结目前为止最恶心的错…...
多模态(3):实战 GPT-4o 视频理解
最近,OpenAI 团队的 GPT-4o 模型,在多模态方面的能力有了大幅提升,这次我们就使用 GPT-4o 完成一个视频理解的实战。 1. 环境搭建 1.1 安装 FFmpeg 做视频处理,我们需要用到 FFmpeg 这款功能强大的开源多媒体处理工具。FFmpeg…...
基于python实现一个二维图片的路径规划问题
一、场景 基于如下的一个楼层平面图,假设有几个预置的点(实际项目中可能是动态的点,比如找车位,找工位),做路径规划,并画在平面图上 二、方案 1.准备平面室内图 可以自己用QGIS/cad等其他方式…...