当前位置：首页 > news >正文

分布式存储数据恢复—hbase和hive数据库文件被删除如何恢复数据？

news 来源：原创 2025/8/21 4:50:08

分布式存储数据恢复环境：
16台某品牌R730xd服务器节点，每台服务器节点上有数台虚拟机。
虚拟机上部署Hbase和Hive数据库。

分布式存储故障：
数据库底层文件被误删除，数据库不能使用。要求恢复hbase和hive数据库。
北亚企安数据恢复工程师到现场进行检测，发现虚拟机可以正常启动，虚拟机上的数据库块文件丢失。所幸的是块文件被删除之后，整个集群环境没有再进行数据的写入。

分布式存储数据恢复过程：
1、将故障服务器上所有硬盘编号后取出，经过硬件工程师检测后没有发现存在硬件故障和坏道。准备一台用来恢复数据的服务器，以只读方式挂载故障服务器上的硬盘，进行扇区级别的完整备份。
备份完成后将所有硬盘根据编号按照原样还原到原服务器中。后续的数据分析和数据恢复操作都基于镜像文件进行，避免对原始磁盘数据造成二次破坏。
2、分析每个虚拟机磁盘的块文件、文件底层的聚合方式、每个磁盘中数据的分布情况、Block文件key。
3、定位、提取、解析并整合数据库文件中key信息。
4、根据Block文件的key信息提取文件片段。拼接Block文件的片段并校验拼接后的Block文件的正确性。
5、校验提取出的Block文件的完整性及正确性，然后将提取出来的Block文件导入到hbase和hive数据库中。
6、由用户方详细验证数据。如果发现问题，重新检验上述所有恢复过程。直到没有任何问题。

相关文章：

分布式存储数据恢复—hbase和hive数据库文件被删除如何恢复数据？

分布式存储数据恢复环境： 16台某品牌R730xd服务器节点，每台服务器节点上有数台虚拟机。虚拟机上部署Hbase和Hive数据库。分布式存储故障： 数据库底层文件被误删除，数据库不能使用。要求恢复hbase和hive数据库。北亚企安数据恢复…...

编程日记 2025/8/21 4:50:08

【并行分布计算】Hadoop伪分布搭建

Hadoop伪分布搭建 1. 修改core-site.xml fs.defaultFS设置的是HDFS的地址，设置运行在本地的9000端口上 hadoop.tmp.dir设置的是临时目录，如果没有设置的话默认在/tmp/hadoop-${user.name}中，系统重启后会导致数据丢失，因此修改这…...

编程日记 2025/8/21 4:53:52

Redis面试——常用命令

一、String （1）设置值相关命令 1.1.1 SET 功能：设置一个键值对，如果键已存在则覆盖旧值语法： SET key value [EX seconds] [PX milliseconds] [NX|XX]EX seconds：设置键的过期时间为 seconds 秒 PX milli…...

编程日记 2025/8/20 7:20:40

告别定时任务！用Dagster监听器实现秒级数据响应自动化

在数据管道开发中，我们经常面临需要根据外部事件触发计算任务的场景。传统基于时间的调度方式存在资源浪费和时效性不足的问题。本文将通过Dagster的**传感器（Sensor）**功能，演示如何构建事件驱动的数据处理流程。场景模拟&…...

编程日记 2025/8/22 0:10:49

测试用例的生命周期：从诞生到退役的全过程管理

测试用例不是一成不变的标本在敏捷开发时代，测试用例就像有机生命体一样会经历完整的生命周期。据Microsoft Research调查，良好管理的测试用例可使缺陷发现率提升40%，而缺乏管理的用例库在6个月后失效比例高达65%，本文将深入解析…...

编程日记 2025/8/22 0:10:51

【并行分布计算】Hadoop单机分布搭建

Hadoop单机分布搭建环境：VMware Workstation虚拟机centos7镜像MobaXterm远程连接工具为了使机器都处于同一个局域网中，先要修改机器的ip地址分配方式为固定ip，并为其固定分配一个ip地址。 [rootlocalhost ~]# vi /etc/sysconfig/network-…...

编程日记 2025/8/22 0:11:39

Android studio前沿开发--利用socket服务器连接AI实现前后端交互（全站首发思路）

我们在前几期学习了利用socket进行前后端的交互，但那只是基础性知识，这次，通过参考讯飞星火的java参考文档，再结合之前所学的socket服务，成功实现了通过后端将AI的调用实现在了自己的APP中。本次的学习内容 1.真机的…...

编程日记 2025/8/22 0:10:50

Redis的下载安装和使用（超详细）

目录一、所需的安装包资源小编放下述网盘了，提取码：wshf 二、双击打开文件redis.desktop.manager.exe 三、点击next后，再点击i agree 四、点击箭头指向，选择安装路径，然后点击Install进行安装五、安装完后依次点…...

编程日记 2025/8/21 22:24:23

手机状态：UML 状态图（State Diagram）的解析与绘画

目录一、UML 状态图（State Diagram）是什么二、题目原型三、手机状态图的解析状态转换的触发条件四、状态图的构建与解读图的解读五、状态图的实际应用六、总结与展望一、UML 状态图（State Diagram）是什么 UML …...

编程日记 2025/8/22 0:10:50

MyBatisPlus-QueryWrapper的exists方法拼接SQL中的EXISTS子句

在 MyBatis-Plus 中，QueryWrapper 的 exists 方法用于拼接 SQL 中的 EXISTS 子句，通常用于构建子查询条件。以下是具体用法和示例： 1. 基本语法 // 判断是否存在符合条件的记录 queryWrapper.exists(String existsSql); queryWrapper.notExists(String existsSq…...

编程日记 2025/8/22 0:10:04

HarmonyOS-ArkUI：自定义组件冻结功能@ComonentV2 freezeWhenInactive属性

引 @ComponentV2 装饰器是可以接收参数的，叫freezeWhenInactive, 顾名思义，就是当组件变成Inactive的时候，冻结。其默认值是false。所以如果您没有传参数时，默认不冻结。冻结到底是一种什么状态呢？说简单点就是状态变量不响应更新。@Monitor修饰的那些状态变量更新检测…...

编程日记 2025/8/22 0:10:03

【问题】一招解决vscode输出和终端不一致的困扰

背景（闲话Trae） Trae是挺好，用了几天，发现它时不时检查文件，一检测就转悠半天，为此我把当前环境清空，就留一个正在调的程序，结果还照样检测，虽然没影响什么，…...

编程日记 2025/8/21 5:22:46

【CODESYS学习笔记001】MODBUS-TCP 与标准TCP通信的优缺点对比

1. MODBUS-TCP 优点： 1. 标准化协议 - 基于工业标准（RFC标准），兼容性强，几乎所有PLC和工业设备都支持。 - 固定功能码（如0x03读寄存器、0x10写寄存器），开发简单。 2. 数据格…...

编程日记 2025/8/17 20:02:23

⭐ Unity 使用Odin Inspector增强编辑器的功能：UIManager脚本实例

先看一下测试效果： 在Unity开发中，Odin Inspector已经成为了一个非常受欢迎的工具，它通过增强编辑器的功能，使得开发者在工作中更加高效，尤其是在处理复杂数据和自定义编辑器方面。今天，我们将通过一个简…...

编程日记 2025/8/17 21:33:14

Linux网络协议栈深度解析：从数据封装到子网划分的底层架构

知识点5 1、封装和解封装的流程封装数据报文：发送数据解封装数据报文：接收报文以后我们的网络编程过程中，只需要告知IP与端口号，链路层的MAC地址有协议栈帮我们提供。 2、链路层报文格式（mac报文） …...

编程日记 2025/8/19 23:18:54

Java与MySQL数据库连接的JDBC驱动配置教程

系列文章目录 Java JDBC编程文章目录系列文章目录前言一、JDBC简介：二、mysql-connector-java驱动详解： 驱动版本特性介绍： 三、JDBC驱动安装与配置： 1.IDE项目设置:2.命令行安装：3.使用Maven或Gradle ：…...

编程日记 2025/8/17 20:23:41

光伏产品研发项目如何降本增效？8Manage 项目管理软件在复合材料制造的应用

在复合材料制造领域，特别是光伏PECVD石墨舟和燃料电池石墨双极板等高精尖产品的研发过程中，高效的项目管理直接决定了产品开发周期、质量和市场竞争力。然而，许多企业在项目立项、进度跟踪、资源分配和质量控制等环节面临挑战。针对这些痛点…...

编程日记 2025/8/21 17:04:29

矫平机：工业制造中的“板材整形师“

在机械制造车间此起彼伏的轰鸣声中，一卷卷冷轧钢卷正经历着神奇的蜕变。经过开卷、矫平、剪切等工序，原本蜷曲的金属板材变得平整如镜，这些改变都源于生产线上一个关键设备——矫平机。这台被称作"板材整形师"的精密机械&#xff0…...

编程日记 2025/8/21 1:18:53

数据江湖：Node.js 与 SQLite3 的轻量之道

前言在这个“万码奔腾”的时代，想在江湖中闯出一片天地，不光要有剑（JavaScript），还得有招式（数据库）！本篇秘籍便是教你如何用 Node.js + SQLite3 打造一座小而美的“数据藏经阁”。初学者可轻松上手，高手可在细节中悟出更深的“数据库心法”。简介 SQLite 在前端…...

编程日记 2025/8/20 14:40:02

4.15BUUCTF Ez_bypass，HardSQL，AreUSerialz，BabyUpload，CheckIn

[MRCTF2020]Ez_bypass 打开环境，看源码 include flag.php; $flagMRCTF{xxxxxxxxxxxxxxxxxxxxxxxxx}; if(isset($_GET[gg])&&isset($_GET[id])) {$id$_GET[id];$gg$_GET[gg];if (md5($id) md5($gg) && $id ! $gg) {echo You got the first step;i…...

编程日记 2025/8/21 5:26:49

【HarmonyOS NEXT+AI】问答 03：找不到 DevEco Studio Cangjie Plugin 下载链接？

【HarmonyOS NEXTAI】问答 03：找不到 DevEco Studio Cangjie Plugin 下载链接？ 在 "HarmonyOS NEXTAI 大模型打造智能助手 APP (仓颉版)" 课程里面，有学员提到了这样一个问题：我在华为开发者社区官网找不到 DevEco Stu…...

编程日记 2025/8/21 8:53:56

使用 reverse-sourcemap 工具反编译 Vue 项目

要使用 reverse-sourcemap 工具反编译 Vue 项目，可以按照以下步骤操作： 步骤一：安装 reverse-sourcemap 首先，需要全局安装 reverse-sourcemap 工具。在命令行中执行以下命令： npm install --global reverse-sourcem…...

编程日记 2025/8/21 0:31:46

通信安全员历年考试重难点有哪些？

通信安全员考试的重难点紧密围绕行业特性和法规更新展开，需结合最新政策与实践案例综合掌握。以下是基于历年考试趋势及 2025 年新规的深度解析： 一、核心法规与标准体系（占比 30%-40%） 1. 安全生产法与行业规定《安全生产法》…...

编程日记 2025/8/21 8:18:52

C++(OpenCV)实现MATLAB的edge(I, “sobel“)边缘检测

文章目录方案分析具体代码实现关键步骤说明注意事项为了实现类似于MATLAB的edge(I, "sobel")函数的C代码，我们需要复现其完整的边缘检测流程，包括梯度计算、非极大值抑制和阈值处理。以下是具体的方案及代码实现： 方案分析图像…...

编程日记 2025/8/17 18:22:41

uniapp通过uni.addInterceptor实现路由拦截

注：此拦截不能首次拦截路由跳转的方法（switchTab, navigateTo, reLaunch, redirectTo），拦截request请求api可以 1. app.vue 代码 import { onLaunch} from dcloudio/uni-appimport permission from ./utils/permissiononLaunch(…...

编程日记 2025/8/17 21:10:18

vue2.x Echart label根据数据长度选择不同的间隔显示

折线图需要在各个点上方展示数据，但是数据数字的位数可能达到5~8位，需要根据密度进行间隔展示。例如，如果数据长度小于7，则每一项都展示，如果在7~10之间，2位展示一项，如果大于10，那么…...

编程日记 2025/8/19 1:22:04

Wifi密码查看软件V1.0

⭐本软件用于查看电脑连接过所有WiFi密码，不具备破解功能。可在忘记WiFi密码或他人输入密码自己不知道的情况下使用。 ⭐⭐为便于快速分享，加入双击【密码】列可将WIFI密码复制在粘贴板。 ⭐⭐⭐双击【名称】列可生成用于手机连接的二维码进行显示&…...

编程日记 2025/8/17 13:46:03

Hyperf (Swoole)的多进程 + 单线程协程、Gin (Go)Go的单进程 + 多 goroutine 解说

1. 核心概念解析 (1) Hyperf (Swoole): 多进程单线程协程 Swoole 并发模型详解 Swoole 的并发模型基于多进程架构，每个进程是单线程的，线程内运行多个协程。以下是其结构的关键点： 多进程：Swoole 应用程序启动时，…...

编程日记 2025/8/17 21:38:06

国内网络设备厂商名单（List of Domestic Network Equipment Manufacturers）

国内网络设备厂商名单运维工程师必须广泛熟悉国内外各大厂商的设备，深入掌握其应用场景、功能特点及优势。这不仅有助于在故障排查时迅速定位问题，还能在系统设计、优化与升级中做出更合理的决策。对设备特性的精准把握，能够显著提升运维效…...

编程日记 2025/8/17 18:25:31

基础元器件-电感（2025.4.17)

1.电感是电磁感应器件，它是储能元器件。 2.电感表示形式（直标法和色标法） 3.电感读取基准是mH，3R3指的是3.3mH，R代表小数点。 4.电感特性：通直流阻交流 5.电感的分类注：用电容或者电感滤波是…...

编程日记 2025/8/21 1:54:15

高通手机抓取sniffer log的方法

方法如下： adb root adb remount adb shell echo 4 >/sys/module/wlan/parameters/con_mode //不同的高通基线这块目录存在差异性 ifconfig wlan0 up iwpriv wlan0 setMonChan 149 2 //设置信道和bandwitdh tcpdump -i wlan0 -v -w /data/chan149.pcap 生成…...

编程日记 2025/8/21 23:30:26

React 设计艺术：如何精确拆分组件接口，实现接口隔离原则

接口隔离原则接口隔离原则（Interface Segregation Principle，简称 ISP）也是面向对象设计中的重要原则之一。它的核心思想是，一个类不应该依赖它不需要的接口。在 React 开发中，遵循接口隔离原则可以提高代码的可维护性…...

编程日记 2025/8/21 16:50:06

BFS DFS ----习题

题目1 答案1 #include <bits/stdc.h>using namespace std;const int N 210; int n,k; int arr[N]; int res 0;void dfs(int x,int start,int nowsum) {if (nowsum > n) return ;if(x>k){if(nowsum n) res;return ;}for(int i start;nowsumi*(k-x1)<n;i){a…...

编程日记 2025/8/17 18:26:01

第十七届“华中杯”大学生数学建模挑战赛题目A题晶硅片产销策略优化完整成品代码模型思路分享

近年来，高纯度晶硅片需求的增长引发了更激烈的市场竞争。晶硅片企业需要在成本控制、利润优化和供需管理之间取得平衡，以提高经营效率和市场竞争力。晶硅片的生产是一个高能耗、高成本的过程，企业效益会受到原材料价格波动、市场需求变化以及…...

编程日记 2025/8/17 14:51:55

java 设计模式之单例模式

简介单例模式：一个类有且仅有一个实例，该类负责创建自己的对象，同时确保只有一个对象被创建。特点：类构造器私有、持有自己实例、对外提供获取实例的静态方法。单例模式的实现方式饿汉式类被加载时，就会实例…...

编程日记 2025/8/17 18:28:18

新能源汽车能量流测试的传感器融合技术应用指南

第一部分：核心原理模块化拆解模块1：多源传感器物理层融合关键技术： 高精度同步采集架构采用PXIe-8840控制器同步定时模块（NI PXIe-6674T），实现CAN/LIN/模拟量信号的μs级同步光纤电压传感器&#xff0…...

编程日记 2025/8/19 1:21:50

高级java每日一道面试题-2025年4月11日-微服务篇[Nacos篇]-Nacos使用的数据库及其数据同步机制是什么？

如果有遗漏,评论区告诉我进行补充面试官: Nacos使用的数据库及其数据同步机制是什么？ 我回答: Nacos 使用的数据库及其数据同步机制详解在微服务架构中，Nacos 作为服务注册与配置管理的核心组件，其数据存储和同步机制对系统的高可用性和…...

编程日记 2025/8/19 14:29:19

音视频相关协议和技术内容

视频编解码： H264（AVC,MPEG-4 Part 10） 高压缩率，支持多种分辨率和帧率，用于在线流媒体、会议、数字电视编码过程： 分块处理，将视频帧划分为宏块（16x16）使用帧预测和…...

编程日记 2025/8/20 1:35:02

SpringBoot整合Rabbitmq(包括docker配置Rabbitmq的详细过程)

一、什么是mq MQ(message queue)，从字面意思上看就个 FIFO 先入先出的队列，只不过队列中存放的内容是 message 而已，它是一种具有接收数据、存储数据、发送数据等功能的技术服务。在互联网架构中，MQ 是一种非常常见的上下游“逻…...

编程日记 2025/8/17 21:23:35

20个常用的初级Java笔试题及其参考答案

### 1. Java基本数据类型有哪些？ - **答案**：Java中的基本数据类型有： - `byte`：8位 - `short`：16位 - `int`：32位 - `long`：64位 - `float`：32位 - `double`：64位 - `char`：16位（Unicode字符） - `boolean`：表示真或假（没有固定大小） ### 2. Java中的字符串是可…...

编程日记 2025/8/19 23:39:46

矫平机：工业制造的精密“雕刻师”

在金属加工的浩瀚图景中，矫平机犹如一位沉默的雕塑大师，用机械的精准与科学的智慧，将扭曲变形的板材重塑为工业艺术的杰作。从新能源电池极片到空间站耐压舱体，矫平工艺贯穿现代制造的每一处精度巅峰。一、核心技术：从…...

编程日记 2025/8/21 19:25:46

游戏数据分析，力扣（游戏玩法分析 I~V)mysql+pandas

力扣的游戏玩法分析 I~V， ps：虽然表结构不变但是力扣输入示例数据有些许变化，所以你使用上一题的数据跑下一题的代码可能产生的结果和示例中的不一样，建议点击连接到力扣中直接运行！ 目录 1. 游戏玩法分析 I mysql …...

编程日记 2025/8/18 20:46:59

C++之哈希

目录一、unordered_set 1.1、unordered_set的介绍 1.2、unordered_set和set的使用差异二、unordered_map 2.1、unordered_map和map的差异 2.2、unordered_multimap/unordered_multiset 三、哈希表 3.1、哈希概念 3.1.1、直接定地址法 3.1.2、哈希冲突 3.1.3、负载…...

编程日记 2025/8/17 18:26:19

DSP、MCU、FPGA 的详细总结

一、核心定义与特点类型定义核心特点DSP（数字信号处理器）专为高速数字信号处理设计的处理器- 哈佛架构，单周期乘加（MAC） - 实时性强，低延迟处理流式数据 - 专用指令集优化算法（如FFT、滤波&am…...

编程日记 2025/8/19 7:33:43

linux学习 3.用户的操作

用户建议在系统操作的时候不要一直使用root用户，因为root用户具有最高权限，你可能因为某些操作影响了你的系统，采用子用户则可以避免这一点这里的学习不用太深入，掌握如何创建删除切换即可(除非你要做详细的用户管理&#xff0…...

编程日记 2025/8/19 11:43:00

闭坑-- `a-auto-complete` 组件中的 `options` 数据存在重复

当 ant-design 的 a-auto-complete 组件中的 options 数据存在重复时，可能会导致以下问题： 1. 交互问题键盘导航失效： 使用键盘上下键选择时，可能会在重复项之间跳转，无法正常移动到下一个选项。选择结果不准确&…...

编程日记 2025/8/20 22:46:01

【Rust基础】使用Rocket构建基于SSE的流式回复

背景我们正在使用Rust开发基于RAG的知识库系统，其中对于模型的回复使用了常用的SSE，Web框架使用Rocket，Rocket提供了一个简单的方式支持SSE，但没有会话保持、会话恢复等功能，因此我们自己简单实现这两个功能。使用R…...

编程日记 2025/8/20 20:15:27

一种改进的CFAR算法用于目标检测（解决多目标掩蔽）

摘要恒虚警率（CFAR）技术在雷达自动检测过程中起着关键作用。单元平均（CA）CFAR算法在几乎所有的多目标情况下都会受到掩蔽效应的影响。最小单元平均（SOCA）CFAR算法仅当干扰目标位于参考窗口的前后方时才具有…...

编程日记 2025/8/17 18:22:56

什么是人工智能芯片？

行业专家指出，许多智能设备和物联网设备都是由某种形式的人工智能(AI)驱动的——无论是语音助理、面部识别摄像头，还是电脑。这些设备需要采用某种技术为它们进行的数据处理提供支持。有些设备需要在云平台的大型数据中心处理数据，而也有一些…...

编程日记 2025/8/19 13:27:14

0.深入探秘 Rust Web 框架 Axum

在当今的 Web 开发领域，Rust 凭借其出色的性能、内存安全性和并发处理能力，正逐渐崭露头角。而 Axum 作为 Rust 生态系统中一款备受瞩目的 Web 框架，更是为开发者提供了高效、灵活且强大的工具，用于构建现代化的 Web 应用程序。本…...

编程日记 2025/8/17 18:27:50