当前位置： 首页 > news >正文

模拟实现分布式文件存储

news 来源：原创 2025/9/19 2:01:54

Q1:如何解决海量数据存的下的问题

传统做法是在单机存储。但是随着数据变多，会遇到存储瓶颈。

单机纵向扩展：内存不够加内存，磁盘不够加磁盘。有上限限制，不能无限制加下去。

多机横向扩展：采用多台机器存储，一台不够就加机器。理论上可以无限。

多台机器存储也就意味着迈入了分布式存储。

Q2:如何解决海量数据文件查询便捷问题

        当文件被分布式存储在多台机器之后，后续获取文件的时候如何能快速找到文件位于哪台机器上呢。一台一台查询过来也不靠谱。因此可以借助于元数据记录来解决这个问题。把文件和其存储的机器的位置信息记录下来，类似于图书馆查阅图书系统，这样就可以快速定位文件存储在哪一台机器上了。  

      

Q3:如何解决大文件传输效率慢的问题

        大数据使用场景下，GB、TP级别的大文件是常见的。当单个文件过大的时候，如何提高传输效率？通常的做法是分块存储：把大文件拆分成若干个小块（block 简写blk），分别存储在不同机器上，并行操作提高效率。

        此外分块存储还可以解决数据存储负载均衡问题。此时元数据记录信息也应该更加详细：文件分了几块，分别位于哪些机器上。

Q4:如何解决硬件故障数据丢失问题

        机器、磁盘等硬件出现故障是难以避免的事情，如何保证数据存储的安全性。如果某台机器故障，数据块丢失，对于文件来说整体就是不完整的。冗余存储是个不错的选择。采用副本机制。副本越多，数据越安全，当然冗余也会越多。通过“不要把鸡蛋放在一个篮子里”的思想，可以把数据丢失的风险分散到各个机器上。        

Q5:如何解决用户查询视角统一规整问题

        随着存储的进行，数据文件越来越多，与之对应元数据信息也越来越多，如何让用户视觉层面感觉不到元数据的凌乱，同时也与传统的文件系统操作体验保持一致？传统的文件系统拥有所谓的目录树结构，带有层次感的namespace（命名空间），因此可以把分布式文件系统的元数据记录这一块也抽象成统一的目录树结构。

总结：

  1. 如何解决海量数据存的下的--分布式存储
  2. 如何解决海量数据文件查询便捷—-元数据记录
  3. 如何解决大文件传输效率慢—-分块存储
  4. 如何解决硬件故障数据丢失--副本机制
  5. 如何解决用户查询视角统一规整--抽象目录树结构

相关文章：

模拟实现分布式文件存储

Q1:如何解决海量数据存的下的问题 传统做法是在单机存储。但是随着数据变多，会遇到存储瓶颈。 单机纵向扩展：内存不够加内存，磁盘不够加磁盘。有上限限制，不能无限制加下去。 多机横向扩展：采用多台机器存储&#x…...

编程日记 2025/9/19 2:01:54

HW面试经验分享 | 北京蓝中研判岗

目录： 所面试的公司介绍 面试官的问题： 1、面试官先就是很常态化的让我做了一个自我介绍 2、自我介绍不错，听你讲熟悉TOP10漏洞，可以讲下自己熟悉哪些方面吗？ 3、sql注入原理可以讲下吗？ 4、sql注入绕WAF有…...

编程日记 2025/9/15 21:07:25

HarmonyOS学习第3天: 环境搭建开启鸿蒙开发新世界

一、引言 在数字化时代，操作系统作为连接用户与硬件设备的桥梁，其重要性不言而喻。HarmonyOS 作为华为公司推出的面向全场景的分布式操作系统，以其创新的理念和卓越的性能，正逐渐在全球范围内崭露头角。它打破了设备之间的界限&a…...

编程日记 2025/9/16 1:38:43

基于STM32与BD623x的电机控制实战——从零搭建无人机/机器人驱动系统

系列文章目录 1.元件基础 2.电路设计 3.PCB设计 4.元件焊接 5.板子调试 6.程序设计 7.算法学习 8.编写exe 9.检测标准 10.项目举例 11.职业规划 文章目录 一、为什么选择这两个芯片？1.1 STM32微控制器1.2 ROHM BD623x电机驱动 二、核心控制原理详解2.1 H桥驱动奥…...

编程日记 2025/9/19 2:01:54

【react18】如何使用useReducer和useContext来实现一个todoList功能

重点知识点就是使用useReducer来攻坚小型的公共状态管理，useImmerReducer来实现数据的不可变 实现效果 实现代码 项目工程结构 App.js文件 import logo from "./logo.svg"; import "./App.css"; import TodoLists from "./comps/TodoLi…...

编程日记 2025/9/16 12:00:40

Java多线程三：补充知识

精心整理了最新的面试资料，有需要的可以自行获取 点击前往百度网盘获取 点击前往夸克网盘获取 Lambda表达式 简介： 希腊字母表中排序第十一位的字母，英语名称为Lambda避免匿名内部类定义过多其实质属于函数式编程的概念 为什么要使用lam…...

编程日记 2025/9/18 16:08:16

go WEB框架

推荐选型 https://chat.deepseek.com/a/chat/s/e6061607-8f33-4768-a5f0-8970cb1ffefd echo github：https://github.com/labstack/echo wiki：https://echo.labstack.com/docs/quick-start block：https://blog.csdn.net/qq_38105536/artic…...

编程日记 2025/9/16 12:00:37

【Python爬虫(27)】探索数据可视化的魔法世界

【Python爬虫】专栏简介：本专栏是 Python 爬虫领域的集大成之作，共 100 章节。从 Python 基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取&#xff…...

编程日记 2025/9/16 12:00:35

渲染 101 支持 3ds Max 的渲染器及其优势

在 3ds Max 创作流程里，渲染环节对最终成果的呈现效果起着决定性作用，渲染 101 云渲染平台则为 3ds Max 用户提供了全面且高效的渲染解决方案。 支持的渲染器 V-Ray 渲染器 在 3ds Max 中应用广泛，具备全局光照、光线追踪技术，…...

编程日记 2025/9/16 4:00:57

在 Java 中使用 `if` 语句实现双重判定

关于在 Java 中使用 if 语句实现双重判定，并使用 Eclipse 和 JUnit4 进行单元测试的详细介绍： --- ### 一、双重判定的实现 **双重判定**指在 if 语句中通过逻辑运算符组合两个条件。常用方式： - **逻辑与 &&**：两个条件…...

编程日记 2025/9/16 9:16:10

Ollama 安装

Ollama 支持多种操作系统，包括 macOS、Windows、Linux 以及通过 Docker 容器运行。 Ollama 对硬件要求不高，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 CPU：多核处理器（推荐 4 核或以上）。GPU…...

编程日记 2025/9/16 12:00:29

Docker Swarm 内置的集群编排

在现代容器化应用中，容器编排（Container Orchestration）是至关重要的，它负责自动化容器的部署、扩展、负载均衡和管理。Docker Swarm 是 Docker 提供的原生集群管理和容器编排工具，允许用户通过 Docker CLI 在多个 Doc…...

编程日记 2025/9/19 0:53:14

AF3 _build_query_to_hit_index_mapping函数解读

AlphaFold3 中templates模块的_build_query_to_hit_index_mapping函数是将原始查询序列（original_query_sequence）中的索引与hit 序列（hit_sequence）中的索引进行映射。 在蛋白质序列比对（如 HHsearch）中，hit 是与查询序列部分匹配的区域。由于存在缺口（-）和部分比对…...

编程日记 2025/9/19 2:01:54

Windows 中的启动项如何打开？管理电脑启动程序的三种方法

在日常使用电脑时，我们经常会发现一些应用程序在开机时自动启动，这不仅会拖慢系统的启动速度，还可能占用不必要的系统资源。幸运的是，通过几个简单的步骤，你可以轻松管理这些开机自启的应用程序。接下来，我…...

编程日记 2025/9/16 12:00:23

科普：“git“与“github“

Git与GitHub的关系可以理解为：Git是一种软件工具，而GitHub则是一个在线平台，它们是“一家子”。二者的关联最直接体现在你通过Git在GitHub仓库中clone软件包到你的机器中来。 具体来说： 一、Git 定义：Git是一个开源的…...

编程日记 2025/9/16 12:00:21

module ‘cv2.dnn‘ has no attribute ‘DictValue‘解决办法

module ‘cv2.dnn‘ has no attribute ‘DictValue‘解决办法 pip install opencv-python4.7.0.72 -i https://pypi.tuna.tsinghua.edu.cn/simple 测试： python -c"import cv2"...

编程日记 2025/9/16 12:00:20

国产编辑器EverEdit - 语法着色及嵌入式多语言着色

1 文档-着色及语法相关 1.1 应用场景 在编辑代码文件或脚本文件过程中，如果对语法着色、模式等文件进行了修改，需要立即生效时，可以通过文档-高级功能下的重新加载功能，立即生效相关配置。 1.2 使用方法 1.2.1 重新加载着色 着…...

编程日记 2025/9/18 7:15:44

设计模式教程：解释器模式（Interpreter Pattern）

1. 什么是解释器模式？ 解释器模式（Interpreter Pattern）是一种行为型设计模式，通常用于处理语言（例如数学表达式、SQL查询等）中的语法和解释。该模式定义了一个文法，并通过解释器类来解释文法中…...

编程日记 2025/9/15 18:29:00

Three.js 快速入门教程【六】相机控件 OrbitControls

系列文章目录 Three.js 快速入门教程【一】开启你的 3D Web 开发之旅 Three.js 快速入门教程【二】透视投影相机 Three.js 快速入门教程【三】渲染器 Three.js 快速入门教程【四】三维坐标系 Three.js 快速入门教程【五】动画渲染循环 Three.js 快速入门教程【六】相机控件 Or…...

编程日记 2025/9/18 11:25:47

【git】合并多个提交记录

1.说明 有时候因为某些小修改会导致代码多了很多不必要的提交，如果希望合并这些commit记录，我们可以使用rebase或者reset命令完成合并 2.rebase 这种方式是通过变基操作完成的，它适用于已经push到远程的情况，当我们变基好了之后…...

编程日记 2025/9/15 18:28:56

题海拾贝：【枚举】P2010 [NOIP 2016 普及组] 回文日期

Hello大家好&#xff01;很高兴我们又见面啦&#xff01;给生活添点passion&#xff0c;开始今天的编程之路&#xff01; 我的博客&#xff1a;<但凡. 我的专栏&#xff1a;《编程之路》、《数据结构与算法之美》、《题海拾贝》 欢迎点赞&#xff0c;关注&#xff01; 1、题…...

编程日记 2025/9/15 18:28:54

SQL Server 链接服务器 MySQL 详细步骤

目录 前言 一、准备工作 1. 确认需求 2. 获取权限 二、安装必要的驱动程序和工具 1.下载并安装MySQL ODBC驱动&#xff1a; 2.安装 SQL Server 和 MySQL 的管理工具&#xff1a; 三、配置 SQL Server 以连接到MySQL 1.执行创建链接服务器的T-SQL语句&#xff1a; 2.配…...

编程日记 2025/9/15 18:28:52

Java集合框架之List接口详解

目录 一、List接口概述 二、List接口常见实现类 三、List接口特有方法： 1.元素操作 2. 查找元素位置 3. 子列表与不可变列表 四、List特有迭代器：ListIterator 1.特有的迭代方式 2.ListIterator接口中的常用方法： ⑴.void add(E e)：在光标位置插入元素。（会移动…...

编程日记 2025/9/15 8:04:20

【大语言模型_4】源码编译vllm框架cpu版

背景&#xff1a; 通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因此需要本地编译。 系统环境 操作系统&#xff1a;欧拉2203 python版本&#xff1a;3.10 编译步骤 一、安装gcc/g/cmake 1、下载源码&#xff1a;https://github.com/vllm-project/vllm 安…...

编程日记 2025/9/15 18:28:48

城市地质安全专题连载⑦ | 加强国土空间规划管控，规避城市地质安全风险

作者 | 徐海洋 在国土空间规划中&#xff0c;地质调查扮演着先导性和基础性的角色。它如同一把无形的尺子&#xff0c;衡量着每一寸土地的开发潜力与安全边界&#xff0c;不仅为城市规划提供了科学依据&#xff0c;还在规避地质安全风险、优化资源配置方面发挥着关键作用。然而…...

编程日记 2025/9/15 18:28:47

Go入门之函数

func subn1(x, y int) int {sub : x - yreturn sub } 函数参数简写&#xff0c;可以省略前边的&#xff0c;和后边的类型一样 func addn1(x ...int) int {sum : 0for _, v : range x {sum v}return sum } 求可变参数的核&#xff0c;表示传参的个数不确定 func addn1(x int…...

编程日记 2025/9/15 1:57:30

前端如何把SEO优化做到极致✅

在前端&#x1f680;如何把SEO优化做到极致✅ SEO 是 Search Engine Optimization 的缩写&#xff0c;即搜索引擎优化。它是一种通过调整网站的内容、结构、外部链接等方面的优化手段&#xff0c;来提高网站在搜索引擎中的自然排名&#xff0c;以求得获得更多的流量&#xff0…...

编程日记 2025/9/15 18:28:43

【Linux】多线程 -＞ 线程同步与基于BlockingQueue的生产者消费者模型

线程同步 条件变量 当一个线程互斥地访问某个变量时&#xff0c;它可能发现在其它线程改变状态之前&#xff0c;它什么也做不了。 例如&#xff1a;一个线程访问队列时&#xff0c;发现队列为空&#xff0c;它只能等待&#xff0c;直到其它线程将一个节点添加到队列中。这…...

编程日记 2025/9/15 18:28:41

Openssl交叉编译

在 OpenSSL 交叉编译中&#xff0c;linux-aarch64是一个用于指定目标平台的配置选项&#xff0c;表示目标是 X86 架构的 64位系统。这个选项可以从 OpenSSL 的 ./Configure 命令支持的平台列表中获取。 你可以通过运行以下命令查看 OpenSSL 支持的所有平台配置选项&#xff1a…...

编程日记 2025/9/14 21:07:54

基于Ubuntu系统的docker环境对MySQL8.0.36主从部署

1. 环境准备 1、1 前言 本文基于Ubuntu系统的docker环境对MySQL8.0.36进行2台物理服务器的主从部署。1.2 服务器硬件环境准备 准备2台物理服务器192.168.8.6 和 192.168.8.9。 2台物理服务器在同一个局域网环境下，可以相互网络通信。 服务器操作系统版本：Ubuntu 24.04.1 L…...

编程日记 2025/9/15 18:28:37

吃一堑长一智

工作中经历&#xff0c;有感触记录下 故事一 以前在一家公司时&#xff0c;自己是一名开发人员&#xff0c;遇到问题请教领导解决方案&#xff0c;当时领导给了建议&#xff0c;后来上线后出问题了&#xff0c;背了锅。心里想的是领导说这样做的呀&#xff0c;为什么出问题还…...

编程日记 2025/9/15 18:28:35

详解Nginx 配置

一、Nginx 介绍 Nginx 是一款轻量级的 Web 服务器 / 反向代理服务器及电子邮件&#xff08;IMAP/POP3&#xff09;代理服务器。它由俄罗斯的程序设计师 Igor Sysoev 所开发&#xff0c;自 2004 年发布以来&#xff0c;凭借其高性能、低内存消耗、高并发处理能力等特点&#xf…...

编程日记 2025/9/15 18:28:33

《深度揭秘：DeepSeek如何解锁自然语言处理密码》

在人工智能蓬勃发展的当下&#xff0c;自然语言处理&#xff08;NLP&#xff09;成为了连接人类与机器的关键桥梁。作为该领域的佼佼者&#xff0c;DeepSeek以其卓越的语义理解和生成能力&#xff0c;备受瞩目。今天&#xff0c;就让我们深入探寻DeepSeek在自然语言处理中实现语…...

编程日记 2025/9/15 18:28:31

备战蓝桥杯 -牛客

习题-[NOIP2006]明明的随机数 1046-习题-[NOIP2006]明明的随机数_2021秋季算法入门班第一章习题&#xff1a;模拟、枚举、贪心 思路&#xff1a;这道题用stl的set&#xff0c;今天写这道题复习了一下set的用法&#xff1a; s.find(a) s.end()的意思是判断元素a是否存在于集…...

编程日记 2025/9/15 1:15:04

Pandas:从一个DataFrame中直接索引赋值到另一个索引位置出错的Bug及其解决方案

这里写自定义目录标题 动机代码1&#xff0c;这个代码是有问题的代码2&#xff0c;这个代码是我调试代码。拆分代码&#xff0c;最后找到问题所在&#xff0c;这个代码是正确的代码3。本以为找到问题所在之后&#xff0c;又稍微修改了下代码 2&#xff0c;这个代码还是没问题的…...

编程日记 2025/9/18 5:45:37

电脑想安装 Windows 11 需要开启 TPM 2.0 怎么办？

尽管 TPM 2.0 已经内置在许多新电脑中&#xff0c;但很多人并不知道如何激活这一功能&#xff0c;甚至完全忽略了它的存在。其实&#xff0c;只需简单的几步操作&#xff0c;你就能开启这项强大的安全特性&#xff0c;为你的数字生活增添一层坚固的防护屏障。无论你是普通用户还…...

编程日记 2025/9/15 18:28:26

请谈谈 Vue 中的响应式原理，如何实现？

一、Vue2响应式原理&#xff1a;Object.defineProperty的利与弊 实现原理&#xff1a; // 数据劫持核心实现 function defineReactive(obj, key, val) {const dep new Dep(); // 依赖收集容器Object.defineProperty(obj, key, {get() {if (Dep.target) { // 当前Watcher实例…...

编程日记 2025/9/15 18:28:24

深入解析浏览器渲染全流程：从URL输入到页面渲染的底层原理与性能优化（附实战代码）

本文以https://example.com为例&#xff0c;逐层剖析浏览器从输入URL到页面渲染的完整链路&#xff0c;涵盖DNS解析、TCP/TLS握手、HTTP请求、DOM/CSSOM构建等核心阶段&#xff0c;结合代码示例与性能调优技巧&#xff0c;助你掌握浏览器底层运行机制。 一、导航阶段&#xff1…...

编程日记 2025/9/15 14:54:33

vue 识别 ＜think＞＜/think＞

在 Vue.js 中处理自定义标签或者在 HTML 中嵌入特定标记&#xff08;例如 &#xff09;通常涉及到两个方面&#xff1a;模板语法和组件化。 模板语法 Vue 使用基于 HTML 的模板语法来声明式地将 DOM 绑定至底层数据。默认情况下&#xff0c;Vue 会忽略未知元素&#xff0c;除非…...

编程日记 2025/9/15 14:54:31

Three.js 快速入门教程【一】开启你的 3D Web 开发之旅

系列文章目录 Three.js 快速入门教程【一】开启你的 3D Web 开发之旅 Three.js 快速入门教程【二】透视投影相机 Three.js 快速入门教程【三】渲染器 Three.js 快速入门教程【四】三维坐标系 Three.js 快速入门教程【五】动画渲染循环 Three.js 快速入门教程【六】相机控件 Or…...

编程日记 2025/9/15 14:54:29

ubuntu 执行 sudo apt-get update 报错

记录一下&#xff0c;遇到这个问题了&#xff0c;网络上看到的解决办法&#xff0c;亲测有效 执行sudo apt-get update ,却报以下错误&#xff0c;“SECURITY: URL redirect target contains control characters rejecting ” 经检查发现&#xff0c;/etc/apt/source.list 下的…...

编程日记 2025/9/17 9:50:47

YOLOv11-ultralytics-8.3.67部分代码阅读笔记-loaders.py

loaders.py ultralytics\data\loaders.py 目录 loaders.py 1.所需的库和模块 2.class SourceTypes: 3.class LoadStreams: 4.class LoadScreenshots: 5.class LoadImagesAndVideos: 6.class LoadPilAndNumpy: 7.class LoadTensor: 8.def autocast_list(source…...

编程日记 2025/9/15 14:54:25

ubuntu24基于虚拟机无法从主机拖拽文件夹

以下是解决问题的精简步骤&#xff1a; 安装 open-vm-tools-desktop&#xff1a; bash复制 sudo apt-get install open-vm-tools-desktop 重启虚拟机后&#xff0c;文字复制粘贴功能可正常工作。 禁用 Wayland&#xff1a; 编辑 /etc/gdm3/custom.conf 文件&#xff1a; bash复…...

编程日记 2025/9/15 14:54:23

二叉树（数据结构）

二叉树 二叉树也是用过递归定义的结构 先序遍历又称前序遍历 ​​ ​​ 按照先序遍历的方法去手算处理这个二叉树 ​​ 先A B C 再 A B D E C&#xff08;也就是把B换成BDE再放进去&#xff09; 再 A B D E C F 看这个插入的方法要掌握像二叉树这样向一个…...

编程日记 2025/9/15 14:54:21

Vue 实现通过URL浏览器本地下载 PDF 和 图片

1、代码实现如下&#xff1a; 根据自己场景判断 PDF 和 图片&#xff0c;下载功能可按下面代码逻辑执行 const downloadFile async (item: any) > {try {let blobUrl: any;// PDF本地下载if (item.format pdf) {const response await fetch(item.url); // URL传递进入i…...

编程日记 2025/9/14 18:57:15

MySQL版本选择与安装

MySQL版本选择与安装 MySQL 5.5 优点: 稳定性&#xff1a;5.5版本是长期支持&#xff08;LTS&#xff09;版本&#xff0c;因此它非常稳定&#xff0c;被广泛部署在生产环境中。 兼容性&#xff1a;与旧版本的MySQL和各种应用程序有很好的兼容性。 缺点: 过时&#xff1a;…...

编程日记 2025/9/15 14:54:17

Python网络爬虫技术详解文档

Python网络爬虫技术详解文档 目录 网络爬虫概述爬虫核心技术解析常用Python爬虫库实战案例演示反爬虫机制与应对策略爬虫法律与道德规范高级爬虫技术资源推荐与学习路径1. 网络爬虫概述 1.1 什么是网络爬虫 网络爬虫（Web Crawler）是一种按特定规则自动抓取互联网信息的程序…...

编程日记 2025/9/16 15:22:34

STM32 CubeMx配置串口收发使用DMA并调用Idle模式（二）

本篇主要结合代码落实&#xff0c;之前串口已经配置好的DMA方式。 一、首先我们把串口看成一个对象&#xff0c;它有属性、私有数据和方法&#xff1b; 每个串口都有名字属性&#xff1b;有初始化、发送、接收方法&#xff1b;还有一个私有数据&#xff08;这个私有数据是每个…...

编程日记 2025/9/15 14:54:13

现代游戏UI架构深度解析——以UIController为核心的模块化界面管理系统

一、架构全景与设计哲学 本文将以重构后的UIController为核心&#xff0c;深入探讨Unity引擎下的高效UI管理方案。该体系采用"分层-分治"设计理念&#xff0c;通过界面生命周期管理、动态适配策略、资源优化机制三个维度的协同工作&#xff0c;构建了适应复杂交互需…...

编程日记 2025/9/15 14:54:11

DeepSeek 助力 Vue 开发：打造丝滑的点击动画（Click Animations）

前言&#xff1a;哈喽&#xff0c;大家好&#xff0c;今天给大家分享一篇文章&#xff01;并提供具体代码帮助大家深入理解&#xff0c;彻底掌握&#xff01;创作不易&#xff0c;如果能帮助到大家或者给大家一些灵感和启发&#xff0c;欢迎收藏关注哦 &#x1f495; 目录 Deep…...

编程日记 2025/9/17 15:27:10