当前位置：首页 > news >正文

多云架构，JuiceFS 如何实现一致性与低延迟的数据分发

news 来源：原创 2025/5/8 1:12:00

随着大模型的普及，GPU 算力成为稀缺资源，单一数据中心或云区域的 GPU 资源常常难以满足用户的全面需求。同时，跨地域团队的协作需求也推动了企业在不同云平台之间调度数据和计算任务。多云架构正逐渐成为一种趋势，然而该架构下的数据分发面临一系列挑战。

01 多云架构下的存储挑战

在实际操作中，不少企业在各个云平台自行构建计算 Pod，来处理特定的计算任务并进行数据分发。然而，如何确保这一分发过程的持续性，并将训练结果及时归并，成为了亟待解决的难题。尤其是当数据需要跨地域传输时，性能瓶颈和数据一致性问题尤为突出。

以一个具体场景为例，图中左侧为训练集群，部署于腾讯云，而右侧则为推理集群，位于阿里云。如何将训练集群所生成的模型数据高效地分发至推理集群呢？

首要问题在于，数据的分发与异地计算难度较大，需用户自行将数据从文件系统层面拷贝至异地，并设定定时定量的策略。

其次，当数据量庞大时，若需全面同步，将耗费大量资源。而热数据往往仅占少数，企业往往难以预知哪些数据为热数据，需在读取后才能确定。因此，按需拷贝而非全面拷贝，并在异地设立本地缓存，既能提升性能，又能兼顾成本。

再者，网络带宽、出错重试等问题可能导致数据不一致。此外，云厂商通常倾向于构建封闭的生态，不愿提供跨云功能，如腾讯云便不会提供工具协助用户将数据拷贝至其他云进行分发。因此，作为云中立的第三方文件系统，我们需提供整体的解决方案，以打破单一云厂商的束缚，满足客户的跨云与多云需求。

02 JuiceFS 跨云、多云解决方案

JuiceFS 企业版是基于对象存储的分布式文件系统，相比社区版它提供了更强的元数据引擎和缓存管理能力。针对用户在多云架构中对数据访问性能的不同需求，juiceFS 提供跨区和跨地域的多种方案。

方案 1：同地域、跨云数据分发

该方案是指在同区域的不同云之间进行数据分发，常被应用于数据双活与灾备场景。通过在源区域（下图左上角）与目标区域之间建立异步数据同步关系，系统能够自动将数据从一个区域复制到另一个区域，并保证数据的一致性。

该方案采用共享元数据服务的方式，使得不同区域的客户端可以在挂载文件系统时进行就近写入，优化数据存取效率。异步复制和元数据一致性保证了在不同区域间的数据一致性和稳定性。

数据一致性方面，JuiceFS 的强一致性由元数据保证，文件有变更会在对象存储上追加新的数据块，然后元数据会指向新的数据块，所以只要元数据一致，就能确保整个文件的一致性。因此，当目标客户端访问同一元数据服务时，不存在数据不一致的情况。期间若数据已同步至目标区域存储桶，则直接从该桶读取；若尚未同步，则会回源至源存储桶读取，以确保数据的完整性和一致性。

此方案广泛适用于数据双活和灾备场景。对于数据双活应用，企业可以通过跨区数据复制在多个区域之间共享数据，实现高可用性和负载均衡。

在灾备场景中，该方案通过异步将数据备份到目标区域，避免了因源云平台出现问题（如账号封禁、访问限制等）导致的数据不可用情况。即便源区域发生故障，客户端只需挂载并切换到目标区域即可继续正常工作，数据可以无缝恢复。

方案 2：跨地域数据访问，适用于大规模 AI 训练场景

针对跨地域数据访问的性能挑战，我们提供了多种解决方案以满足不同场景下的需求。

元数据和数据同步

当两地享有共同地域的元数据服务时，数据访问通常不会受到显著延迟影响。然而，当数据需要跨国或跨大洲传输，如从新加坡或美国节点访问时，性能问题可能变得尤为突出，尤其是当涉及大量小文件时。此时，远程数据访问若未命中缓存，可能需要回源区域读取，这将严重影响性能。

为解决这一问题，我们设计了镜像文件系统功能，该功能通过同步源区域和目标区域（镜像区域）中的数据和元数据，确保两地数据一致性，从而实现跨地域数据的低延迟访问。虽然我们期望实现实时同步，但由于地域间的网络限制，实际上无法做到完全的实时性。

镜像文件系统中的操作流程如下：当源区域的客户端对源区域的存储桶发起读写操作时，会异步地将数据写入镜像区域的存储桶。当镜像区域的客户端在进行训练或推理时，系统将就近从镜像区域读取数据，以减少访问延迟从而提高性能。若数据尚未同步至镜像区域，系统将回源读取。

值得注意的是，在 JuiceFS 5.0 版本之前，镜像区域仅支持读操作；5.0 及之后版本则加入了写操作功能。在进行写操作时，系统先将数据写入镜像区域桶里，再将元数据更新到源区域的元数据服务中（注意：元数据不会直接写入镜像区域）。然后，元数据再按正常流程同步到镜像区域。

这个镜像写入流程看起来有些复杂，但为了确保在各种网络波动情况下同步不会出现错误，我们采用了单向同步的设计，虽然在写入时会承受一定的延迟，但这是为了一致性做出必要的妥协。

仅元数据同步

此外，为了应对大数据量同步时的成本和时间挑战，我们提供了按需同步的方案。用户可以选择仅同步元数据。这与上一种方式的差别就在于避免的全桶复制，虽然缺乏一定数据本地性，但如果分布式缓存有足够命中率，性能仍能得到保障。最为关键的是，这种方式省去了大量时间、复制流量及重复存储的成本。在写入数据时，系统同样将数据写回源区域的存储桶和元数据区域，并同步至镜像区域。通过这样的方式，我们实现了安全、高效的跨地域数据同步和访问。

03 某 LLM 企业腾讯云到阿里云跨云案例（仅元数据同步）

该企业在阿里云上拥有大量闲置的训练 GPU 资源，希望能够将这些资源与腾讯云的训练任务协同使用。因此，企业需要将数据从腾讯云分发到阿里云。然而，由于两者之间网络波动频繁，数据分发受阻，进而影响了训练效率，尤其是在处理大量小文件时，卡顿现象更为明显。

为解决这一问题，企业选择使用 JuiceFS 来支持跨地域的数据分发场景。通过同步元数据， JuiceFS 有效降低了网络波动带来的影响。同时，为了控制成本，企业并未将所有数据同步到阿里云，而是采用分布式缓存，仅按需预热并同步需要的数据，从而在保证性能的同时优化了成本。

目前，镜像文件系统的大小约为 256TB，文件数量达到 1300 万个，平均文件大小约为18.6MB。阿里云客户端在镜像区域的数量达到 540 个，有大量的训练容器协助腾讯云进行训练。阿里云端元数据的 QPS 已达到 5.81 万次。尽管分布式缓存节点数量为 138 个，缓存容量仅为 8.8TB，但通过足够的节点数量和网卡数量，系统能够聚合出较大的带宽，缓存的最大读取吞吐量为 37GB/s，写入吞吐量为 4GB/s，能够满足该场景的性能要求。

03 小结

针对用户在多云架构中对数据访问性能的不同需求，JuiceFS 从第三方云中立的角度提供完整的解决方案，不捆绑任何特定云平台。

方案 1：同地域跨云数据分发
- 适用于两地距离相对较近、数据通信稳定的场景，同时也适用于跨云桶数据灾备的解决方案。
方案 2：跨地域数据访问
- 数据与元数据均同步。此方案支持多份数据同步，尤其适用于地域相隔较远的场景。其优势在于读取性能最佳，因为元数据和数据均可从本地读取。然而，这也带来了最高的成本。
- 仅元数据同步：兼顾成本与性能的折衷方案。元数据从本地读取，而数据则按需从缓存中读取；若缓存未命中，则回源读取。然而，其写入性能相对一般，因为无论是数据还是元数据，均需回源写入。此方案尤其适用于对成本敏感且镜像区域大量数据为只读的场景。

多云架构，JuiceFS 如何实现一致性与低延迟的数据分发

随着大模型的普及，GPU 算力成为稀缺资源，单一数据中心或云区域的 GPU 资源常常难以满足用户的全面需求。同时，跨地域团队的协作需求也推动了企业在不同云平台之间调度数据和计算任务。多云架构正逐渐成为一种趋势，然而该架构下的数…...

编程日记 2025/5/8 1:12:00

Jenkins持续集成与交付安装配置

Jenkins 是一款开源的持续集成（CI）和持续交付（CD）工具，它主要用于自动化软件的构建、测试和部署流程。为项目持续集成与交付功能强大的应用。下面我们来介绍下它的安装与配置。环境准备更新系统组件（这…...

编程日记 2025/5/8 1:05:00

十大排序简介

十大排序简介一、排序分类二、排序思路1．冒泡排序（Bubble Sort）2．选择排序（Selection Sort）3．插入排序（Insertion Sort）4．希尔排序（Shell Sort&a…...

编程日记 2025/5/8 0:27:35

uniapp小程序中隐藏顶部导航栏和指定某页面去掉顶部导航栏小程序

uniappvue3开发小程序过程中隐藏顶部导航栏和指定某页面去掉顶部导航栏方法在page.json中 "globalStyle": {"navigationStyle":"custom",}, 如果是指定某个页面关闭顶部导航栏，在style中添加"navigationStyle": "cus…...

编程日记 2025/5/8 1:03:20

echarts：dataZoom属性横向滚动条拖拽不生效

问： 拖拽的过程中，第一次向右拖拽正常，然后就报错： echarts报错： var pointerOption pointerShapeBuilder[axisPointerType](axis,pixeValue,otherExtent),(axis,pixeValue,otherExtent)下划线红色报错：…...

编程日记 2025/5/7 15:09:37

【Leetcode 热题 100】739. 每日温度

问题背景给定一个整数数组 t e m p e r a t u r e s temperatures temperatures，表示每天的温度，返回一个数组 a n s w e r answer answer，其中 a n s w e r [ i ] answer[i] answer[i] 是指对于第 i i i 天，下一个更高温度…...

编程日记 2025/5/5 18:03:31

R数据分析：多分类问题预测模型的ROC做法及解释

有同学做了个多分类的预测模型，结局有三个类别，做的模型包括多分类逻辑回归、随机森林和决策树，多分类逻辑回归是用ROC曲线并报告AUC作为模型评估的，后面两种模型报告了混淆矩阵，审稿人就提出要统一模型评估指标。那么肯定是统一成ROC了，刚好借这个机会给大家讲讲ROC在多…...

编程日记 2025/5/8 0:31:40

如何用 SSH 访问 QNX 虚拟机

QNX 虚拟机默认是开启 SSH 服务的，如果要用 SSH 访问 QNX 虚拟机，就需要知道虚拟机的 IP 地址，用户和密码。本文我们来看看如何获取这些参数。 1. 启动虚拟机启动过程很慢，请耐心等待。 2. 查看 IP 地址等待 IDE 连接到虚拟机。…...

编程日记 2025/5/4 17:34:22

交响曲-24-3-单细胞CNV分析及聚类

CNV概述小于1kb是常见的插入、移位、缺失等的变异人体内包含<10% 的正常CNV，我们的染色体数是两倍体，正常情况下，只有一条染色体表达，另一条沉默，当表达的那条染色体发生CNV之后，表达数量就会成倍增加…...

编程日记 2025/5/8 0:47:31

java远程调试debug

文章目录首先被调试的服务配置idea 中配置远程调试连接上被调试服务打断点开始调试首先被调试的服务配置被调试的 java 服务需要开启允许被远程调试的配置，具体就是启动脚本中，加上允许被远程调试以及相应端口 # 针对JDK15.-1.8 -agentlib:jdwptran…...

编程日记 2025/5/8 0:42:58

操作系统之系统调用

系统调用从上文简介得知，操作系统是计算机硬件和软件之间的桥梁，通过管理计算机软件和硬件资源，最终为我们用户提供服务。就如同一个管家帮助我们对CPU（进程）的管理、内存的管理、设备的管理、文件的管理。而我们如何…...

编程日记 2025/5/8 1:01:58

【docker】exec /entrypoint.sh: no such file or directory

dockerfile生成的image 报错内容： exec /entrypoint.sh: no such file or directory查看文件正常在此路径，但是就是报错没找到。可能是因为sh文件的换行符使用了win的。...

编程日记 2025/5/8 0:46:11

CAPL概述与环境搭建

CAPL概述与环境搭建目录 CAPL概述与环境搭建1. CAPL简介与应用领域1.1 CAPL简介1.2 CAPL的应用领域 2. CANoe/CANalyzer 安装与配置2.1 CANoe/CANalyzer 简介2.2 安装CANoe/CANalyzer2.2.1 系统要求2.2.2 安装步骤 2.3 配置CANoe/CANalyzer2.3.1 配置CAN通道2.3.2 配置CAPL节点…...

编程日记 2025/5/8 0:58:42

ML-Agents：智能体（三）

注：本文章为官方文档翻译，如有侵权行为请联系作者删除 Agent - Unity ML-Agents Toolkit–原文链接> ML-Agents：智能体（一） ML-Agents：智能体（二） ML-Agents：智能体&a…...

编程日记 2025/5/8 0:55:47

【harbor】离线安装2.9.0-arm64架构服务制作和升级部署

执行: .prepare 【作用就是产生一些配置信息和docker-compose.yaml文件，然后docker-compose发布docker】 harbor官网地址：Harbor 参考文档可以看这里：部署 harbor 2.10.1 arm64 - 简书。前提环境准备： 安装docker 和 docker…...

编程日记 2025/5/8 1:06:39

可视化-Visualization

可视化-Visualization 1.Introduction Visualization in Open CASCADE Technology is based on the separation of: on the one hand – the data which stores the geometry and topology of the entities you want to display and select, andon the other hand – its pr…...

编程日记 2025/5/7 8:28:41

完整化安装kubesphere，ks-jenkins的状态一直为init

错误描述： 打印日志： kubectl describe pod ks-jenkins-7fcff7857b-gh4g5 -n kubesphere-devops-system 日志描述如下： Events: Type Reason Age From Message ---- ------ ---- …...

编程日记 2025/5/8 1:00:17

halcon三维点云数据处理（十）locate_cylinder_3d

目录一、locate_cylinder_3d例程代码二、gen_binocular_rectification_map函数三、binocular_disparity函数四、自定义函数select_best_candidates五、自定义函数remove_shadowed_regions 一、locate_cylinder_3d例程代码 1、读取或者创建3D形状模型， 2、根据双目…...

编程日记 2025/5/2 7:49:30

【CSS】设置滚动条样式

文章目录基本语法用法案例基本语法在CSS中，可以使用 ::-webkit-scrollbar 和相关伪元素来为滚动条设置样式，但请注意这些伪元素是非标准的，主要用于WebKit内核浏览器（如Chrome、Safari）。 ::-webkit-scrollbar CSS …...

编程日记 2025/5/6 21:36:54

一个运行在浏览器中的开源Web操作系统Puter本地部署与远程访问

文章目录前言1.关于Puter2.本地部署Puter3.Puter简单使用4. 安装内网穿透5.配置puter公网地址6. 配置固定公网地址 💡 推荐前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。【点击跳转到网站…...

编程日记 2025/5/8 0:06:30

支持selenium的chrome driver更新到131.0.6778.264

最近chrome释放新版本：131.0.6778.264 如果运行selenium自动化测试出现以下问题，是需要升级chromedriver才可以解决的。 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only s…...

编程日记 2025/4/30 16:41:14

conda+jupyter+pycharm：如何在Windows conda环境下运行jupyter并使用浏览器或者pycharm运行.ipynb

1 安装conda 2 conda环境下安装jupyter pip install jupyter3 设置jupyter配置文件 1）创建 jupyter_notebook_config.py文件 jupyter notebook --generate-config 2）设置密码 3）设置参数直接将以下参数修改为自己的配置后复制到配置文件…...

编程日记 2025/4/27 14:28:34

生成式数据增强在大语言模型中的应用与实践

引言近年来，大语言模型（Large Language Models, LLMs）如GPT、BERT等在自然语言处理（NLP）领域取得了巨大突破。然而，这些模型的性能往往依赖于大量高质量的训练数据，而在许多实际应用场景中&am…...

编程日记 2025/5/6 6:01:04

深度学习笔记11-优化器对比实验(Tensorflow)

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊目录一、导入数据并检查二、配置数据集三、数据可视化四、构建模型五、训练模型六、模型对比评估七、总结一、导入数据并检查 import pathlib,…...

编程日记 2025/4/24 0:56:16

汽车免拆诊断 | 2007款保时捷Carrera S车行驶中发动机冷却液温度报警灯异常点亮

故障现象一辆2007款保时捷Carrera S车，搭载3.8 L自然吸气发动机，累计行驶里程约为7.8万km。车主反映，车辆行驶一段距离后，组合仪表上的发动机冷却液温度报警灯异常点亮。为此，在其他维修厂已更换过节温器、发动机冷却…...

编程日记 2025/5/6 8:56:20

【蓝牙】win11 笔记本电脑连接 hc-06

文章目录前言步骤前言使用电脑通过蓝牙添加串口步骤设置 -> 蓝牙和其他设备点击显示更多设备更多蓝牙设置 COM 端口 -> 添加有可能出现卡顿，等待一会传出 -> 浏览点击添加 hc-06，如果没有则点击再次搜索确定添加成…...

编程日记 2025/5/7 14:53:23

what？ngify 比 axios 更好用,更强大？

文章目录前言一、什么是ngify？二、npm安装三、发起请求3.1 获取 JSON 数据3.2 获取其他类型的数据3.3 改变服务器状态3.4 设置 URL 参数3.5 设置请求标头3.6 与服务器响应事件交互3.7 接收原始进度事件3.8 处理请求失败3.9 Http Observables 四、更换 HTTP 请求实现…...

编程日记 2025/5/5 23:09:23

EFCore HasDefaultValueSql (续2 HasComputedColumnSql)

前情：EFCore HasDefaultValueSql EFCore HasDefaultValueSql (续1 ValueGeneratedOnAdd)-CSDN博客小伙伴在使用 HasDefaultValueSql 时，对相关的 ValueGeneratedOnAdd, HasComputedColumnSql 也有了疑问： HasComputedColumnSql 对于计算…...

编程日记 2025/4/25 0:07:41

springboot整合h2

在 Spring Boot 中整合 H2 数据库非常简单。H2 是一个轻量级的嵌入式数据库，非常适合开发和测试环境。以下是整合 H2 数据库的步骤： 1. 添加依赖首先，在你的 pom.xml 文件中添加 H2 数据库的依赖： <dependency><grou…...

编程日记 2025/5/7 7:50:10

Unity自带的真车模拟系统，速度不够大r时如何以匀速上桥

在 Unity 中，如果你使用自带的真车模拟系统（如 Wheel Collider）时，发现车辆上桥时速度不够，导致无法顺利上坡，可以通过以下方法调整车辆的行为，使其能够以匀速上桥： 1. 调整 Wheel C…...

编程日记 2025/5/6 11:25:12

HarmonyOS鸿蒙-@State@Prop装饰器限制条件

一、组件Components级别的状态管理： State组件内状态限制条件 1.State装饰的变量必须初始化，否则编译期会报错。 // 错误写法，编译报错 State count: number;// 正确写法 State count: number 10; 2.嵌套属性的赋值观察不到。 // 嵌套的…...

编程日记 2025/5/2 5:46:03

C# 中的 Task 和 Async/Await

理解 C# 中的 Task 和 Async/Await：提升程序性能的利器前言：在现代应用程序开发中，特别是在设计用户界面（UI）和进行网络请求等 I/O 操作时，异步编程变得尤为重要。C# 提供了一套强大的异步编程模型&#…...

编程日记 2025/5/5 17:36:05

vue.js 基于VueCli自定义创建项目

在使用Vue.js进行项目开发时，我们可以使用Vue CLI来快速创建项目。Vue CLI是一个基于Vue.js的命令行工具，它提供了一套完整的项目脚手架，可以帮助开发者快速搭建Vue.js项目的开发环境。下面我们来详细解析如何使用Vue CLI自定义创建项目&am…...

编程日记 2025/4/28 18:13:09

Java中的反射机制及其应用场景

目录什么是Java反射机制？ 工作原理主要应用场景注意事项总结什么是Java反射机制？ Java反射机制是一种强大的工具，它允许程序在运行时访问、检查和修改其本身的类和对象的信息。通过反射，开发者可以在不知道类的具体实现…...

编程日记 2025/5/7 15:11:15

金融项目实战 03|JMeter脚本实现手工接口测试

目录一、环境说明 1、项目环境搭建 2、Mock说明二、构造测试数据 1、通过系统页面构造 2、通过接口构造 3、通过数据库构造【推荐】 4、案例：构造借款业务数据三、JMeter执行接口测试用例 1、获取图片验证码、获取短信验证码 2、注册脚本 3、登录脚本…...

编程日记 2025/5/6 23:16:39

前端工具汇总

1. vscode 下载地址：https://code.visualstudio.com/ vscode扩展汇总： 1.1 Code Spell Checker（必须安装） 代码拼写检查器 1.2 Auto Close Tag 自动添加HTML/XML的关闭标签 3. Auto Import 自动查找、解析并为所有可用导入…...

编程日记 2025/5/3 19:41:26

【学习路线】Python数据分析（数据科学）详细知识点学习路径（附学习资源）

学习本路线内容之前，请先学习Python的基础知识其他路线： Python基础 >> Python进阶 >> Python爬虫 >> Python数据分析（数据科学） >> Python 算法（人工智能） >> Pyth…...

编程日记 2025/5/6 6:01:16

Flutter 实现验证码输入框学习

学习flutter代码实现一个用于输入验证码的自定义组件，它允许用户输入固定长度的验证码，并在输入完成时触发回调。前置知识点学习 TextStyle TextStyle 是 Flutter 中用于定义文本样式的类。它提供了一组属性来控制文本的外观，如字体大小、…...

编程日记 2025/5/6 15:37:59

hutool糊涂工具通过注解设置excel宽度

import java.lang.annotation.*;Documented Retention(RetentionPolicy.RUNTIME) Target({ElementType.METHOD, ElementType.FIELD, ElementType.PARAMETER}) public interface ExcelStyle {int width() default 0; }/*** 聊天记录*/ Data public class DialogContentInfo {/**…...

编程日记 2025/5/4 17:34:28