当前位置：首页 > news >正文

Conda + JuiceFS ：增强 AI 开发环境共享能力

news 来源：原创 2025/6/5 4:44:54

Conda 是当前 AI 应用开发领域中非常流行的环境和包管理系统，因其能够简单便捷地创建与系统资源相隔离的虚拟环境广受欢迎。

Conda 支持在不同的操作系统上重建相同的工作环境，但在环境共享复用方面仍存在一些挑战。比如，在不同机器上复用相同环境需手动执行多步骤，过程中可能出现依赖不一致的问题。其次，维护多个环境版本并保持同步对快速迭代的项目，操作起来较为繁琐。

作为一个云原生分布式文件系统，JuiceFS 极大地简化了数据和环境的共享过程。开发人员可以将 Conda 环境存储在 JuiceFS，实现环境配置的共享和实时访问。JuiceFS 的跨平台兼容性在多操作系统和云环境之间提供了无缝的数据共享能力，支持复杂的多平台开发需求。
本文将从 Conda 的基本用法开始，一步步为您介绍 Conda 虚拟环境的常用共享方法、存在的问题，以及如何应用 JuiceFS 让环境共享变简单。

Conda 的基本用法

Conda 提供了两个主要版本：一个是预装了大量数据科学和机器学习库的 Anaconda，另一个是更简洁的 Miniconda，仅包含基本的 Python 和 Conda 环境管理工具。

Conda 是开源的跨平台工具，支持在 Linux、Mac 和 Windows 系统上运行。各操作系统的安装方式略有不同，关于 Miniconda 或 Anaconda 的安装细节，请读者参考其官方文档，本文不再赘述。

1. 查看虚拟环境

默认情况下，Conda 会将新虚拟环境的相关数据保存在它的安装目录，可以使用 conda env list 查看详情。如下图，是 Linux 系统中内置的 base 虚拟环境的保存路径。

2. 创建虚拟环境

使用 create 命令创建新虚拟环境，如下图，创建了一个名为 myrag 的虚拟环境。执行命令会有一个提示，确认后瞬间就能完成虚拟环境的创建。

可以看到，新的虚拟环境会保存在 miniconda 的 $base/envs/ 目录中。

3. 激活虚拟环境

使用 activate 可以激活一个虚拟环境，如下图。激活的虚拟环境会有一个 * 标识，终端提示符前面也有虚拟环境的名称。

4. 基本使用

激活虚拟环境以后，利用 conda install 可以安装 Anaconda 仓库中提供的各种包和库。比如，在 myrag 虚拟环境中，当前的 python 版本是 3.12.3。

执行命令安装 conda-forge::python

Python 版本就替换成了 3.13.0

同样的，可以在虚拟环境中安装特定版本的 NodeJS、Rust、Golang、Java 等。通过 conda install 命令安装的包全都存储在虚拟目录中，它与操作系统的是隔离的，安装的包互不影响。

5. 退出虚拟环境

执行 conda deactivate 命令即可退出虚拟环境

虚拟环境复用的挑战

现代开发环境通常复杂且多样化，不仅涉及团队协作中的多人多机情况，每位开发者也可能同时维护多个开发环境。如果在一台设备上配置好的开发环境能够便捷地在其他设备上复用，这将大大节省开发者的时间和精力，同时有效避免因单独配置环境而导致的版本不统一等问题。

一般而言，Conda 的环境有以下几种共享方法：

environment.yml 配置文件共享；
conda-pack 工具打包；
直接共享虚拟目录。

方法一：配置文件共享

这种方法是将现有环境中配置、已安装的包、依赖关系、路径等信息导出到 environment.yml 配置文件，然后根据这个配置文件在其他设备上重建虚拟环境。

# 导出配置好的环境配置
conda env export > environment.yml

把配置文件拷贝到目标设备并据此重建虚拟环境：

# 使用配置文件创建虚拟环境
conda env create -f environment.yml

这是 Conda 官方推荐的环境共享方式，它的优势在于可以跨系统、跨架构，因为它共享的是材料清单（而不是材料），在目标设备上只要照着清单安装所需的资源即可。但这种方式对安装了大量包的环境不太友好，需要目标设备重复下载资源，如果网络环境不好的话，难免要多花些时间。

方法二：使用打包工具

这种方法是使用专门的工具来打包虚拟环境，把它所有东西都装到一个压缩包里，这样在目标设备上解压就能使用。

# 需要安装 conda-pack 程序
conda install conda-pack# 打包当前环境
conda pack -n xxx

conda-pack 会将虚拟环境打包成一个 tar.gz 压缩包，拷贝到目标设备，解压即可直接使用。

这种方法可以弥补第一种方法的不足，对于安装了特别多包的环境，复用的效率会更高。但它也存在一些不足，比如环境的变化无法在多台设备之间实时同步。

另外，如果虚拟环境中包含 pip 或 setup.py 安装的包（editable packages），那么它就无法打包这个虚拟环境。

方法三：直接共享虚拟目录

这种方式是直接把 conda 虚拟目录拷贝或共享给其他设备使用，相比之下，这是三种方式当中最简单直接的虚拟环境共享方法。但它的局限和缺点也很明显，因为虚拟环境中的某些文件可能包含硬编码的路径信息，在不同设备上可能是不同的，这就会导致环境无法正常工作。因此这种方法要求共享使用的设备有相同的 CPU 架构和操作系统。

上述复用虚拟环境的方法各有利弊和适合的场景，难说孰优孰劣。但可以确定的是，想要高效的复用环境，离不开一个可靠的数据共享方案。

特别是像 AI 应用这类日新月异变化的项目，开发环境的一致性和高效协作尤为重要，当机器数量很多，而且环境中的资源经常发生变化，且要求全部使用一致的虚拟环境时，就需要引入像 JuiceFS 这样能够便捷提供多设备数据共享能力的专业工具来满足需求。

用 JuiceFS 托管 Conda 虚拟环境

JuiceFS 是云原生的分布式文件系统，利用对象存储作为底层数据存储，并通过独立的数据库管理元数据。这种独特的架构设计，使得分布在不同云端、不同区域的 JuiceFS 客户端能够高效地共享和读写同一份数据。JuiceFS 提供了数据一致性保障，并结合完善的缓存技术，实现数据的可靠存储和高速访问。特别是对可靠性要求较高的多客户端数据共享场景中，JuiceFS 是理想的解决方案。

作为开源、易用且功能强大的分布式文件系统，JuiceFS 能在不同环境中实现数据的高效访问和共享。其低延迟和高并发能力，让开发者能够快速访问和同步 Conda 虚拟环境，显著降低环境配置与同步的时间成本。

在开发环境中引入 JuiceFS，并灵活运用其共享和缓存功能，可以为 Conda 赋予便捷的资源共享能力。

1. 准备 JuiceFS

JuiceFS 是开源软件，任何企业和个人都可以在遵循 Apache 2.0 协议的基础上自由分发使用。

提示：对于性能有更极致要求的用户，还可以选择 JuiceFS 的云服务或私有部署的企业版本，它们由 Juicedata 自研的高性能分布式元数据引擎驱动，可以承载更大规模的数据。

对于使用开源版的用户，只需在业务端就近购买对象存储和数据库（Redis、Postgres、MySQL 等），或是自行搭建这两类资源。

JuiceFS 文件系统的创建非常简单，有需要可以参考官方文档。这里采用社区版客户端，使用本地内网自行搭建的 Redis 和 MinIO 创建一个名为 myjfs 的文件系统（元数据引擎为 redis://192.168.3.18/1 ）。

完成了文件系统的创建，接下来需要挂载这个文件系统。挂载位置可以自行决定，这里使用了 -d 选项以守护进程的方式挂载到了 /myjfs 目录，同时开启了 --writeback 回写模式，数据会先写在本地缓存盘并异步写到对象存储，从而获得更快的写速度。

提示：--writeback 回写模式对磁盘的可靠性有一定的要求，因为数据会先写到磁盘缓存再存入对象存储，在写数据时要防止系统断电，避免写不完全。

sudo juicefs mount -d --writeback redis://192.168.3.18/1 /myjfs

JuiceFS 是分布式的文件系统，在任何能够访问到这套 Redis 和 MinIO 的主机上都可以使用 JuiceFS 客户端同时挂载这个文件系统。

现在，你可以把 JuiceFS 挂载点当作设备之间的高性能网盘，用来共享 environment.yml 或 conda-pack 导出的压缩包。也可以把 Conda 的默认存储路径设置在 JuiceFS 的挂载点（这里是 /myjfs），让所有设备共享使用目录中的虚拟环境。

2. 修改 Conda 的默认存储路径

Conda 的默认存储路径可以通过修改配置文件来变更，Linux 或 macOS 系统位于 ~/.condarc ，Windows 位于 C:\Users\用户名\.condarc，该文件会在首次执行 conda config 命令时自动创建。

可以手动修改配置文件中的 envs_dirs 数组，定义所有可用的虚拟环境存储路径。也可以执行命令修改，比如将路径修改为 /myjfs/conda ：

conda config --add envs_dirs /myjfs/conda

接下来再创建虚拟环境，就会存储到 JuiceFS 上面。

同样的，可以把已经创建的虚拟环境目录拷贝到 JuiceFS 上面直接使用。

3. 善用 warmup 加速使用

在其它主机上复用 Conda 环境时，挂载文件系统以后，可以使用 JuiceFS 提供的 warmup 命令来预先将相关的目录预热到本地，从而加快访问。如下图，是将整个 /myjfs/conda 目录都执行了预热。

4. 注意事项

对于目录共享和工具导出方式的虚拟环境，不同 CPU 架构系统创建的 Conda 虚拟环境之间不能复用。这是因为虚拟环境中安装的软件包是针对特定的 CPU 架构进行编译的。

如下图，窗口上方的系统是 x86_64 架构的，虽然它可以激活共享的虚拟环境，但却无法执行环境中的程序。因为这个虚拟环境是在窗口下方的 aarch64 架构系统上创建的，二者无法共用。

5. 其他问题

在使用 JuiceFS 作为 Conda 虚拟环境存储路径时，你会发现读写速度没有本地磁盘那么快。根本原因在于 JuiceFS 是基于云的文件系统，底层的对象存储和数据库都是网络资源，读和写都会有一定的时延。对性能敏感的读者可以通过以下方式进行优化和调整：

在内网环境中自建数据库和对象存储，尽量让这些资源与设备靠近；
为挂载点主机配备更高速的 SSD，让缓存可以写在更快的磁盘上；
加大带宽，打破网络接口瓶颈。

另外，读者也可以针对不同的虚拟环境的类型和规模来灵活改变 Conda 虚拟环境共享方法，让 Conda 和 JuiceFS 都在最适合的状态下工作。

总结

本文简要分享了在多机环境下，如何利用 JuiceFS 复用 Conda 虚拟环境的具体方法与注意事项。希望这篇文章中的技巧和经验能够为读者的日常开发和团队协作提供帮助，并提升工作效率。我们鼓励感兴趣的读者亲自动手尝试，并在实践中探索更多的优化方式。

如果您在配置和使用过程中遇到任何问题，欢迎前往 JuiceFS 用户社区进行反馈、提问与交流。您的问题和分享将有助于推动整个社区的进步。

Conda + JuiceFS ：增强 AI 开发环境共享能力

Conda 是当前 AI 应用开发领域中非常流行的环境和包管理系统，因其能够简单便捷地创建与系统资源相隔离的虚拟环境广受欢迎。 Conda 支持在不同的操作系统上重建相同的工作环境，但在环境共享复用方面仍存在一些挑战。比如，在不同机器上复用相…...

编程日记 2025/6/1 20:22:10

小红薯x-s算法最新补环境教程12-06更新（下）

在上一篇文章中已经讲了如何去定位x-s生成的位置，本篇文章就直接开始撸代码吧如果没看过的话可以看：小红薯最新x-s算法分析12-06（x-s 56）（上）-CSDN博客 1、获取加密块代码首先来到参数生成的位置&…...

编程日记 2025/6/1 20:12:15

强化ASPICE合规与认可度：关键策略与实践路径

确保ASPICE（Automotive SPICE）标准的合规性和认可度，是一个涉及多方面努力和持续改进的过程。以下是一些关键步骤和建议，以帮助企业实现这一目标： 一、熟悉ASPICE标准深入阅读和理解：首先，需要…...

编程日记 2025/6/4 1:31:23

没有合理使用线程池，引发的生产环境BUG

引言随着多线程和并发处理需求的增加，线程池成为了提升系统性能的重要工具。Java 提供了强大的 ThreadPoolExecutor 类，能够高效地管理线程池，减少线程创建和销毁的开销。然而，当线程池达到其最大容量时，如何优雅地处…...

编程日记 2025/6/1 14:24:48

异步处理与后台任务管理：在 FastAPI 中实现高级特性

异步处理与后台任务管理：在 FastAPI 中实现高级特性目录 ⚡ 背景任务与异步处理概述🛠️ 使用 BackgroundTasks 执行后台任务🚀 异步视图函数：使用 async 和 await🔄 处理并发任务：提升应用性能与响应能…...

编程日记 2025/5/30 23:17:21

ceph存储池

1、存储池 1、存储池的概念存储池就是ceph的逻辑分区，专门用来存储对象的特点将文件切片成对象，通过hash算法，找到存储池中的pg，池中的pg根据crush算法找到osd节点存储中的PG数量对性能有重要的影响，过多和过少…...

编程日记 2025/6/3 17:23:46

STM32基于HAL库的串口接收中断触发机制和适用场景

1. HAL_UART_Receive_DMA函数基本功能作用：启动一个固定长度的 DMA 数据接收。特点： 需要预先指定接收数据的长度（Size 参数）。DMA 会一直工作直到接收到指定数量的数据，接收完成后触发 HAL_UART_RxCpltCallback 回…...

编程日记 2025/5/30 14:28:32

如何查看电脑的屏幕刷新率？

1、按一下键盘的 win i 键，打开如下界面，选择【系统】： 2、选择【屏幕】-【高级显示设置】如下位置，显示屏幕的刷新率：60Hz 如果可以更改，则选择更高的刷新率，有助于电脑使用起来界面更加流…...

编程日记 2025/6/1 15:01:43

Q3收入回退，盈利与商业化落地步履艰难，文远知行亟待背水一战

撰稿|行星来源|贝多财经 12月2日，全球商业杂志《Fortune》（财富）揭晓了2024年“未来50强”（The Future 50）企业榜单，上市不久的全球Rbotaxi第一股文远知行（NASDAQ:WRD）位列第26名…...

编程日记 2025/5/29 20:02:28

如何利用Java爬虫获得商品类目

在当今数字化时代，数据已成为企业最宝贵的资产之一。获取和分析数据的能力对于任何希望在市场上保持竞争力的企业来说都是至关重要的。对于电子商务平台和市场研究公司而言，获取商品类目数据尤为重要，因为这些数据可以帮助他们更好地理解市场…...

编程日记 2025/6/3 19:56:19

Charts 教程：创建交互式图表的基础

ECharts 是一个开源的、基于 JavaScript 的数据可视化库，它可以帮助你快速创建交互式的图表。无论是简单的柱状图、折线图，还是复杂的地图和关系图，ECharts 都能够轻松应对。本文将带你了解如何在你的网页中使用 ECharts 创建图表&#xff0c…...

编程日记 2025/6/2 7:17:57

Jackson - JsonGenerator创建JSON、JsonParser解析JSON

以下是关于如何使用Jackson的JsonGenerator类来创建JSON内容以及如何使用JsonParser类来读取JSON内容的教程。依赖项首先，在pom.xml文件中添加以下依赖项以引入Jackson库： <dependency><groupId>com.fasterxml.jackson.core</groupI…...

编程日记 2025/5/31 0:36:31

数据结构与算法——1202—排序递归

1、选择排序 #include<iostream> #include<vector> using namespace std;void SelectSort(vector<int>& nums) {int i;int j;int minIndex;int length nums.size();if (length 0 || length 1) return;for (i 0; i < length-1; i)//遍历所有元素{…...

编程日记 2025/6/1 20:11:35

Lattice Radiant Software Lattice Propel Builder Lattice Propel 2024.1 安装

因项目需要，对Lattice 器件LIFCL-40 CrossLink进行评估先从Lattice官网下载Radiant安装包： Lattice Radiant设计软件新建工程环境...

编程日记 2025/5/28 13:09:47

【Linux系统】 Linux内核与UNIX设计哲学的结合

Linux 内核虽然不是 UNIX 的直接衍生物，但它深受 UNIX 设计哲学的影响。Linux 的开发者，尤其是 Linus Torvalds，在设计和实现 Linux 时，借鉴了 UNIX 的核心思想，使 Linux 成为一个类 UNIX 系统。以下从 UNIX 设计哲学…...

编程日记 2025/6/1 6:40:39

MKS EDGE Series RF Generators Power Solution 软件

MKS EDGE Series RF Generators Power Solution 软件...

编程日记 2025/5/30 20:45:34

【机器学习 | 基于Lasso回归和随机森林的上海链家二手房房价预测】

文章目录 🏳️‍🌈 1. 导入模块🏳️‍🌈 2. Pandas数据处理2.1 读取数据2.2 查看数据信息2.3 去除重复数据2.4 去除缺失数据2.5 面积、价格、单价、楼层、建筑时间数据提取2.6 朝向数据处理 🏳️‍🌈 3. 特…...

编程日记 2025/5/31 7:49:56

MyBatis-Plus分页查询方式

分页查询基本方式 SpringBootTest(classes LearningApplication.class) public class MPTest {AutowiredILearningLessonService lessonService;Testpublic void test(){/*** Page<LearningLesson>：MyBatisPlus提供的分页对象* 1：当前页数* 2&am…...

编程日记 2025/6/4 3:20:40

分布式cap

P（分区安全）都能保证，就是在C（强一致）和A（性能）之间做取舍。 （即立马做主从同步，还是先返回写入结果等会再做主从同步。类似的还有，缓存和db之间的同步。&am…...

编程日记 2025/5/29 18:26:23

【组件封装】uniapp vue3 封装一个完整的Tabs（标签页）组件教程，功能由简到杂实现讲解。

文章目录前言一、简单版Tabs代码实现： 二、下划线带动画的TabsAPI回顾：代码实现： 三、内容区域滑动切换切换动画代码实现：（2）禁用手势滑动切换（3）内容区域换为插槽四、标签栏可滚动…...

编程日记 2025/6/2 17:19:20

AI在SEO中的应用与关键词优化探讨

内容概要在当今数字化时代，人工智能（AI）技术为搜索引擎优化（SEO）带来了革命性的改变。传统的SEO主要依赖于人为的经验和判断，而AI则通过算法分析海量数据，提供更加精准和高效的方式优化关键词…...

编程日记 2025/5/30 10:58:57

JUC：Synchronized和锁升级

1. 面试题谈谈你对Synchronized的理解Sychronized的锁升级你聊聊Synchronized实现原理，monitor对象什么时候生成的？知道monitor的monitorenter和monitorexit这两个是怎么保证同步的嘛？或者说这两个操作计算机底层是如何执行的偏向锁和轻量级…...

编程日记 2025/6/3 21:43:34

如何使用锁实现多进程和多线程的并发执行的安全

多进程和多线程的并发： 多进程和多线程的并发意思是在同一段时间内，多个进程或者线程一起执行，但是这些进程或者线程的执行并不是真正意义上在同一时刻执行，而是在不同的时间里执行，因为每个CPU在同一时间只能处理同一…...

编程日记 2025/6/4 10:00:48

LabVIEW如何用运动控制卡实现伺服电机的转矩控制？

在LabVIEW中，使用运动控制卡实现伺服电机的转矩控制，通常通过以下几个步骤来完成。这里将结合LabVIEW的运动控制功能和伺服电机控制的基本原理进行详细介绍。 1. 选择合适的运动控制卡要实现伺服电机的转矩控制，首先需要一张支持伺服电…...

编程日记 2025/5/29 0:02:23

SQL面试题——百度SQL面试题无效搜索

百度SQL面试题无效搜索今天的题目是来自百度的SQL 面试题目现有一份用户搜索日志，包含用户ID，时间，用户搜索内容。定义无效搜索：如果用户下一次搜索内容中包含本次搜索内容，则认为本次搜索为无效搜索。请查询用户无效搜索记录 +---------+---------------------+--…...

编程日记 2025/6/3 13:01:42

媒体查询、浏览器一帧渲染过程

文章目录媒体查询语法示例根据视口宽度应用不同的样式根据设备像素比应用不同的样式根据方向应用不同的样式使用场景浏览器一帧的渲染过程媒体查询媒体查询（Media Query）是CSS3中的一个重要特性，它允许开发者根据设备的特定条件&#x…...

编程日记 2025/6/4 17:26:53

实习工作日志

工作日志遇到的bug 由于不熟悉Python，造成了这个bug python的浅拷贝与深拷贝，一定要创建新的变量，否则只是单纯拷贝地址...

编程日记 2025/5/27 8:23:17

JavaWeb学习--cookie和session

目录 （一）Cookie概述 1.什么叫Cookie 2.Cookie规范 3.Cookie的覆盖 4.cookie的最大存活时间 （Cookie的生命） （二） Cookie的API 1.创建Cookie：new 构造方法 2.保存到客户端浏…...

编程日记 2025/5/30 15:53:29

ETCD的封装和测试

etcd是存储键值数据的服务器客户端通过长连接watch实时更新数据场景： 当主机A给服务器存储 name： 小王主机B从服务器中查name ,得到name-小王当主机A更改name 小李服务器实时通知主机B name 已经被更改成小李了。应用：服务注册与发…...

编程日记 2025/6/2 12:51:27

c++引用笔记

1 引用的基本使用 // 引用 // 作用：给变量起别名 // 语法：数据类型 &别名原名int main(int argc, char const *argv[]) {int a 10;int &b a;cout << "a " << a << endl;cout << "b " <&l…...

编程日记 2025/5/31 20:07:35

macOS运行amd64的镜像

在macOS上运行amd64（x86_64）架构的镜像，通常通过虚拟化或仿真工具来实现。例如，如果你使用的是基于Apple Silicon（M1或M2等）芯片的Mac，那么你的处理器是ARM架构的，而amd64是x86架构&…...

编程日记 2025/6/2 12:03:55

Oracle查询优化：高效实现仅查询前10条记录的方法与实践

在 Oracle 中，实现仅查询前10条记录的四种方法 1. 使用 ROWNUM 查询 ROWNUM 是 Oracle 中的伪列，用于限制返回的行数。 SELECT * FROM table_name WHERE condition AND ROWNUM < 10;condition：查询条件。ROWNUM < 10：限制…...

编程日记 2025/6/3 5:03:00

【时时三省】(C语言基础)结构体内存对齐

山不在高，有仙则名。水不在深，有龙则灵。 ----CSDN 时时三省我们已经掌握了结构体的基本使用了。现在我们深入讨论一个问题：计算结构体的大小。这也是一个特别热门的考点：结构体内存对齐示例： 第一个s如果根据字…...

编程日记 2025/6/4 14:44:50

工业物联网关

工业物联网关的定义与功能定义：工业物联网关是一种在工业物联网（IIoT）系统中起到关键连接作用的设备。它位于工业现场设备（如传感器、执行器等）和上层的工业网络（如企业内部网络、云平台等）之间…...

编程日记 2025/6/2 16:26:22

Docker 安装 Yapi

Docker 安装系列 Docker已安装。 1、场景Yapi使用的MongoDB用户信息 1.1 创建自定义 Docker 网络首先，创建一个自定义的 Docker 网络，以便 MongoDB 和 YApi 容器可以相互通信 [rootflexusx-328569 data]# docker network create yapi-networ…...

编程日记 2025/6/1 6:40:42

MaxEnt模型在物种分布模拟中如何应用？R语言+MaxEnt模型融合物种分布模拟、参数优化方法、结果分析制图与论文写作

目录第一章以问题导入的方式，深入掌握原理基础第二章常用数据检索与R语言自动化下载及可视化方法第三章 R语言数据清洗与特征变量筛选第四章基于ArcGIS、R数据处理与进阶第五章基于Maxent的物种分布建模与预测第六章基于R语言的模型参数优化第七…...

编程日记 2025/6/4 4:53:42

UDE连接不上miniwiggler

PLS 的UDE 软件搭配miniwiggler硬件用来调试英飞凌的单片机是个不错的选择，比如TC275、TC387等等。英飞凌官方开发板板载了miniwiggler，非常方便。很多买了英飞凌官方开发板的同学可能会发现，使用英飞凌的mentool软件能连接上自己的板子&…...

编程日记 2025/6/4 8:24:41

Trimble X9三维激光扫描仪高效应对化工厂复杂管道扫描测绘挑战【沪敖3D】

化工安全关系到国计民生，近年来随着化工厂数字化改革不断推进，数字工厂逐步成为工厂安全管理的重要手段。而化工管道作为工厂设施的重要组成部分，由于其数量多、种类繁杂，一直是企业管理的重点和难点。传统的化工管廊往往缺乏详…...

编程日记 2025/6/4 15:48:12

数据结构（Doubly Linked List双向链表）

1.前言： 在计算机科学的广袤领域中，数据结构犹如构建高楼大厦的基石，它们为高效地组织、存储和处理数据提供了坚实的框架。而双向链表作为一种重要且功能强大的数据结构，在众多算法与程序设计场景中都展现出了独特的魅力与价值。…...

编程日记 2025/5/30 22:59:25

【踩坑】修复报错libcurl.so.4、LIBFFI_BASE_7.0、libssl.so.3

转载请注明出处：小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你，欢迎[点赞、收藏、关注]哦~ libcurl.so.4： sudo apt install curl -y LIBFFI_BASE_7.0: conda install libffi3.3 -y libssl.so.3: sudo apt install -y openssl li…...

编程日记 2025/6/2 23:53:15

【Java实现MySQL 数据库导出 Excel 表的方法详解】

MySQL 数据库导出 Excel 表的方法详解在日常开发中，我们经常需要将数据库中的数据导出为 Excel 文件，以便进行数据分析或分享给其他同事。本文将详细介绍如何从 MySQL 数据库导出数据并生成 Excel 文件，具体实现将基于 Java 语言和 Spring …...

编程日记 2025/5/30 21:00:30

CentOS 7 环境下常见的操作和配置

目录 1. CentOS 7 中的 vsftpd 配置与使用安装与启动 vsftpd 配置 vsftpd（/etc/vsftpd/vsftpd.conf） 常见命令 2. 使用 yum 包管理器 3. 安全性与防火墙配置开放端口 4. 使用 systemd 管理服务 5. SELinux 配置查看 SELinux 状态临时禁用…...

编程日记 2025/6/4 17:17:42

使用mtools搭建MongoDB复制集和分片集群

mtools介绍 mtools是一套基于Python实现的MongoDB工具集，其包括MongoDB日志分析、报表生成及简易的数据库安装等功能。它由MongoDB原生的工程师单独发起并做开源维护，目前已经有大量的使用者。 mtools所包含的一些常用组件如下： mlaunch支…...

编程日记 2025/6/4 4:43:20

基于 RNN(GRU, LSTM)+CNN 的红点位置检测（pytorch）

文章目录 1 项目背景2 数据集3 思路4 实验结果5 代码 1 项目背景需要在图片精确识别三跟红线所在的位置，并输出这三个像素的位置。其中，每跟红线占据不止一个像素，并且像素颜色也并不是饱和度和亮度极高的红黑配色，每个红线放大…...

编程日记 2025/6/1 16:13:14

35页PDF | 元数据与数据血缘落地实施（限免下载）

一、前言这份报告详细介绍了元数据与数据血缘的概念、重要性以及在企业数据中台中的应用。报告阐述了数据中台的核心价值在于整合和管理体系内的数据，以提升数据资产化能力并支持业务决策。报告还涵盖了元数据的分类（技术元数据和业务元数据&#xff0…...

编程日记 2025/6/3 5:07:59

Hyperf jsonrpc

依赖的 composer 包 composer require hyperf/json-rpc composer require hyperf/rpc-server composer require hyperf/rpc-client composer require hyperf/service-governance composer require hyperf/service-governance-consul composer require hyperf/service-gove…...

编程日记 2025/6/4 1:54:20

MYSQL PARTITIONING分区操作和性能测试

PARTITION OR NOT PARTITION IN MYSQl Bill Karwin says “In most circumstances, you’re better off using indexes instead of partitioning as your main method of query optimization.” According to RICK JAMES: “It is so tempting to believe that PARTITIONing wi…...

编程日记 2025/6/2 17:58:53