当前位置：首页 > news >正文

[Java实战]Spring Boot整合MinIO：分布式文件存储与管理实战（三十）

news 来源：原创 2025/7/5 3:04:13

[Java实战]Spring Boot整合MinIO：分布式文件存储与管理实战（三十）

一、MinIO简介与核心原理

MinIO 是一款高性能、开源的分布式对象存储系统，兼容 Amazon S3 API，适用于存储图片、视频、日志等非结构化数据。其核心特性包括：

分布式架构：支持水平扩展，通过纠删码（Erasure Coding）技术将数据分片存储于多个节点，提供高可用性和容错能力。
数据一致性：采用强一致性模型，确保写入操作在所有节点同步完成，避免数据不一致问题。
高性能：在标准硬件上，读写速度可达百GB/s级别，适合海量数据场景。

核心原理

纠删码技术：将文件分片为数据块和校验块，分散存储于不同节点。例如，4个数据块+2个校验块，允许最多2个节点故障而不丢失数据。
一致性哈希算法：通过哈希计算确定数据存储位置，确保节点动态增减时数据分布均衡。
桶（Bucket）机制：类似文件系统的目录，用于逻辑隔离数据，支持权限控制（如只读、读写）。

二、环境准备与依赖配置

1. 安装MinIO服务

通过Docker快速部署单节点MinIO：

docker run -d -p 9000:9000 -p 9090:9090 \-e "MINIO_ROOT_USER=admin" \-e "MINIO_ROOT_PASSWORD=admin123" \-v /data/minio:/data \docker.1ms.run/minio/minio:8.5.7 server /data --console-address ":9090"#一行代码方便执行
docker run -d -p 9000:9000 -p 9090:9090 -e "MINIO_ROOT_USER=admin" -e "MINIO_ROOT_PASSWORD=admin123" -v /data/minio:/data docker.1ms.run/minio/minio:latest server /data --console-address ":9090"

访问控制台：http://<服务器IP>:9090，使用账号密码登录。

先创建桶：

在这里插入图片描述

2. Spring Boot项目配置

添加依赖（pom.xml）：

<dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>8.5.7</version>
</dependency>

配置文件（application.yml）：

minio:endpoint: http://192.168.231.132:9000  # MinIO服务地址access-key: adminsecret-key: admin123bucket: my-bucket  # 默认存储桶

三、代码实现与功能封装

1. 初始化MinIO客户端

@Configuration
public class MinioConfig {@Value("${minio.endpoint}")private String endpoint;@Value("${minio.access-key}")private String accessKey;@Value("${minio.secret-key}")private String secretKey;@Beanpublic MinioClient minioClient() {return MinioClient.builder().endpoint(endpoint).credentials(accessKey, secretKey).build();}
}

2. 文件操作服务类

@Service
public class MinioService {private final MinioClient minioClient;private final String bucket;public MinioService(MinioClient minioClient, @Value("${minio.bucket}") String bucket) {this.minioClient = minioClient;this.bucket = bucket;initBucket();}// 初始化存储桶private void initBucket() {try {if (!minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build())) {minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());}} catch (Exception e) {throw new RuntimeException("初始化Bucket失败", e);}}// 上传文件public String uploadFile(String objectName, InputStream inputStream) {try {minioClient.putObject(PutObjectArgs.builder().bucket(bucket).object(objectName).stream(inputStream, inputStream.available(), -1).build());return getFileUrl(objectName);} catch (Exception e) {throw new RuntimeException("文件上传失败", e);}}// 生成文件访问URL（有效期7天）private String getFileUrl(String objectName) throws Exception {return minioClient.getPresignedObjectUrl(GetPresignedObjectUrlArgs.builder().method(Method.GET).bucket(bucket).object(objectName).expiry(7, TimeUnit.DAYS).build());}
}

四、接口实现与测试

1. 文件上传接口

@RestController
@RequestMapping("/file")
public class FileController {@Autowiredprivate  MinioService minioService;@PostMapping("/upload")public String upload(@RequestParam("file") MultipartFile file) {try {return minioService.uploadFile(file.getOriginalFilename(), file.getInputStream());} catch (IOException e) {throw new RuntimeException("文件读取失败", e);}}
}

2. 测试步骤

服务已启动：

在这里插入图片描述

上传文件：使用curl发送POST请求至/file/upload，选择docker-compose.yml文件并提交。
```
curl -X POST -F "file=@docker-compose.yml" http://ip:8080/file/upload
```
验证结果：
- 控制台查看my-bucket中是否存在文件。
- 访问返回的URL，确认文件可下载。

上传文件：

在这里插入图片描述

验证文件是否上传成功：

在这里插入图片描述

五、高级功能与最佳实践

1. 分布式部署

通过Docker Compose部署4节点集群：

version: '3'
services:minio1:image: minio/miniocommand: server http://minio{1...4}/dataenvironment:MINIO_ROOT_USER: adminMINIO_ROOT_PASSWORD: admin123networks:- minio_netminio2: # 类似配置minio3、minio4...image: minio/miniocommand: server http://minio{1...4}/datanetworks:- minio_netnetworks:minio_net:driver: bridge

2. 数据持久化与安全

持久化存储：挂载宿主机目录（如-v /mnt/data:/data）防止容器重启数据丢失。
权限控制：通过Bucket策略限制IP白名单或设置只读权限。

六、常见问题排查

连接超时：检查防火墙是否开放9000/9090端口，确认MinIO服务状态。
签名错误：验证access-key和secret-key是否与控制台一致。
文件大小限制：调整Spring Boot的spring.servlet.multipart.max-file-size参数。

七、总结

通过Spring Boot整合MinIO，开发者可以快速构建高可用、高性能的文件存储服务。本文涵盖从单机部署到分布式集群的完整流程，并提供了可复用的代码模块。实际生产环境中，建议结合Nacos实现配置中心化，并通过Prometheus监控存储性能。

扩展阅读：MinIO官方文档

实践建议：定期备份元数据、监控存储节点健康状态、优化分片策略以平衡性能与成本。

希望本教程对您有帮助，请点赞❤️收藏⭐关注支持！欢迎在评论区留言交流技术细节！

[Java实战]Spring Boot整合MinIO：分布式文件存储与管理实战（三十）

[Java实战]Spring Boot整合MinIO：分布式文件存储与管理实战（三十） 一、MinIO简介与核心原理 MinIO 是一款高性能、开源的分布式对象存储系统，兼容 Amazon S3 API，适用于存储图片、视频、日志等非结构化数据。其核心特…...

编程日记 2025/7/5 3:04:13

SpringBoot微服务编写Dockerfile流程及问题汇总

背景跟 Docker 磕了两天，将一个包含 N 个微服务的应用部署包改造，使其能够生成 Docker 镜像，并在 Docker 容器中运行。几年前玩过 Docker，隐约记得几个命令「Dockerfile 命令：黑卡饮料、山楂果费、哦SUV，…...

编程日记 2025/7/5 1:39:56

PostgreSQL使用

一、PostgreSQL语法 PostgreSQL表、模式、库三者之间的关系库 -> 模式 -> 表、视图、函数等等对象。在postgresql的交互式终端psql中，“\”开头的命令称为元命令（类似mysql的show语句），用于快速管理数据库。常见元命令&…...

编程日记 2025/7/4 23:30:06

现代化SQLite的构建之旅——解析开源项目Limbo

现代化SQLite的构建之旅——解析开源项目Limbo 在当今飞速发展的技术世界中，轻量级且功能强大的数据库已成为开发者的得力助手。当我们谈论轻量级数据库时，SQLite无疑是一个举足轻重的名字。然而，随着技术的进步，我们对数据库的需…...

编程日记 2025/7/5 2:16:45

MySQL 主从复制搭建全流程：基于 Docker 与 Harbor 仓库

一、引言在数据库管理中，MySQL 主从复制是一种非常重要的技术，它可以实现数据的备份、读写分离，减轻主数据库的压力。本文将详细介绍如何使用 Docker 和 Harbor 仓库来搭建 MySQL 主从复制环境，适合刚接触数据库和 Docker 的新手…...

编程日记 2025/7/5 2:21:43

网页表格转换为markdown

网页表格到Markdown：一键转换，复制即用！ 在日常工作中，我们经常需要从网页上复制表格数据，并将其转换成Markdown格式，以便在文档、邮件或论坛中使用。然而，手动转换不仅耗时，还容易…...

编程日记 2025/7/5 2:59:55

MySQL字符串拼接方法全解析

目录常用字符串处理函数方法一：CONCAT基础拼接方法二：CONCAT_WS带分隔符拼接方法三：GROUP_CONCAT分组拼接方法四：算术运算符拼接（仅限数字） 常用字符串处理函数方法一：CONCAT基础拼接…...

编程日记 2025/7/5 1:43:42

零基础教程：用 Docker + pgloader 将 MySQL 数据库迁移到 PostgreSQL

在日常开发中，可能会遇到从 MySQL 迁移到 PostgreSQL 的需求。你也许是： 正在准备从传统架构转向云原生；想使用 PostgreSQL 更强的事务与 JSON 支持；想统一团队数据库技术栈；纯粹为了尝试学习不同的数据库系统。别担…...

编程日记 2025/7/5 0:46:08

影刀Fun叉鸟-2048

文章目录仅为自动化演示，实际2048判定逻辑需要更加严谨参考代码 # 使用提醒: # 1. xbot包提供软件自动化、数据表格、Excel、日志、AI等功能 # 2. package包提供访问当前应用数据的功能，如获取元素、访问全局变量、获取资源文件等功能 # 3. 当此模块作…...

编程日记 2025/7/5 0:52:44

uni-app（2）：页面

1 页面简介 uni-app项目中，一个页面就是一个符合Vue SFC规范的 vue 文件。在 uni-app js 引擎版中，后缀名是.vue文件或.nvue文件。这些页面均全平台支持，差异在于当 uni-app 发行到App平台时，.vue文件会使用webview进行渲染&…...

编程日记 2025/7/5 1:32:51

【spring】spring学习系列之十一：spring的事件监听

系列文章目录文章目录系列文章目录前言一、使用二、整体流程三、EventListenerMethodProcessor和DefaultEventListenerFactory1.EventListenerMethodProcessor2.DefaultEventListenerFactory3.ApplicationListenerDetector4.initApplicationEventMulticaster5.registerListen…...

编程日记 2025/7/5 2:45:54

代码随想录打卡|Day45 图论（孤岛的总面积、沉没孤岛、水流问题、建造最大岛屿）

图论part03 孤岛的总面积代码随想录链接题目链接视频讲解链接思路：既然某个网格在边界上的岛屿不是孤岛，那么就把非孤岛的所有岛屿变成海洋，最后再次统计还剩余的岛屿占据的网格总数即可。 dfs： import java.util.Scanner…...

编程日记 2025/7/5 2:59:56

AI人工智能——Matplotlib绘制各种数据可视化图表的基础方法

一、绘制图像基础 import matplotlib.pyplot as plt# 1、创建画布 plt.figure(figsize(20, 8), dpi100) # 2、绘制图像 x [1, 2, 3, 4, 5, 6] y [3, 5, 4, 3, 6, 1] plt.plot(x, y) # 3、显示图像 plt.show() 二、图像保存 import matplotlib.pyplot as plt# 1、创建画布 p…...

编程日记 2025/7/5 1:36:21

亚马逊AWS跑不动了？

5月2日，亚马逊公布了2025年第一季度的财报。财报数据显示，云计算业务增速放缓以及第二季度的指引低于预期。事实上，这并不是亚马逊AWS第一次增速放缓。亚马逊AWS作为全球第一大云计算服务公司，这些年跟微软云、谷歌云等其他云计…...

编程日记 2025/7/5 2:47:34

PyTorch中cdist和sum函数使用详解

torch.cdist 是 PyTorch 中用于计算**两个张量之间的成对距离（pairwise distance）**的函数，常用于点云处理、图神经网络、相似性度量等场景。基本语法 torch.cdist(x1, x2, p2.0)参数说明： 参数说明x1一个形状为 [B, M, D] 或 …...

编程日记 2025/6/27 23:38:04

PyTorch的基本操作

前言为了方便大家学习，我整理了PyTorch全套学习资料，包含配套教程讲义和源码除此之外还有100G人工智能学习资料包含数学与Python编程基础、深度学习机器学习入门到实战，计算机视觉自然语言处理大模型资料合集，不仅有配套教程…...

编程日记 2025/7/5 1:03:46

分类算法 Kmeans、KNN、Meanshift 实战

任务 1、采用 Kmeans 算法实现 2D 数据自动聚类，预测 V180,V260 数据类别； 2、计算预测准确率，完成结果矫正 3、采用 KNN、Meanshift 算法，重复步骤 1-2 代码工具：jupyter notebook 视频资料无监督学习&#xff…...

编程日记 2025/7/5 1:37:15

aws平台s3存储桶夸域问题处理

当我们收到开发反馈s3存在跨域问题解决步骤： 配置 S3 存储桶的 CORS 设置： 登录到 AWS 管理控制台。转到 S3 服务。选择你存储文件的存储桶。点击权限标签页。在跨域资源共享（CORS）配置部分，点击编辑。登陆…...

编程日记 2025/7/4 0:54:51

在Windows上安装Pygame 2.1.3：解决常见问题

在Windows系统上安装Pygame 2.1.3时，可能会遇到各种问题，例如网络问题或依赖安装失败。本文将详细介绍如何在Windows上成功安装Pygame 2.1.3，并解决常见的安装问题。 1. 前提条件在开始安装之前，确保你的系统中已经安装了Pytho…...

编程日记 2025/7/5 2:42:50

linux中安装jdk（Java环境），tomcat

安装时候选择 tomcat 软件版本要与程序开发使用的版本一致。jdk 版本要进行与 tomcat 保持一致。 1. 系统环境说明 [root@bogon ~]# getenforce Disabled [root@bogon ~]# systemctl status firewalld.service ● firewalld.service - firewalld - dynamic firewall daemon …...

编程日记 2025/7/5 1:33:50

DeepSeek源码解构：从MoE架构到MLA的工程化实现

文章目录 **一、代码结构全景：从模型定义到分布式训练****二、MoE架构：动态路由与稀疏激活的工程化实践****1. 专家路由机制（带负载均衡）****数学原理：负载均衡损失推导** **三、MLA注意力机制：低秩压缩与解…...

编程日记 2025/7/3 15:37:07

国产linux系统（银河麒麟，统信uos）使用 PageOffice实现PDF文件加盖印章和签字功能

PageOffice 国产版 ：支持信创系统，支持银河麒麟V10和统信UOS，支持X86（intel、兆芯、海光等）、ARM（飞腾、鲲鹏、麒麟等）、龙芯（Mips、LoogArch）芯片架构。 PageOffice支持…...

编程日记 2025/7/5 2:15:00

第四十三节：人脸检测与识别-人脸识别基础 (Eigenfaces, Fisherfaces, LBPH)

引言人脸识别技术是计算机视觉领域最具应用价值的方向之一，广泛应用于安防监控、身份认证、人机交互等领域。本文将通过OpenCV框架，深入解析人脸检测与识别的核心算法（Eigenfaces/Fisherfaces/LBPH），并提供完整的代码实现。第一部分：人脸检测基础 1.1 人脸检测原理 …...

编程日记 2025/7/5 1:31:40

面向恶劣条件的道路交通目标检测----大创自用（当然你也可以在里面学到很多东西）

全部内容梳理目标检测的两个任务： 预测标签边界框语义分割实力分割一个是类别一个是实例级别分类任务把每个图像当作一张图片看待所有解决方法是先生成候选区域再进行分类置信度： 包括对类别和边界框预测的自信程度输出分类和IOU分数的…...

编程日记 2025/7/5 2:53:27

物联网相关词汇

物联网（英文：Internet of Things，缩写：IoT） specs 英[speks] 美[speks] 规格说明 topology 英[təpɒlədʒɪ] 拓扑结构 vertical 美 [ˈvɜrtɪk(ə)l] 英 [ˈvɜː(r)tɪk(ə)l] n.垂直线；垂直位…...

编程日记 2025/7/4 19:19:39

【net6】一文跑通前后端以及数据库，简单的天气系统管理（保姆入门）

一、前言使用Vue3为前端，.net6为后端，连接postgreSQL数据库，连通前后端与数据库，实现最基础的天气管理系统的增删改查。二、内容目录一、前言二、内容 2.1 后端部分 2.1.1 在VS里面使用此模板创建项目 2.1.2 安装下列…...

编程日记 2025/7/2 12:48:07

宝塔安装的 MySQL 无法连接的情况及解决方案

宝塔安装的 MySQL 无法连接的情况及解决方案宝塔面板是一款流行的服务器管理工具，其中集成的 MySQL 数据库有时会出现连接问题。本文详细介绍两种最常见的 MySQL 连接错误：“1130 - Host is not allowed to connect” 和 “1045 - Access denied”&…...

编程日记 2025/7/5 0:22:37

【iOS】分类、扩展、关联对象

分类、扩展、关联对象前言分类扩展扩展和分类的区别关联对象key的几种用法流程总结前言最近的学习中笔者发现自己对于分类、扩展相关知识并不是很熟悉，刚好看源码类的加载过程中发现有类扩展与关联对象详解。本篇我们来探索一下这部分相关知识，首先…...

编程日记 2025/7/5 0:32:33

计算机网络学习（一）—— OSI vs TCP/IP网络模型

一、OSI模型（开放系统互联参考模型） OSI（Open Systems Interconnection）模型由ISO（国际标准化组织）在1984年提出，用于标准化网络通信，它将网络通信分为七个层次： 层级名…...

编程日记 2025/7/2 13:54:50

【MySQL成神之路】MySQL查询用法总结

MySQL查询语句全面指南一、基础查询语句 MySQL中select的基本语法形式 select 属性列表 from 表名和视图列表 [where 条件表达式] [group by 属性名[having 条件表达式]] [order by 属性名[asc|desc]] [limit <offset>,row count] 说明： where子句&…...

编程日记 2025/7/5 2:48:25

攻防世界——Web题 fakebook

首先测试网站的功能，当我注册一个账号时，发现这里的链接： 点进去看到URL： 感觉no这个地方可以尝试一下sql注入推测应该是数字型注入发现果然可以进行sql注入， 最终测得列数应该是4列，但当我尝试sql注入…...

编程日记 2025/7/2 15:25:28

【Java微服务组件】异步通信P2—Kafka与消息

欢迎来到啾啾的博客🐱。记录学习点滴。分享工作思考和实用技巧，偶尔也分享一些杂谈💬。欢迎评论交流，感谢您的阅读😄。目录引言Kafka与消息生产者发送消息到Kafka批处理发送设计消息的幂等信息确保消息送达acks配置…...

编程日记 2025/7/5 1:49:59

AI数字人一体机和智慧屏方案：开启智能交互新纪元

在当今这个信息化飞速发展的时代，AI技术正以前所未有的速度改变着我们的生活方式和工作模式。特别是在人机交互领域，AI数字人的出现不仅极大地丰富了用户体验，也为各行各业提供了前所未有的创新解决方案。本文将重点介绍由广州深声科技有限公…...

编程日记 2025/7/3 14:55:37

10-码蹄集600题基础python篇

题目如上： 这题就是ASCII的转换，直接使用ord就可以下面是代码： def main():#code here# a1,a2input().split(",")# print(f"The ASCII code of {a1} is {ord(a1)}")# print(f"The ASCII code of {a2} is {ord(a2…...

编程日记 2025/7/2 23:46:31

给几张图片和一段文字,怎么制作成带有语音的视频---php

想用PHP将图片和文字转换成带有语音的视频，想做自动化的视频生成，比如用于广告、演示或者其他需要多媒体处理的场景。接下来考虑PHP本身的能力。PHP主要是用于服务器端的脚本语言，不太擅长处理多媒体内容，比如视频和语音合成。所…...

编程日记 2025/7/2 23:14:22

vue3中RouterView配合KeepAlive实现组件缓存

KeepAlive组件缓存为什么需要组件缓存代码展示缓存效果为什么不用v-if 为什么需要组件缓存业务需求：一般是列表页面通过路由跳转到详情页，跳转回来时，需要列表页面展示上次展示的内容代码展示 App.vue入口 <script setup lang"…...

编程日记 2025/7/2 21:24:20

NIFI的处理器：ExecuteGroovyScript 2.4.0

ExecuteGroovyScript是常用的处理器之一，用于执行GroovyScript脚本。该脚本负责处理传入的流文件（例如传输到SUCCESS或删除）以及由该脚本创建的任何流文件。如果处理不完整或不正确，会话将被回滚。属性值-失败处理策略 Failure …...

编程日记 2025/6/27 23:01:40

安全可控的AI底座：灯塔大模型应用开发平台全面实现国产信创兼容适配认证

国产信创产品兼容适配认证是为了支持和推动国产信息技术产品和服务的发展而设立的一种质量标准和管理体系。适配认证旨在确保相关产品在安全性、可靠性、兼容性等方面达到一定的标准，以满足政府和关键行业对信息安全和自主可控的需求。北京中烟创新科技有限公司&a…...

编程日记 2025/7/3 21:15:45

.NET外挂系列：5. harmony 中补丁参数的有趣玩法（下）

一：背景 1. 讲故事开局一张表，故事全靠编，为了能够承上启下，先把参数列表放出来。参数名说明__instance访问非静态方法的实例（类似 this）。__result获取/修改返回值，要想修改用 ref。__res…...

编程日记 2025/7/3 14:40:50

Spring Boot 登录实现：JWT 与 Session 全面对比与实战讲解

Spring Boot 登录实现：JWT 与 Session 全面对比与实战讲解 2025.5.21-23:11今天在学习黑马点评时突然发现用的是与苍穹外卖jwt不一样的登录方式-Session，于是就想记录一下这两种方式有什么不同在实际开发中，登录认证是后端最基础也是最重要…...

编程日记 2025/7/3 21:47:48

vscode离线安装组件工具vsix

1.外网下载vsix 网址为：Open VSX Registry 2.输入需要下载的组件 3.下载组件 4.安装 5.选择安装文件 6.安装完成...

编程日记 2025/7/2 18:14:23

Vue大数据量前端性能优化策略

文章目录前言Vue大数据量前端性能优化策略1. 虚拟列表的使用方式及优势2. 列表和图表的懒加载技术3. Web Worker 在图表数据预处理中的应用4. 图表渲染优化技巧5. 分批渲染技术实现方法（如 requestIdleCallback）6. 其他可行的 Vue 层优化策略前言 Vue…...

编程日记 2025/7/2 13:03:07

Hass-Panel - 开源智能家居控制面板

文章目录 ▎项目介绍：预览图▎主要特性安装部署Docker方式正式版Home Assistant Addon方式详细安装方式1. Home Assistant 插件安装（推荐）2. Docker 安装命令功能说明 ：3. Docker Compose 安装升级说明Docker Compose 版本升级功…...

编程日记 2025/7/3 1:21:59

iPaaS集成平台技术选型关注哪些指标？

在数字化转型进程中，企业系统间的数据孤岛问题日益凸显。根据IDC调研，85%的IT决策者将“系统集成效率”列为业务创新的关键瓶颈。iPaaS（集成平台即服务）凭借其敏捷性、低代码特性和智能化能力，已成为企业构建数字生态的…...

编程日记 2025/6/27 23:10:02

JavaScript性能优化实战（14）：跨端JavaScript性能优化

在当今多端开发的时代，JavaScript已经突破了浏览器的界限，广泛应用于移动应用、桌面应用、小程序等各类环境。然而，不同平台的运行时环境存在差异，为JavaScript性能优化带来了新的挑战和思考维度。目录 React Native性能优化最佳实践Electron应用性能优化策略混合应用中J…...

编程日记 2025/6/27 23:23:22

多通道经颅直流电刺激器产品及解决方案特色解析

前记团队在多通道经颅直流电刺激这个技术方向，一路深耕。在服务了不少客户之后，为了方便后续的产品和方案推广。我们弄出来了产品和方案两种形态。标准产品是为了给用户演示以及一些常规的实验使用。方案则是为了满足不同方向的科研用户的需求。这两者相…...

编程日记 2025/7/3 9:47:54

Quasar 使用 Pinia 进行状态管理

官方文档：使用 Pinia 进行状态管理 |Quasar 框架视频教程：quasar框架store-状态管理库pinia介绍_哔哩哔哩_bilibili 使用 Quasar CLI 创建一个新的store quasar new store date --format jsPinia存储模板详解解基本结构解析 import { defineStore,…...

编程日记 2025/6/27 23:26:55