当前位置：首页 > news >正文

DeepSeek开源Day5：3FSsmallpond技术详解

news 来源：原创 2025/8/28 8:06:02

2 月 24 日，DeepSeek 启动 “开源周”，第四个开源的代码库为 3FS&smallpond（又是一下发布了两个）。
3FS（Fire-Flyer File System）是 DeepSeek 内部开发的一款高性能分布式文件系统，旨在为 AI 训练和推理工作负载提供高效的共享存储层。它充分利用现代 SSD（固态硬盘）和 RDMA（远程直接内存访问）网络技术，简化分布式应用程序的开发，解决大规模数据密集型任务中的存储瓶颈问题。作为 DeepSeek 开源生态的一部分，3FS 于 2025 年 2 月 27 日在 GitHub 上正式开源（地址：https://github.com/deepseek-ai/3FS）
Smallpond 基于 3FS 和 DuckDB 构建，专注于 PB 级数据的快速处理。Smallpond 定位为 AI 数据的辅助工具，能够无缝集成到 3FS 的存储生态中，支持数据清洗、转换和分析等任务。
与 WekaFS、DAOS 和 BeeGFS 相比，3FS 侧重于充分利用 NVMe SSD 和 RDMA 网络的高 IOPS 和吞吐量。

1 3FS & smallpond 简介
1****1 3FS（Fire-Flyer File System）
3FS 的设计初衷是为 DeepSeek 的 AI 基础设施（如 Fire-Flyer AI-HPC）和模型（如 DeepSeek-V3、R1）提供底层存储 + 数据支持。3FS 涵盖训练数据预处理、数据集加载、检查点保存与重载、嵌入向量搜索以及推理过程中的 KVCache（键值缓存）查找等环节。3FS 显然是 DeepSeek 高效训练体系的关键组件，进一步体现了 DeepSeek 的硬件基因。
目前 3FS 已支持包括 DeepSeek-V3（6710 亿参数 MoE 模型）和 DeepSeek-R1（推理模型）在内的多个大模型的开发，涵盖数据预处理、检查点管理、推理缓存等场景。官方数据显示，3FS 在 180 节点集群中实现了 6.6 TiB/s 的聚合读取吞吐量，展现了其卓越性能。
1.2 smallpond
Smallpond 的设计目标是简化大规模数据处理流程，降低 AI 开发者的技术门槛，同时保持高性能和低资源占用。
2 3FS & smallpond 特点
3FS 具备如下特点
●高性能：在 180 节点集群中实现 6.6 TiB/s 读取吞吐量，单节点 KVCache 查找峰值速率超 40 GiB/s。
●强一致性：提供 POSIX 兼容的强一致性语义，适合多节点并发读写。（这点很关键）
●针对硬件优化：充分利用 NVMe SSD 和 RDMA 网络，最大化现代硬件性能。
●针对 KV 语义定制：支持 KV Context Caching on Disk，优化推理阶段的缓存访问。
●开源：完全开源，允许社区贡献和定制。（非常好）

NVMe SSD + RDMA 示意（来源：互联网）
Smallpond 具备如下特点：
●轻量级：基于 DuckDB 的嵌入式设计，资源占用低，单机即可运行。
●高效处理：支持 PB 级数据的高速查询和转换，继承 3FS 的存储性能。
●易集成：与 3FS 无缝对接，提供简洁的 API 和命令行接口。
●灵活性：支持多种数据格式（如 Parquet、CSV）和处理任务。
●开源：遵循 DeepSeek 开源理念，促进社区协作。
3 3FS & smallpond 技术优势
3.1 3FS 技术优势
●针对硬件的软件适配：通过 NVMe SSD 和 RDMA 协同优化 I/O 和网络传输，相比传统文件系统（如 HDFS）在高并发场景下延迟更低、吞吐量更高。
●去中心化架构：无单点故障，节点间对等设计提升了可扩展性和可靠性。
●高效缓存：KVCache 查找性能达 40 GiB/s，显著降低推理延迟，优于现有开源方案（如 Alluxio）。
●成本效益：在普通硬件上实现高性能，避免对专用存储设备的依赖，符合 DeepSeek 一贯高性价比策略。
●流量隔离：与 HFReduce 协同设计，避免存储与计算流量冲突，提升系统稳定性。
另外 3FS 的文档看起来更详细一些。
3.2 Smallpond
●高性能查询：基于 DuckDB 的列式存储和向量化执行引擎，查询速度远超传统工具（如 Spark 在小规模任务中的开销）。
●低开销：无需分布式集群支持，单机即可处理大规模数据，部署简单。
●与 3FS 协同：直接利用 3FS 的存储能力，避免数据迁移成本，实现高效数据流水线。
●扩展性好：支持插件式扩展，可集成更多数据源和处理逻辑。
4 3FS & smallpond 架构
4.1. 3FS 架构
●核心组件：
●集群管理器
●meta 数据管理：分布式 meta 数据存储，支持高并发访问，避免单点瓶颈。
●数据存储层：基于 SSD 的去中心化节点，利用 RDMA 实现高效数据交换。
●客户端接口：提供 POSIX 接口和定制 API，支持标准操作和 AI 特定任务。
●去中心化设计：每个节点兼具存储和计算功能，数据分片和副本机制确保高可用性。
●网络层：基于 RDMA（支持 InfiniBand 或 RoCE），配合流量隔离技术优化传输。
●缓存层：内置 3FS-KV 模块，优化 KVCache 的磁盘存储和访问。
在 Fire-Flyer 2 AI-HPC 中，DeepSeek 部署了 180 个存储节点，每个节点包含 16 个 PCIe 4.0 NVMe SSD 和 2 个 Mellanox CX6 200Gbps InfiniBand HCA。共计 360 * 200Gbps 的 InfiniBand HCA，系统总共可以提供 9TB/s 理论带宽。
文件系统 meta 数据存储在分布式键值存储系统中。每个文件或目录都有一个唯一的 inode ID。meta 服务的所有状态都持久化在分布式 KV 存储系统上。多个 meta 服务同时运行以处理来自客户端的 meta 请求。可以看出 3FS 是针对 KV 存储进行优化的架构。
存储服务具有带分配查询的链复制（CRAQ），以提供强一致。为了将读 / 写流量均匀地分配到所有 SSD（增加读写带宽），每个 SSD 都为来自不同链的多个存储目标提供服务。
3FS-KV 是构建在 3FS 之上的共享存储分布式数据处理系统，目前支持三种模型：KV、消息队列和对象存储。3FS-KV 支持读写分离和按需启动，能够充分利用 3FS 提供的高 I/O 吞吐量。3FS-KV 支持 DeepSeek 的 KV Context Caching on Disk 技术，并将 LLM 服务成本降低了一个数量级。（这里很有意思，用高速闪存系统来存 KV）
4.2 smallpond
●核心组件：
●查询引擎：基于 DuckDB，提供高效的 SQL 查询能力。
●存储适配层：与 3FS 集成，负责数据读写和缓存管理。
●任务调度：轻量级调度器，支持并行处理和流水线优化。
●单机架构：嵌入式设计，无需分布式协调，适合中小规模任务。
●扩展接口：支持插件机制，可添加新数据源或自定义处理逻辑。
5 代码架构
5.1 3FS 代码机构
https://github.com/deepseek-ai/3FS
3FS目录结构如下：
3FS/

├── src/ # 核心源代码

│ ├── fs_core/ # 文件系统核心（元数据、存储）

│ ├── network/ # RDMA 网络模块

│ ├── kv_store/ # 键值存储实现

│ └── utils/ # 工具函数

├── tests/ # 测试用例

├── docs/ # 文档

├── examples/ # 示例代码

└── README.md # 项目说明

●代码特点：
●C++ 主导：性能敏感部分用 C++ 实现（如 RDMA、SSD I/O），辅以 Python 接口。
●模块化：各组件独立封装，便于维护和扩展。
●异步 I/O：大量使用多线程和异步操作，提升并发性能。
5.2 Smallpond
https://github.com/deepseek-ai/smallpond
smallpond 目录结构如下：
smallpond/

├── src/ # 核心源代码

│ ├── query/ # 查询引擎（基于 DuckDB）

│ ├── storage/ # 存储适配层（对接 3FS）

│ └── utils/ # 工具函数

├── tests/ # 测试用例

├── examples/ # 示例代码

├── docs/ # 文档

└── README.md # 项目说明

●代码特点：
●C++ 和 Python 混合：查询引擎用 C++（DuckDB），接口层用 Python。
●轻量化设计：代码量少，编译快速，易于部署。
●插件化：支持动态加载模块，增强灵活性。
6 小结

项目说明

●代码特点：
●C++ 和 Python 混合：查询引擎用 C++（DuckDB），接口层用 Python。
●轻量化设计：代码量少，编译快速，易于部署。
●插件化：支持动态加载模块，增强灵活性。
6 小结
3FS 是 DeepSeek 开源生态中的高性能分布式文件系统，以其 6.6 TiB/s 的吞吐量和强一致性支持 AI 工作负载，技术优势在于硬件优化和去中心化设计。Smallpond 则是基于 3FS 的轻量级数据处理框架，专注于 PB 级数据的高效处理，凭借低开销和易用性补充了 3FS 的功能。二者的架构和代码设计体现了 DeepSeek 的高效与开源理念，未来将在开源的高性能训练生态和 AI 部署持续进化，共同推动 AI 基础设施的发展。

DeepSeek开源Day5：3FSsmallpond技术详解

2 月 24 日，DeepSeek 启动 “开源周”，第四个开源的代码库为 3FS&smallpond（又是一下发布了两个）。 3FS（Fire-Flyer File System）是 DeepSeek 内部开发的一款高性能分布式文件系统，旨在为 A…...

编程日记 2025/8/28 8:06:02

常见的限流算法有哪些

计数器算法原理：在固定的时间窗口内，对请求进行计数，当请求数量达到设定的阈值时，就开始限流，拒绝多余的请求。例如，设定 1 分钟的时间窗口内允许最多 100 个请求，那么在这 1 分钟内每来一个请…...

编程日记 2025/8/28 8:01:34

Android 低功率蓝牙之BluetoothGattCallback回调方法详解

BluetoothGattCallback 是 Android 中用于处理蓝牙低功耗（BLE）设备通信的核心回调类。它负责处理与 BLE 设备的连接、服务发现、数据读写等操作的结果。以下是对 BluetoothGattCallback 的详细解析： 1. onConnectionStateChange 触发时机&am…...

编程日记 2025/8/27 6:38:25

socket.io协议内容详解

Socket.IO 是一个基于事件的实时通信库，支持双向通信。它并非单一协议，而是结合了 Engine.IO 传输层和 Socket.IO 应用层协议的复合体系。以下是其协议核心内容的详细解析： 1. 协议分层 Engine.IO：负责底层传输（如 WebSocket、HTTP 长轮询），处理连接稳定性、心跳和断线重…...

编程日记 2025/8/22 16:47:09

在Oracle中编写雪花算法升学雪花ID

雪花算法的定义不详细说了哈，直接给出代码！ --雪花配置 --DROP TABLE SNOWFLAKE_CONFIG; CREATE TABLE SNOWFLAKE_CONFIG ( DATA_CENTER_ID NUMBER(5) NOT NULL, WORKER_ID NUMBER(5) NOT NULL, LAST_TIMESTAMP NUMBER(20) NOT NULL, SEQUENCE NUMBE…...

编程日记 2025/8/22 22:05:04

我们来学nginx -- 优化下游响应速度

优化下游响应速度题记启用 Gzip 压缩优化缓冲区设置设置超时时间题记专家给出的配置文件真是…，信息量有点大啊！ nginx：我只想作为一个简单的代理专家爸爸：都是为了你好！ 这样，先从有关响应速度的角度&…...

编程日记 2025/8/24 19:03:06

SELECT ... FOR UPDATE 加锁后，其他线程能读取数据吗

在执行 SELECT * FROM table WHERE ... FOR UPDATE 语句时，MySQL 会对查询结果集中的行加排他锁（X锁）。这种锁的行为会影响其他事务对这些行的读写操作。以下是具体的影响： 1. 加锁后的效果当前事务： 对查询结果集中…...

编程日记 2025/8/23 23:16:09

【论文阅读】多模态——LSeg

文献基本信息标题：Language-Driven Semantic Segmentation作者：Boyi Li、Kilian Q. Weinberger、Serge Belongie、Vladlen Koltun、Ren Ranftl单位：Cornell University、University of Copenhagen、Apple、Intel Labs会议/期刊：…...

编程日记 2025/8/22 16:56:47

GBT32960 协议编解码器的设计与实现

GBT32960 协议编解码器的设计与实现引言在车联网领域，GBT32960 是一个重要的国家标准协议，用于新能源汽车与监控平台之间的数据交互。本文将详细介绍如何使用 Rust 实现一个高效可靠的 GBT32960 协议编解码器。整体架构编解码器的核心由三个主要组…...

编程日记 2025/8/23 10:21:34

Tomcat之配置https协议即SSL证书

太难了，Tomcat7服务器配置Https协议的SSL证书，半天没搞定啊切换，Tomcat8 分分钟参考 https://blog.csdn.net/u014553029/article/details/86672342 https://blog.csdn.net/qq_37138756/article/details/103516627 https://blog.csdn.net/r…...

编程日记 2025/8/24 22:30:50

如何将飞书多维表格与DeepSeek R1结合使用：效率提升的完美搭档

将飞书的多维表格与DeepSeek R1结合使用，就像为你的数据管理和分析之旅装上一台涡轮增压器。两者的合作，不仅仅在速度上让人耳目一新，更是将智能化分析带入了日常的工作场景。以下是它们如何相辅相成并改变我们工作方式的一些分享。 --- 在…...

编程日记 2025/8/28 4:04:05

JPA编程，去重查询ES索引中的字段，对已有数据的去重过滤，而非全部字典数据

一、背景课程管理界面，查询前，需要把查询元数据给出。学科列表、学段列表和分类列表，我们把它定义为查询元数据。一般的业务需求是： 系统维护好多个字典，比如学科、学段等等，相当于属性库。但是&…...

编程日记 2025/8/23 15:06:02

Kubermetes 部署mysql pod

步骤 1: 创建 PersistentVolume 和 PersistentVolumeClaim 首先为 MySQL 创建一个 PersistentVolume (PV) 和 PersistentVolumeClaim (PVC) 来确保数据的持久性。 mysql-pv.yaml： apiVersion: v1 kind: PersistentVolume metadata:name: mysql-pv-volume spec:cap…...

编程日记 2025/8/21 2:54:30

自定义wordpress三级导航菜单代码

首先，在你的主题functions.php文件中，添加以下代码以注册一个新的菜单位置： function mytheme_register_menus() {register_nav_menus(array(primary-menu > __(Primary Menu, mytheme))); } add_action(init, mytheme_register_menus); …...

编程日记 2025/8/20 21:52:59

剑指 Offer II 060. 出现频率最高的 k 个数字

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20060.%20%E5%87%BA%E7%8E%B0%E9%A2%91%E7%8E%87%E6%9C%80%E9%AB%98%E7%9A%84%20k%20%E4%B8%AA%E6%95%B0%E5%AD%97/README.md 剑指 Offer II 060. 出现频率最高的…...

编程日记 2025/8/27 22:47:29

SQL Server数据库中用存储过程来取顺序号

SQL Server数据库中用存储过程来取顺序号表sys_number，字段name字符，表示前缀,value数字，一个一个递增存储过程代码： SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO ALTER procedure [dbo].[usp_GetSysid]name varchar(5…...

编程日记 2025/8/25 10:30:02

JS—组成：2分钟掌握什么是ECMAScript操作，什么是DOM操作，什么是BOM操作

个人博客：haichenyi.com。感谢关注 1. 目录 1–目录2–组成3–内置对象 2. 组成一直都在说JS，JS，到底啥是JS有了解过吗？JS由哪几部分组成的呢？ 定义： JavaScript是一种轻量级、解释型或即时编译型的编程语…...

编程日记 2025/8/26 13:57:19

如何使用 Ollama 的 API 来生成聊天

如何使用 Ollama 的 API 来生成聊天简介生成聊天生成聊天的示例加载模型卸载模型简介 Ollama 提供了一个 RESTful API，允许开发者通过 HTTP 请求与 Ollama 服务进行交互。这个 API 覆盖了所有 Ollama 的核心功能，包括模型管理、运行和监控。本…...

编程日记 2025/8/23 22:24:16

Jenkins学习笔记

文章目录一、Jenkins简介二、Jenkins的安装1. 安装前准备2. 安装Jenkins3. 启动Jenkins 三、Jenkins的配置1. 初始配置2. 全局工具配置3. 插件安装四、Jenkins的使用1. 创建新任务2. 配置任务3. 触发构建4. 查看构建结果五、Jenkins的高级功能1. 分布式构建2. 流水线&#x…...

编程日记 2025/8/23 13:31:53

公开笔记：自然语言处理（NLP）中文文本预处理主流方法

在自然语言处理（NLP）领域，将中文文本转化为数字的主流方法主要集中在预训练语言模型和子词编码技术上。这些方法能够更好地捕捉语义信息，并且在各种NLP任务中表现出色。以下是目前主流的文本编码方法： 1. 基于预训练语…...

编程日记 2025/8/27 4:47:55

第5章使用OSSEC进行监控(网络安全防御实战--蓝军武器库)

网络安全防御实战--蓝军武器库是2020年出版的，已经过去3年时间了，最近利用闲暇时间，抓紧吸收，总的来说，第5章开始进入主机安全（HIDS）领域了，2022年的时候有幸做过终端安全一段时间&a…...

编程日记 2025/8/22 23:18:27

计算机毕业设计SpringBoot+Vue.js电商平台(源码+文档+PPT+讲解)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/8/26 16:26:01

【音视频】ffplay简单过滤器

一、ffplay简单过滤器视频旋转：借助transpose滤镜 ffplay -i 1.mp4 -vf transpose1这里选择不同的数字是不同的方向： 视频翻转：借助hflip/vflip实现水平和垂直翻转： 水平翻转 ffplay 1.mp4 -vf hflip垂直翻转 ffplay 1.mp4 …...

编程日记 2025/8/25 1:36:38

大白话html第十一章

大白话html第十一章在网页开发的第十一章，会涉及到很多前沿且复杂的技术和概念，主要聚焦于性能极致优化、前沿交互技术以及与人工智能的融合等方面。 1. 极致性能优化概念这就好比给一辆赛车进行全方位的精细调校，让它跑得又快又稳。在…...

编程日记 2025/8/25 17:07:42

基于websocket搭建聊天室

基于websocket搭建聊天室 1.后端配置 1.依赖一个web一个websocket <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.spr…...

编程日记 2025/8/25 1:05:38

Metal学习笔记十一：贴图和材质

在上一章中，您设置了一个简单的 Phong 光照模型。近年来，研究人员在基于物理的渲染 （PBR） 方面取得了长足的进步。PBR 尝试准确表示真实世界的着色，真实世界中离开表面的光量小于表面接收的光量。在现实世界中&#xf…...

编程日记 2025/8/26 11:27:06

STM32-USART串口数据包

一：HEX数据包发送 1.为了收发数据包，先定义两个缓存区的数组 ，这4个数据只存储发送或者接收的载荷数据，包头和包尾不存 uint8_t Serial_TxPacket[4]; uint8_t Serial_RxPacket[4]; uint8_t Serial_RxFlag;//接收一个数据包就置F…...

编程日记 2025/8/27 20:15:34

【LeetCode 热题 100】438. 找到字符串中所有字母异位词 | python 【中等】

继续学！嗨起来！！！（正确率已经下30%了，我在干什么） 题目： 438. 找到字符串中所有字母异位词给定两个字符串 s 和 p，找到 s 中所有 p 的子串，返回这些子串的…...

编程日记 2025/8/26 8:58:20

Ollama+Deepseek-R1+AnythingLLM本地个人知识库搭建

一、OllamaDeepseek-R1AnythingLLM本地个人知识库搭建在搭建强大的本地个人知识库以及提升开发效率的技术体系中，Ollama、DeepSeek-R1 和 AnythingLLM 扮演着举足轻重的角色。Ollama 作为模型运行与管理工具，是整个技术架构中的关键枢纽，负…...

编程日记 2025/8/25 8:16:48

决策树（Decision Tree）基础知识

目录一、回忆1、*机器学习的三要素：1）*函数族2）*目标函数2.1）*模型的其他复杂度参数 3）*优化算法 2、*前处理/后处理1）前处理：特征工程2）后处理：模型选择和模型评估 3、…...

编程日记 2025/8/27 17:35:11

跨域-告别CORS烦恼

跨域-告别CORS烦恼文章目录跨域-告别CORS烦恼[toc]1-参考网址2-思路整理1-核心问题2-个人思考3-脑洞打开4-个人思考-修正版1-个人思考2-脑洞打开 3-知识整理1-什么是跨域一、同源策略简介什么是源什么是同源是否是同源的判断哪些操作不受同源策略限制跨域如何跨域二、CORS 简…...

编程日记 2025/8/26 17:47:34

浅论数据库聚合：合理使用LambdaQueryWrapper和XML

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、数据库聚合替代内存计算（关键优化）二、批量处理优化四、区域特殊处理解耦五、防御性编程增强前言技术认知点：使用 XM…...

编程日记 2025/8/27 17:15:00

css实现元素垂直居中显示的7种方式

文章目录 * [【一】知道居中元素的宽高](https://blog.csdn.net/weixin_41305441/article/details/89886846#_1) [absolute 负margin](https://blog.csdn.net/weixin_41305441/article/details/89886846#absolute__margin_2) [absolute margin auto](https://blog.csdn.net…...

编程日记 2025/8/27 22:32:51

Nerf流程

一.数据处理： 在输入数据时，并没有给出相机的内参与外参，需要在数据处理得出相机的内外惨数，作者使用COLMAP得到相机参数后，转成NeRF可以读取的格式即可以用于模型训练。旋转矩阵的第一列到第三列分别表示了相机坐标系…...

编程日记 2025/8/22 13:46:54

Spring Cloud Alibaba学习 5- Seata入门使用

Spring Cloud Alibaba学习 5- Seata入门使用 Seata是Spring Cloud Alibaba中用于分布式事务管理的解决方案一. Seata的基本概念 1. Seata的三大角色 1> TC (Transaction Coordinator) - 事务协调者维护全局和分支事务的状态，驱动全局事务提交或回滚。TC作…...

编程日记 2025/8/26 0:55:56

Select 下拉菜单选项分组

使用<select>元素创建下拉菜单，并使用 <optgroup> 元素对选项进行分组。<optgroup> 元素允许你将相关的 <option> 元素分组在一起，并为每个分组添加一个标签。 <form action"#" method"post"><la…...

编程日记 2025/8/26 21:08:00

【无人机与无人车协同避障】

无人机与无人车协同避障的关键在于点云数据的采集、传输、解析及实时应用，以下是技术实现的分步解析： 1. 点云数据采集（无人机端） 传感器选择： LiDAR：通过激光雷达获取高精度3D点云（精度达厘米…...

编程日记 2025/8/27 18:54:54

AI视频领域的DeepSeek—阿里万相2.1图生视频

让我们一同深入探索万相 2.1 ，本文不仅介绍其文生图和文生视频的使用秘籍，还将手把手教你如何利用它实现图生视频。如下为生成的视频效果（我录制的GIF动图） 如下为输入的图片目录 1.阿里巴巴全面开源旗下视频生成模型万相2.1模…...

编程日记 2025/8/21 4:01:22

飞机大战lua迷你世界脚本

-- 迷你世界飞机大战 v1.2 -- 星空露珠工作室制作 -- 最后更新：2024年1月 ----------------------------- -- 迷你世界API适配配置 ----------------------------- local UI { BASE_ID 7477478487091949474-22856, -- UI界面ID ELEMENTS { BG 1, -- 背景 BTN_LE…...

编程日记 2025/8/20 15:06:25

Android15请求动态申请存储权限完整示例

效果： 1.修改AndroidManifest.xml增加如下内容: <uses-permission android:name="android.permission.MANAGE_EXTERNAL_STORAGE" /><uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" /><uses-perm...

编程日记 2025/8/26 16:00:27

Java 导出大数据到 Excel 表格

背景之前的项目一直是用XSSFWorkbook来做 Excel 导出，在遇到大数据导出时，经常会遇到 OOM。在 Apache Poi 3.8 之后的版本提供的 SXSSFWorkbook 可以优雅的解决这个问题。原理 SXSSFWorkbook 被称为流式 API，主要是因为它采用了流式写入…...

编程日记 2025/8/25 14:36:53

GCC RISCV 后端 -- GCC Passes 注释

在前面文章提到，当GCC 前端完成对C源代码解析完成后，就会使用处理过程（Passes）机制，通过一系列的处理过程，将 GENERIC IR 表示的C程序转步转换成目标机器的汇编语言。过程描述如下图所示： 此…...

编程日记 2025/8/21 7:16:11

稚晖君级硬核：智元公司开源机器人通信框架AimRT入驻GitCode平台

在科技的浪潮中，机器人技术正以前所未有的速度发展。它们不再只是科幻小说中的概念，而是逐渐融入到我们的日常生活中，从工厂的自动化生产线到家庭的智能助手，机器人的身影无处不在。然而，随着机器人应用的日益复杂&…...

编程日记 2025/8/28 4:16:04

STM32L051系列单片机低功耗应用

STM32L051单片机支持多种低功耗模式，包括 Sleep（睡眠）、Stop（停止） 和 Standby（待机） 模式。不同模式的功耗和唤醒方式不同。一、低功耗相关介绍 1.1 低功耗模式概览模式功耗唤醒源时钟状态…...

编程日记 2025/8/27 22:55:55

【代码分享】基于IRM和RRT*的无人机路径规划方法详解与Matlab实现

基于IRM和RRT*的无人机路径规划方法详解与Matlab实现 1. IRM与RRT*的概述及优势 IRM（Influence Region Map）通过建模障碍物的影响区域，量化环境中的安全风险，为RRT算法提供启发式引导。RRT（Rapidly-exploring Random…...

编程日记 2025/8/26 0:30:28

【JAVA架构师成长之路】【JVM实战】第1集：生产环境CPU飙高排查实战

课程标题：生产环境CPU飙高排查实战——从现象到根因的15分钟攻防战目标：掌握CPU飙高问题的系统性排查方法，熟练使用工具定位代码或资源瓶颈 0-1分钟：问题引入与核心影响线上服务器CPU突然飙升至90%以上，导致服务响应延迟激增，用户投诉激增。CPU飙高可能由死循环、线程…...

编程日记 2025/8/25 13:26:27

android edittext 防止输入多个小数点或负号

有些英文系统的输入法，或者定制输入法。使用xml限制不了输入多个小数点和多个负号。所以代码来控制。一、通过XML设置限制 <EditTextandroid:id="@+id/editTextNumber"android:layout_width="wrap_content"android:layout_height="wrap_conten…...

编程日记 2025/8/24 14:05:10

Spring MVC 页面重定向返回后通过nginx代理丢失端口号问题处理

Spring MVC页面重定向通过Nginx代理后出现端口丢失问题，通常由以下原因及解决方案构成： #‌# 一、Nginx配置问题（核心原因）‌ ‌1. Host头传递不完整‌ Nginx默认未将原始请求的端口信息传递给后端，导致应用生成重定向…...

编程日记 2025/8/27 15:31:01

DeepSeek V3 源码：从入门到放弃！

从入门到放弃花了几天时间，看懂了DeepSeek V3 源码的逻辑。源码的逻辑是不难的，但为什么模型结构需要这样设计，为什么参数需要这样设置呢？知其然，但不知其所以然。除了模型结构以外，模型的训练数据、训练…...

编程日记 2025/8/19 3:06:34

基于国产芯片的AI引擎技术，打造更安全的算力生态 | 京东零售技术实践

近年来，随着国产AI芯片的日益崛起，基于国产AI芯片的模型适配、性能优化以及应用落地是国产AI应用的一道重要关卡。如何在复杂的京东零售业务场景下更好地使用国产AI芯片，并保障算力安全，是目前亟需解决的问题。对此，京…...

编程日记 2025/8/26 9:49:51

项目说明

相关文章：