当前位置：首页 > news >正文

基于java线程池和EasyExcel实现数据异步导入

news 来源：原创 2025/6/1 2:38:54

基于java线程池和EasyExcel实现数据异步导入

2.代码实现

2.1 controller层

    @PostMapping("import")public void importExcel(MultipartFile file) throws IOException {importService.importExcelAsync(file);}

2.2 service层

@Resource
private SalariesListener salariesListener;private ExecutorService executorService = Executors.newFixedThreadPool(20);public void importExcelAsync(MultipartFile file) {// 开20个线程分别处理20个sheetList<Callable<Object>> tasks = new ArrayList<>();for (int i = 0; i < 20; i++) {int num = i;tasks.add(() -> {EasyExcel.read(file.getInputStream(), Salaries.class, salariesListener).sheet(num).doRead();return null;});}try {//等待所有任务完成executorService.invokeAll(tasks);} catch (InterruptedException e) {throw new RuntimeException(e);}}

2.3实体

@Data
@TableName("salaries")
public class Salaries {private Integer empNo;private Integer salary;private Date fromDate;private Date toDate;
}

2.4easyExcel 监听

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.read.listener.ReadListener;
import com.baomidou.mybatisplus.extension.service.IService;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.woniu.domain.Salaries;
import com.woniu.mapper.SalariesMapper;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.springframework.stereotype.Component;
import org.springframework.transaction.annotation.Transactional;import javax.annotation.Resource;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.atomic.AtomicInteger;@Component
public class SalariesListener extends ServiceImpl<SalariesMapper, Salaries> implements ReadListener<Salaries>, IService<Salaries> {private static final Log logger = LogFactory.getLog(SalariesListener.class);//创建一个线程池，用于异步保存数据private ExecutorService executorService = Executors.newFixedThreadPool(20);//创建一个线程安全的list，用于存储读取到的数据，使用ThreadLocal保证线程安全private ThreadLocal<ArrayList<Salaries>> salariesList = ThreadLocal.withInitial(ArrayList::new);//用于统计是第几次插入private static AtomicInteger count = new AtomicInteger(1);//设定需要异步批量插入的条数private static final int batchSize = 10000;@Resourceprivate SalariesListener salariesListener;@Override@Transactional(rollbackFor = Exception.class)public void invoke(Salaries data, AnalysisContext context) {//读取excel每一行的数据,添加到list中salariesList.get().add(data);//如果list的数据大于设定需要异步批量插入的条数，则执行异步插入if (salariesList.get().size() >= batchSize) {asyncSaveData();}}public void saveData() {if (!salariesList.get().isEmpty()) {saveBatch(salariesList.get(), salariesList.get().size());logger.info("第" + count.getAndAdd(1) + "次插入" + salariesList.get().size() + "条数据");salariesList.get().clear();}}public void asyncSaveData() {if (!salariesList.get().isEmpty()) {ArrayList<Salaries> salaries = (ArrayList<Salaries>) salariesList.get().clone();executorService.execute(new SaveTask(salaries, salariesListener));salariesList.get().clear();}}@Override@Transactional(rollbackFor = Exception.class)public void doAfterAllAnalysed(AnalysisContext context) {logger.info("一个Sheet全部处理完");//考虑每个sheet批量插入数据的条数少于异步插入的条数asyncSaveData();}//创建一个线程类，用于异步保存数据static class SaveTask implements Runnable {private List<Salaries> salariesList;private SalariesListener salariesListener;public SaveTask(List<Salaries> salariesList, SalariesListener salariesListener) {this.salariesList = salariesList;this.salariesListener = salariesListener;}@Overridepublic void run() {salariesListener.saveBatch(salariesList);//打印第几次插入，每次插入的数据logger.info("第" + count.getAndAdd(1) + "次插入" + salariesList.size() + "条数据");}}
}

2.5 建表语句

CREATE TABLE `salaries` (`emp_no` int(11) DEFAULT NULL COMMENT '员工号',`salary` int(11) DEFAULT NULL,`from_date` datetime DEFAULT NULL,`to_date` datetime DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

spring:servlet:multipart:max-request-size: 30MBmax-file-size: 1024MBdatasource:username: rootpassword: rooturl: jdbc:mysql://127.0.0.1:3306/llp?rewriteBatchedStatements=true&characterEncoding=utf-8&allowPublicKeyRetrieval=true&useSSL=false&serverTimezone=Asia/Shanghaimain:allow-circular-references: true

3.测试验证

可以看到导入95万多条数据，耗时差不多在一份多钟

导入开始时间

导入结束时间

入库数据

基于java线程池和EasyExcel实现数据异步导入

基于java线程池和EasyExcel实现数据异步导入 2.代码实现 2.1 controller层 PostMapping("import")public void importExcel(MultipartFile file) throws IOException {importService.importExcelAsync(file);}2.2 service层 Resource private SalariesListener sa…...

编程日记 2025/6/1 2:38:54

使用Layout三行布局（SemiDesign）

tips：Semi Design网址 ：Semi Design 1、安装Semi # 使用 npm npm i douyinfe/semi-ui# 使用 yarn yarn add douyinfe/semi-ui# 使用 pnpm pnpm add douyinfe/semi-ui 2、引入Layout布局 import { Layout } from douyinfe/semi-ui;3、开始实现三行布局…...

编程日记 2025/5/30 13:42:48

缓存之美：万文详解 Caffeine 实现原理（下）

上篇文章：缓存之美：万文详解 Caffeine 实现原理（上） getIfPresent 现在我们对 put 方法有了基本了解，现在我们继续深入 getIfPresent 方法： public class TestReadSourceCode {Testpublic void doRead() …...

编程日记 2025/6/1 1:36:28

PHP防伪溯源一体化管理系统小程序

🔍 防伪溯源一体化管理系统，品质之光，根源之锁 🚀 引领防伪技术革命，重塑品牌信任基石我们自豪地站在防伪技术的前沿，为您呈现基于ThinkPHP和Uniapp精心锻造的多平台（微信小程序、H5网页&…...

编程日记 2025/5/30 8:42:17

STM32——LCD

一、引脚配置查看引脚将上述引脚都设置为GPIO_Output 二、导入驱动文件将 LCD 驱动的 Inc 以及 Src 中的 fonts.h,lcd.h 和 lcd.c 导入到自己工程的驱动文件中。当然，后面 lcd 的驱动学习可以和 IMX6U 一块学。三、LCD函数 void LCD_Clear(u16 Color); 功能…...

编程日记 2025/5/31 10:29:33

洛谷刷题1-3

比较巧妙，求最小公倍数，看多少个数一次循环，直接求解就好了，N的数量级比较大，一层循环也会超时，也用了点双指针的想法（归并排序） 这里很大的问题，主要是cin输入的时候遇到…...

编程日记 2025/5/31 3:28:05

Facebook 元宇宙与全球文化交流的新趋势

随着科技的快速发展，虚拟现实与增强现实技术逐渐成为全球社交平台的重要组成部分。Facebook（现改名为 Meta）率先将目光投向了元宇宙这一新兴领域，致力于打造一个超越传统社交媒体的虚拟空间，成为全球文化交流的新平台。…...

编程日记 2025/5/26 3:36:24

结构化布线系统分为六个子系统

文章目录前言系统介绍1. 工作区子系统 (Work Area Subsystem)2. 水平布线子系统 (Horizontal Cabling Subsystem)3. 管理子系统 (Administration Subsystem)4. 干线（垂直）子系统 (Backbone Cabling Subsystem)5. 设备间子系统 (Equipment Room Subsyste…...

编程日记 2025/5/29 15:43:55

亿坊软件前端命名规范

在前端开发中，文件命名的重要性不言而喻。由于历史原因和个人习惯，不同的开发者在命名DOM结构、图片和CSS文件时，可能会产生不一致的情况。这不仅会导致维护成本增加，还会降低团队协作效率。因此，制定一套统一的命名规…...

编程日记 2025/5/27 4:08:13

单片机-STM32 IIC通信（OLED屏幕）(十一)

一、屏幕的分类 1、LED屏幕： 由无数个发光的LED灯珠按照一定的顺序排列而成，当需要显示内容的时候，点亮相关的LED灯即可，市场占有率很高，主要是用于户外，广告屏幕，成本低。 LED屏是一种用发光…...

编程日记 2025/5/26 18:13:11

【Qt】: QPointer详解

考古： 《Qt智能指针之QScopedPointer》 QPointer是Qt框架中的一个智能指针类，用于安全地管理QObject派生对象的指针。它的主要功能是自动将指针置为nullptr，当它所指向的QObject对象被销毁时。这在Qt应用程序中非常有用，因为QObj…...

编程日记 2025/5/28 13:20:47

15_业务系统基类

创建脚本 SystemRoot.cs 因为业务系统基类的子类会涉及资源加载服务层ResSvc.cs 和音乐播放服务层AudioSvc.cs 所以在业务系统基类提取引用资源加载服务层ResSvc.cs 和音乐播放服务层AudioSvc.cs 并调用单例初始化 using UnityEngine; // 功能 : 业务系统基类 public c…...

编程日记 2025/5/27 7:24:51

C++中explicit关键字的介绍和使用详解

某一天突然发现Qt自动生成的类文件的构造函数前边都有explicit关键字，但是explicit关键字什么意思呐？ 在C中，explicit是一个关键字，主要用于修饰构造函数或转换运算符，其作用是防止隐式类型转换或隐式构造行为。下面…...

编程日记 2025/5/29 11:43:33

动态内存管理

本章重点 1.为什么存在动态内存分配 2.动态内存函数的介绍 3.malloc free calloc realloc 4.常见的动态内存错误一.为什么存在动态内存分配二.动态内存函数的介绍 #define _CRT_SECURE_NO_WARNINGS #include <stdio.h> #include <stdlib.h> #include &…...

编程日记 2025/5/31 7:58:27

Java 中的各种锁详解

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，…...

编程日记 2025/5/26 10:46:10

进制之间转换

「一、十进制二进制」 1.十进制转二进制：一直除以2直到商为0，再反向取余数。例：13（十进制）转1101（二进制） 2.二进制转十进制:最后一位数开始是2^0，然后一直按照指数递增的方式…...

编程日记 2025/5/30 23:51:08

微信小程序获取位置服务

wx.getLocation({type: gcj02,success(res) {wx.log(定位成功);},fail(err) {wx.log(定位失败, err);wx.showModal({content: 请打开手机和小程序中的定位服务,success: (modRes) > {if (modRes.confirm) {wx.openSetting({success(setRes) {if (setRes.authSetting[scope.u…...

编程日记 2025/5/26 23:41:31

数据结构——实验八·学生管理系统

嗨~~欢迎来到Tubishu的博客🌸如果你也是一名在校大学生，正在寻找各种编程资源，那么你就来对地方啦🌟 Tubishu是一名计算机本科生，会不定期整理和分享学习中的优质资源，希望能为你的编程之路添砖加瓦⭐&…...

编程日记 2025/5/28 6:32:59

Linux应用编程（五）USB应用开发-libusb库

一、基础知识 1. USB接口是什么？ USB接口（Universal Serial Bus）是一种通用串行总线，广泛使用的接口标准，主要用于连接计算机与外围设备（如键盘、鼠标、打印机、存储设备等）之间的数据传输和电…...

编程日记 2025/5/29 21:38:12

Swift语言探索：Sequence与Collection的详细解读

在Swift编程语言中，Sequence和Collection是两个非常重要的协议，它们定义了遍历和访问元素集合的方式。理解这两个协议不仅有助于我们更好地掌握Swift的集合类型，还能让我们在编写代码时更加灵活和高效。本文将详细解读Sequence与Collection&a…...

编程日记 2025/5/27 8:23:14

解锁C# EF/EF Core：从入门到进阶的技术飞跃

一、EF/EF Core 初相识在.NET 开发的广阔天地中，Entity Framework (EF) 及其轻量级、可扩展、跨平台的版本 Entity Framework Core (EF Core)，犹如两颗璀璨的明星，照亮了数据访问层开发的道路。它们是开源的对象关系映射器（ORM&…...

编程日记 2025/5/31 3:19:10

大模型搜广推？对算法工作的影响

大模型与传统应用结合的性质长期看是一种范式革新。算力和模型定义的边界发生变化，选择生成式AI或大模型发展方向时，会不断发现新的增长曲线，目前在不断被验证。现阶段大模型确实带来了增量信息，但推荐过程仍在原有流程基础上…...

编程日记 2025/5/28 6:03:53

【教程】最好的pytorch教程

文章目录 Materials for the Learn PyTorch for Deep Learning: Zero to Mastery course from: https://github.com/mrdbourke/pytorch-deep-learning/blob/main/01_pytorch_workflow.ipynb...

编程日记 2025/5/31 4:11:27

基于java线程池和EasyExcel实现异步导出

基于java线程池和EasyExcel实现异步导出 1.controller层 GetMapping("export") public void exportExcel(HttpServletResponse response) throws IOException, InterruptedException {exportService.exportExcel(response); }2. service public void exportExcel(H…...

编程日记 2025/5/26 23:41:04

vue3组件传值具体使用

问： left.vue文件调用接口获取了后端返回的urlLink字段，我该怎么传递给总的父组件index.vue中，我需要点击父组件的一个按钮来触发跳转？ 回答： 在 Vue 3 中使用 TypeScript 和 setup 语法糖时，可以通过 e…...

编程日记 2025/5/28 10:01:52

《CPython Internals》阅读笔记：p336-p352

《CPython Internals》学习第 17天，p336-p352 总结，总计 17 页。一、技术总结 1.GDB GDB 是 GNU Dbugger 的缩写。 (1)安装 sudo apt install gdb(2)创建 .gdbinit 文件 touch ~/.gdbinitvim ~/.gdbinit(3)配置 .gdbinit 文件 add-auto-load-saf…...

编程日记 2025/5/27 23:36:19

WPF基础 | WPF 常用控件实战：Button、TextBox 等的基础应用

WPF基础 | WPF 常用控件实战：Button、TextBox 等的基础应用一、前言二、Button 控件基础2.1 Button 的基本定义与显示2.2 按钮样式设置2.3 按钮大小与布局三、Button 的交互功能3.1 点击事件处理3.2 鼠标悬停与离开效果3.3 按钮禁用与启用四、TextBox 控件基础4.…...

编程日记 2025/5/25 19:17:37

Langchain+讯飞星火大模型Spark Max调用

1、安装langchain #安装langchain环境 pip install langchain0.3.3 openai -i https://mirrors.aliyun.com/pypi/simple #灵积模型服务 pip install dashscope -i https://mirrors.aliyun.com/pypi/simple #安装第三方集成,就是各种大语言模型 pip install langchain-comm…...

编程日记 2025/5/31 16:20:49

2025年华为云一键快速部署幻兽帕鲁联机服务器教程

华为云如何快速部署幻兽帕鲁联机服务器？为了方便新手玩家搭建专属游戏联机服务器，华为云推出了云游戏专场，无需专业技术，新手小白也能一键快速部署幻兽帕鲁联机服务器！ 华为云快速部署幻兽帕鲁联机服务器教程如下&…...

编程日记 2025/5/31 7:17:34

Langchain+文心一言调用

import osfrom langchain_community.llms import QianfanLLMEndpointos.environ["QIANFAN_AK"] "" os.environ["QIANFAN_SK"] ""llm_wenxin QianfanLLMEndpoint()res llm_wenxin.invoke("中国国庆日是哪一天?") print(…...

编程日记 2025/5/29 17:48:54

C++AVL树（一）详解

文章目录 AVL树概念AVL树的插入平衡因子的更新旋转的规则左单旋右单旋抽象的情况h0h1h 2h 3 AVL树概念 AVL树是一棵平衡二叉查找树，AVL树是空树，保证左右子树都是AVL树，AVL树要求高度差的绝对值不超过1，因为最好情况是1&#…...

编程日记 2025/5/27 4:02:02

ceph新增节点，OSD设备，标签管理（二）

一、访问客户端集群方式方式一: 使用cephadm shell交互式配置 [rootceph141 ~]# cephadm shell # 注意，此命令会启动一个新的容器，运行玩后会退出！ Inferring fsid c153209c-d8a0-11ef-a0ed-bdb84668ed01 Inferring config /var/lib/ce…...

编程日记 2025/5/30 8:03:19

c++学习第七天

创作过程中难免有不足，若您发现本文内容有误，恳请不吝赐教。提示：以下是本篇文章正文内容，下面案例可供参考。一、const成员函数 //Date.h#pragma once#include<iostream> using namespace std;class Date { public:Date…...

编程日记 2025/5/31 8:36:33

F/V/F/I频率脉冲信号转换器

F/V/F/I频率脉冲信号转换器概述：捷晟达科技的JSD TFA-1001系列是一进一出频率脉冲信号转换器(F/V转换器),该频率转换器是将频率脉冲信号(方波、正弦波、锯齿波)转换成国际标准的模拟量电压(电流)信号,并远距离无失真传送到控制室(如:PLC,DCS,AD,PC采集系统)产品的输…...

编程日记 2025/5/30 20:31:26

SQLServer中DBCC INPUTBUFFER显示从客户端发送到 SQL Server 实例的最后一个语句

SQLServer中DBCC INPUTBUFFER显示从客户端发送到 SQL Server 实例的最后一个语句 1、本文内容语法参数结果集权限示例适用于： SQL ServerAzure SQL 数据库Azure SQL 托管实例显示从客户端发送到 SQL Server 实例的最后一个语句。 2、语法 DBCC INPUTBUFFE…...

编程日记 2025/5/31 11:44:16

Mysql面试题----MySQL中CHAR和VARCHAR的区别

存储方式 CHAR：是一种固定长度的字符串类型。它会按照定义的长度来分配存储空间，无论实际存储的字符串长度是多少。例如，定义一个 CHAR (10) 的列，如果存储的值是 ‘ab’，那么它仍然会占用 10 个字符的存储空间&#…...

编程日记 2025/5/28 19:38:59

github汉化

本文主要讲述了github如何汉化的方法。目录问题描述汉化步骤1.打开github，搜索github-chinese2.打开项目，打开README.md3.下载安装脚本管理器3.1 在README.md中往下滑动，找到浏览器与脚本管理器3.2 选择浏览器对应的脚本管理器3.2.1 点击去…...

编程日记 2025/5/29 21:38:51

探索JavaScript前端开发：开启交互之门的神奇钥匙（二）

目录引言四、事件处理 4.1 事件类型 4.2 事件监听器五、实战案例：打造简易待办事项列表 5.1 HTML 结构搭建 5.2 JavaScript 功能实现六、进阶拓展：异步编程与 Ajax 6.1 异步编程概念 6.2 Ajax 原理与使用七、前沿框架：Vue.js …...

编程日记 2025/5/29 10:17:44

什么是网络爬虫？Python爬虫到底怎么学？

最近我在研究 Python 网络爬虫，发现这玩意儿真是有趣，干脆和大家聊聊我的心得吧！咱们都知道，网络上的信息多得就像大海里的水，而网络爬虫就像一个勤劳的小矿工，能帮我们从这片浩瀚的信息海洋中挖掘出需要的…...

编程日记 2025/5/29 17:11:04

React 中hooks之 React.memo 和 useMemo用法总结

1. React.memo 基础 React.memo 是一个高阶组件（HOC），用于优化函数组件的性能，通过记忆组件渲染结果来避免不必要的重新渲染。 1.1 基本用法 const MemoizedComponent React.memo(function MyComponent(props) {/* 渲染逻辑 *…...

编程日记 2025/5/31 5:47:05

springboot基于微信小程序的手机银行系统

Spring Boot基于微信小程序的手机银行系统是一种结合现代Web技术和移动应用优势的创新金融服务平台。一、系统背景与意义随着信息技术的快速发展和用户对便捷金融服务需求的日益增长，传统手机银行系统的人工管理方法已逐渐显露出效率低下、安全性低以及信息传输…...

编程日记 2025/5/31 10:33:23

Kafka后台启动命令

#保存日志 nohup ./kafka-server-start.sh ../config/server.properties > /path/to/logfile.log 2>&1 &#不保存日志 nohup ./kafka-server-start.sh ../config/server.properties >/dev/null 2>&1 & nohup: 是一个Unix/Linux命令，用于…...

编程日记 2025/6/1 1:16:42

面试题目1

文章目录 C语言函数调用详细过程C语言中const与C中const的区别关系运算符有哪些互斥锁与读写锁的区别gcc的编译过程 C语言函数调用详细过程调用函数：当程序执行到函数调用语句时，会将当前函数的返回地址、参数列表等信息压入栈中，然后跳转到…...

编程日记 2025/5/31 2:24:57

Android AutoMotive --CarService

1、AAOS概述 Android AutoMotive OS是谷歌针对车机使用场景打造的操作系统，它是基于现有Android系统的基础上增加了新特性，最主要的就是增加了CarService（汽车服务）模块。我们很容易把Android AutoMotive和Android Auto搞混&…...

编程日记 2025/5/31 10:24:59

CSDN 博客之星 2024：默语的技术进阶与社区耕耘之旅

CSDN 博客之星 2024：默语的技术进阶与社区耕耘之旅 🌟 默语，是一位在技术分享与社区建设中坚持深耕的博客作者。今年，我有幸再次入围成为 CSDN 博客之星TOP300 的一员，这既是对过往努力的肯定，也是对未来探…...

编程日记 2025/5/30 21:48:31

【Vim Masterclass 笔记24】S10L43 + L44：同步练习10 —— 基于 Vim 缓冲区的各类基础操作练习（含点评课）

文章目录 S10L43 Exercise 12 - Vim Buffers1 训练目标2 操作指令2.1. 打开 buf* 文件2.2. 查看缓冲区 View the buffers2.3. 切换缓冲区 Switch buffers2.4. 同时编辑多个缓冲区 Edit multiple buffers at once2.5. 缓冲区的增删操作 Add and delete buffers2.6. 练习 Vim 内置…...

编程日记 2025/5/28 22:42:16