大文件分块上传后端服务器

一、背景：

后台系统需要上传大文件、大视频等数据，耗时过长，接口等待超时，故需优化通过前端多线程+分片方式进行文件上传，显著提升上传速度。

二、流程：

前端逻辑：

前端使用分片技术，将大文或大视频件进行分片，可使用webupload，将视频进行切片，多线程上传后台服务器。同时计算hash值用于文件完整性校验。同时对每个分片视频或文件进行顺序记录，后面单个分片数据异常可以针对单个文件进行重新上传。

后端逻辑：

准备接口1：前端生成大文件的MD5，调用接口把MD5传递来，后端会用这个MD5去创建一个文件夹，一个视频就对应一个文件夹。

接口2：前端带MD5+视频分片信息去调用此接口，后端会根据MD5找到对应的文件夹，判断这个分片是否已经上传过了。同时也可以那这个分片号做异常返回，让前端重传。

接口3：前端根据接口2的调用进行判断，如果该分片已经上传则跳过，如果没有上传则进行该分片上传，传递MD5+视频分片信息，后端根据MD5找到文件夹，将视频分片存储起来

接口4：当所有视频通过多线程传完成，调用接口4，传递MD5+表单信息，后端通过流合并，把所有的分片信息整合成一个视频，此时上传完毕，视频已存储到服务器本地。后端还可以异步通过调用三方文件存储（OSS）进行上传对象服务器，生成访问地址存储数据库，修改对应数据状态位，同时可删除临时服务端文件。

三、后端接口及业务

@RequestMapping("/common/core/bigFile")
@RestController
public class BigFileController {/*** 创建文件夹*/
@PostMapping("/createFolder")public JsonResult createFolder(@RequestParam("fileMd5") String fileMd5,     // 文件md5@RequestParam("fileName") String fileName,       // 文件名@RequestParam("fileExt") String fileExt	    //文件扩展名) {   return bigFileService.createFolder(fileMd5,fileName,fileSize,mimetype,fileExt);}/*** 检查分片接口*/@PostMapping("/checkChunk")public Result checkChunk(@RequestParam("fileMd5") String fileMd5, //文件md5@RequestParam("chunk") Integer chunk // 当前分块下标){return bigFileService.checkChunk(fileMd5,chunk,chunkSize);}/*** 上传分片接口*/@PostMapping("/uploadChunk")public Result uploadChunk(@RequestParam("file") MultipartFile file, //分块后的文件@RequestParam("fileMd5") String fileMd5, // 文件md5@RequestParam("chunk") Integer chunk  // 分片标识){return bigFileService.uploadChunk(file,fileMd5,chunk);}/*** 合并分片接口*/@PostMapping("/mergeChunks")public Result mergeChunks(@RequestParam("deptId") Long deptId,  // 部门id@RequestParam("remark") String remark, // 备注@RequestParam("fileMd5") String fileMd5,// 文件md5@RequestParam("fileName") String fileName, // 原文件名@RequestParam("fileSize") Long fileSize, // 文件总大小@RequestParam("fileType") String fileType, // 文件类型@RequestParam("fileExt") String fileExt // 扩展名){return bigFileService.mergeChunks(deptId,remark,fileMd5,fileName,fileSize,mimetype,fileExt);}
}

@Service
@Slf4j
public class BigFileService {@Autowiredprivate BigFileMapper bigFileMapper;// 临时文件目录private String uploadPath = "/data/bigFile/temp/";/***  创建文件夹*/public Result createFolder(String fileMd5, String fileName, String fileExt) {//检查文件是否存在String filePath = getFilePath(fileMd5, fileExt);File file = new File(filePath);if (file.exists()) {log.info("文件夹已存在 {} ", fileName);return Result.error("上传文件已存在");}boolean fileFold = createFileFold(fileMd5);if (!fileFold) {//上传文件目录创建失败log.info("上传文件夹创建失败 {} ,文件夹存在", fileName);return Result.error("上传文件夹失败");}return Result.success();}/*** 检查分片*/public Result cheCkchunk(String fileMd5, Integer chunk) {//获取块文件文件夹路径String chunkfileFolderPath = getChunkFileFolderPath(fileMd5);// 块文件的下标 1 2 3 排序使用File chunkFile = new File(chunkfileFolderPath + chunk);if (!chunkFile.exists()) {return Result.error();}return Result.success();}/*** 上传分片*/public Result uploadChunk(MultipartFile file, String fileMd5, Integer chunk) {//块文件存放完整路径File chunkfile = new File(getChunkFileFolderPath(fileMd5) + chunk);//上传的块文件InputStream inputStream = null;FileOutputStream outputStream = null;try {inputStream = file.getInputStream();outputStream = new FileOutputStream(chunkfile);IOUtils.copy(inputStream, outputStream);} catch (Exception e) {e.printStackTrace();return Result.error("文件上传失败！");} finally {try {inputStream.close();} catch (IOException e) {e.printStackTrace();}try {outputStream.close();} catch (IOException e) {e.printStackTrace();}}return Result.success();}/*** 合并分片*/public Result mergeChunks(String deptId, String remark, String fileMd5, String fileName, Long fileSize, String fileType, String fileExt) {//获取块文件的路径String chunkfileFolderPath = getChunkFileFolderPath(fileMd5);//创建文件目录File chunkfileFolder = new File(chunkfileFolderPath);//目录是否存在， 不存在就创建目录if (!chunkfileFolder.exists()) {chunkfileFolder.mkdirs();}//合并文件，创建新的文件对象File mergeFile = new File(getFilePath(fileMd5, fileExt));// 合并文件存在先删除再创建if (mergeFile.exists()) {mergeFile.delete();}boolean newFile = false;try {//创建文件newFile = mergeFile.createNewFile();} catch (IOException e) {e.printStackTrace();}if (!newFile) {//创建失败return Result.error("创建文件失败！");}//获取块文件，此列表是已经排好序的列表List<File> chunkFiles = getChunkFiles(chunkfileFolder);//合并文件mergeFile = mergeFile(mergeFile, chunkFiles);if (mergeFile == null) {return Result.error("合并文件失败！");}//校验文件boolean checkResult = this.checkFileMd5(mergeFile, fileMd5);if (!checkResult) {return Result.error("文件校验失败！");}//将文件信息保存到数据库BigFile bigFile = new BigFile();//MD5作为文件唯一IDbigFile.setFileId(fileMd5);//文件名bigFile.setFileName(fileMd5 + "." + fileExt);//源文件名bigFile.setFileOriginalName(fileName);//文件路径保存相对路径bigFile.setFilePath(getFileFolderRelativePath(fileMd5, fileExt));bigFile.setFileSize(fileSize);bigFile.setUploadTime(new Date());bigFile.setFileType(fileType);bigFile.setFileType(fileExt);bigFile.setDeptId(deptId);bigFile.setRemark(remark);// 更新状态bigFile.setFileStatus(1);bigFileMapper.insert(mediaFile);// 后台上传oss完毕再更新云端地址，更新状态return Result.success("视频上传成功");}/**根据文件md5得到文件路径*/private String getFilePath(String fileMd5, String fileExt) {String filePath = uploadPath + fileMd5.substring(0, 1) + "/" + fileMd5.substring(1, 2) + "/" + fileMd5 + "/" + fileMd5 + "." + fileExt;return filePath;}//得到文件目录相对路径，路径中去掉根目录private String getFileFolderRelativePath(String fileMd5, String fileExt) {String filePath = fileMd5.substring(0, 1) + "/" + fileMd5.substring(1, 2) + "/" + fileMd5 + "/";return filePath;}//得到文件所在目录private String getFileFolderPath(String fileMd5) {String fileFolderPath = uploadPath + fileMd5.substring(0, 1) + "/" + fileMd5.substring(1, 2) + "/" + fileMd5 + "/";return fileFolderPath;}//创建文件目录private boolean createFileFold(String fileMd5) {//创建上传文件目录String fileFolderPath = getFileFolderPath(fileMd5);File fileFolder = new File(fileFolderPath);if (!fileFolder.exists()) {//创建文件夹boolean mkdirs = fileFolder.mkdirs();log.info("创建文件目录 {} ,结果 {}", fileFolder.getPath(), mkdirs);return mkdirs;}return true;}//得到块文件所在目录private String getChunkFileFolderPath(String fileMd5) {String fileChunkFolderPath = getFileFolderPath(fileMd5) + "/" + "chunks" + "/";return fileChunkFolderPath;}/*** 创建块文件目录*/private boolean createChunkFileFolder(String fileMd5) {//创建上传文件目录String chunkFileFolderPath = getChunkFileFolderPath(fileMd5);File chunkFileFolder = new File(chunkFileFolderPath);if (!chunkFileFolder.exists()) {//创建文件夹boolean mkdirs = chunkFileFolder.mkdirs();return mkdirs;}return true;}/*** 校验文件完整性* @param mergeFile* @param md5* @return*/private boolean checkFileMd5(File mergeFile, String md5) {if (mergeFile == null || StringUtils.isEmpty(md5)) {return false;}//进行md5校验FileInputStream mergeFileInputstream = null;try {mergeFileInputstream = new FileInputStream(mergeFile);//得到文件的md5String mergeFileMd5 = DigestUtils.md5Hex(mergeFileInputstream);//比较md5if (md5.equalsIgnoreCase(mergeFileMd5)) {return true;}} catch (Exception e) {e.printStackTrace();} finally {try {mergeFileInputstream.close();} catch (IOException e) {e.printStackTrace();}}return false;}/*** 获取所有分片文件* @param chunkfileFolder* @return*/private List<File> getChunkFiles(File chunkfileFolder) {//获取路径下的所有块文件File[] chunkFiles = chunkfileFolder.listFiles();//将文件数组转成list，并排序List<File> chunkFileList = new ArrayList<File>();chunkFileList.addAll(Arrays.asList(chunkFiles));//排序Collections.sort(chunkFileList, (o1, o2) -> {if (Integer.parseInt(o1.getName()) > Integer.parseInt(o2.getName())) {return 1;}return -1;});return chunkFileList;}/*** 合并文件 流写入* @param mergeFile* @param chunkFiles* @return*/private File mergeFile(File mergeFile, List<File> chunkFiles) {try {//创建写文件对象RandomAccessFile raf_write = new RandomAccessFile(mergeFile, "rw");//遍历分块文件开始合并// 读取文件缓冲区byte[] b = new byte[1024];for (File chunkFile : chunkFiles) {RandomAccessFile raf_read = new RandomAccessFile(chunkFile, "r");int len = -1;//读取分块文件while ((len = raf_read.read(b)) != -1) {//向合并文件中写数据raf_write.write(b, 0, len);}raf_read.close();}raf_write.close();} catch (Exception e) {e.printStackTrace();return null;}return mergeFile;}
}

@Data
public class BigFile  {private Long id;/*** 文件的ID*/private String fileId;/*** 文件名*/private String fileName;/*** 源文件名*/private String fileOriginalName;/*** oss地址*/private String fileUrl;/*** 临时本地存储目录*/private String filePath;/*** 文件类型*/private String fileType;/*** 1待上传 2 上传成功 3上传失败*/private Integer fileStatus;/*** 文件总大小*/private Long fileSize;/*** 上传时间*/private Date uploadTime;/*** 部门id*/private Long deptId;/*** 备注*/private String remark;
}

数据库

CREATE TABLE `big_file` (`id` bigint NOT NULL AUTO_INCREMENT,`file_id` varchar(255) DEFAULT NULL COMMENT '文件的ID',`file_name` varchar(255) DEFAULT NULL COMMENT '文件名',`file_original_name` varchar(255) DEFAULT NULL COMMENT '原文件名',`file_url` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci DEFAULT NULL COMMENT 'oss地址',`file_path` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci DEFAULT NULL COMMENT '临时本地存储目录',`file_type` varchar(255) DEFAULT NULL COMMENT '文件类型',`file_status` tinyint DEFAULT NULL COMMENT '1待上传 2 上传成功 3上传失败',`file_size` bigint DEFAULT NULL COMMENT '文件总大小',`upload_time` datetime DEFAULT NULL COMMENT '上传时间',`dept_id` bigint DEFAULT NULL COMMENT '部门id',`remark` varchar(255) DEFAULT NULL COMMENT '备注',PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3;

四、文件上传服务器本地完毕

上传到本地，可以推送到三方服务器进行存储。