前端大文件上传

一、切片上传技术原理

切片上传是把大文件分割成多个较小的切片，分别上传这些切片，最后在服务器端将它们合并成完整文件。这种方式能有效应对网络不稳定导致的上传失败问题，还可利用多线程并行上传，提升上传效率。

二、前端实现步骤及与后端接口交互

1 文件选择与信息获取

用户通过文件选择框选择要上传的大文件。前端获取文件的基本信息，包括文件名、文件大小、文件类型等。这些信息将在后续的上传过程中发挥重要作用，例如文件名用于服务器端存储文件，文件大小用于计算切片数量和监控上传进度。

2 切片参数设定

根据服务器的性能和网络状况，合理确定切片的大小。一般来说，切片大小可以设置为 1MB - 5MB 之间。较小的切片在网络不稳定时能更好地实现断点续传，但会增加服务器合并的工作量；较大的切片则反之。

3 文件切片操作

使用 JavaScript 的 File.prototype.slice 方法对文件进行切片。从文件的起始位置开始，按照设定的切片大小依次截取文件片段，直到文件末尾。每个切片都有其在原文件中的偏移量和唯一标识，方便服务器识别和排序。

4 切片信息生成

为每个切片生成唯一的标识，可采用 UUID 算法。同时记录切片的索引、总切片数量、文件的唯一标识等信息。这些信息将与切片数据一起发送到服务器，用于服务器端的切片合并和文件完整性验证。

5 预上传请求（与后端接口 1：预检查接口）

接口功能

前端向后端发送预上传请求，携带文件的基本信息（文件名、文件大小、文件哈希值等）。后端接收到请求后，检查该文件是否已存在于服务器中。若存在，则返回已上传的切片信息，前端可以根据这些信息跳过已上传的切片，直接上传未完成的部分；若不存在，则为此次上传创建记录，并返回允许上传的标识，前端可以开始上传所有切片。

接口请求方式

通常采用 POST 请求，将文件信息以 JSON 格式或表单数据的形式发送到后端。

接口返回数据

• 若文件已存在：返回已上传的切片索引列表。

• 若文件不存在：返回一个唯一的上传标识，用于后续切片上传和合并操作的关联。

6 切片上传请求（与后端接口 2：切片上传接口）

接口功能

前端根据预上传请求的结果，将未上传的切片逐个发送到后端。每个请求携带切片数据、切片信息（索引、总切片数量、文件唯一标识等）。后端接收到切片后，将其存储到临时目录，并记录切片的存储路径和相关信息。

接口请求方式

采用 POST 请求，请求体为 multipart/form-data 格式，包含切片文件和切片信息。

接口返回数据

返回上传成功的标识或状态码，前端根据返回结果更新上传进度和状态。

3.7 上传进度监控

在切片上传过程中，前端实时监控上传进度。可以通过监听请求的 progress 事件，获取已上传的字节数和总字节数，计算出上传进度百分比，并将进度信息展示给用户。同时，将上传进度信息存储在本地，以便在上传中断后恢复时使用。

3.8 断点续传处理

若上传过程中出现网络中断或其他异常情况，前端记录已上传的切片信息。重新上传时，再次调用预上传接口，获取未上传的切片列表，继续上传未完成的切片，实现断点续传功能。

9 合并请求（与后端接口 3：切片合并接口）

接口功能

当所有切片上传完成后，前端向后端发送合并请求，携带文件唯一标识和总切片数量。后端接收到请求后，根据记录的切片信息，按顺序将切片合并成完整文件，并进行完整性验证。验证通过后，将合并后的文件移动到指定存储位置，并清理临时切片文件。

接口请求方式

采用 POST 请求，将文件唯一标识和总切片数量以 JSON 格式或表单数据的形式发送到后端。

接口返回数据

返回合并成功的标识或状态码，以及合并后文件的存储路径或访问链接。

<template><div class="break-point"><div class="gva-table-box"><el-divider content-position="left">大文件上传</el-divider><form id="fromCont" method="post"><div class="fileUpload" @click="inputChange">选择文件<input v-show="false" id="file" ref="FileInput" multiple="multiple" type="file" @change="choseFile"></div></form><el-button :disabled="limitFileSize" type="primary" size="small" class="uploadBtn" @click="getFile">上传文件</el-button><div class="el-upload__tip">请上传不超过5MB的文件</div><div class="list"><transition name="list" tag="p"><div v-if="file" class="list-item"><el-icon><document /></el-icon><span>{{ file.name }}</span><span class="percentage">{{ percentage }}%</span><el-progress :show-text="false" :text-inside="false" :stroke-width="2" :percentage="percentage" /></div></transition></div><div class="tips">此版本为先行体验功能测试版，样式美化和性能优化正在进行中，上传切片文件和合成的完整文件分别再QMPlusserver目录的breakpointDir文件夹和fileDir文件夹</div></div></div></template><script setup>
import SparkMD5 from 'spark-md5'
import {findFile,breakpointContinueFinish,removeChunk,breakpointContinue
} from '@/api/breakpoint'
import { ref, watch } from 'vue'
import { ElMessage } from 'element-plus'
import { ElLoading } from 'element-plus'const file = ref(null) // 读取的文件信息，可以读取文件大小、同时生成MD5标识等等。
const fileMd5 = ref('') // Md5加密标识
const formDataList = ref([]) // 分片存储的一个池子，{ key: sliceIndex.value, formData }
const waitUpLoad = ref([]) // 当是断点续传，剩下没有上传的切片
const waitNum = ref(NaN) // 当是断点续传，剩下没有上传的切片数量
const limitFileSize = ref(false)
const percentage = ref(0)
const percentageFlage = ref(true)
const FileSliceCap = 10 * 1024 * 1024 // 分片字节数，如果分的太细需要发送很多个分片请求。
const sliceStart = ref(0) // 定义分片开始切的地方
const sliceEnd = ref(0) // 每片结束切的地方a
const sliceIndex = ref(0) // 第几片
const allChunkSize = ref(0) // 所有大切片的累加体积
const isCreateMd5 = ref(true) // 是否生成Md5
const limitSize = 2000 * 1024 * 1024 // 浏览器对于上传的文件有限定大小，大于2G的文件无法上传。我们需要对大于2G的文件先切成大的chunk
const ChunkSizeCap = 2000 * 1024 * 1024 // 大的chunk容量
const maxSize = 10000 * 1024 * 1024 // 限制上传的文件大小
let moreThan_2G = falseconst init = () => {percentage.value = 0allChunkSize.value = 0sliceStart.value = 0sliceEnd.value = 0sliceIndex.value = 0moreThan_2G = file.value.size > limitSizeisCreateMd5.value = true
}// 选中文件的函数。如果文件大于2G，先进行一次切片。
const choseFile = async(e) => {const fileInput = e.target.files[0] // 获取当前文件file.value = fileInputinit()if (file.value.size < maxSize) {if (moreThan_2G) {formDataList.value = []let chunkStart = 0let chunkEnd = 0let chunkIndex = 0while (chunkEnd < file.value.size) {chunkStart = chunkIndex * ChunkSizeCap // 计算每片开始位置chunkEnd = (chunkIndex + 1) * ChunkSizeCap // 计算每片结束位置const fileChunk = file.value.slice(chunkStart, chunkEnd)sliceChunk(fileChunk)chunkIndex++}} else {sliceChunk(file.value)}} else {limitFileSize.value = trueElMessage('请上传小于5M文件')}
}/*** 对文件进行切片，同时根据文件信息生成md5，md5用于后端识别文件。* 切片信息包括：*  -md5*  -当前切片文件*  -当前是第几片*  -文件名* @param fileChunk*/
const sliceChunk = (fileChunk) => {const fileR = new FileReader() // 创建一个reader用来读取文件流percentage.value = 0fileR.readAsArrayBuffer(fileChunk) // 把文件读成ArrayBuffer  主要为了保持跟后端的流一致const loading = ElLoading.service({lock: true,text: 'Loading',background: 'rgba(0, 0, 0, 0.7)',})fileR.onload = async e => {allChunkSize.value += fileChunk.sizeif (isCreateMd5.value) {// 读成arrayBuffer的回调 e 为方法自带参数 相当于 dom的e 流存在e.target.result 中const blob = e.target.resultconst spark = new SparkMD5.ArrayBuffer() // 创建md5制造工具spark.append(blob) // 文件流丢进工具fileMd5.value = spark.end() // 工具结束 产生一个总文件的md5isCreateMd5.value = false}// 当结尾数字大于文件总size的时候 结束切片while (sliceEnd.value < file.value.size) {sliceStart.value = sliceIndex.value * FileSliceCap // 计算每片开始位置sliceEnd.value = (sliceIndex.value + 1) * FileSliceCap // 计算每片结束位置var fileSlice = fileChunk.slice(sliceStart.value, sliceEnd.value) // 开始切  file.slice 为 h5方法 对文件切片 参数为 起止字节数const formData = new window.FormData() // 创建FormData用于存储传给后端的信息formData.append('fileMd5', fileMd5.value) // 存储总文件的Md5 让后端知道自己是谁的切片formData.append('file', fileSlice) // 当前的切片formData.append('chunkNumber', sliceIndex.value) // 当前是第几片formData.append('fileName', file.value.name) // 当前文件的文件名 用于后端文件切片的命名  formData.appen 为 formData对象添加参数的方法formDataList.value.push({ key: sliceIndex.value, formData }) // 把当前切片信息 自己是第几片 存入我们方才准备好的池子sliceIndex.value++}if (allChunkSize.value === file.value.size) {loading.close()submitSlice()}}fileR.onerror = async e => {loading.close()ElMessage('文件读取失败')}
}/*** 提交给后端要上传的文件信息，包括md5，切片数量等等。* 后端根据前端生成的md5与数据库文件的md5进行对比，如果一致那么就表示上传完成实现了秒传功能。* 如果数据库没有上传成功的文件，那么后端会返回对应文件已经上传的切片数据。* 前端formDataList和对应文件已经上传的切片数据进行对比，判断还需要上传哪些切片，从而实现断点上传。* @returns {Promise<void>}*/
const submitSlice = async() => {const params = {fileName: file.value.name,fileMd5: fileMd5.value,chunkTotal: formDataList.value.length}console.log(params)const res = await findFile(params)// 全部切完以后 发一个请求给后端 拉当前文件后台存储的切片信息 用于检测有多少上传成功的切片const finishList = res.data.file.ExaFileChunk // 上传成功的切片const IsFinish = res.data.file.IsFinish // 是否是同文件不同命 （文件md5相同 文件名不同 则默认是同一个文件但是不同文件名 此时后台数据库只需要拷贝一下数据库文件即可 不需要上传文件 即秒传功能）if (!IsFinish) {// 当是断点续传时候waitUpLoad.value = formDataList.value.filter(all => {return !(finishList &&finishList.some(fi => fi.FileChunkNumber === all.key))})} else {waitUpLoad.value = [] // 秒传则没有需要上传的切片ElMessage.success('文件已秒传')}waitNum.value = waitUpLoad.value.length // 记录长度用于百分比展示
}const getFile = () => {// 确定按钮if (file.value === null) {ElMessage('请先上传文件')return}if (percentage.value === 100) {percentageFlage.value = false}sliceFile() // 上传切片
}/*** 获取当前切片md5，主要用于后端验证切片完整性*/
const sliceFile = () => {waitUpLoad.value &&waitUpLoad.value.forEach(item => {// 需要上传的切片item.formData.append('chunkTotal', formDataList.value.length) // 切片总数携带给后台 总有用的const fileR = new FileReader() // 功能同上const fileF = item.formData.get('file')fileR.readAsArrayBuffer(fileF)fileR.onload = e => {const spark = new SparkMD5.ArrayBuffer()spark.append(e.target.result)item.formData.append('chunkMd5', spark.end())upLoadFileSlice(item)}})
}watch(() => waitNum.value, () => {percentage.value = Math.floor(((formDataList.value.length - waitNum.value) / formDataList.value.length) * 100)
})/*** 上传切片信息，有多少个切片就发送多少个请求，因此切片大小和数量要根据实际情况去定。* 切片上传完毕以后，还要给后端再次发送一次请求，让后端合成文件并删除缓存切片。*/
const upLoadFileSlice = async(item) => {// 切片上传const fileRe = await breakpointContinue(item.formData)if (fileRe.code !== 0) {return}waitNum.value-- // 百分数增加if (waitNum.value === 0) {// 切片传完以后 合成文件const params = {fileName: file.value.name,fileMd5: fileMd5.value}const res = await breakpointContinueFinish(params)if (res.code === 0) {// 合成文件过后 删除缓存切片const params = {fileName: file.value.name,fileMd5: fileMd5.value,filePath: res.data.filePath,}ElMessage.success('上传成功')await removeChunk(params)}}
}const FileInput = ref(null)
const inputChange = () => {FileInput.value.dispatchEvent(new MouseEvent('click'))
}
</script><script>export default {name: 'BreakPoint'
}
</script><style lang="scss" scoped>
h3 {margin: 40px 0 0;
}ul {list-style-type: none;padding: 0;
}li {display: inline-block;margin: 0 10px;
}a {color: #42b983;
}#fromCont {display: inline-block;
}.fileUpload {padding: 3px 10px;font-size: 12px;height: 20px;line-height: 20px;position: relative;cursor: pointer;color: #000;border: 1px solid #c1c1c1;border-radius: 4px;overflow: hidden;display: inline-block;input {position: absolute;font-size: 100px;right: 0;top: 0;opacity: 0;cursor: pointer;}
}.fileName {display: inline-block;vertical-align: top;margin: 6px 15px 0 15px;
}.uploadBtn {position: relative;top: -10px;margin-left: 15px;
}.tips {margin-top: 30px;font-size: 14px;font-weight: 400;color: #606266;
}.el-divider {margin: 0 0 30px 0;
}.list {margin-top: 15px;
}.list-item {display: block;margin-right: 10px;color: #606266;line-height: 25px;margin-bottom: 5px;width: 40%;.percentage {float: right;}
}.list-enter-active, .list-leave-active {transition: all 1s;
}.list-enter, .list-leave-to/* .list-leave-active for below version 2.1.8 */
{opacity: 0;transform: translateY(-30px);
}
</style>

import request from '@/utils/request'// 查找文件
export const findFile = (params) => {return request({url: '/fileUploadAndDownload/findFile',method: 'post',data: params})
}// 断点续传
export const breakpointContinue = (data) => {return request({url: '/fileUploadAndDownload/breakpointContinue',method: 'post',data: data})
}// 断点续传完成
export const breakpointContinueFinish = (params) => {return request({url: '/fileUploadAndDownload/breakpointContinueFinish',method: 'post',data: params})
}// 删除切片
export const removeChunk = (params) => {return request({url: '/fileUploadAndDownload/removeChunk',method: 'post',data: params})
}