WebSocket 传输大量数据好不好?稳定不稳定
使用 WebSocket 传输大量数据 是可行的,但在实际应用中需要注意一些限制和优化策略。以下是关于 WebSocket 传输大量数据的详细分析:
1. WebSocket 传输大量数据的可行性
优点
- 实时性:WebSocket 是全双工通信协议,适合实时传输数据。
- 高效性:WebSocket 基于 TCP 协议,数据传输效率高。
- 支持二进制数据:WebSocket 支持传输二进制数据(如文件、图片),适合传输大量数据。
缺点
- 内存占用:如果一次性传输大量数据,可能会导致客户端或服务器内存占用过高。
- 网络稳定性:如果网络不稳定,传输大量数据可能会导致连接中断或数据丢失。
- 性能瓶颈:如果数据量过大,可能会影响 WebSocket 的性能,导致延迟或卡顿。
2. WebSocket 传输数据的限制
数据大小限制
- 理论限制:WebSocket 协议本身没有对数据大小做硬性限制,可以传输非常大的数据。
- 实际限制:
- 浏览器限制:不同浏览器对 WebSocket 消息的大小有不同的限制。通常,单条消息的最大大小为 16 MB 左右。
- 服务器限制:服务器可能对 WebSocket 消息的大小有限制,具体取决于服务器配置。
- 网络限制:如果网络带宽较低,传输大量数据可能会导致延迟或丢包。
稳定性
- 连接稳定性:WebSocket 连接是持久的,但如果网络不稳定,连接可能会中断。
- 数据完整性:WebSocket 本身不提供数据完整性校验,需要应用层实现(如分片传输、校验和重传机制)。
3. 传输大量数据的优化策略
如果需要在 WebSocket 上传输大量数据,可以采用以下优化策略:
1. 分片传输
将大量数据分成多个小块(分片),逐块传输。前端和后端需要约定分片的大小和顺序。
示例
-
后端:
const data = /* 大量数据 */; const chunkSize = 1024 * 1024; // 每块 1 MB for (let i = 0; i < data.length; i += chunkSize) {const chunk = data.slice(i, i + chunkSize);ws.send(chunk); }
-
前端:
let receivedData = []; ws.onmessage = (event) => {receivedData.push(event.data);if (event.data.isLastChunk) { // 假设最后一块有标记const fullData = receivedData.join('');console.log('完整数据:', fullData);} };
2. 压缩数据
在传输前对数据进行压缩(如 Gzip),减少传输的数据量。
示例
-
后端:
const zlib = require('zlib'); const data = /* 大量数据 */; zlib.gzip(data, (err, compressed) => {if (!err) {ws.send(compressed);} });
-
前端:
const decompress = (data) => {return new Promise((resolve) => {const decompressor = new DecompressionStream('gzip');const reader = data.stream().pipeThrough(decompressor).getReader();let result = '';reader.read().then(function processText({ done, value }) {if (done) {resolve(result);return;}result += new TextDecoder().decode(value);return reader.read().then(processText);});}); };ws.onmessage = async (event) => {const decompressedData = await decompress(event.data);console.log('解压后的数据:', decompressedData); };
3. 使用二进制数据
如果传输的是文件或图片等二进制数据,可以使用 WebSocket 的二进制模式。
示例
-
后端:
const fs = require('fs'); const fileData = fs.readFileSync('large-file.bin'); ws.send(fileData, { binary: true });
-
前端:
ws.binaryType = 'arraybuffer'; ws.onmessage = (event) => {const arrayBuffer = event.data;const file = new Blob([arrayBuffer], { type: 'application/octet-stream' });console.log('接收到的文件:', file); };
4. 断点续传
如果传输过程中连接中断,可以实现断点续传机制,记录已传输的数据量,从中断处继续传输。
示例
-
后端:
let offset = 0; // 记录已传输的数据量 ws.on('message', (message) => {if (message.type === 'request_chunk') {const chunk = data.slice(offset, offset + chunkSize);ws.send(chunk);offset += chunkSize;} });
-
前端:
let offset = 0; ws.onmessage = (event) => {const chunk = event.data;// 处理 chunkoffset += chunk.length;if (offset < totalSize) {ws.send(JSON.stringify({ type: 'request_chunk' }));} };
5. 总结
- WebSocket 传输大量数据,需要注意数据大小限制和网络稳定性。
- 优化策略:
- 分片传输:将数据分成小块逐块传输。
- 压缩数据:减少传输的数据量。
- 使用二进制模式:适合传输文件或图片。
- 断点续传:确保传输中断后可以继续传输。
4. 通常情况下“不建议使用 WebSocket 传输大量数据”
虽然 WebSocket 支持传输大量数据,但在实际应用中,传输大量数据可能会带来以下问题:
1. WebSocket 传输大量数据的问题
1.1 内存占用
- 前端:如果一次性接收大量数据,可能会导致浏览器内存占用过高,甚至崩溃。
- 后端:如果同时有多个客户端传输大量数据,服务器内存可能会迅速耗尽。
1.2 网络稳定性
- 带宽限制:如果网络带宽较低,传输大量数据可能会导致延迟或丢包。
- 连接中断:WebSocket 连接是持久的,但如果网络不稳定,连接可能会中断,导致数据传输失败。
1.3 性能瓶颈
- 单条消息限制:虽然 WebSocket 协议本身没有对数据大小做硬性限制,但浏览器和服务器通常会对单条消息的大小有限制(如 16 MB)。
- 处理延迟:传输大量数据可能会导致 WebSocket 的性能下降,增加处理延迟。
2. 如果一定要传输大量数据,建议以下处理
2.1 分片传输
将大量数据分成多个小块(分片),逐块传输。这种方式可以减少单次传输的数据量,降低内存占用和网络压力。
示例
-
后端:
const data = /* 大量数据 */; const chunkSize = 1024 * 1024; // 每块 1 MB for (let i = 0; i < data.length; i += chunkSize) {const chunk = data.slice(i, i + chunkSize);ws.send(chunk); }
-
前端:
let receivedData = []; ws.onmessage = (event) => {receivedData.push(event.data);if (event.data.isLastChunk) { // 假设最后一块有标记const fullData = receivedData.join('');console.log('完整数据:', fullData);} };
2.2 HTTP 文件上传
对于文件或图片等大量数据,可以使用 HTTP 文件上传(如 multipart/form-data
),而不是通过 WebSocket 传输。
示例
-
前端:
<input type="file" @change="uploadFile" />
methods: {uploadFile(event) {const file = event.target.files[0];const formData = new FormData();formData.append('file', file);axios.post('/upload', formData, {headers: {'Content-Type': 'multipart/form-data'}}).then(response => {console.log('文件上传成功:', response.data);}).catch(error => {console.error('文件上传失败:', error);});} }
-
后端:
const multer = require('multer'); const upload = multer({ dest: 'uploads/' });app.post('/upload', upload.single('file'), (req, res) => {console.log('文件已上传:', req.file);res.send({ status: 'success', file: req.file }); });
2.3 使用专门的传输协议
对于超大量数据(如视频流、大文件),可以使用专门的传输协议(如 FTP、SFTP、HTTP/2 或 WebRTC)。
示例
- FTP/SFTP:适合传输大文件,支持断点续传。
- HTTP/2:支持多路复用和流式传输,适合传输大量数据。
- WebRTC:适合实时传输音视频数据。
3. WebSocket 的最佳使用场景
WebSocket 最适合以下场景:
- 实时通信:如聊天应用、实时通知。
- 小数据量传输:如用户状态更新、控制指令。
- 低频更新:如股票价格变动、新闻更新。
4. 总结
- 不建议使用 WebSocket 传输大量数据,因为可能会导致内存占用过高、网络不稳定和性能瓶颈。
- 替代方案:
- 分片传输:将数据分成小块逐块传输。
- HTTP 文件上传:适合传输文件或图片。
- 使用专门的传输协议:如 FTP、HTTP/2 或 WebRTC。
相关文章:
WebSocket 传输大量数据好不好?稳定不稳定
使用 WebSocket 传输大量数据 是可行的,但在实际应用中需要注意一些限制和优化策略。以下是关于 WebSocket 传输大量数据的详细分析: 1. WebSocket 传输大量数据的可行性 优点 实时性:WebSocket 是全双工通信协议,适合实时传输数…...
代码随想录刷题day52|(二叉树篇)106.从中序与后序遍历序列构造二叉树(▲
目录 一、二叉树理论知识 二、构造二叉树思路 2.1 构造二叉树流程(给定中序后序 2.2 整体步骤 2.3 递归思路 2.4 给定前序和后序 三、相关算法题目 四、易错点 一、二叉树理论知识 详见:代码随想录刷题day34|(二叉树篇)二…...
无人设备遥控器之调度自动化技术篇
一、技术原理 信息采集与处理: 通过传感器、仪表等设备采集无人设备的各种数据,如位置、速度、状态等。 将采集到的数据传输到调度自动化系统中进行处理和分析,以获取设备的实时状态。 系统建模与优化: 调度自动化系统会根据…...
红宝书第十五讲:详解JavaScript迭代器与生成器:Symbol.iterator与yield
红宝书第十五讲:详解JavaScript迭代器与生成器:Symbol.iterator与yield 资料取自《JavaScript高级程序设计(第5版)》。 查看总目录:红宝书学习大纲 一、迭代器(Iterator)的“传送带”模式 迭代…...
【AI】NLP
不定期更新,建议关注收藏点赞。 目录 transformer大语言模型Google Gemma疫情网民情绪识别 整体框架 baseline构建 模型调参、模型优化、其他模型 数据trick、指标优化、magic feature 数据增强、伪标签、迁移学习 模型融合sklearn中TFIDF参数详解 频率阈值可以去掉…...
ENSP学习day10
NAT地址转换技术(一) NAT(Network Address Translation)地址转换技术是一种在计算机网络中常用的技术,在数据包从一个网络传输到另一个网络时,会对数据包中的源IP地址和目的IP地址进行修改的过程。这种技术…...
文件上传绕过的小点总结(4)
9.末尾点删除处理缺陷 给出源码: $file_name trim($_FILES[upload_file][name]); $file_name deldot($file_name);//删除文件名末尾的点 $file_ext strrchr($file_name, .); $file_ext strtolower($file_ext); //转换为小写 $file_ext str_ireplace(::$DATA,…...
实战-MySQL5.7升级8.0遇到的四个问题
近期几个项目的MySQL由5.7升级到8.0,升级过程中遇到四个问题,记录下来分享一下: 第一个问题详见之前的文章: MySQL 5.7升级8.0报异常:处理新增关键字 第二个问题详见之前的文章: MySQL 5.7升级8.0报异常…...
卷积神经网络的原理、实现及变体
卷积神经网络convolutional neural network,CNN 是为处理图像数据而生的网络,主要由卷积层(填充和步幅)、池化层(汇聚层)、全连接层组成。 卷积 虽然卷积层得名于卷积(convolution)…...
java 线程创建Executors 和 ThreadPoolExecutor 和 CompletableFuture 三者 区别
Executors是一个线程池的工具类,而ThreadPoolExecutor是Executor接口的一个实现,是线程池的核心类。 Executors提供了多种快速创建线程池的方法,而ThreadPoolExecutor则提供了更高的自定义和控制能力。 Executors是一个工具类࿰…...
Redisson 实现分布式锁简单解析
目录 Redisson 实现分布式锁业务方法:加锁逻辑LockUtil 工具类锁余额方法:工具类代码枚举代码 RedisUtil 工具类tryLock 方法及重载【分布式锁具体实现】Supplier 函数式接口调用分析 Redisson 实现分布式锁 业务方法: 如图,简单…...
Python条件处理,新手入门到精通
Python条件处理,新手入门到精通 对话实录 **小白**:(崩溃)我写了if x 1:,为什么Python会报错? **专家**:(推眼镜)**是赋值,才是比较**!想判断相…...
详细比较StringRedisTemplate和RedisTemplate的区别及使用方法,及解决融合使用方法
前言 感觉StringRedisTemplate和RedisTemplate非常的相识,到底有什么区别和联系呢?点开idea,打开其依赖关系,可以看出只需使用maven依赖包spring-boot-starter-data-redis,然后在service中注入StringRedisTemplate或者…...
开源模型应用落地-语音转文本-whisper模型-AIGC应用探索(五)
一、前言 在上一节中,学习了如何使用vLLM来部署Whisper-large-v3-turbo模型。不过,在实际使用时,模型一次只能处理30秒的音频。今天,将结合实际业务,介绍如何处理一段完整的音频,并生成相应的字幕文件。 相…...
python每日十题(10)
在Python语言中,源文件的扩展名(后缀名)一般使用.py。 保留字,也称关键字,是指被编程语言内部定义并保留使用的标识符。Python 3.x有35个关键字,分别为:and,as,assert&am…...
安装和部署Tomcat并在idea创建web文件
一、背景 实验任务为安装Tomcat并创建web文件 为提高安装效率并且通俗易懂,免得大量文字浪费时间,这里我们采用图片加文字的方式来给大家讲解这个安装教程。 二、安装过程 首先第一步一定要注意你是否下载了JDK,如果你是像我一样下载一个…...
【Linux】Ubuntu 24.04 LTS 安装 OpenJDK 8
目录 通过 apt-get 直接安装 JDK 1. 更新 apt 软件源 2. 检查 JDK 是否已安装 3. 安装OpenJDK 4. 检查 JDK 是否成功安装 5. 设置 JAVA_HOME 环境变量 找到需要设置的 Java 路径 使用文本编辑器打开/etc/environment文件 添加 Java 安装路径 应用更改和验证配置 通过…...
图灵300题-21~40-笔记002
图灵300题 图灵面试题视频:https://www.bilibili.com/video/BV17z421B7rB?spm_id_from333.788.videopod.episodes&vd_sourcebe7914db0accdc2315623a7ad0709b85&p20。 本文是学习笔记,如果需要面试没有时间阅读原博文,可以快速浏览笔…...
蓝桥杯--bfs专题第二个题目(leetcode103二叉树)
文章目录 1.题目概述2.思路分析3.代码分析 1.题目概述 这个题目是关于二叉树的锯齿形的遍历:这个锯齿形是什么意思呢?简单的通俗的解释,就是S型的,例如下面的这个示例里面的二叉树: 第一行从左到右:但是只…...
React 知识回顾(HOC、合成事件、Fiber)
HOC 嗯,用户问的是HOC是什么以及它能用来做什么。我需要先理解HOC的基本概念,然后整理它的用途。根据搜索结果,HOC是React中的高阶组件,用来复用逻辑。网页1提到HOC是一个函数,接收组件返回新组件,属于设计…...
s1: Simple test-time scaling 【论文阅读笔记】
s1: Simple test-time scaling 关于test-time scaling 这个概念其实是相对 train scaling而言的。train scalling 指的是增加训练数据,增加训练flops等等,投入更多资源在train上。test-time scaling,其实现在简化点的理解,就是 …...
基于 Milvus 和 BiomedBERT 的医学文献智能搜索系统
前言 随着医学研究的不断深入,文献数量呈爆炸式增长,如何快速从海量文献中提取关键信息成为一大挑战。最近,我基于 Milvus 向量数据库和 BiomedBERT 嵌入模型,开发了一个智能搜索系统,支持语义搜索和关键词匹配&#…...
ASP.NET Web的 Razor Pages应用,配置热重载,解决.NET Core MVC 页面在更改后不刷新
Razor Pages应用,修改页面查看修改效果,如果没有热重载,改一句话跑一次,这个活就没法干了。 1、VS2022中的NuGet中安装RuntimeCompilation Microsoft.AspNetCore.Mvc.Razor.RuntimeCompilation 需要配套你的.net sdk版本&#x…...
MySQL 对text类型字段添加索引
对于 MySQL 中的 text 类型字段,可以通过以下步骤向其添加索引: 创建辅助字段:创建一个辅助字段,将该字段的一部分数据转移到辅助字段中。例如,可以创建一个 varchar 类型的字段来存储 text 字段的前缀。 添加索引&am…...
深入解析SQL2API平台:数据交互革新者
在数字化转型持续深入的当下,企业对数据的高效利用与管理的需求愈发迫切。SQL2API平台应运而生,成为助力企业突破数据交互困境的有力工具,特别是它由麦聪软件基于DaaS(数据即服务)产品创新衍生而来,备受业界…...
@Autowired 和 @Resource 注解的区别
前言 Autowired 和 Resource 是 Spring 中用于依赖注入的注解,但两者在实现机制和使用方式上有显著差异。 主要区别 1.来源不同 Autowired:由 Spring 框架提供(org.springframework.beans.factory.annotation),与 S…...
稳定运行的以ElasticSearch数据库为数据源和目标的ETL性能变差时提高性能方法和步骤
在使用 Elasticsearch 作为数据源和目标的 ETL(Extract, Transform, Load)过程中,性能逐渐变差的原因可能有很多,比如查询效率下降、集群负载过高、资源配置不合理等。 性能的提升通常需要从多个方面入手,尤其是在处理…...
游戏引擎学习第182天
回顾和今天的计划 昨天的进展令人惊喜,原本的调试系统已经被一个新的系统完全替换,新系统不仅能完成原有的所有功能,还能捕获完整的调试信息,包括时间戳等关键数据。这次的替换非常顺利,效果很好。 今天的重点是在此基…...
EJS缓存解决多页面相同闪动问题
基于 EJS 的模板引擎特性及其缓存机制,以下是关于缓存相同模块的详细解答: 一、EJS 缓存机制的核心能力 模板编译缓存 EJS 默认会将编译后的模板函数缓存在内存中,当相同模板文件被多次渲染时,会直接复用已编译的模板函数&#x…...
【MySQL】mysql日志文件
目录 日志文件特征 错误日志(Error log ) 常规查询日志(General query log ) 慢速查询日志(Slow query log ) 审计日志(Audit log ) 二进制日志(Binary log &#…...
【C++】STL性能优化实战
STL性能优化实战 STL (Standard Template Library) 是 C 标准库的核心部分,提供了各种容器、算法和迭代器。虽然 STL 提供了强大的功能,但不恰当的使用可能导致性能问题。下面我将详细介绍 STL 性能优化的实战技巧,并通过具体案例说明。 1.…...
Playwright + MCP:用AI对话重新定义浏览器自动化,效率提升300%!
一、引言:自动化测试的“瓶颈”与MCP的革新 传统自动化测试依赖开发者手动编写脚本,不仅耗时且容易因页面动态变化失效。例如,一个简单的登录流程可能需要开发者手动定位元素、处理等待逻辑,甚至反复调试超时问题。而MCP…...
12-scala样例类(Case Classes)
例类(Case classes)和普通类差不多,只有几点关键差别,接下来的介绍将会涵盖这些差别。样例类非常适合用于不可变的数据。 定义一个样例类 一个最简单的样例类定义由关键字case class,类名,参数列表&#…...
WPF 与 C# 开发深度剖析
一、引言 在当今的软件开发领域,Windows 平台依旧占据着重要的地位。而 WPF(Windows Presentation Foundation)作为微软推出的一款强大的用户界面(UI)框架,为开发者提供了丰富的功能和灵活的设计方式&…...
【工具使用-编译器】VScode(Ubuntu)使用
1. VScode的快捷键 快捷键功能说明Ctrl+Shift+P / F1显示命令面板Ctrl+P快速打开文件Ctrl+Shift+N新建窗口Ctrl+Shift+W关闭窗口Ctrl+,打开设置Ctrl+K Ctrl+S打开快捷键设置Ctrl+X剪切行(无选中时剪切整行)Ctrl+C复制行(无选中时复制整行)Alt+↑ / Alt+↓向上/向下移动行Sh…...
C# SerialPort 使用详解
总目录 前言 在工业控制、物联网、嵌入式开发等领域,串口通信(Serial Port Communication)是连接串行设备(如条码扫描器、GPS接收器等)与计算机的重要手段。C# 提供了内置的 SerialPort 类,简化了串口开发…...
数据结构--二叉排序树
一、二叉排序树的定义 二叉排序树,又称二叉查找树。 性质: 左子树结点值<根结点值<右子树结点值(进行中序遍历,可以得到一个递增的有序序列) 二、查找操作 利用二叉排序树的性质,如果树空,…...
FPGA的直方图均衡
文章目录 一、直方图均衡二、代码实现三、仿真 一、直方图均衡 直方图均衡(Histogram Equalization)是一种用于增强图像对比度的图像处理技术。它通过重新分配图像像素的灰度值,使得图像的灰度直方图在整个灰度范围内均匀分布,从而…...
使用Python将视频转化为gif
使用Python将视频转化为gif 一、前言二、准备三、测试 一、前言 最近想把喜欢的视频片段作成gif,就试着用Python做了下,感觉效果还行,这里做个记录。 二、准备 先下载安装对应的库,命令如下: pip install moviepy …...
基于javaweb的SpringBoot雪具商城系统设计与实现系统(源码+文档+部署讲解)
技术范围:SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容:免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、…...
Harbor镜像仓库迁移与高可用集群搭建HTTPS实现实战指南
实验环境 Ubuntu22.04操作系统 registry节点 10.0.0.91 master节点 10.0.0.92 backup节点 10.0.0.93 在企业信息化建设的不同演进阶段,私有镜像仓库的选型策略存在显著差异。近期主导完成某企业级容器镜像仓库升级项目,成功实现Docker Registry至Ha…...
redis--JavaSpring客户端
目录 一、引言 二、配置 三、相关操作 四、总结 一、引言 本篇文章会将redis与spring项目进行结合,看看再spring项目中,redis是如何使用的 二、配置 三、相关操作 四、总结 在spring项目中的使用和在基础项目上的使用有差异,但是差异并不大…...
JavaWeb3
聚合函数:把某一列的数据计算。count,max,min,avg,sum select count(id) from wife;-- 统计个数,不计算null,统计常量表示个数 select count(*) from wife; select min(id) from wife; select avg(age) from wife; 分组查询 select name,c…...
SAP-ABAP:SAP数据集成全场景技术指南(BAPI、RFC、IDOC、BATCHJOB、ODATA、WEBSERVICE):从实时交互到批量处理
SAP数据集成全场景技术指南:从实时交互到批量处理 #mermaid-svg-hpPMerJYUerla0BJ {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-hpPMerJYUerla0BJ .error-icon{fill:#552222;}#mermaid-svg-hpPMerJYUerla0BJ .er…...
QT笔记----QCheckBox
文章目录 概要1、QCheckBox 的基本概念2、单个QCheckBox3、多个QCheckBox同时应用3.1、实现效果3.2、实现Demo 概要 在 Qt 应用程序开发中,QCheckBox 是一个常用的用户界面元素,它允许用户在两种状态(选中和未选中)之间进行切换&a…...
试试智能体工作流,自动化搞定运维故障排查
APO 1.5.0版本全新推出的智能体工作流功能,让运维经验不再零散!只需将日常的运维操作和故障排查经验转化为标准化流程,就能一键复用,效率翻倍,从此告别重复劳动,把时间留给更有价值的创新工作。更贴心的是&…...
3.24[Q]Linux
我正在学习Linux,Linux设备管理是怎样的?详细解释,越细节越好 我正在学习Linux,在Linux设备管理中,什么是char device?以及block,usb device?详细解释,越细节越好 我正在学习Linux࿰…...
深度学习——图像相似度评价指标
这里写目录标题 PSNR(Peak Signal-to-Noise Ratio,峰值信噪比)定义公式代码 SSIMMS-SSIM (Multi Scale Structural Similarity Index Measure,多尺度结构相似性)CSS (Contrast-Structure Similarity 对比结构相似度)MA…...
CentOS安装sshpass工具-自动化SSH密码认证
sshpass是一个在Linux环境下用于自动化SSH密码认证的工具。 一、功能特点 自动化SSH登录:sshpass允许用户在命令行中直接传递密码,从而无需在SSH连接时手动输入密码。这对于自动化脚本和批处理任务非常有用,因为它可以在非交互式环境下完成…...
js 中 如何获取数组的交集【面试题】
一、数组元素为基本类型:Number、String、等基本类型时 1、使用 Set 和 filter(适用于两个数组) const intersection (arr1, arr2) > {const set new Set(arr2);return [...new Set(arr1)].filter(item > set.has(item)); };将第二…...