当前位置：首页 > news >正文

PyTorch ：优化的张量库

news 来源：原创 2025/8/10 1:23:52

PyTorch 是一个基于 Python 的开源机器学习框架，由 Facebook 的 AI 研究团队（现 Meta AI）于 2016 年推出。它专为深度学习设计，但也可用于传统的机器学习任务。PyTorch 的核心优势在于灵活性、动态计算图和易用性，使其成为学术界和工业界广泛使用的工具。

PyTorch 的核心特性

动态计算图（Dynamic Computation Graph）
PyTorch 使用动态图（Define-by-Run），允许用户在运行时动态构建和修改计算图。这与 TensorFlow 早期的静态图（需先定义再执行）形成对比，使得调试模型更直观，适合快速实验和复杂模型。
张量（Tensor）计算
PyTorch 的核心数据结构是 torch.Tensor，类似于 NumPy 的多维数组，但支持 GPU 加速计算。通过简单的代码即可将张量移动到 GPU 上，大幅提升运算速度。
自动微分（Autograd）
PyTorch 的 autograd 模块能自动计算梯度，无需手动实现反向传播。用户只需设置 requires_grad=True，框架会自动追踪相关操作并计算梯度。
神经网络模块（torch.nn）
提供构建神经网络的预定义层（如卷积层、循环神经网络层）、损失函数（如交叉熵、均方误差）和优化器（如 SGD、Adam），简化模型搭建流程。
与 Python 生态无缝集成
PyTorch 与 Python 科学计算库（如 NumPy、SciPy）兼容，可轻松与 Jupyter Notebook、Pandas 等工具结合使用。

PyTorch 的主要组件

torch
基础库，提供张量操作、数学函数和硬件加速（CPU/GPU）支持。
torch.autograd
实现自动微分，支持自定义反向传播逻辑。
torch.nn
包含神经网络层、损失函数和模型容器（如 Sequential、Module）。
torch.optim
提供优化算法（如 SGD、Adam、RMSProp）用于参数更新。
torch.utils.data
数据处理工具，包括数据集加载（Dataset）和数据批处理（DataLoader）。
torchvision（扩展库）
提供计算机视觉相关的数据集（如 CIFAR-10）、模型（如 ResNet）和数据增强工具。

PyTorch 的典型应用场景

学术研究：动态图的灵活性使其成为论文实现和原型设计的首选。
生产部署：通过 TorchScript 和 TorchServe 可将模型导出为独立于 Python 的格式，支持高性能部署。
自然语言处理（NLP）：与 Transformers 库（如 Hugging Face）深度集成。
计算机视觉（CV）：通过 torchvision 实现图像分类、目标检测等任务。

PyTorch 的优势

易用性：Python 风格的 API 设计，学习曲线平缓。
调试友好：动态图允许使用 Python 原生调试工具（如 pdb）。
社区支持：活跃的社区和丰富的教程资源（如官方文档、PyTorch Lightning）。
跨平台：支持 Linux、Windows、macOS，并可在云平台（如 AWS、GCP）运行。

示例代码：简单神经网络

import torch
import torch.nn as nn
import torch.optim as optim# 定义模型
class SimpleNN(nn.Module):def __init__(self):super().__init__()self.fc = nn.Linear(10, 1)  # 输入维度10，输出维度1def forward(self, x):return self.fc(x)# 初始化模型、损失函数和优化器
model = SimpleNN()
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.01)# 模拟数据
inputs = torch.randn(5, 10)  # 5个样本，每个样本10维
labels = torch.randn(5, 1)# 训练步骤
outputs = model(inputs)
loss = criterion(outputs, labels)
loss.backward()          # 反向传播计算梯度
optimizer.step()         # 更新参数
optimizer.zero_grad()    # 清空梯度

以下从多个维度深入解析其具体实现和核心机制：

1. 核心设计哲学

PyTorch 的核心理念是 “Define-by-Run”（运行时定义），即计算图在代码执行过程中动态构建。这种设计允许：

直观调试：可直接使用 Python 原生调试工具（如 pdb）追踪每一步计算。
灵活控制流：支持在模型运行时根据条件（如 if-else、循环）动态调整计算路径。
快速迭代：无需预先定义完整计算图，适合需要频繁修改模型结构的研究场景。

对比静态图框架（如 TensorFlow 1.x）

特性	PyTorch（动态图）	TensorFlow 1.x（静态图）
计算图构建时机	运行时动态构建	预先定义静态图，再执行
调试难度	低（直接调试 Python 代码）	高（需使用 `tf.Session`）
灵活性	高（支持动态控制流）	低（需用 `tf.cond` 等特殊操作符）

2. 关键组件与技术细节

(1) 张量（Tensor）

GPU 加速：通过 torch.cuda 模块，张量可一键转移到 GPU（tensor.to('cuda')）。
内存共享：通过 torch.from_numpy() 创建的张量与 NumPy 数组共享内存，避免数据复制开销。
自动微分支持：设置 tensor.requires_grad=True 后，PyTorch 自动追踪所有相关操作，构建计算图。

(2) 自动微分（Autograd）

计算图构建：每次张量操作会生成一个 Function 节点，记录操作类型和输入输出。
反向传播：调用 loss.backward() 时，从损失张量出发，沿计算图反向遍历，计算每个参数的梯度。
梯度管理：通过 optimizer.zero_grad() 清空梯度，防止梯度累积。

(3) 神经网络模块（`torch.nn`）

模块化设计：所有层（如 nn.Linear）和模型均继承自 nn.Module，可通过组合快速构建复杂结构。
参数管理：nn.Module.parameters() 自动收集所有可训练参数，便于优化器统一更新。
模型序列化：使用 torch.save(model.state_dict(), 'model.pth') 保存模型参数，支持跨设备加载。

(4) 分布式训练

多GPU并行：通过 DataParallel 或 DistributedDataParallel 实现数据并行。
RPC 框架：支持模型并行、参数服务器等复杂分布式训练模式。

3. 工作流程详解

PyTorch 的典型使用流程分为以下步骤：

数据准备

使用 Dataset 和 DataLoader 加载数据，支持并行加载和预处理。

from torch.utils.data import Dataset, DataLoader
class CustomDataset(Dataset):def __len__(self): ...def __getitem__(self, idx): ...
dataset = CustomDataset()
dataloader = DataLoader(dataset, batch_size=32, shuffle=True)

模型定义

继承 nn.Module 定义网络结构，并在 forward 方法中实现前向逻辑。

class MyModel(nn.Module):def __init__(self):super().__init__()self.layers = nn.Sequential(nn.Linear(784, 256),nn.ReLU(),nn.Linear(256, 10))def forward(self, x):return self.layers(x)

训练循环

前向计算、损失计算、反向传播、参数更新。

model = MyModel()
optimizer = optim.Adam(model.parameters())
criterion = nn.CrossEntropyLoss()for epoch in range(10):for inputs, labels in dataloader:outputs = model(inputs)loss = criterion(outputs, labels)optimizer.zero_grad()loss.backward()optimizer.step()

模型部署
- 通过 TorchScript 导出模型为独立于 Python 的格式（.pt 或 .onnx），支持 C++ 或移动端部署。
```
scripted_model = torch.jit.script(model)
scripted_model.save("model.pt")
```

4. 核心优势与适用场景

优势	具体表现
灵活性	动态图支持实时修改模型结构，适合研究中的快速实验（如强化学习、元学习）。
易用性	Pythonic 的 API 设计，与 NumPy 无缝交互，降低学习门槛。
生态系统	丰富的扩展库（如 TorchVision、TorchText、Hugging Face Transformers）。
生产就绪	支持通过 TorchServe 部署模型，或导出为 ONNX 格式兼容 TensorRT 等推理引擎。

典型应用场景

学术研究：动态图特性便于实现非标准模型（如图神经网络、概率模型）。
工业级训练：分布式训练支持千亿参数模型的并行优化。
边缘计算：通过 Torch Mobile 在移动端部署轻量级模型。

5. 与 TensorFlow 的对比

维度	PyTorch	TensorFlow (2.x)
计算图	动态图（即时执行模式）	默认动态图，支持静态图（`tf.function`）
API 设计	更 Pythonic，面向对象	函数式 API 与 Keras 高层 API 并存
社区与资源	学术界主导，论文复现首选	工业界更广泛，生产部署工具链成熟
部署能力	需依赖 TorchScript/ONNX	原生支持 TensorFlow Serving、TFLite

6. 扩展工具链

PyTorch Lightning：简化训练流程，自动化分布式训练和日志管理。
TorchX：用于大规模作业调度的工具（如 Kubernetes 集成）。
Captum：模型可解释性工具，支持梯度、显著性图等分析方法。

PyTorch 的官方论文和相关文献主要集中在框架设计、核心机制（如动态计算图、自动微分）以及其生态系统工具上。以下是关键论文和参考资料，适合学术引用或深入理解其技术实现：

1. PyTorch 核心论文

标题：PyTorch: An Imperative Style, High-Performance Deep Learning Library
作者：Adam Paszke et al. (PyTorch 核心开发团队)
会议/年份：NeurIPS 2019
链接：arXiv:1912.01703
内容：
- 系统性地介绍了 PyTorch 的设计哲学（动态图、Python 优先）。
- 详细解释了张量计算、自动微分、分布式训练等核心模块的实现。
- 对比了 PyTorch 与其他框架（如 TensorFlow）的性能和灵活性。

2. 动态计算图与自动微分

标题：Automatic Differentiation in PyTorch
作者：Adam Paszke et al.
会议/年份：NIPS-W 2017 (Workshop)
链接：PDF
内容：
- 深入解析 PyTorch 的 autograd 系统如何实现动态计算图和梯度计算。
- 讨论反向传播中的梯度计算优化和内存管理策略。

3. 分布式训练与优化

标题：PyTorch Distributed: Experiences on Accelerating Data Parallel Training
作者：Shen Li et al. (Meta/Facebook 团队)
会议/年份：VLDB 2020
链接：arXiv:2006.15704
内容：
- 分析了 PyTorch 分布式训练（如 DistributedDataParallel）的设计与性能优化。
- 提供了大规模训练任务中的通信优化和容错机制。

4. PyTorch 生态系统工具

(1) TorchScript（模型部署）

标题：TorchScript: A Seamless Path from Eager Training to Deployable Models
作者：James Reed et al.
会议/年份：MLSys 2022
链接：MLSys 2022 Proceedings（需检索具体章节）
内容：
- 讨论如何通过 TorchScript 将动态图模型转换为静态图以支持生产部署。

(2) PyTorch Lightning（训练流程简化）

标题：PyTorch Lightning: The Lightweight PyTorch Wrapper for High-Performance AI Research
作者：William Falcon et al.
链接：GitHub Docs
内容：
- 非论文，但官方文档详细介绍了如何通过 Lightning 标准化训练流程。

5. 其他重要资源

PyTorch 官方文档
https://pytorch.org/docs/stable/index.html
PyTorch 教程与案例
https://pytorch.org/tutorials/
Meta Research 博客
https://research.facebook.com/blog/

PyTorch实战

核心模块与技术要点

1. 数据增强（Data Augmentation）

目标：解决数据不足问题，提升数据利用率。
方法：通过图像变换（如旋转、裁剪、缩放）生成多样化数据。

2. 迁移学习

核心思想：复用预训练模型（如VGG）的特征提取能力。
关键技术：
- BiLSTM：双向长短时记忆网络，捕获序列前后依赖。
- Text-CNN：将CNN应用于文本分类，需构造输入为词向量矩阵，卷积核覆盖不同词窗。

3. 对抗生成网络（GANs）

CycleGAN：
- 特点：无需配对数据（如马→斑马），通过循环一致性损失（Cycle Loss）和身份损失（Identity Loss）实现图像风格迁移。
- 网络架构：
  - 包含2个生成器（G）和2个判别器（D）。
  - PatchGAN：局部感受野判别，输出N×N矩阵预测真实性，提升细节生成质量。
- 损失函数：4种损失（生成对抗损失、循环一致性损失、身份损失）。

DCGAN

4. OCR（光学字符识别）

流程：

文本检测（CTPN算法）：

基于改进的Faster R-CNN，检测水平文本区域。
- 关键改进：
  - 预定义文本高度（10种），回归宽度调整。
  - 序列合并规则：基于重合度（0.7）和位置距离（50像素）拼接候选框。

文本识别（CRNN算法）：

网络架构：CNN（特征提取）+ BiLSTM（序列建模）+ CTC（对齐输入输出序列）。
- CTC模块：解决字符分割对齐问题，直接输出文本序列。

5. 视频分析与3D卷积

3D卷积：在2D卷积基础上增加时间维度，捕捉视频时序特征。
应用场景：动作识别、视频分类等。

关键模型与算法

技术	核心思想	应用场景
BiLSTM	双向捕获序列上下文	文本分类、序列标注
Text-CNN	多尺度卷积核提取文本局部特征	文本分类
CycleGAN	无监督图像风格迁移	图像生成、风格转换
CTPN	文本区域检测与合并	OCR文本定位
CRNN	CNN+RNN+CTC端到端识别	文本识别

PyTorch ：优化的张量库

PyTorch 是一个基于 Python 的开源机器学习框架，由 Facebook 的 AI 研究团队（现 Meta AI）于 2016 年推出。它专为深度学习设计，但也可用于传统的机器学习任务。PyTorch 的核心优势在于灵活性、动态计算图和易…...

编程日记 2025/8/10 1:23:52

DevOps 进阶指南：如何让工作流更丝滑？

DevOps 进阶指南：如何让工作流更丝滑？引言在 DevOps 世界里，我们追求的是高效、稳定、自动化。但现实总是充满挑战：代码部署失败、CI/CD 过程卡顿、环境不一致……这些痛点让开发和运维团队疲惫不堪。今天，我就来聊聊如何优化 DevOps 工作流，通过实战案例和代码示例，…...

编程日记 2025/8/10 1:17:51

BT-Basic函数之首字母XY

BT-Basic函数之首字母XY 文章目录 BT-Basic函数之首字母XYXxd__ commands Yyes X xd__ commands 当使用外部设备时，开发人员需要在测试计划中添加适当的命令来控制这些设备。下表显示了一个典型的命令序列。典型的命令序列 NO命令描述1xdload将DLL加载到内存中…...

编程日记 2025/8/6 15:08:04

6. 话题通信 ---- 使用自定义msg,发布方和订阅方cpp,python文件编写

1)在功能包下新建msg目录，在msg目录下新建Person.msg,在Person.msg文件写入： string name uint16 age float64 height 2)修改配置文件 2.1) 功能包下package.xml文件修改 <build_depend>message_generation</build_depend><exec_depend…...

编程日记 2025/8/3 5:53:23

Fastdata极数：全球AR/VR行业发展趋势报告2025

科技的快速发展孕育了一个新的数字前沿领域，那就是虚拟宇宙，也就是我们谈论的元宇宙（Metaverse），虚拟宇宙最初构思于尼尔斯蒂芬森的科幻小说《雪崩》中，小说中虚拟宇宙由虚拟人物居住，并以数字方…...

编程日记 2025/8/3 5:10:25

背包 DP 详解

文章目录背包DP01 背包完全背包多重背包二进制优化单调队列优化小结背包DP 背包 DP，说白了就是往一个背包里扔东西，求最后的最大价值是多少，一般分为了三种：01 背包、完全背包和多重背包。而 01 背包则是一切的基础。 01 背包…...

编程日记 2025/7/31 14:40:32

深入剖析 HashMap：内部结构与性能优化

深入剖析 HashMap：内部结构与性能优化引言 HashMap 是 Java 集合框架中的核心类，广泛应用于数据存储和检索场景。本文将深入剖析其内部结构，包括数组、链表和红黑树的转换机制，帮助读者理解其工作原理和性能优化策略。 1. Hash…...

编程日记 2025/8/4 9:35:58

数据从辅存调入主存，页表中一定存在

在虚拟内存系统中，数据从辅存调入主存时，页表中一定存在对应的页表项，但页表项的「存在状态」会发生变化。以下是详细分析： 关键逻辑页表的作用页表是虚拟内存的核心数据结构，记录了虚拟地址到物理地址的映射关系…...

编程日记 2025/8/5 21:02:19

藏品馆管理系统

藏品馆管理系统项目简介这是一个基于 PHP 开发的藏品馆管理系统，实现了藏品管理、用户管理等功能。藏品馆管理系统系统架构开发语言：PHP数据库：MySQL前端框架：BootstrapJavaScript 库：jQuery 目录结构 book/…...

编程日记 2025/8/2 18:56:27

力扣算法ing(60 / 100)

4.19 回溯合集—93复原ip地址有效 IP 地址正好由四个整数（每个整数位于 0 到 255 之间组成，且不能含有前导 0），整数之间用 . 分隔。例如："0.1.2.201" 和 "192.168.1.1" 是有效 IP 地址&…...

编程日记 2025/8/6 18:44:21

时态--06--现在完成時

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录现在完成時1.语法1.肯定句2.否定句3.疑问句4.have been/gone to5.现在分词 practice 现在完成時 1.语法 1.肯定句 2.否定句 3.疑问句 4.have been/gone to 5.现在分…...

编程日记 2025/8/8 1:33:27

Java中常见的锁synchronized、ReentrantLock、ReentrantReadWriteLock、StampedLock

在Java中，锁是实现多线程同步的核心机制。不同的锁适用于不同的场景，理解其实现原理和使用方法对优化性能和避免并发问题至关重要。一、隐式锁：synchronized 关键字实现原理基于对象监视器（Monitor）：每…...

编程日记 2025/8/8 7:05:19

【教程】DVWA靶场渗透

【教程】DVWA靶场渗透备注一、环境搭建二、弱口令（Brute Force）三、命令注入（Command Injection）四、CSRF（Cross Site Request Forgery）五、文件包含（File Inclusion）六、文件上传&…...

编程日记 2025/7/30 14:04:22

23种设计模式-创建型模式之原型模式（Java版本）

Java 原型模式（Prototype Pattern）详解 🧬 什么是原型模式？ 原型模式用于通过复制已有对象的方式创建新对象，而不是通过 new 关键字重新创建。核心是：通过克隆（clone）已有对象&a…...

编程日记 2025/8/6 0:00:36

【深度学习】【目标检测】【Ultralytics-YOLO系列】YOLOV3核心文件common.py解读

【深度学习】【目标检测】【Ultralytics-YOLO系列】YOLOV3核心文件common.py解读文章目录【深度学习】【目标检测】【Ultralytics-YOLO系列】YOLOV3核心文件common.py解读前言autopad函数Conv类__init__成员函数forward成员函数forward_fuse成员函数 Bottleneck类__init__成员…...

编程日记 2025/8/4 22:27:55

PDF转excel+json ，vue3+SpringBoot在线演示+附带源码

在线演示地址：Vite Vuehttp://www.xpclm.online/pdf-h5 源码gitee前后端地址： javapdfexcel: javaPDF转excelhttps://gitee.com/gaiya001/javapdfexcel.git 盖亚/vuepdfhttps://gitee.com/gaiya001/vuepdf.git 后续会推出前端版本跟nestjs版本识别复…...

编程日记 2025/8/4 8:22:24

LeetCode 热题 100_乘积最大子数组（88_152_中等_C++）(动态规划)

LeetCode 热题 100_乘积最大子数组（88_152） 题目描述：输入输出样例：题解：解题思路：思路一（暴力破解法(双重循环)）：思路二（动态规划）： …...

编程日记 2025/8/1 20:40:04

Nvidia显卡架构演进

1 简介显示卡（英语：Display Card）简称显卡，也称图形卡（Graphics Card），是个人电脑上以图形处理器（GPU）为核心的扩展卡，用途是提供中央处理器以外的微处理器帮…...

编程日记 2025/8/4 17:10:41

TCP/IP、UDP、HTTP、HTTPS、WebSocket 一文讲解

在当今互联网世界中，数据通信是所有应用运行的基础。无论是打开网页、发送消息还是视频通话，背后都依赖于各种网络协议的协同工作。其中，TCP/IP、UDP、HTTP、HTTPS 和 WebSocket 是最为核心的几种协议。本文将围绕它们的概念、特性和适用场景…...

编程日记 2025/8/9 22:19:39

[密码学基础]密码学发展简史：从古典艺术到量子安全的演进

密码学发展简史：从古典艺术到量子安全的演进密码学作为信息安全的基石，其发展贯穿人类文明史，从最初的文字游戏到量子时代的数学博弈，每一次变革都深刻影响着政治、军事、科技乃至日常生活。本文将以技术演进为主线，…...

编程日记 2025/7/30 7:33:34

包含物体obj与相机camera的代数几何代码解释

反余弦函数的值域在 [0, pi] 斜体样式 cam_pose self._cameras[hand_realsense].camera.get_model_matrix() # cam2world# 物体到相机的向量 obj_tcp_vec cam_pose[:3, 3] - self.obj_pose.p dist np.linalg.norm(obj_tcp_vec) # 物体位姿的旋转矩阵 obj_rot_mat self.ob…...

编程日记 2025/8/3 13:02:25

【C++算法】65.栈_删除字符中的所有相邻重复项

文章目录题目链接：题目描述：解法C 算法代码： 题目链接： 1047. 删除字符串中的所有相邻重复项题目描述： 解法利用string模拟栈元素依次进栈，当进栈元素和栈顶元素一样的时候，就弹出栈顶字符…...

编程日记 2025/8/4 1:55:58

【java实现+4种变体完整例子】排序算法中【插入排序】的详细解析，包含基础实现、常见变体的完整代码示例，以及各变体的对比表格

以下是插入排序的详细解析，包含基础实现、常见变体的完整代码示例，以及各变体的对比表格： 一、插入排序基础实现原理将元素逐个插入到已排序序列的合适位置，逐步构建有序序列。代码示例 public class InsertionSort {void…...

编程日记 2025/8/5 16:18:51

神经网络的数学之旅：从输入到反向传播

目录神经网络简介神经元激活函数神经网络神经网络的工作过程前向传播（forward）反向传播（backward）训练神经网络神经网络简介神经元在深度学习中，必须要说的就是神经⽹络，或者说是⼈⼯神经⽹络&#…...

编程日记 2025/8/8 21:44:33

软件测试的页面交互标准：怎样有效提高易用性

当用户遇到"反人类"设计时 "这个按钮怎么点不了？"、"错误提示完全看不懂"、"我输入的内容去哪了？"——这些用户抱怨背后，都指向同一个问题：页面交互的易用性缺陷。作为软件测试工程师&a…...

编程日记 2025/8/4 8:46:12

Linux419 三次握手四次挥手抓包 wireshark

还是Notfound 没连接可能我在/home 准备配置静态IP vim ctrlr 撤销 u撤销配置成功准备关闭防火墙准备配置 YUM源 df -h 未看到sr0文件准备排查准备挂载还是没连接计划重启有了不重启了挂载准备修改配置文件准备准备清理缓存 ok 重新修改配…...

编程日记 2025/8/9 6:32:20

玩转Docker | 使用Docker部署tududi任务管理工具

玩转Docker | 使用Docker部署tududi任务管理工具前言一、tududi介绍Tududi简介核心功能特点二、系统要求环境要求环境检查Docker版本检查检查操作系统版本三、部署tududi服务下载镜像创建容器创建容器检查容器状态检查服务端口安全设置四、访问tududi服务访问tududi首页登录tu…...

编程日记 2025/8/5 4:43:29

ueditorplus编辑器已增加AI智能

之前功能请参考：https://www.geh3408.top/blog/76 下载：https://gitee.com/mo3408/ueditorplus 注意：key值需要单独获取，默认为DeepSeek，默认key有限制，请更换为自己的。演示地址：https://www.geh3408.top/ueditorplus/dist 更多体验：ueditorplus编辑器已增加AI智…...

编程日记 2025/8/6 1:34:27

深度学习数据预处理：Dataset类的全面解析与实战指南

前言在深度学习项目中，数据预处理是模型训练前至关重要的一环。一个高效、灵活的数据预处理流程不仅能提升模型性能，还能大大加快开发效率。本文将深入探讨PyTorch中的Dataset类，介绍数据预处理的常见技巧，并通过实战示例展示如何…...

编程日记 2025/8/6 9:15:38

【机器学习-周总结】-第4周

以下是本周学习内容的整理总结，从技术学习、实战应用到科研辅助技能三个方面归纳： 文章目录 📘 一、技术学习模块：TCN 基础知识与结构理解🔹 博客1：【时序预测05】– TCN（Temporal Convolutiona…...

编程日记 2025/8/8 16:51:12

高可靠 ZIP 压缩方案兼容 Office、PDF、TXT 和图片的二阶段回退机制

一、引言在企业级应用中，经常需要将多种类型的文件（如 Office 文档、PDF、纯文本、图片等）打包成 ZIP 并提供给用户下载。但由于文件路径过长、特殊字符或权限等问题，Go 标准库的 archive/zip 有时会出现“压缩成功却实际未写入…...

编程日记 2025/8/7 3:47:13

【HDFS入门】HDFS数据冗余与容错机制解析：如何保障大数据高可靠存储？

目录 1 HDFS冗余机制设计哲学 1.1 多副本存储策略的工程权衡 1.2 机架感知的智能拓扑算法 2 容错机制实现原理 2.1 故障检测的三重保障 2.2 数据恢复的智能调度 3 关键场景容错分析 3.1 数据中心级故障应对 3.2 数据损坏的校验机制 4 进阶优化方案 4.1 纠删码技术实…...

编程日记 2025/8/8 6:24:21

06-libVLC的视频播放器：推流RTMP

创建媒体对象 libvlc_media_t* m = libvlc_media_new_path(m_pInstance, inputPath.toStdString().c_str()); if (!m) return -1; // 创建失败返回错误 libvlc_media_new_path：根据文件路径创建媒体对象。注意：toStdString().c_str() 在Qt中可能存在临时字符串析构问题，建议…...

编程日记 2025/8/7 12:45:58

【DT】USB通讯失败记录

项目场景： DT小板 USB通讯失败问题描述 V1.1 板子含有降压电路、电容充电电路、姿态传感电路，语音电路、电弧电路、TF卡电路焊接完成：功能正常 V1.2 为方便数传模块拔插，把座子缩小并做在了背面，下载口反向方便狭…...

编程日记 2025/8/8 1:42:58

【笔记】网路安全管理-实操

一、系统安全防护-Windows 开始-》管理工具-》本地安全策略-》账户策略-》密码策略-》 1.密码必须符合复杂性要求。双击打开-》勾选已启用-》单击：应用-》单击：确定 2.密码长度最小值。双击打开-》设置密码长度最小值为：？个字符 3.密码最短使用期限。双击打开-》设置密码…...

编程日记 2025/7/30 14:03:03

FFMPEG-视频解码-支持rtsp|rtmp|音视频文件（低延迟）

本人亲测解码显示对比延迟达到7到20毫秒之间浮动兼容播放音视频文件、拉流RTSP、RTMP等网络流基于 Qt 和 FFmpeg 的视频解码播放器类，继承自 QThread，实现了视频流的解码、播放控制、帧同步和错误恢复等功能工作流程初始化阶段: 用户设置URL和显示尺寸调用play()启动线程解…...

编程日记 2025/8/9 8:09:48

LDR、MOV和STR指令详解

文章目录前言一、LDR指令详解 1.基本语法 2.寻址方式 3.伪指令形式二、MOV指令详解 1.基本语法 2.常见用法 3.特殊变体三、STR指令详解 1.基本语法 2.寻址方式四、三者区别与联系 1.基本语法 2.操作效率 3.大数值处理总结前言 ARM汇编中的LDR、MOV和STR是三个最基础也最…...

编程日记 2025/8/8 4:40:43

MATLAB 控制系统设计与仿真 - 41

鲁棒控制的其他函数 - 回路成型函数 loopsyn 灵敏度问题由鲁棒控制工具箱中的loopsyn就可以直接求解，该函数采用H无穷回路成型算法设计控制器，函数的调用格式为： [K,CL,gamma,info] loopsyn(G,Gd) % G为受控对象模型% Gd为期望的回路传递函…...

编程日记 2025/8/6 13:24:41

Scade 语言词法介绍

Scade 6 是一种具备形式化语法与形式化语义的领域特定语言（注1）。自2008年发布（注5）起，在 Scade Suite 产品系列中语言定义方面到目前未产生重要的改变(注2)。在下面的内容中将介绍Scade 语言的词法(注3)。注1&#x…...

编程日记 2025/7/30 15:25:17

Replicate Python client

本文翻译整理自：https://github.com/replicate/replicate-python 文章目录一、关于 Replicate Python 客户端相关链接资源关键功能特性二、1.0.0 版本的重大变更三、安装与配置1、系统要求2、安装3、认证配置四、核心功能1、运行模型2、异步IO支持3、流式输出模型…...

编程日记 2025/8/9 20:35:46

LLM做逻辑推理题 - 如何找出不标准的球？

题目: 有80个外观一致的小球，其中一个和其它的重量不同，（不知道更轻还是更重）。现在给你一个天平，允许你称四次，把重量不同的球找出来，怎么称？ 1. 答案第1次称量：天平…...

编程日记 2025/8/3 1:55:11

[密码学基础]国密算法深度解析：中国密码标准的自主化之路

国密算法深度解析：中国密码标准的自主化之路国密算法（SM系列算法）是中国自主研发的密码技术标准体系，旨在打破国际密码技术垄断，保障国家信息安全。本文将从技术原理、应用场景和生态发展三个维度，全面解…...

编程日记 2025/8/6 9:34:34

【计算机视觉】三维视觉项目 - Colmap二维图像重建三维场景

COLMAP 3D重建项目概述项目功能项目运行方式1. 环境准备2. 编译 COLMAP3. 数据准备4. 运行 COLMAP 常见问题及解决方法1. **编译问题**2. **运行问题**3. **数据问题** 项目实战建议项目参考文献项目概述 COLMAP 是一个开源的三维重建软件，专注于 Structure-from…...

编程日记 2025/8/7 23:26:28

基于Fabric.js的选座布局系统开发笔记

项目概述最近开发了一个简单的选座布局系统，主要用于会议、活动或餐厅等场景的座位和桌子布局设计。系统基于HTML5 Canvas和Fabric.js库实现，支持添加座位、桌子，并能保存布局数据。技术栈 • HTML5 Canvas：作为绘图的基础 •…...

编程日记 2025/8/8 1:21:16

PHP怎样连接MySQL数据库？

方法一：使用 mysqli 扩展 mysqli 是 MySQL 的改进版扩展，提供了面向对象和过程化的接口。面向对象风格 <?php$servername "localhost"; $username "your_username"; $password "your_password"; $dbname &quo…...

编程日记 2025/8/5 1:33:53

将飞帆制作的网页作为 Vue 2 组件引入到自己网页中使用

飞帆平台有一个功能：不仅所有的网页都是通过控件搭建而成，而且生成的网页又是一个大控件，可以导入到你自己的网页使用。这篇文章，我们要讲的就是如何将飞帆生成的网页作为控件（组件）导入到自己的网页中。…...

编程日记 2025/7/30 15:25:03

Python制作简易PDF查看工具PDFViewerV1.0显示优化

原文说明为不破坏原文结构，因此功能优化不在原文中维护了。关于这款工具原文请通过下面链接访问。Python制作简易PDF查看工具PDFViewerV1.0 这款小工具基本功能已经可以作为一款文档浏览器使用，但还有一些美中不足的地方，本文将介绍对文本查找功能的优化调整。优化效果 …...

编程日记 2025/8/7 11:49:16

YOLOv11改进有效涨点专栏：从理论到实战的深度优化指南

## YOLOv11的进化之路在目标检测领域，YOLO系列算法始终保持着革命性的创新步伐。YOLOv11作为该系列的最新演进版本，在保持实时检测优势的同时，通过架构层面的深度优化实现了精度与速度的平衡。本文将从**七大核心模块**出发，系统性地解析针对YOLOv11的有效改进方案，涵盖从…...

编程日记 2025/8/5 8:37:21

【EDA软件】【设计约束和分析操作方法】

1. 设计约束设计约束主要分为物理约束和时序约束。物理约束主要包括I/O接口约束（如引脚分配、电平标准设定等物理属性的约束）、布局约束、布线约束以及配置约束。时序约束是FPGA内部的各种逻辑或走线的延时，反应系统的频率和速度的约束…...

编程日记 2025/8/4 10:38:28

JVM基础认知：JVM到底是什么？为什么它如此重要？

随着 Java 语言在企业级应用、互联网服务、嵌入式系统等领域的广泛采用，JVM（Java Virtual Machine，Java虚拟机）成为了支撑整个生态的核心基础。初学者往往会把注意力集中在 Java 代码本身，却忽视了背后那台“看不见的机…...

编程日记 2025/8/9 18:02:51

​​PyTorch 的核心特性​​

​​PyTorch 的主要组件​​

​​PyTorch 的典型应用场景​​

​​PyTorch 的优势​​

​​示例代码：简单神经网络​​

1. 核心设计哲学​​

​​对比静态图框架（如 TensorFlow 1.x）​​

​​2. 关键组件与技术细节​​

​​(1) 张量（Tensor）​​

​​(2) 自动微分（Autograd）​​

​​(3) 神经网络模块（torch.nn）​​

​​(4) 分布式训练​​

​​3. 工作流程详解​​

​​4. 核心优势与适用场景​​

​​典型应用场景​​

​​5. 与 TensorFlow 的对比​​

​​6. 扩展工具链​​

​​1. PyTorch 核心论文​​

​​2. 动态计算图与自动微分​​

​​3. 分布式训练与优化​​

​​4. PyTorch 生态系统工具​​

​​(1) TorchScript（模型部署）​​

​​(2) PyTorch Lightning（训练流程简化）​​

​​5. 其他重要资源​​