当前位置： 首页 > news >正文

李宏毅NLP-5-RNNTNeural TransducerMoChA

news 来源：原创 2025/8/7 13:14:53

RNN Transducer(RNN-T)

在这里插入图片描述
循环神经对齐器（RNA，Recurrent Neural Aligner）对CTC解码器的改进，具体内容如下：

  • “RNA”，全称 “Recurrent Neural Aligner”，引用来自 [Sak, et al., INTERSPEECH’17]。
  • CTC 解码器特性：左侧文字说明 “CTC Decoder: take one vector as input, output one token”，即 CTC 解码器每次取一个向量作为输入，独立输出一个 token（如 ( c, \phi, a ) 等），不考虑前后依赖。
  • RNA 的改进：图中黄色模块代表解码器单元，RNA 通过箭头连接这些单元，使输出之间产生依赖关系（“RNA adds dependency”）。例如，后续输出会参考之前的输出信息，而非独立生成。这种机制让模型在生成 token 时能够利用序列的历史信息，避免 CTC 解码器独立决策导致的问题（如重复输出或忽略前文约束）。
    综上，RNA 通过引入循环依赖，增强了解码器对序列上下文的感知，优化了 CTC 框架下的序列生成过程。

在这里插入图片描述
RNN - T（RNN Transducer） 模型的工作机制，主要用于处理序列到序列的任务（如语音识别），具体分析如下：

  • 模型结构与流程：

    • 图中绿色的 h t h^t ht 代表编码器输出的隐藏状态，通过 “copy” 传递到蓝色模块，再输入到黄色模块（解码器单元）。
    • 左侧：黄色模块输出 t t t 和 h h h，体现 RNN - T 常规的解码过程，解码器基于当前和前序信息生成输出。
    • 右侧：增加了空白符 ϕ \phi ϕ 的输出。当输出 ϕ \phi ϕ 时，箭头 “Give me the next frame” 表示模型请求获取下一个输入帧，以便继续处理后续的输入数据。这种机制适用于流式场景（如实时语音识别），允许模型在处理过程中动态请求新的输入帧，增强了对变长序列的处理能力。

  • RNN - T 的核心：

    • 通过引入空白符 ϕ \phi ϕ，RNN - T 能够灵活处理输入与输出的对齐问题，结合编码器和解码器的信息，在联合模块中计算输出概率。输出 ϕ \phi ϕ时请求新帧，体现了模型在流式输入下的自适应处理能力，平衡了输入序列与输出标签的对齐需求。
      在这里插入图片描述

  • 模型组件与输入：

    • 绿色的 h t , h t + 1 , h t + 2 , h t + 3 h^t, h^{t+1}, h^{t+2}, h^{t+3} ht,ht+1,ht+2,ht+3是编码器输出的隐藏状态，通过“copy”传递至蓝色模块，再输入到黄色的解码器单元。
    • 黄色解码器单元处理输入并生成橙色的输出（如 t , h , e , ϕ t, h, e, \phi t,h,e,ϕ等），其中 ϕ \phi ϕ 为空白符。

  • 流式处理机制：

    • 每当输出 ϕ \phi ϕ时，箭头指向 “next frame”，表示模型请求获取下一个输入帧。这种机制使 RNN - T 能够逐帧处理流式数据（如实时语音），动态适应输入序列长度。
    • 不同的编码器隐藏状态 h t , h t + 1 h^t, h^{t+1} ht,ht+1 等对应不同的解码器步骤，表明模型在不同时间步利用相应输入信息进行解码。

  • 输出含义：

    • 带蓝色框的 t , h , e t, h, e t,h,e 等为实际输出标签，而 ϕ \phi ϕ用于控制输入帧的请求，平衡输入序列与输出标签的对齐。例如，连续输出 ϕ \phi ϕ时，模型持续请求新帧，直到输出非 ϕ \phi ϕ标签（如 e e e）。

综上，图中体现了 RNN - T 通过空白符 ( \phi ) 动态请求输入帧的特性，适用于语音识别等流式序列处理任务，实现输入与输出的灵活对齐。

在这里插入图片描述

这张图展示了 RNN - T（RNN Transducer） 模型在处理流式序列数据时，对空白符 ϕ \phi ϕ 的处理机制：

  • 组件与流程：
    • 绿色的 h t , h t + 1 , h t + 2 , h t + 3 h^t, h^{t+1}, h^{t+2}, h^{t+3} ht,ht+1,ht+2,ht+3是编码器输出的隐藏状态，通过黑色线传递至蓝色模块，再输入黄色的解码器单元。
    • 黄色解码器单元生成橙色输出（如 t , h , e , ϕ t, h, e, \phi t,h,e,ϕ 等），红色线表示解码器状态传递路径。
  • 空白符处理：
    • 当输出 ϕ \phi ϕ 时，红色线旁标注 “ignore”，表示此时忽略部分状态传递路径。这意味着模型在输出 ϕ \phi ϕ 时，不依赖于常规的状态更新逻辑，而是专注于请求并处理下一个输入帧（如 “next frame”），确保流式输入下的动态适应。
  • 模型意图：
    • 通过忽略 ϕ \phi ϕ输出时的部分状态传递，RNN - T 能在流式场景中避免无效状态干扰，维持关键状态的有效更新，从而准确生成非空白输出标签（如 t , h , e t, h, e t,h,e 等），实现输入与输出的灵活对齐。
      在这里插入图片描述
      在这里插入图片描述
      **语言模型在处理时，会忽略语音本身的声学特征等信息，仅关注文本标记（如单词、子词等符号化的单元）进行处理。**例如在语音识别或自然语言处理中，语言模型专注于学习标记之间的统计规律、语法结构和语义关系，而非语音的音频特性，以此来预测或生成合理的文本序列。

Neural Transducer

在这里插入图片描述
Neural Transducer：

  • 绿色的 h t h^t ht 到 h t + w h^{t + w} ht+w 表示多个连续的编码器隐藏状态。
  • 采用 “attention” 机制，允许解码器在生成输出（如 c c c、 a a a、 ϕ \phi ϕ ）时，综合考虑多个连续的隐藏状态信息，动态聚焦相关输入，增强对输入序列上下文的感知和利用能力，相比传统模型能更灵活有效地处理序列信息。
    在这里插入图片描述
    神经转换器（Neural Transducer）在处理序列数据时基于注意力机制（attention）的工作原理：
    整体架构
  • 黄色模块代表解码器单元，蓝色模块接收来自编码器的隐藏状态 h i h^i hi（绿色方块）。
  • 解码器通过注意力机制，动态聚焦不同的编码器隐藏状态来生成输出（橙色方块，如 c , a , ϕ , t c, a, \phi, t c,a,ϕ,t等）。

窗口机制

  • window 1：包含编码器隐藏状态 h 1 h^1 h1 到 h 4 h^4 h4。解码器在生成 c , a , ϕ c, a, \phi c,a,ϕ等输出时，利用注意力机制从这个窗口内选取相关隐藏状态信息。
  • window 2：包含 h 5 h^5 h5到 h 8 h^8 h8。当处理后续输出（如 t , ϕ t, \phi t,ϕ ）时，注意力机制切换到这个新窗口获取信息。

空白符与数据块请求

  • 输出 ϕ \phi ϕ 时，标注 “next chunk”，表示模型请求下一个数据块（新的隐藏状态窗口），以继续处理后续输入序列，体现了模型在流式数据处理中的动态适应性。
    在这里插入图片描述
    展示了不同注意力机制在语音识别任务中，随着窗口大小（window size，W）变化时的音素错误率（Phone Error Rate，PER），具体内容如下：

不同的注意力机制

  • no - attention（蓝色线）：代表没有使用注意力机制的模型。
  • DOT - ATTENTION（绿色线）：使用点积注意力机制的模型。
  • MLP - ATTENTION（红色线）：采用多层感知机注意力机制的模型。
  • LSTM - ATTENTION（青色线）：使用长短期记忆网络注意力机制的模型。

数据趋势

  • no - attention：随着窗口大小从 5 增加到 30，音素错误率呈明显上升趋势，说明无注意力机制时，模型在处理更大窗口数据时性能下降。
  • DOT - ATTENTION：错误率先有小幅度下降，在窗口大小约为 15 后开始缓慢上升，整体波动相对较小。
  • MLP - ATTENTION：错误率先下降，在窗口大小约为 15 时达到最低值，之后随着窗口增大缓慢上升。
  • LSTM - ATTENTION：错误率整体较为平稳，有轻微波动，始终保持在较低水平，表现出较好的稳定性。

Monotonic Chunkwise Attention(MoChA)

在这里插入图片描述
MoChA（Monotonic Chunkwise Attention，单调分块注意力）机制，具体如下：

机制原理

  • 输入与判断：黄色方块 z 0 z^0 z0作为输入，进入蓝色判断模块 “here?”。该模块类似注意力机制，判断是否在当前位置放置窗口。
  • 决策分支：
    • “yes” 情况：若判断结果为 “yes”，则在当前位置放置窗口，利用该窗口内的编码器隐藏状态（如 h 1 h^1 h1等绿色方块）进行后续处理。
    • “no” 情况：若判断结果为 “no”，则将窗口向右移动，继续对后续隐藏状态进行评估和处理。
  • 动态窗口调整：整个过程中，窗口根据判断结果动态移动，即 “dynamically shift the window”，确保模型能自适应地关注输入序列的不同部分，有效处理序列数据。

在这里插入图片描述进一步阐释了 MoChA（单调分块注意力）机制的工作流程：

整体流程

  • 输入与传递：黄色方块 z 0 z^0 z0作为初始输入，传递到 z 1 z^1 z1，再到 z 2 z^2 z2等后续模块。
  • 窗口与隐藏状态：蓝色区域代表窗口，涵盖编码器隐藏状态 h 3 h^3 h3到 h 6 h^6 h6 等。窗口内的隐藏状态信息参与处理过程。

输出规则

  • token 输出：每个窗口对应输出一个 token（如橙色方块 c c c、 a a a），且不会输出空白符 ϕ \phi ϕ。这与其他一些注意力机制（如 RNN - T 中会输出 ϕ \phi ϕ 来控制输入处理）不同，MoChA 通过这种方式更直接地生成序列输出。

总结

在这里插入图片描述
对几种序列到序列（seq2seq）模型的总结：

LAS（Listen, Attend and Spell）

  • 说明：就是普通的 seq2seq 模型。通过编码器（Encoder）处理输入序列 h 1 − h 4 h^1 - h^4 h1−h4 等隐藏状态），解码器利用注意力机制（attention）生成输出 c 0 − c 4 c^0- c^4 c0−c4 等）。

CTC（Connectionist Temporal Classification）

  • 说明：解码器是线性分类器的 seq2seq 模型。通过引入空白符 ϕ \phi ϕ 解决输入输出不对齐问题，每个时间步独立输出 token，后处理合并重复 token 并去除 ϕ \phi ϕ。

RNA（Recurrent Neural Aligner）

  • 说明：输入一个元素就要输出一个元素的 seq2seq 模型。在 CTC 解码器基础上引入循环依赖，使输出间产生关联，避免独立输出导致的问题。

RNN - T（RNN Transducer）

  • 说明：输入一个元素可输出多个元素的 seq2seq 模型。具备处理流式数据能力，通过空白符 ϕ \phi ϕ 控制输入帧请求，灵活处理输入输出对齐。

Neural Transducer

  • 说明：每次输入一个窗口数据的 RNN - T 模型。利用注意力机制，综合多个连续的编码器隐藏状态生成输出，能更好捕捉上下文信息。

MoChA（Monotonic Chunkwise Attention）

  • 说明：窗口可灵活移动伸缩的 Neural Transducer。每个窗口对应输出一个 token，不输出空白符 ϕ \phi ϕ，动态调整窗口关注输入序列不同部分。

相关文章：

李宏毅NLP-5-RNNTNeural TransducerMoChA

RNN Transducer(RNN-T) 循环神经对齐器（RNA，Recurrent Neural Aligner）对CTC解码器的改进，具体内容如下： “RNA”，全称 “Recurrent Neural Aligner”，引用来自 [Sak, et al., INTERSPEECH’17…...

编程日记 2025/8/7 13:14:53

GPT-SoVITS 使用指南

一、简介 TTS（Text-to-Speech，文本转语音）：是一种将文字转换为自然语音的技术，通过算法生成人类可听的语音输出，广泛应用于语音助手、无障碍服务、导航系统等场景。类似的还有SVC（歌声转换&…...

编程日记 2025/8/7 1:48:05

洛谷的几道题

P1000 超级玛丽游戏 # P1000 超级玛丽游戏 ## 题目背景 本题是洛谷的试机题目，可以帮助了解洛谷的使用。 建议完成本题目后继续尝试 [P1001](/problem/P1001)、[P1008](/problem/P1008)。 另外强烈推荐[新用户必读帖](/discuss/show/241461)。 ## 题目描述 …...

编程日记 2025/8/1 17:39:24

利用yakit充实渗透字典

前言 在渗透侧测试结束，在我们的历史记录中会保存过程中的数据包。在其中有些特征，比如API、参数，可以活用于下次的渗透。 比如 fuzz变量，fuzz隐藏API…… 但是我们一个一个提取很麻烦，可以使用yakit的插件&#xf…...

编程日记 2025/8/7 7:34:47

精益数据分析（4/126）：开启数据驱动的创业之旅

精益数据分析（4/126）：开启数据驱动的创业之旅 在创业的浪潮中，我们都怀揣着梦想，渴望找到那条通往成功的道路。作为一名在创业和数据分析领域摸爬滚打多年的“老兵”，我深知其中的艰辛与挑战。今天&#x…...

编程日记 2025/7/30 14:04:57

机器学习误差图绘

机器学习误差图绘制 绘图类 # Define the ModelComparisonPlot class class ModelComparisonPlot:def __init__(self, model_name):self.model_name model_namedef plot_comparison(self, y_val, y_pred, mse, mae, r2):# Create a figure with two subplotsfig, axes plt.…...

编程日记 2025/8/5 21:39:47

企业级RAG选择难题：数据方案的关键博弈

企业级RAG选择难题：数据方案的关键博弈 向量数据库：高效但易失语境图数据库与知识图谱：关系网络的力量企业级RAG数据方案的最佳实践 智能时代，企业数据每日剧增。员工寻找答案的效率直接影响工作流程，StackOverflow调查…...

编程日记 2025/8/3 5:20:12

JNI 学习

1. JNI 不属于 C，而是 JDK 的 日志失效，可以 adb kill-server adb kill-serveradb start-server 使用 jni final和 private变量都能修改...

编程日记 2025/8/4 17:34:59

PyTorch ：优化的张量库

PyTorch 是一个基于 Python 的开源机器学习框架，由 Facebook 的 AI 研究团队（现 Meta AI）于 2016 年推出。它专为深度学习设计，但也可用于传统的机器学习任务。PyTorch 的核心优势在于​​灵活性​​、​​动态计算图​​和​​易…...

编程日记 2025/8/6 2:16:14

DevOps 进阶指南：如何让工作流更丝滑？

DevOps 进阶指南：如何让工作流更丝滑？ 引言 在 DevOps 世界里，我们追求的是高效、稳定、自动化。但现实总是充满挑战：代码部署失败、CI/CD 过程卡顿、环境不一致……这些痛点让开发和运维团队疲惫不堪。今天，我就来聊聊如何优化 DevOps 工作流，通过实战案例和代码示例，…...

编程日记 2025/8/7 8:44:33

BT-Basic函数之首字母XY

BT-Basic函数之首字母XY 文章目录 BT-Basic函数之首字母XYXxd__ commands Yyes X xd__ commands 当使用外部设备时，开发人员需要在测试计划中添加适当的命令来控制这些设备。下表显示了一个典型的命令序列。 典型的命令序列 NO命令描述1xdload将DLL加载到内存中…...

编程日记 2025/8/6 15:08:04

6. 话题通信 ---- 使用自定义msg,发布方和订阅方cpp,python文件编写

1)在功能包下新建msg目录&#xff0c;在msg目录下新建Person.msg,在Person.msg文件写入&#xff1a; string name uint16 age float64 height 2)修改配置文件 2.1) 功能包下package.xml文件修改 <build_depend>message_generation</build_depend><exec_depend…...

编程日记 2025/8/3 5:53:23

Fastdata极数：全球AR/VR行业发展趋势报告2025

科技的快速发展孕育了一个新的数字前沿领域&#xff0c;那就是虚拟宇宙&#xff0c;也就是我们谈论的元宇宙&#xff08;Metaverse&#xff09;&#xff0c;虚拟宇宙最初构思于尼尔斯蒂芬森的科幻小说《雪崩》中&#xff0c;小说中虚拟宇宙由虚拟人物居住&#xff0c;并以数字方…...

编程日记 2025/8/3 5:10:25

背包 DP 详解

文章目录 背包DP01 背包完全背包多重背包二进制优化单调队列优化 小结 背包DP 背包 DP&#xff0c;说白了就是往一个背包里扔东西&#xff0c;求最后的最大价值是多少&#xff0c;一般分为了三种&#xff1a;01 背包、完全背包和多重背包。而 01 背包则是一切的基础。 01 背包…...

编程日记 2025/7/31 14:40:32

深入剖析 HashMap：内部结构与性能优化

深入剖析 HashMap&#xff1a;内部结构与性能优化 引言 HashMap 是 Java 集合框架中的核心类&#xff0c;广泛应用于数据存储和检索场景。本文将深入剖析其内部结构&#xff0c;包括数组、链表和红黑树的转换机制&#xff0c;帮助读者理解其工作原理和性能优化策略。 1. Hash…...

编程日记 2025/8/4 9:35:58

数据从辅存调入主存，页表中一定存在

在虚拟内存系统中&#xff0c;​数据从辅存调入主存时&#xff0c;页表中一定存在对应的页表项&#xff0c;但页表项的「存在状态」会发生变化。以下是详细分析&#xff1a; 关键逻辑 ​页表的作用 页表是虚拟内存的核心数据结构&#xff0c;记录了虚拟地址到物理地址的映射关系…...

编程日记 2025/8/5 21:02:19

藏品馆管理系统

藏品馆管理系统 项目简介 这是一个基于 PHP 开发的藏品馆管理系统&#xff0c;实现了藏品管理、用户管理等功能。 藏品馆管理系统 系统架构 开发语言&#xff1a;PHP数据库&#xff1a;MySQL前端框架&#xff1a;BootstrapJavaScript 库&#xff1a;jQuery 目录结构 book/…...

编程日记 2025/8/2 18:56:27

力扣算法ing(60 / 100)

4.19 回溯合集—93复原ip地址 有效 IP 地址 正好由四个整数&#xff08;每个整数位于 0 到 255 之间组成&#xff0c;且不能含有前导 0&#xff09;&#xff0c;整数之间用 . 分隔。 例如&#xff1a;"0.1.2.201" 和 "192.168.1.1" 是 有效 IP 地址&…...

编程日记 2025/8/6 18:44:21

时态--06--现在完成時

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 现在完成時1.语法1.肯定句2.否定句3.疑问句4.have been/gone to5.现在分词 practice 现在完成時 1.语法 1.肯定句 2.否定句 3.疑问句 4.have been/gone to 5.现在分…...

编程日记 2025/7/30 14:04:27

Java中常见的锁synchronized、ReentrantLock、ReentrantReadWriteLock、StampedLock

在Java中&#xff0c;锁是实现多线程同步的核心机制。不同的锁适用于不同的场景&#xff0c;理解其实现原理和使用方法对优化性能和避免并发问题至关重要。 一、隐式锁&#xff1a;synchronized 关键字 实现原理 基于对象监视器&#xff08;Monitor&#xff09;&#xff1a;每…...

编程日记 2025/7/30 14:04:24

【教程】DVWA靶场渗透

【教程】DVWA靶场渗透 备注一、环境搭建二、弱口令&#xff08;Brute Force&#xff09;三、命令注入&#xff08;Command Injection&#xff09;四、CSRF&#xff08;Cross Site Request Forgery&#xff09;五、文件包含&#xff08;File Inclusion&#xff09;六、文件上传&…...

编程日记 2025/7/30 14:04:22

23种设计模式-创建型模式之原型模式（Java版本）

Java 原型模式&#xff08;Prototype Pattern&#xff09;详解 &#x1f9ec; 什么是原型模式&#xff1f; 原型模式用于通过复制已有对象的方式创建新对象&#xff0c;而不是通过 new 关键字重新创建。 核心是&#xff1a;通过克隆&#xff08;clone&#xff09;已有对象&a…...

编程日记 2025/8/6 0:00:36

【深度学习】【目标检测】【Ultralytics-YOLO系列】YOLOV3核心文件common.py解读

【深度学习】【目标检测】【Ultralytics-YOLO系列】YOLOV3核心文件common.py解读 文章目录 【深度学习】【目标检测】【Ultralytics-YOLO系列】YOLOV3核心文件common.py解读前言autopad函数Conv类__init__成员函数forward成员函数forward_fuse成员函数 Bottleneck类__init__成员…...

编程日记 2025/8/4 22:27:55

PDF转excel+json ，vue3+SpringBoot在线演示+附带源码

在线演示地址&#xff1a;Vite Vuehttp://www.xpclm.online/pdf-h5 源码gitee前后端地址&#xff1a; javapdfexcel: javaPDF转excelhttps://gitee.com/gaiya001/javapdfexcel.git 盖亚/vuepdfhttps://gitee.com/gaiya001/vuepdf.git 后续会推出 前端版本跟nestjs版本 识别复…...

编程日记 2025/8/4 8:22:24

LeetCode 热题 100_乘积最大子数组（88_152_中等_C++）(动态规划)

LeetCode 热题 100_乘积最大子数组&#xff08;88_152&#xff09; 题目描述&#xff1a;输入输出样例&#xff1a;题解&#xff1a;解题思路&#xff1a;思路一&#xff08;暴力破解法(双重循环)&#xff09;&#xff1a;思路二&#xff08;动态规划&#xff09;&#xff1a; …...

编程日记 2025/8/1 20:40:04

Nvidia显卡架构演进

1 简介 显示卡&#xff08;英语&#xff1a;Display Card&#xff09;简称显卡&#xff0c;也称图形卡&#xff08;Graphics Card&#xff09;&#xff0c;是个人电脑上以图形处理器&#xff08;GPU&#xff09;为核心的扩展卡&#xff0c;用途是提供中央处理器以外的微处理器帮…...

编程日记 2025/8/4 17:10:41

TCP/IP、UDP、HTTP、HTTPS、WebSocket 一文讲解

在当今互联网世界中&#xff0c;数据通信是所有应用运行的基础。无论是打开网页、发送消息还是视频通话&#xff0c;背后都依赖于各种网络协议的协同工作。其中&#xff0c;TCP/IP、UDP、HTTP、HTTPS 和 WebSocket 是最为核心的几种协议。本文将围绕它们的概念、特性和适用场景…...

编程日记 2025/8/5 21:28:02

[密码学基础]密码学发展简史：从古典艺术到量子安全的演进

密码学发展简史&#xff1a;从古典艺术到量子安全的演进 密码学作为信息安全的基石&#xff0c;其发展贯穿人类文明史&#xff0c;从最初的文字游戏到量子时代的数学博弈&#xff0c;每一次变革都深刻影响着政治、军事、科技乃至日常生活。本文将以技术演进为主线&#xff0c;…...

编程日记 2025/7/30 7:33:34

包含物体obj与相机camera的 代数几何代码解释

反余弦函数的值域在 [0, pi] 斜体样式 cam_pose self._cameras[hand_realsense].camera.get_model_matrix() # cam2world# 物体到相机的向量 obj_tcp_vec cam_pose[:3, 3] - self.obj_pose.p dist np.linalg.norm(obj_tcp_vec) # 物体位姿的旋转矩阵 obj_rot_mat self.ob…...

编程日记 2025/8/3 13:02:25

【C++算法】65.栈_删除字符中的所有相邻重复项

文章目录 题目链接&#xff1a;题目描述&#xff1a;解法C 算法代码&#xff1a; 题目链接&#xff1a; 1047. 删除字符串中的所有相邻重复项 题目描述&#xff1a; 解法 利用string模拟栈 元素依次进栈&#xff0c;当进栈元素和栈顶元素一样的时候&#xff0c;就弹出栈顶字符…...

编程日记 2025/8/4 1:55:58

【java实现+4种变体完整例子】排序算法中【插入排序】的详细解析，包含基础实现、常见变体的完整代码示例，以及各变体的对比表格

以下是插入排序的详细解析&#xff0c;包含基础实现、常见变体的完整代码示例&#xff0c;以及各变体的对比表格&#xff1a; 一、插入排序基础实现 原理 将元素逐个插入到已排序序列的合适位置&#xff0c;逐步构建有序序列。 代码示例 public class InsertionSort {void…...

编程日记 2025/8/5 16:18:51

神经网络的数学之旅：从输入到反向传播

目录 神经网络简介神经元激活函数神经网络 神经网络的工作过程前向传播&#xff08;forward&#xff09;反向传播&#xff08;backward&#xff09;训练神经网络 神经网络简介 神经元 在深度学习中&#xff0c;必须要说的就是神经⽹络&#xff0c;或者说是⼈⼯神经⽹络&#…...

编程日记 2025/8/6 2:22:23

软件测试的页面交互标准：怎样有效提高易用性

当用户遇到"反人类"设计时 "这个按钮怎么点不了&#xff1f;"、"错误提示完全看不懂"、"我输入的内容去哪了&#xff1f;"——这些用户抱怨背后&#xff0c;都指向同一个问题&#xff1a;页面交互的易用性缺陷。作为软件测试工程师&a…...

编程日记 2025/8/4 8:46:12

Linux419 三次握手四次挥手抓包 wireshark

还是Notfound 没连接 可能我在/home 准备配置静态IP vim ctrlr 撤销 u撤销 配置成功 准备关闭防火墙 准备配置 YUM源 df -h 未看到sr0文件 准备排查 准备挂载 还是没连接 计划重启 有了 不重启了 挂载准备 修改配置文件准备 准备清理缓存 ok 重新修改配…...

编程日记 2025/8/3 5:10:15

玩转Docker | 使用Docker部署tududi任务管理工具

玩转Docker | 使用Docker部署tududi任务管理工具 前言一、tududi介绍Tududi简介核心功能特点二、系统要求环境要求环境检查Docker版本检查检查操作系统版本三、部署tududi服务下载镜像创建容器创建容器检查容器状态检查服务端口安全设置四、访问tududi服务访问tududi首页登录tu…...

编程日记 2025/8/5 4:43:29

ueditorplus编辑器已增加AI智能

之前功能请参考：https://www.geh3408.top/blog/76 下载：https://gitee.com/mo3408/ueditorplus 注意：key值需要单独获取，默认为DeepSeek，默认key有限制，请更换为自己的。 演示地址：https://www.geh3408.top/ueditorplus/dist 更多体验：ueditorplus编辑器已增加AI智…...

编程日记 2025/8/6 1:34:27

深度学习数据预处理：Dataset类的全面解析与实战指南

前言 在深度学习项目中&#xff0c;数据预处理是模型训练前至关重要的一环。一个高效、灵活的数据预处理流程不仅能提升模型性能&#xff0c;还能大大加快开发效率。本文将深入探讨PyTorch中的Dataset类&#xff0c;介绍数据预处理的常见技巧&#xff0c;并通过实战示例展示如何…...

编程日记 2025/8/6 9:15:38

【机器学习-周总结】-第4周

以下是本周学习内容的整理总结&#xff0c;从技术学习、实战应用到科研辅助技能三个方面归纳&#xff1a; 文章目录 &#x1f4d8; 一、技术学习模块&#xff1a;TCN 基础知识与结构理解&#x1f539; 博客1&#xff1a;【时序预测05】– TCN&#xff08;Temporal Convolutiona…...

编程日记 2025/7/30 9:30:53

高可靠 ZIP 压缩方案兼容 Office、PDF、TXT 和图片的二阶段回退机制

一、引言 在企业级应用中&#xff0c;经常需要将多种类型的文件&#xff08;如 Office 文档、PDF、纯文本、图片等&#xff09;打包成 ZIP 并提供给用户下载。但由于文件路径过长、特殊字符或权限等问题&#xff0c;Go 标准库的 archive/zip 有时会出现“压缩成功却实际未写入…...

编程日记 2025/8/7 3:47:13

【HDFS入门】HDFS数据冗余与容错机制解析：如何保障大数据高可靠存储？

目录 1 HDFS冗余机制设计哲学 1.1 多副本存储策略的工程权衡 1.2 机架感知的智能拓扑算法 2 容错机制实现原理 2.1 故障检测的三重保障 2.2 数据恢复的智能调度 3 关键场景容错分析 3.1 数据中心级故障应对 3.2 数据损坏的校验机制 4 进阶优化方案 4.1 纠删码技术实…...

编程日记 2025/8/5 7:17:05

06-libVLC的视频播放器：推流RTMP

创建媒体对象 libvlc_media_t* m = libvlc_media_new_path(m_pInstance, inputPath.toStdString().c_str()); if (!m) return -1; // 创建失败返回错误 libvlc_media_new_path：根据文件路径创建媒体对象。注意：toStdString().c_str() 在Qt中可能存在临时字符串析构问题，建议…...

编程日记 2025/8/7 12:45:58

【DT】USB通讯失败记录

项目场景&#xff1a; DT小板 USB通讯失败 问题描述 V1.1 板子含有降压电路、电容充电电路、姿态传感电路&#xff0c;语音电路、电弧电路、TF卡电路 焊接完成&#xff1a;功能正常 V1.2 为方便数传模块拔插&#xff0c;把座子缩小并做在了背面&#xff0c;下载口反向方便狭…...

编程日记 2025/8/5 12:45:19

【笔记】网路安全管理-实操

一、系统安全防护-Windows 开始-》管理工具-》本地安全策略-》账户策略-》密码策略-》 1.密码必须符合复杂性要求。双击打开-》勾选已启用-》单击：应用-》单击：确定 2.密码长度最小值。双击打开-》设置密码长度最小值为：？个字符 3.密码最短使用期限。双击打开-》设置密码…...

编程日记 2025/7/30 14:03:03

FFMPEG-视频解码-支持rtsp|rtmp|音视频文件（低延迟）

本人亲测解码显示对比延迟达到7到20毫秒之间浮动兼容播放音视频文件、拉流RTSP、RTMP等网络流 基于 Qt 和 FFmpeg 的视频解码播放器类，继承自 QThread，实现了视频流的解码、播放控制、帧同步和错误恢复等功能 工作流程初始化阶段: 用户设置URL和显示尺寸 调用play()启动线程解…...

编程日记 2025/8/1 10:03:09

LDR、MOV和STR指令详解

文章目录 前言 一、LDR指令详解 1.基本语法 2.寻址方式 3.伪指令形式 二、MOV指令详解 1.基本语法 2.常见用法 3.特殊变体 三、STR指令详解 1.基本语法 2.寻址方式 四、三者区别与联系 1.基本语法 2.操作效率 3.大数值处理 总结 前言 ARM汇编中的LDR、MOV和STR是三个最基础也最…...

编程日记 2025/8/2 17:18:23

MATLAB 控制系统设计与仿真 - 41

鲁棒控制的其他函数 - 回路成型函数 loopsyn 灵敏度问题由鲁棒控制工具箱中的loopsyn就可以直接求解&#xff0c;该函数采用H无穷回路成型算法设计控制器&#xff0c;函数的调用格式为&#xff1a; [K,CL,gamma,info] loopsyn(G,Gd) % G为受控对象模型% Gd为期望的回路传递函…...

编程日记 2025/8/6 13:24:41

Scade 语言词法介绍

Scade 6 是一种具备形式化语法与形式化语义的领域特定语言&#xff08;注1&#xff09;。自2008年发布&#xff08;注5&#xff09;起&#xff0c;在 Scade Suite 产品系列中语言定义方面到目前未产生重要的改变(注2)。在下面的内容中将介绍Scade 语言的词法(注3)。 注1&#x…...

编程日记 2025/7/30 15:25:17

Replicate Python client

本文翻译整理自&#xff1a;https://github.com/replicate/replicate-python 文章目录 一、关于 Replicate Python 客户端相关链接资源关键功能特性 二、1.0.0 版本的重大变更三、安装与配置1、系统要求2、安装3、认证配置 四、核心功能1、运行模型2、异步IO支持3、流式输出模型…...

编程日记 2025/8/4 19:00:54

LLM做逻辑推理题 - 如何找出不标准的球？

题目: 有80个外观一致的小球&#xff0c;其中一个和其它的重量不同&#xff0c;&#xff08;不知道更轻还是更重&#xff09;。现在给你一个天平&#xff0c;允许你称四次&#xff0c;把重量不同的球找出来&#xff0c;怎么称&#xff1f; 1. 答案 第1次称量&#xff1a;天平…...

编程日记 2025/8/3 1:55:11

[密码学基础]国密算法深度解析：中国密码标准的自主化之路

国密算法深度解析&#xff1a;中国密码标准的自主化之路 国密算法&#xff08;SM系列算法&#xff09;是中国自主研发的密码技术标准体系&#xff0c;旨在打破国际密码技术垄断&#xff0c;保障国家信息安全。本文将从技术原理、应用场景和生态发展三个维度&#xff0c;全面解…...

编程日记 2025/8/6 9:34:34