AI大模型开发原理篇-5：循环神经网络RNN
神经概率语言模型NPLM也存在一些明显的不足之处:模型结构简单，窗口大小固定，缺乏长距离依赖捕捉，训练效率低，词汇表固定等。为了解决这些问题，研究人员提出了一些更先进的神经网络语言模型，如循环神经网络、长短期记忆网络、门控循环单元（GRU）和Transformer等。这些模型能够捕捉长距离依赖，处理变长序列，同时具有更强的表达能力和泛化能力。
RNN 的基本概念
RNN 的主要特点是信息的循环传递。与标准神经网络不同，RNN 在每一时刻的输出不仅依赖于当前的输入，还依赖于前一个时刻的隐藏状态（或称为记忆）。因此，RNN 适合处理序列数据，因为它能通过隐藏层的状态将历史信息带入到模型中。
RNN 的优缺点
优点：
- 序列建模能力：RNN 能够处理和建模序列数据中的时间依赖关系，适用于自然语言处理、语音识别、时间序列预测等任务。
- 参数共享：RNN 的所有时刻共享相同的参数，这使得它能够在处理不同长度的序列时保持参数的共享，减少了计算开销。
缺点：
- 梯度消失和梯度爆炸：在训练过程中，当序列长度较长时，RNN 面临梯度消失或爆炸的问题。这会使得模型难以捕捉到远距离依赖。
- 记忆有限：标准的 RNN 在处理长序列时会逐渐丧失对早期输入的记忆，这使得它对于长距离依赖的建模效果较差。
RNN 的应用
RNN 主要应用于以下任务：
- 自然语言处理（NLP）：文本生成、机器翻译、情感分析、命名实体识别（NER）等。
- 时间序列预测：如股票价格预测、气象预测、交通流量预测等。
- 语音识别：RNN 可用于语音信号的建模，进行语音到文本的转换。
- 视频分析：RNN 还可以应用于视频数据的处理，如动作识别。
解决 RNN 问题的改进模型：LSTM 和 GRU
传统的 RNN 在处理长序列时容易遇到梯度消失或梯度爆炸的问题，因此在实际应用中，长短期记忆网络（LSTM） 和 门控循环单元（GRU） 被提出，以解决这一问题。
LSTM（Long Short-Term Memory）
LSTM 是一种特殊的 RNN 变体，它通过引入门控机制来避免梯度消失问题。LSTM 使用了三个门：
- 遗忘门（Forget Gate）：决定丢弃多少过去的信息。
- 输入门（Input Gate）：决定当前输入有多少信息进入记忆单元。
- 输出门（Output Gate）：决定当前记忆有多少信息影响输出。
LSTM 通过这些门控机制来控制信息流动，能够长期保留重要的信息，解决了传统 RNN 在长序列建模中的问题。
GRU（Gated Recurrent Unit）
GRU 是 LSTM 的一个简化版本。它只有两个门：
- 更新门（Update Gate）：决定多少历史信息需要保留。
- 重置门（Reset Gate）：决定当前输入对隐藏状态的影响。
与 LSTM 相比，GRU 在结构上更简单，但在许多应用中能够达到与 LSTM 相似的效果。
RNN 的训练：反向传播通过时间（BPTT）
RNN 的训练方法是通过 反向传播通过时间（Backpropagation Through Time, BPTT），即通过计算梯度并进行参数更新来训练模型。BPTT 是标准反向传播算法的延伸，它将序列中的每个时间步展开，并将误差反向传播至前面的每个时刻。
训练步骤：
- 前向传播：计算每个时间步的输出 yty_tyt 和隐藏状态 hth_tht。
- 计算损失：通常使用交叉熵损失函数来衡量预测值与真实值之间的差距。
- 反向传播：将损失通过时间反向传播，计算梯度并更新模型参数。
相关文章：
AI大模型开发原理篇-5：循环神经网络RNN
神经概率语言模型NPLM也存在一些明显的不足之处:模型结构简单，窗口大小固定，缺乏长距离依赖捕捉，训练效率低，词汇表固定等。为了解决这些问题，研究人员提出了一些更先进的神经网络语言模型，如循环神经网络、…...
无人机图传模块 wfb-ng openipc-fpv，4G
openipc 的定位是为各种模块提供底层的驱动和linux最小系统，openipc 是采用buildroot系统编译而成，因此二次开发能力有点麻烦。为啥openipc 会用于无人机图传呢？因为openipc可以将现有的网络摄像头ip-camera模块直接利用起来，从而…...
C++ Primer 自定义数据结构
欢迎阅读我的 【CPrimer】专栏 专栏简介：本专栏主要面向C初学者，解释C的一些基本概念和基础语言特性，涉及C标准库的用法，面向对象特性，泛型特性高级用法。通过使用标准库中定义的抽象设施，使你更加适应高级…...
)
Kanass快速安装配置教程(入门级)
Kanass是一款国产开源免费的项目管理工具，工具简洁易用、开源免费，本文将介绍如何快速安装配置kanass，以快速上手。 1、快速安装 1.1 Linux 安装 点击官网 -> 演示与下载 ->下载，下载Linux安装包，…...
【自然语言处理（NLP）】基于Transformer架构的预训练语言模型：BERT 训练之数据集处理、训练代码实现
文章目录 介绍BERT 训练之数据集处理BERT 原理及模型代码实现数据集处理导包加载数据生成下一句预测任务的数据从段落中获取nsp数据生成遮蔽语言模型任务的数据从token中获取mlm数据将文本转换为预训练数据集创建Dataset加载WikiText-2数据集 BERT 训练代码实现导包加载数据构建…...
深度解析：网站快速收录与网站安全性的关系
本文转自：百万收录网 原文链接：https://www.baiwanshoulu.com/58.html 网站快速收录与网站安全性之间存在着密切的关系。以下是对这一关系的深度解析： 一、网站安全性对收录的影响 搜索引擎惩罚： 如果一个网站存在安全隐患&am…...
《基于Scapy的综合性网络扫描与通信工具集解析》
在网络管理和安全评估中，网络扫描和通信是两个至关重要的环节。Python 的 Scapy 库因其强大的网络数据包处理能力，成为开发和实现这些功能的理想工具。本文将介绍一个基于 Scapy 编写的 Python 脚本，该脚本集成了 ARP 扫描、端口扫描以及 TCP…...
MySQL索引详解
MySQL索引详解 什么是索引索引的原理索引的分类索引的数据结构二叉树平衡二叉树B树B树 聚集索引与非聚集索引概念利用聚集索引查找数据利用非聚集索引查找数据覆盖索引与回表操作 如何正确使用索引 什么是索引 索引是存储引擎中一种数据结构，或者说数据的组织方式&…...
【NEXT】网络编程——上传文件（不限于jpg/png/pdf/txt/doc等），或请求参数值是file类型时，调用在线服务接口
最近在使用华为AI平台ModelArts训练自己的图像识别模型，并部署了在线服务接口。供给客户端（如：鸿蒙APP/元服务）调用。 import核心能力： import { http } from kit.NetworkKit; import { fileIo } from kit.CoreFileK…...
【Qt】界面优化
界面优化 设置全局样式样式文件使⽤ Qt Designer 编辑样式选择器设置子控件样式伪类选择器样式属性盒模型设置按钮样式设置复选框样式输入框样式列表样式菜单栏样式 在 Qt 中对界面的优化和 CSS 类似。语法结构如下： 选择器 {属性名: 属性值; }例如： QP…...
机器学习算法在网络安全中的实践
机器学习算法在网络安全中的实践 本文将深入探讨机器学习算法在网络安全领域的应用实践，包括基本概念、常见算法及其应用案例，从而帮助程序员更好地理解和应用这一领域的技术。"> 序言 网络安全一直是信息技术领域的重要议题，随着互联…...
课题介绍：基于惯性与单目视觉信息融合的室内微小型飞行器智能自主导航研究
室内微小型飞行器在国防、物流和监测等领域中应用广泛，但在复杂的非合作环境中实时避障和导航仍面临诸多挑战。由于微小型飞行器的载荷和能源限制，迫切需要开发高效的智能自主导航系统。本项目旨在研究基于惯性导航与单目视觉信息融合的技术，…...
Observability：实现 OpenTelemetry 原生可观察性的商业价值
作者：来自 Elastic David Hope 利用开放标准和简化的数据收集转变组织的可观察性策略。 现代组织面临着前所未有的可观察性挑战。随着系统变得越来越复杂和分散，传统的监控方法难以跟上步伐。由于数据量每两年翻一番，系统跨越多个云和技术&am…...
nginx 报错404
404：服务器无法正常解析页面，大多是配置问题(路径配置错误)、或访问页面不存在 如果你也是用nginx来转接服务的话，那你有可能碰到过这种情况，当你启动服务后，在本地打开页面，发现404，然后你找遍…...
2.2.1 人眼色觉与色度图
文章目录 人眼色觉色度图 人眼色觉 视网膜上的视杆细胞、视锥细胞在人眼色觉中起到重要作用。视杆细胞主要用在弱光暗环境下，其数量远远多于视锥细胞。视锥细胞负责明亮环境的视觉，有L,M,S三种类型的细胞，分别对长、中、短波长敏感࿰…...
DeepSeek 遭 DDoS 攻击背后：DDoS 攻击的 “千层套路” 与安全防御 “金钟罩”
当算力博弈升级为网络战争：拆解DDoS攻击背后的技术攻防战——从DeepSeek遇袭看全球网络安全新趋势 在数字化浪潮席卷全球的当下，网络已然成为人类社会运转的关键基础设施，深刻融入经济、生活、政务等各个领域。从金融交易的实时清算…...
c语言（关键字）
前言： 感谢b站鹏哥c语言 内容： 栈区（存放局部变量） 堆区 静态区（存放静态变量） rigister关键字 寄存器，cpu优先从寄存器里边读取数据 #include <stdio.h>//typedef，类型…...
眼见着折叠手机面临崩溃，三星计划增强抗摔能力挽救它
据悉折叠手机开创者三星披露了一份专利，通过在折叠手机屏幕上增加一个抗冲击和遮光层的方式来增强折叠手机的抗摔能力，希望通过这种方式进一步增强折叠手机的可靠性和耐用性，来促进折叠手机的发展。 据悉三星和研发可折叠玻璃的企业的做法是在…...
Excel to form ？一键导入微软表单
一句话痛点 “你的Excel越强大，手动复制到Forms就越痛苦。” 合并单元格崩溃成乱码、下拉菜单变纯文本、条件逻辑消失无踪——这些不是技术问题，而是低效工作模式的死刑判决书。 直击解决方案：3分钟，3步，300%效率 1…...
使用Ollama本地化部署DeepSeek
1、Ollama 简介 Ollama 是一个开源的本地化大模型部署工具，旨在简化大型语言模型（LLM）的安装、运行和管理。它支持多种模型架构，并提供与 OpenAI 兼容的 API 接口，适合开发者和企业快速搭建私有化 AI 服务。 Ollama …...
【xdoj-离散线上练习】T251（C++）
解题反思： 开始敲代码前想清楚整个思路比什么都重要嘤嘤嘤！看到输入m, n和矩阵，注意不能想当然地认为就是高m，宽n的矩阵，细看含义 比如本题给出了树的邻接矩阵，就是n*n的，代码实现中没有用到m这…...
【数据结构】_链表经典算法OJ（力扣/牛客第二弹）
目录 1. 题目1：返回倒数第k个节点 1.1 题目链接及描述 1.2 解题思路 1.3 程序 2. 题目2：链表的回文结构 2.1 题目链接及描述 2.2 解题思路 2.3 程序 1. 题目1：返回倒数第k个节点 1.1 题目链接及描述 题目链接： 面试题 …...
线性代数复习笔记
1. 课程学习 1.1 3Blue1Brown 线性代数 2. 基本术语 eigenvector（特征向量）：线性变换中方向保持不变的向量 可以视作3D旋转矩阵形成的旋转的轴...
51单片机 01 LED
一、点亮一个LED 在STC-ISP中单片机型号选择 STC89C52RC/LE52RC；如果没有找到hex文件（在objects文件夹下），在keil中options for target-output- 勾选 create hex file。 如果要修改编程 ：重新编译-下载/编程-单片机重…...
用一个例子详细说明python单例模式
单例模式是一种设计模式，它确保一个类只有一个实例，并提供一个全局访问点来访问该实例。这在需要控制资源（如数据库连接、文件系统等）的访问时非常有用。 下面是一个使用Python实现单例模式的例子： class Singleton:…...
QT知识点复习
1.qt核心机制 对象树、信号和槽、事件机制 2.对象树的作用 优化了内存回收机制。子对象实例化的时候，被父对象放对象树上，父对象释放内存，子对象也释放内存 3.信号和槽的作用 实现多个组件之间的通讯 4.信号和槽的几种连接方式 1.UI界面提…...
医学图像分割任务的测试代码
测试集进行测试 import os import torch import numpy as np from torch.utils.data import DataLoader from sklearn.metrics import (precision_score,recall_score,f1_score,roc_curve,auc,confusion_matrix, ) import matplotlib.pyplot as plt from utils import NiiData…...
linux下ollama更换模型路径
Linux下更换Ollama模型下载路径指南 在使用Ollama进行AI模型管理时，有时需要根据实际需求更改模型文件的存储路径。本文将详细介绍如何在Linux系统中更改Ollama模型的下载路径。 一、关闭Ollama服务 在更改模型路径之前，需要先停止Ollama服务。…...
)
手机上运行AI大模型(Deepseek等)
最近deepseek的大火，让大家掀起新一波的本地部署运行大模型的热潮，特别是deepseek有蒸馏的小参数量版本，电脑上就相当方便了，直接ollamaopen-webui这种类似的组合就可以轻松地实现，只要硬件，如显存…...
第一性原理:游戏开发成本的思考
利润 营收-成本 营收定价x销量x分成比例 销量 曝光量x 点击率x （购买率- 退款率） 分成比例 100%- 平台抽成- 税- 引擎费- 发行抽成 成本开发成本运营成本 开发成本 人工外包办公地点租金水电设备折旧 人工成本设计成本开发成本迭代修改成本后续内容…...
【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】2.11 视图与副本：内存优化的双刃剑
2.11 视图与副本：内存优化的双刃剑 目录 #mermaid-svg-OpelXRXip4Xj1A2e {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-OpelXRXip4Xj1A2e .error-icon{fill:#552222;}#mermaid-svg-OpelXRXip4Xj1A2e .…...
React 封装高阶组件 做路由权限控制
React 高阶组件是什么 官方解释∶ 高阶组件（HOC）是 React 中用于复用组件逻辑的一种高级技巧。HOC 自身不是 React API 的一部分，它是一种基于 React 的组合特性而形成的设计模式。 高阶组件（HOC）就是一个函数&…...
Python sider-ai-api库 — 访问Claude、llama、ChatGPT、gemini、o1等大模型API
目前国内少有调用ChatGPT、Claude、Gemini等国外大模型API的库。 Python库sider_ai_api 提供了一个完整的解决方案。通过调用 sider.ai 的API，开发者可以实现对这些大模型的访问。 众所周知，sider是一个Chrome，以及Edge的浏览器插件…...
深入解析 Linux 内核内存管理核心：mm/memory.c
在 Linux 内核的众多组件中，内存管理模块是系统性能和稳定性的关键。mm/memory.c 文件作为内存管理的核心实现，承载着页面故障处理、页面表管理、内存区域映射与取消映射等重要功能。本文将深入探讨 mm/memory.c 的设计思想、关键机制以及其在内核中的作用，帮助读者更好地理…...
git基础使用--3---git安装和基本使用
git基础使用–3–git-安装和基本使用 1. git工具安装 使用git如果不考虑开发工具我们一般需要关注三个点 1.1 git 本地化仓库管理的基础 打开https://git-scm.com/downloads地址下载安装 安装完成后，配置环境变量 配置完打开cmd，输入git --versio…...
Python 网络爬虫实战：从基础到高级爬取技术
📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 1. 引言 网络爬虫（Web Scraping）是一种自动化技术，利用程序从网页中提取数据，广泛…...
【PyQt】学习PyQt进行GUI开发从基础到进阶逐步掌握详细路线图和关键知识点
学习PyQt的必要性 PyQt是开发跨平台GUI应用的强大工具，适合需要构建复杂、高性能界面的开发者。无论是职业发展还是项目需求，学习PyQt都具有重要意义。 1. 跨平台GUI开发 跨平台支持：PyQt基于Qt框架，支持Windows、macOS、Linux…...
Web - CSS3基础语法与盒模型
概述 这篇文章是关于 Web 前端 CSS3 的基础语法与盒模型的讲解。包括 CSS3 层叠性及处理冲突规则、伪元素和新增伪类元素、属性选择器等。还介绍了文本与字体属性，如段落和行相关属性、字体文本属性。最后阐述了盒子模型，如元素隐藏、行内与块元素转换、…...
【开源免费】基于Vue和SpringBoot的公寓报修管理系统（附论文）
本文项目编号 T 186 ，文末自助获取源码 \color{red}{T186，文末自助获取源码} T186，文末自助获取源码 目录 一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程 四、功能截图五、文案资料5.1 选题背景5.2 国内…...
成绩案例demo
本案例较为简单，用到的知识有 v-model、v-if、v-else、指令修饰符.prevent .number .trim等、computed计算属性、toFixed方法、reduce数组方法。 涉及的功能需求有：渲染、添加、删除、修改、统计总分，求平均分等。 需求效果如下：…...
【tiktok 国际版抖抖♬♬ __ac_signature算法】逆向分析
一开始的参数是没有X-Bogus和 __ac_signature的 先是加密请求参数得到乱码。最终得到X-Bogus 然后请求参数添加了X-Bogus之后再去生成__ac_signature __ac_signature的生成需要用到X-Bogus...
【Linux】动静态库
一、库 静态库 .a[Linux]、.lib[windows] 动态库 .so[Linux]、.dll[windows] 二、静态库使用 如果我们要做一个静态库的话，首先我们需要把我们源文件(.c/.cpp)隐藏起来，头文件(.h)必须暴露出来， 1.我们先要把我们所有的.c文件编译成.o文件…...
《手札·开源篇》从开源到商业化：中小企业的低成本数字化转型路径 ——以Odoo为数据中台低成本实现售前售中一体化
某机电设备有限公司数字化转型案例：以Odoo为数据中台实现售前售中一体化 一、企业背景某机电设备有限公司在机电设备领域历经多年发展，业务广泛，涵盖工业自动化设备、电力设备等产品的销售与服务。随着业务版图不断拓展，企业面临…...
携程Android开发面试题及参考答案
在项目中，给别人发的动态点赞功能是如何实现的？ 数据库设计：首先要在数据库中为动态表添加一个点赞字段，用于记录点赞数量，同时可能需要一个点赞关系表，记录用户与动态之间的点赞关联，包括点赞时间等信息。界面交互：在 Android 界面上，为点赞按钮设置点击事件监听器。…...
Python-列表
3.1 列表是什么 在Python中，列表是一种非常重要的数据结构，用于存储一系列有序的元素。列表中的每个元素都有一个索引，索引从0开始。列表可以包含任何类型的元素，包括其他列表。 # 创建一个列表my_list [1, 2, 3, four, 5.0]…...
【LeetCode 刷题】回溯算法-子集问题
此博客为《代码随想录》二叉树章节的学习笔记，主要内容为回溯算法子集问题相关的题目解析。 文章目录 78.子集90.子集II 78.子集 题目链接 class Solution:def subsets(self, nums: List[int]) -> List[List[int]]:res, path [], []def dfs(start: int) ->…...
31.Word：科技论文的译文审交稿【31】
目录 NO1.2.3 NO4.5.6 NO7.8样式应用和修改&多级列表 NO9奇偶页页眉 NO10自动编号&交叉引用 NO11.12 NO1.2.3 另存为/F12：考生文件夹只保留译文内容、格式设置、修订批注，删除其他：删除表格的左列→删除第一行将表格转化成…...
Java序列化详解
1 什么是序列化、反序列化 在Java编程实践中，当我们需要持久化Java对象，比如把Java对象保存到文件里，或是在网络中传输Java对象时，序列化机制就发挥着关键作用。 序列化：指的是把数据结构或对象转变为可存储、可传输的…...
尝试ai生成figma设计
当听到用ai 自动生成figma设计时，不免好奇这个是如何实现的。在查阅了不少资料后，有了一些想法。参考了：在figma上使用脚本自动生成色谱 这篇文章提供的主要思路是：可以通过脚本的方式构建figma设计。如果我们使用ai 生成figma脚本…...
每日一题——包含min函数的栈
包含min函数的栈 题目数据范围：示例C语言代码实现解释1. push(value)2. pop()3. top()4. min() 总结大小堆GPT给的原始代码 题目 定义栈的数据结构，请在该类型中实现一个能够得到栈中所含最小元素的 min 函数，输入操作时保证 pop、top 和 mi…...