当前位置：首页 > news >正文

【人工智能-中级】循环神经网络（RNN）与Transformer在自然语言处理中的进阶应用

news 来源：原创 2025/6/24 5:45:39

循环神经网络（RNN）与Transformer在自然语言处理中的进阶应用

自然语言处理（NLP）是人工智能领域中的重要分支，其主要任务是使计算机能够理解、生成和处理人类语言。近年来，循环神经网络（RNN）和Transformer模型已成为NLP领域的两大核心技术。本文将探讨这两类模型在自然语言处理中的应用，从基础的语言模型到更复杂的应用，如机器翻译、文本生成等。

1. 循环神经网络（RNN）及其应用

循环神经网络（RNN）是一类能够处理序列数据的神经网络模型，广泛应用于处理和生成时序数据。与传统的前馈神经网络不同，RNN具有“记忆”能力，可以将前面的信息传递到后续的计算中，这使得它在处理自然语言时非常有效。

RNN的基本结构

RNN通过一个循环结构来处理输入数据的每个时间步。每个时间步的输出不仅依赖于当前的输入，还依赖于前一个时间步的状态。这一特性使得RNN能够捕捉序列数据中的时序关系。其基本的递归公式为：

相关文章：

【人工智能-中级】循环神经网络（RNN）与Transformer在自然语言处理中的进阶应用

循环神经网络（RNN）与Transformer在自然语言处理中的进阶应用自然语言处理（NLP）是人工智能领域中的重要分支，其主要任务是使计算机能够理解、生成和处理人类语言。近年来，循环神经网络（RNN）和Transformer模型已成为NLP领域的两大核心技术。本文将探讨这两类模型在自然…...

编程日记 2025/6/24 5:45:39

ZED相机应用

下载SDK wget https://stereolabs.sfo2.cdn.digitaloceanspaces.com/zedsdk/3.6/ZED_SDK_Ubuntu18_cuda11.5_v3.6.5.run 安装 ./ZED_SDK_Ubuntu18_cuda11.5_v3.6.5.run skip_python 测试 cd /usr/local/zed/tools ls ZED_Calibration ZED_Depth_Viewer ZED_Diagnostic ZED_E…...

编程日记 2025/6/24 15:56:01

大模型呼入机器人如何赋能呼叫中心？(转)

大模型呼入机器人如何赋能呼叫中心？(转) 原作者：开源呼叫中心FreeIPCC 大模型呼入机器人在赋能呼叫中心方面发挥着重要作用，主要体现在以下几个方面： 一、提升服务效率与质量 24小时不间断服务： 大模型呼入机器人能…...

编程日记 2025/6/24 16:28:49

基于Python对xslxslx文件进行操作

利用python操作表格文件读取xsl格式文件-源码 import xlrd# 读取xls文件中的工作对象 wb xlrd.open_workbook(示例文件/xxx物理学与信息技术学院.xls) print(wb)# 获取所有的工作表名称 sheet_names wb.sheet_names() # print(sheet_names)# 选择要读取的具体工作表对象 s…...

编程日记 2025/6/22 7:30:37

预处理器Stylus的介绍及使用，并同Less、Sass进行对比（简单介绍）

目录一、安装与配置安装Node.js： 安装Stylus： 配置Webpack： 二、编写Stylus代码定义变量： 使用变量： 嵌套语法： 混合（Mixins）： 函数： 6.关键字参…...

编程日记 2025/6/24 6:17:28

ansible自动化运维（四）jinjia2模板

Jinjia2模板前面说到playbook组成的时候，有介绍到template模块，而template模块对模板文件进行渲染时，使用的就是jinja2模板引擎，jinja2本身就是基于python的模板引擎，所以下面先来了解一下jinjia2模板的一些用法基…...

编程日记 2025/6/24 8:20:31

ubuntu系统的docker安装（2）

查看系统版本 lsb_release -asudo systemctl status docker查看docker是否安装成功 docker pull拉取镜像不成功/docker run不成功可能有多种原因：网络链接不稳定，没有重启docker，可以先将docker源设置为国内镜像源 sudo systemctl rest…...

编程日记 2025/6/24 10:09:35

.Net C#医院检验系统源码，实验室管理信息LIS系统

LIS系统源代码，.Net C#医院检验系统源码，三级医院应用案例，自主版权，适合二次开发上项目。本套实验室管理信息LIS系统采用.Net C#语言开发，用C/S架构。支持DB2,Oracle,MS SQLServer等主流数据库。可根据医院情况配置…...

编程日记 2025/6/2 14:37:52

STM32-FATFS文件系统

一、FATFS文件系统介绍： FATFS 是一个完全免费开源的 FAT/exFAT 文件系统模块，专门为小型的嵌入式系统而设计。它完全用标准 C 语言（ANSI C C89）编写，所以具有良好的硬件平台独立性，只需做简单的修改就可以…...

编程日记 2025/6/23 10:10:51

【多模态】swift框架使用qwen2-vl

前言前几篇里面学习了常见的一些多模态模型的典型架构和源代码，上一篇里面测试使用了minicpm-v系列模型，在尝试RLHF的时候发现swift特别好用特别全，记录一下对swift的一些使用，欢迎批评指正～ 前一篇里面写了minic…...

编程日记 2025/6/22 22:14:01

什么是全局对象和全局变量

在JavaScript中，全局对象和全局变量是两个重要的概念，它们与代码的执行环境和作用域紧密相关。全局对象全局对象（Global Object）是在代码的任何地方都能访问到的对象。在浏览器环境中，全局对象通常是window对象&…...

编程日记 2025/6/4 1:16:06

【收藏】Cesium billboard添加icon图片、label文字带背景图片（使用canvas绘制实现，附完整源码，vue2或vue3+vite都适用）

1.效果在项目开发过程中，有一个需求是有若干个需要展示的点，每个点icon不一样、对应的广告牌文字不一样、并且文字还需要有图片背景、每个文字背景也不同（抓狂）。这种需求只能编写canvas来绘制“icon文字背景文字”的image&#…...

编程日记 2025/6/24 13:50:28

【安卓开发】【Android Studio】启动时报错“Unable to access Android SDK add-on list”

一、问题描述在启动Android Studio时，软件报错：Unable to access Android SDK add-on list，报错截图如下： 二、原因及解决方法初步推测是由于网络节点延迟，无法接入谷歌导致的。点击Cancel取消即可。...

编程日记 2025/5/31 13:43:56

前缀和的两种构造方法

方法1 public preSum(int[] nums) {// preSum[0] 0；preSum new int[nums.length 1];// 计算 nums 的累加和for (int i 1; i < preSum.length; i) {preSum[i] preSum[i - 1] nums[i - 1];}} 方法2 public preSum(int[] nums) {preSum[0] nums[0];preSum …...

编程日记 2025/6/23 9:38:59

Linux —— vim 编辑器

一、什么是vim vim是一个功能强大、高度可定制的文本编辑器。以下是对vim编辑器的具体介绍： 历史背景：vim最初由Bram Moolenaar在1991年开发，作为vi编辑器的增强版，增加了许多新的特性和改进。它继承了vi的基本编辑功能和键盘快捷…...

编程日记 2025/5/31 23:25:47

pytorch torch.where函数

torch.where 是 PyTorch 中用于条件选择的函数。它可以根据一个布尔条件在两个张量中选择元素，从而生成一个新的张量。函数定义 torch.where(condition, input, other)参数说明： condition 一个布尔张量，表示条件判断结果。形状可以与 in…...

编程日记 2025/6/19 20:22:15

【JAVA】Java项目实战—Java EE项目：企业资源规划（ERP）系统

在企业管理中，企业资源规划（ERP）系统是不可或缺的工具。它能够帮助企业高效管理各种资源，包括人力资源、财务资源和库存等。Java作为一种成熟的编程语言，因其跨平台特性、强大的生态系统以及良好的社区支持&#xff0c…...

编程日记 2025/6/24 9:39:55

操作系统笔记

操作系统历史无操作系统 : 1946年～1950年代末期：第1代计算机，硬件以电子管为主，无操作系统。使用纸带传输程序和数据，操作系统只起加载作用。批处理操作系统 :1960年代初期～1960年代中期：第…...

编程日记 2025/6/19 20:51:49

go-zero(十二)消息队列

go zero 消息队列在微服务架构中，消息队列主要通过异步通信实现服务间的解耦，使得各个服务可以独立发展和扩展。 go-zero中使用的队列组件go-queue，是gozero官方实现的基于Kafka和Beanstalkd 的消息队列框架,我们使用kafka作为演示。一、…...

编程日记 2025/6/23 5:21:11

CSS3 常用特性及应用全解析

CSS3 常用特性及应用全解析在前端开发领域，CSS3 以其丰富多样的特性为网页增添了绚丽的视觉效果与流畅的交互体验。本文将详细介绍一些 CSS3 的常见知识及其使用方法，助力开发者打造更具吸引力的网页。一、边框效果升级 （一&#xff…...

编程日记 2025/6/23 16:58:56

revit转gltf，revit转3dtiles，如何将Revit模型转为3DTiles格式并在Cesiumjs中高效可视化

Revit模型导出gltf、glb与3dtiles有多种方式，但一般的商业工具收费普遍较高：Cesiumlab导出3dTile格式数据，Cesiumlab暂时可试用3天，会员版收费每年800；BimAngleEngine导出3dTile格式数据BimAngleEngine暂时可试用30天&…...

编程日记 2025/6/23 7:07:39

Unity学习笔记（二）如何制作角色动画

前言本文为Udemy课程The Ultimate Guide to Creating an RPG Game in Unity学习笔记创建一个角色我们的目的是创建一个可移动、跳跃、冲刺等动作的角色需要的组件：Rigidbody（用于创建物理规则）、Collider（用于检测碰撞&am…...

编程日记 2025/6/23 8:51:23

基于卷积神经网络的Caser算法

将一段交互序列嵌入到一个以时间为纵轴的平面空间中形成“一张图”后，基于卷积序列嵌入的推荐（Caser）算法利用多个不同大小的卷积滤波器，来捕捉序列中物品间的点级（point-level）、联合的（union-…...

编程日记 2025/6/23 14:59:09

Java中服务器代理（Proxy）详解

Java中服务器代理（Proxy）详解服务器代理（Proxy）在网络编程和分布式系统中是一个至关重要的概念，其功能远超一般的网络请求转发。在现代互联网架构中，代理不仅广泛应用于负载均衡、访问控制和安全防护&…...

编程日记 2025/6/21 1:47:06

css中相对定位的应用场景

元素位置微调文本与图标组合微调：在网页设计中，经常会有文本和图标的组合，比如一个带有搜索图标的搜索框。可以使用相对定位来微调图标在搜索框内的位置。例如，有以下HTML结构： <input type"text" class…...

编程日记 2025/6/22 1:07:31

人工智能技术的深度解析与推广【人工智能的应用场景】

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默， 忍不住分享一下给大家。点击跳转到网站学习总结 1、掌握 JAVA入门到进阶知识(持续写作中……） 2、学会Oracle数据库入门到入土用法(创作中……） 3、手把…...

编程日记 2025/6/24 9:53:33

Quad Remesher使用教程

为什么要拓扑？ 我们知道，模型在三维软件中的表现，是由一系列的面通过不同角度组合而成的。3D模型制作层面上的拓扑，按我的理解来说，就是一个模型的面的结构分布——布线。想表现和制作一个三维模型，有无限…...

编程日记 2025/6/22 23:03:22

【经验分享】容器云运维的知识点

最近忙于备考没关注，有次点进某小黄鱼发现首页出现了我的笔记还被人收费了虽然我也卖了一些资源，但我以交流、交换为主，笔记都是免费给别人看的由于当时刚刚接触写的并不成熟，为了避免更多人花没必要的钱，所以决定公…...

编程日记 2025/6/22 18:22:36

NDRCContextUnmarshall断点函数分析之I_RpcBindingCopy函数的作用

NDRCContextUnmarshall断点函数分析之I_RpcBindingCopy函数的作用第一部分： void RPC_ENTRY NDRCContextUnmarshall ( // process returned context OUT NDR_CCONTEXT PAPI *phCContext,// stub context to update IN RPC_BINDING_HANDLE hRPC, …...

编程日记 2025/6/21 21:55:28

代码随想录算法训练营第三十二天|动态规划理论基础|LC509.肥波那些数|LC70.爬楼梯|LC746.使用最小花费爬楼梯

动态规划理论基础解释：动态规划，英文：Dynamic Programming，简称DP；如果某一问题有很多重叠子问题，使用动态规划是最有效的。动态规划五部曲： 1、确定dp数组（dp table）…...

编程日记 2025/6/1 22:08:06

[每周一更]-(第127期)：Go新项目-Gin中使用超时中间件实战（11）

在项目不断迭代过程中，发现基础架构中，没有进行超时控制，有些接口由于网络延迟以及远程调用等情况存在请求时间过长的问题，消耗了资源，也降低了用户体验，这一讲我们聊下超时控制中间件，来完善我…...

编程日记 2025/6/24 15:32:14

【HAL库】STM32CubeMX开发----STM32F407----Time定时器中断实验

STM32CubeMX 下载和安装详细教程【HAL库】STM32CubeMX开发----STM32F407----目录前言本次实验以 STM32F407VET6 芯片为MCU，使用 25MHz 外部时钟源。实现定时器TIM3中断，每1s进一次中断。定时器计算公式如下： arr 是自动装载值&#x…...

编程日记 2025/6/21 19:17:38

使用idea创建一个JAVA WEB项目

文章目录 1. javaweb项目简介2. 创建2.1 idea新建项目2.2 选择，命名2.3 打开2.4 选择tomcat运行2.5 结果 3. 总结 1. javaweb项目简介 JavaWeb项目是一种基于Java技术的Web应用程序，主要用于开发动态网页和Web服务。这种项目能够构建在Java技术栈之上&a…...

编程日记 2025/6/21 10:28:53

PDF 文件如何转为 CAD 图纸？PDF2CAD 使用教程

在工程设计和建筑行业中，PDF 文件常常被用来分享和存档图纸。然而，当需要对这些图纸进行编辑或进一步开发时，静态的 PDF 格式就显得力不从心了。这时候，将 PDF 文件转换为可编辑的 CAD（计算机辅助设计）格式…...

编程日记 2025/6/24 16:34:19

Spring Boot 集成 MyBatis 全面讲解

Spring Boot 集成 MyBatis 全面讲解 MyBatis 是一款优秀的持久层框架，与 Spring Boot 集成后可以大大简化开发流程。本文将全面讲解如何在 Spring Boot 中集成 MyBatis，包括环境配置、基础操作、高级功能和最佳实践。一、MyBatis 简介 1. SqlSession …...

编程日记 2025/6/22 20:19:43

SpringBoot | SpringBoot原理分析

SpringBoot原理分析（一）.jpg SpringBoot原理分析（二）.jpg 核心要点： 1、SpringBootApplication 2、SpringBootConfiguration 3、ComponentScan 4、EnableAutoConfiguration 5、AutoConfigurationPackages 6、import(Au…...

编程日记 2025/6/2 22:07:56

解决“VMware虚拟机报Intel VT-x”错误

今天，在windows系统上，打开VMware WorkStation v15软件里的虚拟机，弹出"Intel VT-x处于禁用状态"错误，如图(1)所示： 图(1) 虚拟机报"Intel VT-x"错误问题原因：当前电脑的BIOS没有开启…...

编程日记 2025/6/22 18:03:27

LeetCode200.岛屿数量

题目给你一个由 ‘1’（陆地）和 ‘0’（水）组成的的二维网格，请你计算网格中岛屿的数量。岛屿总是被水包围，并且每座岛屿只能由水平方向和/或竖直方向上相邻的陆地连接形成。此外，你可以假设…...

编程日记 2025/6/3 8:50:56

python学opencv|读取图像（七）抓取像素数据顺利修改图像大小

【1】引言前序我们已经学习图像的基本读取操作，文章链接为： python学opencv|读取图像-CSDN博客也掌握了彩色图像的保存： python学opencv|读取图像（二）保存彩色图像_python opencv 读取图像转为彩色-CSDN博客以…...

编程日记 2025/6/20 14:19:33

Qt Pro 常用配置

Part1: Summary Qt 开发中 Pro 文件的内容很多，需要不断的去学习和使用，现系统性的整理一下。以备录； 1.创建pro文件 1.1 步骤： Qt Creator--->New Project--->应用程序--->Qt Widgets Application--->名称为&…...

编程日记 2025/6/23 20:39:22

源码分析之Openlayers中默认Controls控件渲染原理

概述 Openlayers 中默认的三类控件是Zoom、Rotate和Attribution 源码分析 defaults方法 Openlayers 默认控件的集成封装在defaults方法中，该方法会返回一个Collection的实例，Collection是一个基于数组封装了一些方法，主要涉及到数组项的添…...

编程日记 2025/6/20 5:14:34

银河麒麟桌面操作系统添加WPS字体

【使用场景】银河麒麟桌面操作系统支持添加WPS字体。在银河麒麟桌面操作系统中使用WPS软件编辑文档时存在需要添加WPS字体的情况，例如字体缺失或者需要特殊字体时，需要添加WPS字体。【操作方法】步骤一：在互联网上搜索并下载.ttf格式的字体文件。步骤二：下载完成后，在…...

编程日记 2025/6/22 18:25:57

利用Python实现多元回归预测汽车价格

引言： AI技术的热门使得大家对机器学习有了更多的关注，作为与AI技术息息相关的一门课程，从头了解基础的机器学习算法就显得十分有必要，如：梯度下降，线性回归等。正文：本文将讲解线性回归中多元回回归的案例机器学习大致可以分为监督学习，非监督学习、半监督学习还…...

编程日记 2025/6/4 1:52:49

16、PyTorch中进行卷积残差模块算子融合

文章目录 1. 1x1卷积核-> 3x3卷积核2. 输入x --> 3x3卷积核，无变化3. 代码 1. 1x1卷积核-> 3x3卷积核假设我们有一个1x1的卷积核，需要通过填充变为一个3x3的卷积核,实现的是像素之间无关联 [ 4 ] → [ 0 0 0 0 4 0 0 0 0 ] \begin{equation}…...

编程日记 2025/6/22 5:45:52

CMake简单使用（二）

目录五、scope 作用域5.1 作用域的类型5.1.1 全局作用域5.1.2 目录作用域5.1.3 函数作用域六、宏6.1 基本语法6.2 演示代码七、CMake构建项目7.1 全局变量7.2 写入源码路径7.3 调用子目录cmake脚本7.4 CMakeLists 嵌套(最常用) 八、CMake 与库8.1 CMake生成动静态库8.1.1 动…...

编程日记 2025/5/31 1:56:24

React和Vue中暴露子组件的属性和方法给父组件用，并且控制子组件暴露的颗粒度的做法

React 在 React 中，forwardRef 是一种高级技术，它允许你将 ref 从父组件传递到子组件，从而直接访问子组件的 DOM 节点或公开的方法。这对于需要操作子组件内部状态或 DOM 的场景非常有用。为了使子组件能够暴露其属性和方法给父组件&#xf…...

编程日记 2025/6/21 15:39:05

MATLAB 识别色块和数量

文章目录前言步骤 1: 读取图像步骤 2: 转换为 HSV 颜色空间步骤 3: 定义颜色范围步骤 4: 创建颜色掩码步骤 5: 应用形态学操作（可选）步骤 6: 标记和显示结果完整代码步骤七返回色块坐标总结前言提示：这里可以添加本文要记录的大概内容&…...

编程日记 2025/5/31 22:24:11

.NET 9 已发布，您可以这样升级或更新

.NET 9 已经发布，您可能正在考虑更新您的 ASP.NET Core 应用程序。我们将介绍更新应用程序所需的内容。从更新 Visual Studio 和下载 .NET SDK 到找出可能破坏应用程序的任何重大更改。下载 .NET 9 SDK 这些是下载 .NET 9 SDK 所需的步骤。更新 Visual Studi…...

编程日记 2025/6/1 5:16:30

VMware ubuntu16.04怎么设置静态IP联网

1.将VMware桥接到当前电脑使用的网络上面； 2.点击网络符号，编辑连接； 3.双击有线连接1； 4.选择IPv4设置，将地址，子网掩码，网关，DNS服务器设置好，保存； 5.在终…...

编程日记 2025/5/21 22:00:57

#渗透测试#漏洞挖掘#红蓝攻防#js分析（上）

免责声明本教程仅为合法的教学目的而准备，严禁用于任何形式的违法犯罪活动及其他商业行为，在使用本教程前，您应确保该行为符合当地的法律法规，继续阅读即表示您需自行承担所有操作的后果，如有异议，请立即停…...

编程日记 2025/6/22 1:35:49