当前位置：首页 > news >正文

文章六：《循环神经网络（RNN）与自然语言处理》

news 来源：原创 2025/5/8 1:33:10

文章6：循环神经网络（RNN）与自然语言处理——让AI学会"说人话"

引言：你的手机为什么能秒懂你？

当你说"我想看科幻片"时，AI助手能立刻推荐《星际穿越》，这背后是RNN在"读心"！今天，我们将用Python搭建一个能写诗、判情感、甚至聊人生的人工智能。

一、RNN的"记忆超能力"：处理序列数据的秘诀

1.1 RNN基础：时间的"记忆链"

import tensorflow as tf
from tensorflow.keras import layers# 基础RNN模型
model = tf.keras.Sequential([layers.SimpleRNN(64, input_shape=(timesteps, input_dim)),layers.Dense(10)
])

核心问题：

梯度消失/爆炸：像接力赛最后一棒信号太弱或太强
长程依赖：无法记住"我昨天说的’今天’是什么时候"

二、LSTM与GRU：对抗遗忘的"记忆增强剂"

2.1 LSTM的"三门机制"

# LSTM层结构
model = tf.keras.Sequential([layers.LSTM(128, return_sequences=True, input_shape=(timesteps, input_dim)),layers.Dense(1)
])

门控机制示意图：

2.2 GRU：LSTM的"轻量化版"

# GRU层结构
model = tf.keras.Sequential([layers.GRU(64, input_shape=(timesteps, input_dim)),layers.Dense(2, activation='softmax')
])

三、文本数据处理：从文字到数字的"翻译官"

3.1 分词与向量化

from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences# 示例文本
texts = ["I love this movie", "This is terrible"]# 文本转数字
tokenizer = Tokenizer(num_words=10000)
tokenizer.fit_on_texts(texts)
sequences = tokenizer.texts_to_sequences(texts)# 填充序列
padded = pad_sequences(sequences, maxlen=5)
print(padded)  # 输出[[3, 4, 5, 0, 0], [2, 6, 7, 8, 0]]

3.2 词嵌入：让AI理解"苹果"和"水果"的关系

# 定义Embedding层
embedding_layer = layers.Embedding(input_dim=vocab_size,output_dim=50,input_length=max_length
)

四、情感分析实战：IMDB影评的"心情探测器"

4.1 数据加载与预处理

from tensorflow.keras.datasets import imdb(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)# 反向转换查看内容
word_index = imdb.get_word_index()
reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])
print(' '.join([reverse_word_index.get(i-3, '?') for i in train_data[0]]))

4.2 构建LSTM情感分析模型

model = tf.keras.Sequential([layers.Embedding(10000, 16),layers.Bidirectional(layers.LSTM(64)),  # 双向LSTM捕捉更多信息layers.Dense(1, activation='sigmoid')
])model.compile(optimizer='adam',loss='binary_crossentropy',metrics=['accuracy'])

4.3 训练与评估

history = model.fit(train_data,train_labels,epochs=10,validation_split=0.2
)

五、注意力机制：让模型"专注"关键信息

5.1 注意力层的魔法

from tensorflow.keras.layers import Attention# 在编码器-解码器结构中使用注意力
encoder_inputs = layers.Input(shape=(None,))
x = layers.Embedding(vocab_size, 256)(encoder_inputs)
encoder = layers.LSTM(256, return_state=True)
encoder_outputs, state_h, state_c = encoder(x)
encoder_states = [state_h, state_c]# 解码器带注意力
decoder_inputs = layers.Input(shape=(None,))
decoder_lstm = layers.LSTM(256, return_sequences=True)
x = decoder_lstm(decoder_inputs, initial_state=encoder_states)
attention = layers.Attention()([x, encoder_outputs])
decoder_outputs = layers.Dense(vocab_size, activation='softmax')(attention)

六、聊天机器人：用RNN打造"AI树洞"

6.1 构建简单序列到序列模型

# 输入处理：将用户输入与回复拼接
input_texts = ["Hello", "How are you?"]
target_texts = ["Hi there!", "I'm fine, thanks!"]# 构建模型
encoder = tf.keras.Sequential([layers.Embedding(input_vocab_size, 256),layers.LSTM(256, return_state=True)
])decoder = tf.keras.Sequential([layers.Embedding(target_vocab_size, 256),layers.LSTM(256, return_sequences=True),layers.TimeDistributed(layers.Dense(target_vocab_size, activation='softmax'))
])# 训练流程（略）

6.2 生成回复示例

def generate_response(user_input):# 编码输入state = encoder.predict(user_input)# 解码生成target_seq = np.zeros((1,1))target_seq[0,0] = tokenizer.word_index['<start>']for _ in range(max_length):# 生成下一个词passreturn generated_response

七、进阶技巧：让模型更聪明的"黑科技"

7.1 梯度裁剪：给爆炸的梯度"降温"

model.compile(optimizer=tf.keras.optimizers.Adam(clipvalue=1.0)  # 限制梯度绝对值不超过1
)

7.2 位置编码：给RNN加"时间GPS"

def positional_encoding(pos, d_model):angle_rates = 1 / np.power(10000, (2 * (np.arange(d_model)//2))/np.float32(d_model))angle_rads = pos * angle_ratesangle_rads[:, 0::2] = np.sin(angle_rads[:, 0::2])angle_rads[:, 1::2] = np.cos(angle_rads[:, 1::2])return angle_rads

八、案例：用注意力机制提升情感分析效果

8.1 添加注意力层的情感模型

# 在LSTM层后添加注意力
model = tf.keras.Sequential([layers.Embedding(10000, 16),layers.Bidirectional(layers.LSTM(64, return_sequences=True)),layers.Attention()(),  # 跨时间步注意力layers.GlobalAveragePooling1D(),layers.Dense(1, activation='sigmoid')
])

8.2 可视化注意力权重

# 输出注意力热力图
plt.imshow(attention_weights, cmap='viridis')
plt.xlabel("Input Words"), plt.ylabel("Attention Weights")
plt.title("Model is focusing on 'terrible' and 'awful'")

结语：你已掌握语言AI的"瑞士军刀"

现在，你的AI不仅能写诗、判情感，还能用注意力机制"专注"关键信息。记住：

LSTM是长文本的"记忆大师"
注意力机制是细节的"放大镜"
词嵌入是语言的"翻译器"

课后挑战：尝试用Transformer模型改进聊天机器人，让AI理解"你今天吃饭了吗"背后的社交含义！把你的"AI哲学家"分享到GitHub，或许能启发下个AI革命者哦！

文章六：《循环神经网络（RNN）与自然语言处理》

文章6：循环神经网络（RNN）与自然语言处理——让AI学会"说人话" 引言：你的手机为什么能秒懂你？ 当你说"我想看科幻片"时，AI助手能立刻推荐《星际穿越》，这背后是RNN在"…...

编程日记 2025/5/8 1:33:10

Redis总结及设置营业状态案例

Redis简介: rRedis服务开启与停止: 服务开启: 在Redis配置文件中输入cmd进入命令行输入redis-server redis-cli.exe -h -p：连接到redis服务设置密码:在redis.windows.conf中找到requirepass 密码服务停止： 在服务开启的界面按ctrlc Redis数据类…...

编程日记 2025/5/8 1:25:53

中科大：LLM几何推理数据生成

📖标题：Enhancing the Geometric Problem-Solving Ability of Multimodal LLMs via Symbolic-Neural Integration 🌐来源：arXiv, 2504.12773 🌟摘要 🔸多模态大语言模型（MLLM）的最…...

编程日记 2025/5/3 6:52:12

AimRT从入门到精通 - 04RPC客户端和服务器

一、ROS中的service通信机制服务通信也是ROS中一种极其常用的通信模式，服务通信是基于请求响应模式的，是一种应答机制。也即：一个节点A向另一个节点B发送请求，B接收处理请求并产生响应结果返回给A。比如如下场景： 机器…...

编程日记 2025/5/3 6:51:10

【Android】Intent

目录一、什么是Intent 二、显式Intent 三、隐式Intent 四、复杂数据传递五、跨应用权限管理六、常见问题一、什么是Intent 1. 跨组件通信桥梁实现组件间通信（Activity/Service/BroadcastReceiver）封装操作指令与数据传输逻辑目标组件启动…...

编程日记 2025/5/3 6:51:10

从0开始建立Github个人博客(hugoPaperMod)

从0开始建立Github个人博客(hugo&PaperMod) github提供给每个用户一个网址，用户可以建立自己的静态网站。一、Hugo hugo是一个快速搭建网站的工具，由go语言编写。 1.安装hugo 到hugo的github标签页Tags gohugoio/hugo选择一个版本&#xff0c…...

编程日记 2025/5/3 6:51:09

Python集合全解析：从基础到高阶应用实战

一、集合核心特性与创建方法 1.1 集合的本质特征 Python集合（Set）是一种无序且元素唯一的容器类型，基于哈希表实现，具有以下核心特性： 唯一性：自动过滤重复元素无序性&#xff…...

编程日记 2025/5/3 6:50:08

Matlab自学笔记

一、我下载的是Matlab R2016a软件，打开界面如下： 二、如何调整字体大小，路径为：“主页”->“预设”->“字体”。三、命令行窗口是直接进行交互式的，如下输入“3 5”，回车，就得到结果“…...

编程日记 2025/5/3 6:50:05

Python爬虫实战：获取好大夫在线各专业全国医院排行榜数据并分析，为患者就医做参考

一、引言在当今医疗资源丰富但分布不均的背景下，患者在选择合适的心血管内科医院时面临诸多困难。好大夫在线提供的医院排行榜数据包含了医院排名、线上服务得分、患者评价得分等重要信息，对患者选择医院具有重要的参考价值。本研究通过爬取该排行榜数据，并进行深入分析，…...

编程日记 2025/5/3 6:49:02

多模态人工智能研究：视觉语言模型的过去、现在与未来

多模态人工智能研究：视觉语言模型的过去、现在与未来 1. 引言：定义多模态图景多模态人工智能指的是旨在处理和整合来自多种数据类型或“模态”信息的人工智能系统，这些模态包括文本、图像、音频和视频等。与通常侧重于单一模态（…...

编程日记 2025/5/3 6:49:02

DeepSeek+Excel：解锁办公效率新高度

目录一、引言：Excel 遇上 DeepSeek二、认识 DeepSeek：大模型中的得力助手2.1 DeepSeek 的技术架构与原理2.2 DeepSeek 在办公场景中的独特优势三、DeepSeek 与 Excel 结合的准备工作3.1 获取 DeepSeek API Key3.2 配置 Excel 环境四、DeepSeekExcel 实…...

编程日记 2025/5/3 6:49:01

3033. 修改矩阵

题目来源： leetcode题目：3033. 修改矩阵 - 力扣（LeetCode） 解题思路： 获取每列的最大值后将-1替换即可。解题代码： #python3 class Solution:def getMaxRow(matrix:List[List[int]])->List[int]:r…...

编程日记 2025/5/3 6:47:59

Android面试总结之jet pack模块化组件篇

一、ViewModel 深入问题 1. ViewModel 如何实现跨 Fragment 共享数据？其作用域是基于 Activity 还是 Fragment？ 问题解析： ViewModel 的作用域由 ViewModelStoreOwner 决定。当 Activity 和其内部 Fragment 共享同一个 ViewModelStoreOwner…...

编程日记 2025/5/3 6:47:59

环境安装准备 #安装 postgresql13 brew install postgresql13 #使用zsh的在全局添加postgresql命令集 echo export PATH"/usr/local/opt/postgresql13/bin:$PATH" >> ~/.zshrc # 使得zsh的配置修改生效 source ~/.zshrc # 启动postgresql brew services star…...

编程日记 2025/5/3 6:47:58

清洗数据集

将label在图片上画出来按照第一行的属性分类 import os import cv2 import multiprocessing as mp from tqdm import tqdm# ---------- 路径配置 ---------- # IMAGE_DIR = r"C:\Users\31919\Desktop\datasets\13k_100drive_raw_with_hand\images\test" LABEL_DIR =…...

编程日记 2025/5/3 6:46:56

支持向量机（SVM）详解

引言支持向量机（Support Vector Machine, SVM）是一种强大的监督学习算法，主要用于分类和回归任务。其核心思想是找到一个最优的决策边界（超平面），最大化不同类别之间的间隔（Margin&#xff09…...

编程日记 2025/5/3 6:46:54

MIT XV6 - 1.2 Lab: Xv6 and Unix utilities - pingpong

接上文 MIT XV6 - 1.1 Lab: Xv6 and Unix utilities - user/_sleep 是什么？做什么？ pingpong 不务正业了那么久(然而并没有，虽然还在探索sleep，但是教材我已经看完了前三章了)，让我们赶紧继续下去在进行本实验之前请务…...

编程日记 2025/5/3 6:46:53

“淘宝闪购”提前4天全量，意味着什么？

4月30日推出，首日上线50个城市，既定5月6日推广至全国的“淘宝闪购”，突然在5月2日早上官宣，提前4天面向全国消费者全量开放。这一系列节奏，剑指一个字“快”！ 是业务发展远超预期的“快”。 4月30日&am…...

编程日记 2025/5/3 6:45:52

Servlet 解决了什么问题？

Servlet 主要解决了以下几个核心问题： 性能问题 (Performance): CGI 的问题： 传统的 CGI 技术为每个Web 请求都启动一个新的进程。进程的创建和销毁涉及大量的系统资源开销（内存分配、CPU 时间、进程上下文切换等）。在高并发场景下…...

编程日记 2025/5/3 6:45:51

Cherry Studio的MCP协议集成与应用实践：从本地工具到云端服务的智能交互

Cherry Studio的MCP协议集成与应用实践：从本地工具到云端服务的智能交互一、MCP协议与Cherry Studio的技术融合 MCP（Model Context Protocol） 是由Anthropic提出的标准化协议，旨在为AI模型提供与外部工具交互的通用接口。通过M…...

编程日记 2025/5/8 0:49:38

CPU：AMD的线程撕裂者（Threadripper）系列

AMD的线程撕裂者（Threadripper）系列是AMD面向高性能计算（HPC）、工作站（Workstation）和高端桌面（HEDT）市场推出的顶级处理器产品线。该系列以极高的核心数、强大的多线程性能、丰富的…...

编程日记 2025/5/3 6:44:48

(即插即用模块-Attention部分) 六十二、(2022) LKA 大核注意力

文章目录 1、Larger Kernel Attention2、代码实现 paper：Visual Attention Network Code：https://github.com/Visual-Attention-Network 1、Larger Kernel Attention 自注意力机制在 NLP 领域取得了巨大成功，但其应用于计算机视觉任务时存在…...

编程日记 2025/5/3 6:44:48

Spring 分批处理 + 冷热数据分离：历史订单高效迁移与数据清理实战

在实际业务中，随着时间推移，订单量持续增长，若未及时进行数据治理，会造成数据库膨胀、查询缓慢、性能下降等问题。为了实现数据分层管理和系统高性能运行，我们在项目中采用了“冷热数据分离分批迁移数据清理”的综…...

编程日记 2025/5/3 6:43:46

Mybatis中的一级二级缓存扫盲

思维导图： MyBatis 提供了一级缓存和二级缓存机制，用于提高数据库查询的性能，减少对数据库的访问次数。（本质上是减少IO次数）。一级缓存 1. 概念一级缓存也称为会话缓存，它是基于 SqlSession 的缓存。在同…...

编程日记 2025/5/3 6:43:45

Elasticsearch 常用的 API 接口

文档类 API Index API ：创建并建立索引，向指定索引添加文档。例如：PUT /twitter/tweet/1 ，添加一个文档。 Get API ：获取文档，通过索引、类型和 ID 获取文档。如GET /twitter/tweet/1。 DELETE API &…...

编程日记 2025/5/3 6:43:45

纯前端专业PDF在线浏览器查看器工具

纯前端专业PDF在线浏览器查看器工具工具简介我们最新开发的PDF在线浏览器工具现已发布！这是一个基于Web的轻量级PDF阅读器，无需安装任何软件，直接在浏览器中即可查看和操作PDF文档。主要功能 ✅ PDF文件浏览支持本地PDF文件上传流畅的…...

编程日记 2025/5/3 6:42:43

传奇各职业/战士/法师/道士手套/手镯/护腕/神秘腰带爆率及出处产出地/圣战/法神/天尊/祈祷/虹魔/魔血

护腕排行(战士): 名字攻击攻击(均)魔法魔法(均)道术道术(均)防御防御(均)魔御魔御(均)重量要求图标外观产出圣战手镯2-32.50-000-000-10.50-002攻击: 400.02%双头金刚(50级/5000血/不死系)|赤月魔穴(1725,2125)60分钟2只 0.02%双头血魔(55级/5000血/不死系)|赤月魔穴(1725,212…...

编程日记 2025/5/3 6:42:42

觅知解析计费系统重构版在线支付卡密充值多解析接口免授权无后门源码扶风二开

一、源码描述这是一套视频解析计费源码（扶风二开），可配置多接口和专用特征解析接口，对接在线支付和卡密支付，支持在线充值和卡密充值，支持点数收费模式和包月套餐收费模式，可配置多个视频解析…...

编程日记 2025/5/3 6:41:41

C++11新特性_委托构造函数

格式定义在 C11 里，委托构造函数的格式为：一个构造函数能够在其成员初始化列表里调用同一个类的其他构造函数。基本语法如下： class ClassName { public:// 被委托的构造函数（目标构造函数）ClassName(参数列表1) : …...

编程日记 2025/5/3 6:41:40

网工_IP协议

2025.02.17：小猿网&网工老姜学习笔记第19节 IP协议 9.1 IP数据包的格式（首部数据部分）9.1.1 IP协议的首部格式（固定部分可变部分） 9.2 IP数据包分片（找题练）9.3 TTL生存时间的应用9.4 常见…...

编程日记 2025/5/3 6:39:37

C++负载均衡远程调用学习之QPS性能测试

目录 1.昨日回顾 2.QPS_TEST_PROTOBUF协议的集成 3.QPS_TEST_SERVER端实现 4.QPS_TEST_QPS简单介绍 5.QPS_TEST_QPS客户端工具编写和性能测试 1.昨日回顾 2.QPS_TEST_PROTOBUF协议的集成 ## 14) Reactor框架QPS性能测试接下来我们写一个测试用例来测一下我们…...

编程日记 2025/5/3 6:39:36

C++负载均衡远程调用学习之消息队列与线程池

目录 1.昨日回顾 2.单线程的多路IO服务器模型和多线程模型区别 3.服务器的集中并发模式 4.LARSV0.8-task_msg消息队列任务数据类型 5.LARSV0.8--thread_queue消息队列的发送和接收流 6.LARSV0.8-thread_pool线程池的实现 7.LARSV0.8-thread_pool线程池的实现 8.LARSV0.8…...

编程日记 2025/5/3 6:39:34

Kotlin 基础

Kotlin基础语法详解 Kotlin是一种现代静态类型编程语言，由JetBrains开发，与Java完全互操作。以下是Kotlin的基础语法详解： 1. 基本语法 1.1 变量声明 // 不可变变量（推荐） val name: String = "Kotlin" val age = 25 // 类型推断// 可变变量 var count: In…...

编程日记 2025/5/3 6:38:33

实验数据的转换

最近做实验需要把x轴y轴z轴的数据处理一下，总结一下解决的方法： 源文件为两个txt文档，分别为x轴和y轴，如下： 最终需要达到的效果是如下： 就是需要把各个矩阵的数据整理好放在同一个txt文档里。步骤① …...

编程日记 2025/5/3 6:38:30

多种尝试解决Pycharm无法粘贴外部文本【本人问题已解决】

#作者：允砸儿 #日期：乙巳青蛇年四月初五笔者在写demo的时候遇到一个非常棘手的问题就是pycharm无法复制粘贴，笔者相信有很多的朋友遇到过这种问题，笔者结合搜素到的和自己揣摩出来的方法帮助朋友们解决这种问题。 1、第一种…...

编程日记 2025/5/6 14:59:43

【C++】红黑树迭代版

目录前言： 一：什么是红黑树？ 二：插入什么颜色节点？ 三：定义树四：左单旋和右单旋 1.右单旋 2.左单旋五：调整树 1.当parent节点为黑色时 2.当parent节点为红色时 2.1 u…...

编程日记 2025/5/3 6:38:28

OSPF路由协议配置

初始环境与准备: 物理连接:按照文件的拓扑连接了 3 台路由器 (R01, R02, R03)、2 台交换机 (Switch0, Switch1) 和 2 台 PC (PC0, PC1)。关键发现：路由器之间的连接实际使用的是以太网线（连接到 FastEthernet 接口），而不是串口线。…...

编程日记 2025/5/7 7:12:25

linux下抓包工具--tcpdump介绍

文章目录 1. 前言2. 命令介绍3. 常见选项3.1. 接口与基本控制3.2 输出控制3.3 文件操作3.4 高级调试 4. 过滤表达式4.1 协议类型4.2 方向与地址4.3 逻辑运算符 5. 典型使用场景5.1 网络故障排查5.2 安全分析与入侵检测5.3 性能分析与优化 linux下抓包工具--tcpdump介绍 1. 前言…...

编程日记 2025/5/3 6:37:25

探索 Disruptor：高性能并发框架的奥秘

在当今的软件开发领域，处理高并发场景是一项极具挑战性的任务。传统的并发解决方案，如基于锁的队列，往往在高负载下表现出性能瓶颈。而 Disruptor 作为一个高性能的并发框架，凭借其独特的设计和先进的技术，在处理海量数…...

编程日记 2025/5/3 6:37:24

smss源代码分析之smss!SmpLoadSubSystemsForMuSession函数分析加载csrss.exe

第一部分： Next SmpSubSystemsToLoad.Flink; while ( Next ! &SmpSubSystemsToLoad ) { p CONTAINING_RECORD( Next, SMP_REGISTRY_VALUE, Entry )…...

编程日记 2025/5/3 6:37:24

《AI大模型应知应会100篇》第44篇：大模型API调用最佳实践（附完整代码模板）

第44篇：大模型API调用最佳实践（附完整代码模板） 摘要当你的应用突然面临每秒1000请求时，如何保证大模型API调用既稳定又经济？本文通过12个实战代码片段、3套生产级架构方案和20优化技巧，带你构建高性能的…...

编程日记 2025/5/3 6:35:19

第5篇：EggJS中间件开发与实战应用

在Web开发中，中间件（Middleware）是处理HTTP请求和响应的核心机制之一。EggJS基于Koa的洋葱模型实现了高效的中间件机制，本文将深入探讨中间件的执行原理、开发实践以及常见问题解决方案。一、中间件执行机制与洋葱模型 1. 洋葱模…...

编程日记 2025/5/3 6:34:17

数字智慧方案6187丨智慧应急指挥平台体系建设方案（78页PPT）（文末有下载方式）

数字智慧方案6187丨智慧应急指挥平台体系建设方案详细资料请看本解读文章的最后内容。引言随着社会经济的快速发展，应急管理面临着越来越复杂的挑战。智慧应急指挥平台体系的建设，旨在通过先进的信息技术和智能化手段，提升应急管理的效…...

编程日记 2025/5/3 6:34:17

Linux 常用命令 - tar【归档与压缩】

简介 tar 这个名称来源于 “tape archive”，最初设计用于将文件归档到磁带上。现在，tar 命令已经成为 Linux 系统中最常用的归档工具，它可以将多个文件和目录打包成一个单独的归档文件，并且可以选择使用不同的压缩算法进行压缩&a…...

编程日记 2025/5/3 6:34:16

python常用科学计算库及使用示例

一、NumPy - 数值计算基础库安装 pip install numpy 核心功能示例 1. 数组创建与运算 import numpy as np# 创建数组 arr np.array([1, 2, 3, 4]) matrix np.array([[1, 2], [3, 4]])# 数学运算 print(arr 1) # [2 3 4 5] print(matrix …...

编程日记 2025/5/3 6:34:15