当前位置：首页 > news >正文

nlp进阶

news 来源：原创 2025/8/26 15:53:55

1 Rnn

RNN(Recurrent Neural Network),中文称作循环神经网络,它一般以序列数据为输入,通过网络内部的结构段计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.

单层网络结构在循环

rnn处理的过程

rnn类别

n - n

n - 1 使用sigmoid 或者softmax处理应用在分类中

1- n x作用于每一个输入图片生成文字

n - M

2传统rnn

内部结构

优缺点 :

计算资源的要求低,短序列表现优异.

缺点长序列的关联时表现很差,在反向传播时候梯度消失或者爆炸

2 lstm

能够有效捕捉长序列之间的语义关联,缓解梯度消失或爆炸现象.同时LSTM的结构更复杂,它的核心结构可以分为四个部分去解析: 输入门遗忘门输出们细胞状态 .

遗忘门代表遗忘过去的多少信息sigmiod
忘记长一层的多少信息

2.1 BI -LSTM

import torch.nn as nn
import torchlstm = nn.LSTM(input_size=6, hidden_size=8, num_layers=2)输入的词数量  每次处理样本的数量  维度
input = torch.randn(2,3,6)#           层数  处理样本数   维度
h0 = torch.randn(2,3,8)
c0 = torch.randn(2,3,8)output,(h1,c1) = lstm(input,(h0,c0))
print(output,h1,c1)

input 和 h0 的批量大小（batch_size）必须相同。

3GRU 门控循环单元

GRU(Gated Recurrent Unit)也称门控循环单元结构,它也是传统RNN的变体,

优点: 同LSTM一样能够有效捕捉长序列之间的语义关联,缓解梯度消失或爆炸现象,同时它的结构和计算要比LSTM更简单,它的核心结构可以分为两个部分去解析:
。更新门z
。重置门 r

缺点 : 与rnn相同不能并行计算

import torch.nn as nn 
import torch
gru = nn.GRU(5,8,1)
input = torch.randn(2,5,5)
h1= torch.randn(1,5,8)
output,h0 = gru(input,h1)

4注意力机制

注意力:在判断一个问题时,我们直接将注意力去放在具有辨识度的部分上面进行判断,不是全部都看一遍.

注意力机制:指的是用注意力计算规则应用于深度学习网络载体.

在nlp种注意力机制大多应用与seq2seq(编码器解码器模型)

q k v 计算的三步

query 和 key 进行相似度计算，得到一个query 和 key 相关性的分值将

这个分值进行归一化(softmax)，得到一个注意力的分布使用注意力分布

value 进行计算，得到一个融合注意力的更好的 value 值

nlp进阶

1 Rnn RNN(Recurrent Neural Network),中文称作循环神经网络,它一般以序列数据为输入,通过网络内部的结构段计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出. 单层网络结构在循环 rnn处理的过程 rnn类别 n - n n - 1 使用sigmoid 或者softmax处理应用在分类中…...

编程日记 2025/8/26 15:53:55

不同类型光谱相机的技术差异比较

一、波段数量与连续性 ‌多光谱相机‌ 波段数：通常4-9个离散波段，光谱范围集中于400-1000nm‌。数据特征：光谱呈阶梯状，无法连续覆盖，适用于中等精度需求场景（如植被分类）‌。 ‌高光谱相机…...

编程日记 2025/8/26 5:04:12

目录一、BERT模型介绍 1.1 BERT简介 1.2 BERT的架构 1.2.1 Embedding模块 1.2.2 双向Transformer模块 1.2.3 预微调模块 1.3 BERT的预训练任务 1.3.1 Masked Language Model (MLM) 1.3.2 Next Sentence Prediction (NSP) 1.4 预训练与微调的关系 1.5 小结二、BERT…...

编程日记 2025/8/24 6:36:09

Oxidized收集H3C交换机网络配置报错，not matching configured prompt (?-mix:^(＜CD＞)$)

背景：问题如上标题，H3C所有交换机配置的model都是comware 解决方案： 1、找到compare.rb [rootoxidized model]# pwd /usr/local/lib/ruby/gems/3.1.0/gems/oxidized-0.29.1/lib/oxidized/model [rootoxidized model]# ll comware.rb -rw-r--…...

编程日记 2025/8/26 10:59:18

LeetCode 哈希章节

简单 1. 两数之和给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出和为目标值 target 的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案，并且你不能使用两次相同的元素。你可以按任意顺序返…...

编程日记 2025/8/25 12:19:38

基于Ollama安装deepseek-r1模型搭建本地知识库（Dify、MaxKb、Open-WebUi、AnythingLLM、RAGFlow、FastGPT）

大模型安装Ollama使用win系统安装使用sh脚本安装使用docker安装下载大模型搭建WebUI工具和本地知识库Docker安装Dify配置本地知识库 Docker安装MaxKb配置本地知识库 Docker安装Open-WebUi配置本地知识库 Docker安装AnythingLLM配置本地知识库 Docker安装RAGFlow配置本地知识库…...

编程日记 2025/8/26 20:50:51

学习前置知识第二十天

学习前置知识第二十天今天要做什么？ 1:二进制 2:进制转换关系 3:二进制反汇编 4:常见字符编码 5:什么是编码和解码 6：编码表一：二进制概述为什么计算机只能读懂二进制？原因是因为计算机是需要电的，电路设计只…...

编程日记 2025/8/23 15:23:50

面试准备——云相册项目（1）基础

项目概述云相册项目旨在为用户提供便捷的照片存储、管理和访问服务。通过客户端与服务器的配合，实现照片的上传、下载以及一些基本的命令交互功能，方便用户在不同设备上随时查看和管理自己的相册。技术要点编程语言与环境：使用 C 语言开…...

编程日记 2025/8/22 8:03:10

c语言程序设计--数组里面考察最多的一个知识点-考研冲刺复试面试问答题。

数组关于数组的知识脑海里面先有一个大概，知道定义和存储方式目录数组 1、数组是什么？ 2、strlen和sizeof的区别是什么？ 3、数组名是什么？ 1、数组是什么？ 定义：数组是一组相同类型元素的集合。数…...

编程日记 2025/8/21 13:52:17

Json工具（一）- Jackson（续）

5、Jackson常用注解 JsonProperty 自定义属性在序列化和反序列化过程中所对应的JSON字段的名称,还可以指定是否序列化和反序列化。属性如下： value：设置属性的名称。一般当JSON串中的key与对象中的属性名称不一致，比如分别采用了下划线命名与…...

编程日记 2025/8/22 6:56:36

MySQL-事务

事务事务，一般指的是数据库事务，事务(Transaction)是访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。事务具有四个特性，即我们常说的ACID特性： 原子性指事务是一个不可分割的工作单位，事务中的操作…...

编程日记 2025/8/25 5:44:50

课题推荐——无人机在UWB环境下基于TOA/TDOA/AOA的室内定位与精度对比

随着无人机在工业检测、仓储物流、应急救援等室内场景的广泛应用，高精度室内定位技术成为关键支撑。超宽带（UWB）技术凭借其高时间分辨率、强抗多径能力等优势，成为室内定位的主流方案。然而，不同的定位方法&#xff08…...

编程日记 2025/8/21 17:23:55

Qt6.8.2创建WebAssmebly项目使用FFmpeg资源

Qt6新出了WebAssmebly功能，可以将C写的软件到浏览器中运行，最近一段时间正在研究这方便内容，普通的控件响应都能实现，今天主要为大家分享如何将FFmpeg中的功能应用到浏览器中。开发环境：window11，Qt6.8.2…...

编程日记 2025/8/26 4:34:59

【CSS】Tailwind CSS 与传统 CSS：设计理念与使用场景对比

1. 开发方式 1.1 传统 CSS 手写 CSS：你需要手动编写 CSS 规则，定义类名、ID 或元素选择器，并为每个元素编写样式。分离式开发：HTML 和 CSS 通常是分离的，HTML 中通过类名或 ID 引用 CSS 文件中的样式。示例&#…...

编程日记 2025/8/20 19:26:08

Server-Sent Events

Server-Sent Events (SSE) 是一种允许服务器向客户端推送实时更新的技术。 1. 创建 SSE 连接 export default {data() {return {eventSource: null,};},onLoad() {this.initSSE();},methods: {initSSE() {// 创建 SSE 连接this.eventSource new EventSource(https://api/xxxx…...

编程日记 2025/8/26 11:05:50

(十九)趣学设计模式之中介者模式！

目录一、啥是中介者模式？二、为什么要用中介者模式？三、中介者模式的实现方式四、中介者模式的优缺点五、中介者模式的应用场景六、总结 🌟我的其他文章也讲解的比较有趣😁，如果喜欢博主的讲解方式，…...

编程日记 2025/8/22 16:17:52

k8s概念及k8s集群部署（Centos7）

Centos7部署k8s集群部署之前，先简单说下k8s是个啥： 一、k8s简介： k8s，全称：kubernetes，它可以看作是一个分布式系统支撑平台。k8s的作用： 1、故障自愈： k8s这个玩意可以监控容器…...

编程日记 2025/8/26 15:43:41

山东省网络安全技能大赛历年真题山东网络安全创意大赛

刚参加完比赛，总结一波。第一题:签到题下载完成之后发现是个.exe文件杂项万年套路步骤,用winhex打开，搜索flag，找到，提交。。。第二题：qiu咪发现是一张flag.png。。万年套路用winhex打开。啥也没发现&#xf…...

编程日记 2025/8/21 21:58:26

数字后端培训实战项目六大典型后端实现案例

Q1:请教一个问题，cts.sdc和func.sdc在innovus用如何切换？在flow哪一步切换输入cts.sdc？哪一步切换到func.sdc，具体如何操作？ 这个学员其实就是在问使用分段长clock tree时具体的flow流程是怎么样的？针对时…...

编程日记 2025/8/20 19:54:53

Redis网络模型

redis为什么快 1.主要原因是因为redis是基于内存操作的，比起直接操作磁盘速度快好几倍 2.基于内存的数据库瓶颈主要是在网络io这一块，redis网络模型采用io多路复用技术能够高效的处理并发连接。 3.redis使用单线程执行命令，可以避免上下文…...

编程日记 2025/8/23 1:05:08

RangeError: Radix must be an integer between 2 and 36

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》、《2024面试高频手撕题》、《前端求职突破计划》 🍚 蓝桥云课签约作者、…...

编程日记 2025/8/20 16:23:56

题海拾贝：P9241 [蓝桥杯 2023 省 B] 飞机降落

Hello大家好！很高兴我们又见面啦！给生活添点passion，开始今天的编程之路！ 我的博客：<但凡. 我的专栏：《编程之路》、《数据结构与算法之美》、《题海拾贝》欢迎点赞，关注！ 1、题…...

编程日记 2025/8/22 3:45:35

机器学习数学基础：38.统计学模型变量

统计学模型变量类型详解教程一、外生变量（Exogenous Variable） （一）定义与别名外生变量是模型中不受其他变量影响的独立变量，通常充当自变量。其常见的别名有： 外部变量（External Variabl…...

编程日记 2025/8/25 1:24:46

FPGA标准库-Open Logic

在现代技术发展的浪潮中，开源项目已经成为了推动技术创新和发展的核心力量。无论是人工智能、区块链、云计算，还是传统的嵌入式开发、操作系统，开源项目都在其中扮演着至关重要的角色。它们不仅促进了技术的快速迭代，也为全球开发…...

编程日记 2025/8/22 15:17:19

Git 批量合并 Commit 并且保留之前的 Commit 快速实现的思路

文章目录需求Rebase / Pick / squashVim 的快速全局字符串替换需求我想把如下的提交 commit，变成一个 Commit，并且合并这些 Commit 的消息到一个节点 Rebase / Pick / squash 我合并到 5e59217 这个hash 上，这样合并后会保留两个 Commit…...

编程日记 2025/8/25 22:36:24

Jackson 详解

目录前言 Jackson 是 Java 生态中最流行的 JSON 处理库之一，广泛应用于 RESTful API、数据存储和传输等场景。它提供了高效、灵活的 JSON 序列化和反序列化功能，支持注解、模块化设计和多种数据格式（如 XML、YAML）。本文将详细介…...

编程日记 2025/8/24 2:19:16

03 HarmonyOS Next仪表盘案例详解（二）：进阶篇

温馨提示：本篇博客的详细代码已发布到 git : https://gitcode.com/nutpi/HarmonyosNext 可以下载运行哦！ 文章目录前言1. 响应式设计1.1 屏幕适配1.2 弹性布局 2. 数据展示与交互2.1 数据卡片渲染2.2 图表区域 3. 事件处理机制3.1 点击事件处理3.2 手势…...

编程日记 2025/8/27 1:05:07

【QT】-易错点笔记-2025-2-7

1，QList<phy_simulator*> pList；为空不能append()追加，要先new,再用 QList<phy_simulator> pList为空时，确实不能调用 append() 方法。原因很简单，QList 是一个类对象，在 C++ 中，指针本身并不代表它指向的对象。因此，当你有一个指向 QList<phy_simulato…...

编程日记 2025/8/17 18:48:12

嵌入式 ARM Linux 系统构成(3)：根文件系统（Root File System）

目录一、根文件系统的原理与重要性二、根文件系统的构成 2.1. 基本目录结构 2.2. 核心组件 2.3. 设备驱动 2.4. 网络工具和协议 2.5. 调试工具三、根文件系统的制作方法四、根文件系统的测试五、构建根文件系统的关键技术 5.1. 最小化构建工具 5.2. 关键配置文…...

编程日记 2025/8/25 18:58:28

electron + vue3 + vite 主进程到渲染进程的单向通信

用示例讲解下主进程到渲染进程的单向通信初始版本项目结构可参考项目：https://github.com/ylpxzx/electron-forge-project/tree/init_project 主进程到渲染进程（单向） 以Electron官方文档给出的”主进程主动触发动作，发送内容给渲…...

编程日记 2025/8/25 17:23:52

基于Python实现的智能旅游推荐系统(Django)

基于Python实现的智能旅游推荐系统(Django) 开发语言:Python 数据库：MySQL所用到的知识：Django框架工具：pycharm、Navicat 系统功能实现总体设计系统实现系统首页模块统首页页面主要包括首页，旅游资讯，景点信息…...

编程日记 2025/8/19 8:11:03

分布式存储—— HBase数据模型详解

目录 1.3 HBase数据模型 1.3.1 两类数据模型 1.3.2 数据模型的重要概念 1.3.3 数据模型的操作 1.3.4 数据模型的特殊属性 1.3.5 CAP原理与最终一致性 1.3.6 小结本文章参考、总结于学校教材课本《HBase开发与应用》 1.3 HBase数据模型在开始学习HBase之前非常…...

编程日记 2025/8/25 18:03:21

使用AI整理知识点--WPF动画核心知识

一、WPF动画基础 1、动画本质通过随时间改变依赖属性值实现视觉效果（如位置、透明度、颜色等）。依赖属性必须支持 DependencyProperty，且需是可动画的（如 Double, Color, Point 等）。 2、动画三要素起始值 (Fr…...

编程日记 2025/8/26 9:39:09

计算光学成像与光学计算概论

计算光学成像所涉及研究的内容非常广泛，虽然计算光学成像的研究内容是发散的，但目的都是一致的：如何让相机记录到客观实物更丰富的信息，延伸并扩展人眼的视觉感知。总的来说，计算光学成像现阶段已经取得了很多令人振奋…...

编程日记 2025/8/18 8:57:00

100天精通Python（爬虫篇）——第115天：爬虫在线小工具_Curl转python爬虫代码工具（快速构建初始爬虫代码）

文章目录一、curl是什么？二、爬虫在线小工具（牛逼puls）三、实战操作一、curl是什么？ 基本概念：curl 支持多种协议，如 HTTP、HTTPS、FTP、SFTP 等，可用于从服务器获取数据或向服务器发送数据&a…...

编程日记 2025/8/22 23:47:35

点云软件VeloView开发环境搭建与编译

官方编译说明 LidarView / LidarView-Superbuild GitLab 我的编译过程： 安装vs2019，windows sdk，qt5.14.2（没安装到5.15.7），git，cmake3.31，python3.7.9，ninja下载放到…...

编程日记 2025/8/24 12:30:11

PHP配置虚拟主机

虚拟主机: 不是真实存在的主机, 因为一台电脑理论上讲只能作为一个网站: 事实上,一个网站是一个文件夹. 在本地开发中，通过虚拟主机配置可以实现多域名独立访问不同项目目录（如 www.project1.test 和 www.project2.test），以 ”XAM…...

编程日记 2025/8/24 5:52:27

笔记四：C语言中的文件和文件操作

Faye：只要有正确的伴奏，什么都能变成好旋律。 ---------《寻找天堂》目录一、文件介绍 1.1程序文件 1.2 数据文件 1.3 文件名二、文件的打开和关闭 2.1 文件指针 2.2.文件的打开和关闭 2.3 文件读取结束的判定三、文件的顺序读写 3.1 顺序读写…...

编程日记 2025/8/24 11:10:47

PyTorch中的线性变换：nn.Parameter VS nn.Linear

self.weight nn.Parameter(torch.randn(in_channels, out_channels)) 和 self.linear nn.Linear(in_channels, out_channels) 并不完全一致，尽管它们都可以用于实现线性变换（即全连接层），但它们的使用方式和内部实现有所不同。 …...

编程日记 2025/8/26 10:25:35

计算机网络（1）网络通信基础，协议介绍，通信框架

网络结构模式 C/S-----客户端和服务器 B/S -----浏览器服务器 MAC地址每一个网卡都拥有独一无二的48位串行号，也即MAC地址，也叫做物理地址、硬件地址或者是局域网地址 MAC地址表示为12个16进制数如00-16-EA-AE-3C-40 （每一个数可以用四个…...

编程日记 2025/8/24 9:09:54

PHP之常量

在你有别的编程语言的基础下，你想学习PHP，可能要了解的一些关于常量的信息。 PHP中的常量不用指定数据类型，可以使用两次方法定义。使用const //定义常量 const B 2; echo B . PHP_EOL;使用define define("A", 1); echo A . P…...

编程日记 2025/8/25 4:33:31

苦瓜书盘官网，免费pdf/mobi电子书下载网站

苦瓜书盘（kgbook）是一个专注于提供6英寸PDF和MOBI格式电子书的免费下载平台，专为电子阅读器用户设计。该平台为用户提供了丰富的电子书资源，涵盖文学、历史、科学、技术等多个领域，旨在打造一个全面的电子书资源库。用…...

编程日记 2025/8/26 0:27:25

通过 Docker openssl 容器生成生成Nginx证书文件

使用 alpine/openssl 镜像生成证书 1. 拉取容器 [rootlocalhost ~]# docker run --rm alpine/openssl version OpenSSL 3.3.3 11 Feb 2025 (Library: OpenSSL 3.3.3 11 Feb 2025)2. 运行 alpine/openssl 生成证书（Nginx） # 生成1个.key私钥文件&#…...

编程日记 2025/8/26 19:06:50

第四十一：Axios 模型的 get ，post请求

Axios　的　get 请求方式 9.双向数据绑定 v-model - 邓瑞编程 Axios　的　post 请求方式：...

编程日记 2025/8/20 4:33:03

从零开始用react + tailwindcss + express + mongodb实现一个聊天程序(十) 收发消息

1.聊天框首先我们完善前端的消息输入框 components下面新建MessageInput组件 import { useState,useRef } from "react" import {X,Image,Send} from "lucide-react"import { useChatStore } from "../store/useChatStore" import toast from…...

编程日记 2025/8/22 13:43:31

Spring Boot面试问答

1. Spring Boot 基础知识问题 1：什么是Spring Boot？它与Spring框架有何不同？回答： Spring Boot是基于Spring框架的一个开源框架，旨在简化新Spring应用的初始化和开发过程。与传统的Spring框架相比，Spring Boot提供了以下优势：自动配置：根据项目依赖自动配置Spring…...

编程日记 2025/8/23 21:27:24

win11编译llama_cpp_python cuda128 RTX30/40/50版本

Geforce 50xx系显卡最低支持cuda128，llama_cpp_python官方源只有cpu版本，没有cuda版本，所以自己基于0.3.5版本源码编译一个RTX 30xx/40xx/50xx版本。 1. 前置条件 1. 访问https://developer.download.nvidia.cn/compute/cuda/12.8.0/local_…...

编程日记 2025/8/20 16:25:26

2025-03-07 学习记录--C/C++-C语言截取字符串的三种方法

C语言截取字符串 ⭐️ 方法 1：使用 strncpy 函数 🍭 strncpy 是C标准库中的一个函数，用于从源字符串中复制指定长度的字符到目标字符串中。【详情请查看我的另一篇文章】示例代码：🌰 #include <stdio.h> #in…...

编程日记 2025/8/24 15:21:36

doris: Oracle

Apache Doris JDBC Catalog 支持通过标准 JDBC 接口连接 Oracle 数据库。本文档介绍如何配置 Oracle 数据库连接。使用须知要连接到 Oracle 数据库，您需要 Oracle 19c, 18c, 12c, 11g 或 10g。 Oracle 数据库的 JDBC 驱动程序，您可以从 Maven 仓库…...

编程日记 2025/8/21 4:56:57

【神经网络】python实现神经网络（一）——数据集获取

一.概述在文章【机器学习】一个例子带你了解神经网络是什么中，我们大致了解神经网络的正向信息传导、反向传导以及学习过程的大致流程，现在我们正式开始进行代码的实现，首先我们来实现第一步的运算过程模拟讲解：正向传导。本次代…...

编程日记 2025/8/26 3:07:45