当前位置：首页 > news >正文

【NLP】13. NLP推理方法详解 --- 穷举和贪心搜索

news 来源：原创 2025/7/6 23:54:55

NLP推理方法详解 — 穷举和贪心搜索

在自然语言处理（NLP）任务中，推理（Inference）是指在给定模型的情况下，找到最可能的输出序列。由于模型通常是神经网络，它会为每个可能的输出分配一个概率，我们需要设计算法来找到最佳输出。

穷举搜索（Exhaustive Search）

方法介绍

穷举搜索是一种最直观的搜索方法，它会遍历所有可能的输出序列，计算每个序列的分数，并选择得分最高的那个。

优势

✅ 全局最优：可以找到得分最高的输出序列，因为它考虑了所有可能性。
✅ 结构完整：可以保证输出的整体一致性，而不会因为局部最优选择导致全局不佳。

问题

❌ 计算量巨大：如果有 n 个单词，每个单词有 m 种可能的标签，搜索空间大小为 $m^n$ ，即 指数级增长。
❌ 不可扩展：当句子变长或者词汇量增加时，穷举搜索变得不可行。

*例子

假设我们要翻译 “I love NLP”：

假设每个单词有 5 个可能的翻译，那么可能的翻译组合有 $5^3 = 125$ 种。
穷举搜索需要计算所有 125 种组合的分数，选择最优的。

贪心方法（Greedy Method）

方法介绍

贪心方法是指 一步步选择当前概率最高的选项，而不考虑未来可能的更优解。

计算复杂度

O(n⋅m)

相比穷举搜索，贪心方法的计算量小了很多，因为它不考虑所有可能的组合，而是 每一步只选择最优的一个。

例子

假设模型计算出以下翻译概率：

I	-> ["我" (0.7), "咱" (0.2), "俺" (0.1)]
love -> ["爱" (0.6), "喜欢" (0.3), "热爱" (0.1)]
NLP -> ["自然语言处理" (0.8), "语言学" (0.2)]

贪心方法选择每一步最高概率的词，最终得到：“我爱自然语言处理”。

问题

可能错过全局最优解。例如：
- “我喜欢自然语言处理” 可能更自然，但贪心算法无法回头修改之前的选择。
依赖局部信息，而非整体上下文。

贪心推理的不同变体

1. Top-1 方法

📌 方法：每一步选择 最高概率的选项（argmax）。
📌 特点：

计算最快，适用于高确定性的任务（如翻译）。
容易陷入局部最优，可能导致不自然的句子。

📌 例子

输入：I love NLP
模型输出概率：
I -> ["我" (0.7), "咱" (0.2), "俺" (0.1)]
love -> ["爱" (0.6), "喜欢" (0.3), "热爱" (0.1)]
NLP -> ["自然语言处理" (0.8), "语言学" (0.2)]

Top-1 选择：“我爱自然语言处理”。

2. 随机采样（Random Sampling）

📌 方法：每一步按照概率分布 随机选择一个词。
📌 特点：

适用于文本生成任务（如对话系统），增加句子多样性。
可能选择低概率的词，导致句子不连贯。

📌 例子假设 love 有以下翻译：

爱 (0.6)
喜欢 (0.3)
热爱 (0.1)

随机采样可能选择：

“我爱自然语言处理”
“我喜欢自然语言处理”
“我热爱语言学”

3. Top-K 采样

📌 方法：每一步只考虑概率最高的 K 个选项，然后 随机采样。
📌 特点：

保持了一定的多样性，但不会选择过于罕见的词。
需要 重新缩放（rescale） 选择的 K 个词的概率，使它们的和为 1。

📌 例子假设 K=3：

love -> ["爱" (0.6), "喜欢" (0.3), "热爱" (0.1)]

只会在 “爱”、“喜欢”、“热爱” 之间随机选择，而不会选到 “崇拜” 这种低概率的词。

4. Top-P 采样（Nucleus Sampling）

📌 方法：每一步只考虑 累积概率超过 P% 的选项，然后 随机采样。
📌 特点：

适应性更强，避免了固定 K 的局限性。
当某个单词的概率很高时，减少随机性。
当多个单词概率接近时，增加多样性。
需要 重新缩放（rescale） 选中的单词概率，使它们的和为 1。

📌 例子假设我们设定 P=80%：

love -> ["爱" (0.6), "喜欢" (0.3), "热爱" (0.1), "崇拜" (0.05), "迷恋" (0.05)]

前 80% 概率的词是 “爱” 和 “喜欢”，所以只在这两个中随机选择。

5. 对比采样（Contrastive Sampling）

📌 方法：

在选择时 调整得分，根据之前生成的内容降低重复度，提高句子的多样性。

📌 特点：

适合长文本生成，减少重复句子。
结合其他方法使用，如 Top-K、Top-P 采样。

📌 例子

输入："I love NLP because NLP is fun"
如果直接使用 Top-1 方法，可能会生成：
"我 爱 自然语言处理，因为 自然语言处理 很 有趣"
对比采样会调整得分，避免重复 "自然语言处理"，可能生成：
"我 爱 自然语言处理，因为 这 门 学科 很 有趣"

方法对比

方法	计算量	生成质量	适用场景
Top-1 (argmax)	最低	单一、确定性强	适用于翻译、分类
随机采样	低	多样性强，但可能不自然	适用于对话系统、文本生成
Top-K 采样	中等	保持一定多样性，避免极端情况	适用于诗歌、创意写作
Top-P 采样	中等	兼顾确定性和多样性	适用于自由文本生成
对比采样	最高	控制重复，提高连贯性	适用于长文本、摘要

【NLP】13. NLP推理方法详解 --- 穷举和贪心搜索

NLP推理方法详解 — 穷举和贪心搜索在自然语言处理（NLP）任务中，推理（Inference）是指在给定模型的情况下，找到最可能的输出序列。由于模型通常是神经网络，它会为每个可能的输出分配一个概率&am…...

编程日记 2025/7/6 23:54:55

基于 Python 深度学习 lstm 算法的电影评论情感分析可视化系统（2.0 系统全新升级，已获高分通过）

大家好，欢迎来到我的技术专栏！今天我将和大家聊聊如何利用 Python 的深度学习技术，打造一个集电影评论情感分析与可视化展示于一体的系统。这个系统不仅能自动采集和解析海量影评，还能实时生成直观的情感趋势图表，对于…...

编程日记 2025/7/6 23:39:23

妙用《甄嬛传》中的选妃来记忆概率论中的乘法公式

强烈推荐最近在看的不错的B站概率论课程《概率统计》正课，零废话，超精讲！【孔祥仁】《概率统计》正课，零废话，超精讲！【孔祥仁】_哔哩哔哩_bilibili 其中概率论中的乘法公式，老师用了《甄嬛传…...

编程日记 2025/7/2 20:04:56

linux--------------进程控制

1.进程创建 1.1fork函数初识在linux中fork函数是⾮常重要的函数，它从已存在进程中创建⼀个新进程。新进程为⼦进程，⽽原进程为⽗进程。 #include <unistd.h> pid_t fork(void); 返回值：⾃进程中返回0，⽗进程返回⼦进程id…...

编程日记 2025/7/6 23:45:50

Video Transformer Network

目录摘要 Abstract VTN 背景模型框架视频特征提取时空位置编码 Transformer编码器任务特定头关键创新实验代码总结摘要 Video Transformer Network 是基于Transformer架构改进的视频理解模型，旨在解决传统3D卷积神经网络在长距离依赖建模和…...

编程日记 2025/7/6 23:41:27

Java网络编程演进：从NIO到Netty的UDP实践全解析

前言在当前高并发、大数据量的互联网环境下，高性能的网络通信框架变得越来越重要。本文将深入探讨Java网络编程的演进，从NIO到Netty，并通过实际案例分析Netty的优势和应用。（本次主要以UDP请求为例） Java网络编程演…...

编程日记 2025/7/6 23:52:45

Linux系统中快速安装docker

1 查看是否安装docker 要检查Ubuntu是否安装了Docker，可以使用以下几种方法： 方法1：使用 docker --version 命令 docker --version如果Docker已安装，输出会显示Docker的版本信息，例如： Docker version …...

编程日记 2025/7/6 23:36:57

人工智能之数学基础：幂法和反幂法求特征值和特征向量

本文重点特征值和特征向量是矩阵的重要性质，我们前面学习了矩阵的正交分解，要想完成正交分解需要求出一个矩阵的特征值和特征向量。有的时候，我们只需要求出一个矩阵的最大的特征值以及矩阵的最小特征值，它们以及它们对应的特征向量具有特殊的含义，下面我们介绍两种方法…...

编程日记 2025/7/6 23:51:42

数据结构 -- 树的应用（哈夫曼树和并查集）

树的应用哈夫曼树带权路径长度结点的权：有某种现实含义的数值（如：表示结点的重要性等） 结点的带权路径长度：从树的根到该结点的路径长度（经过的边数）与该结点上权值的乘积树的带权路径…...

编程日记 2025/7/1 17:44:46

游戏引擎学习第193天

仓库:https://gitee.com/mrxiao_com/2d_game_4 回顾我们昨天做了一些非常有趣的实验。在实验中，我们的目标是实现一个能够在运行时改变的编译时常量的概念。最开始，这个想法纯粹是出于一时的兴趣，觉得这应该是个很有意思的尝试。于是我们进…...

编程日记 2025/7/3 19:32:10

数据结构每日一题day7（顺序表）★★★★★

题目描述：从顺序表中删除其值在给定值s与t之间(包含s和 t，要求 s<t)的所有元素，若s或t不合理或顺序表为空，则返回 false，若执行成功则返回 true。算法思想： 输入检查：若顺序表为空、指针为…...

编程日记 2025/7/5 0:01:02

ACM模式常用方法总结（Java篇）

文章目录一、ACM输入输出模式二、重要语法2.1、导包2.2、读取数据2.3、判断是否有下一个数据2.4、输出2.5、关闭scanner2.6、易踩坑点一、ACM输入输出模式在力扣上编写代码时使用的是核心代码模式，如果在面试中遇到ACM模式就会比较迷茫？ACM模式要求你…...

编程日记 2025/7/4 17:40:00

SpringCould微服务架构之Docker（6）

容器的基本命令： 1. docker exec ：进入容器执行命令 2. docker logs: -f 持续查看容器的运行日志 3. docker ps：查看所有运行的容器和状态案例：创建运行一个容Nginx容器 docker run--name myNginx -p 80:80 -d nginx 命…...

编程日记 2025/7/6 23:32:29

脑疾病分类的疑惑【7】一般FMRI数据都存储为什么格式？能不能给我用数据简单的描述一下FMRI是如何存储的？

fMRI 数据通常以 NIfTI（Neuroimaging Informatics Technology Initiative） 格式存储，这是一种专为神经影像设计的开放标准格式。以下是简化说明和示例： 1. 常见fMRI数据格式格式扩展名特点NIfTI.nii 或 .nii.gz最常用&#xff0…...

编程日记 2025/7/6 23:39:22

DOM 加载函数

DOM 加载函数在Web开发中，DOM（文档对象模型）加载函数是一个核心概念。它指的是在页面加载过程中，浏览器如何处理和解析HTML文档，并创建相应的DOM树。本文将深入探讨DOM加载函数的作用、原理及其在Web开发中的应用。引言随着互联网的飞速发展，Web技术日新月异。DOM作…...

编程日记 2025/7/1 11:26:04

[特殊字符]《Curve DAO 系统学习目录》

本教程旨在系统学习 Curve DAO 项目的整体架构、核心机制、合约设计、治理逻辑与代币经济等内容，帮助开发者全面理解其设计理念及运作方式。目录总览： 1. Curve 项目概览 • 1.1 Curve 是什么？主要解决什么问题？ • 1.2 与其他…...

编程日记 2025/7/3 20:29:57

webpack和vite之间的区别

Webpack 和 Vite 都是现代前端开发中非常流行的构建工具，但它们的设计理念、工作原理以及适用场景都有所不同。以下是两者之间详细的对比说明： 1. 构建机制与速度 Webpack: Webpack 是一个通用的模块打包工具，它通过分析项目中的依赖关系图来…...

编程日记 2025/7/6 23:35:42

《Operating System Concepts》阅读笔记：p495-p511

《Operating System Concepts》学习第 44 天，p495-p511 总结，总计 17 页。一、技术总结 1.cache (1)定义 A cache is a region of fast memory that holds copies of data. (2)cache 和 buffer 的区别 The difference between a buffer and a cac…...

编程日记 2025/7/6 23:44:09

Java进阶——位运算

位运算直接操作二进制位，在处理底层数据、加密算法、图像处理等领域具有高效性能和效率。本文将深入探讨Java中的位运算。本文目录一、位运算简介1. 与运算2. 或运算异或运算取反运算左移运算右移运算无符号右移运算二、位运算的实际应用1. 权限管理2. 交换两个变…...

编程日记 2025/6/28 1:31:56

特征增强金字塔FPN

特征增强金字塔FPN 利用 ConvNet 特征层次结构的金字塔形状，构建一个在所有尺度上都具有强大语义的特征金字塔总结：特征金字塔是检测不同尺度物体的识别系统中的基本组成部分。 1.利用深度卷积网络固有的多尺度、金字塔层次结构，以边际额…...

编程日记 2025/6/29 17:21:43

Java课程设计（双人对战游戏）持续更新......

少废话，当然借助了ai，就这么个实力，后续会逐渐完善...... 考虑添加以下功能： 选将，选图，技能，天赋，道具，防反，反重力，物理反弹，击落…...

编程日记 2025/7/4 19:36:54

c++第三课（基础c）

1.前文 2.break 3.continue 4.return 0 1.前文上次写文章到现在，有足足这么多天（我也不知道，自己去数吧） 开始吧 2.break break是结束循环的意思举个栗子 #include<bits/stdc.h> using namespace std; int main(…...

编程日记 2025/6/30 7:21:46

Windows 图形显示驱动开发-WDDM 2.4功能-GPU 半虚拟化（十一）

注册表设置 GPU虚拟化标志 GpuVirtualizationFlags 注册表项用于设置半虚拟化 GPU 的行为。密钥位于： DWORD HKLM\System\CurrentControlSet\Control\GraphicsDrivers\GpuVirtualizationFlags 定义了以下位： 位描述0x1 为所有硬件适配器强制设置…...

编程日记 2025/7/1 13:55:53

Android在KSP中简单使用Room

Android在KSP中简单使用Room 最近下载了最新版Studio，好多依赖和配置都需要升级，之前使用过room封装数据库工具类，最近在整理ksp相关，于是把room也升级了，简单记录一下升级过程，直接上代码。 1.添加KSP依…...

编程日记 2025/7/2 20:31:47

Maven 构建配置文件详解

Maven 构建配置文件详解引言 Maven 是一个强大的项目管理和构建自动化工具，广泛应用于 Java 开发领域。在 Maven 项目中，配置文件扮演着至关重要的角色。本文将详细介绍 Maven 构建配置文件的相关知识，包括配置文件的作用、结构、配置方法等，帮助读者更好地理解和应用 M…...

编程日记 2025/7/4 15:06:03

精确截图工具：基于 Tkinter 和 PyAutoGUI 的实现

在日常工作中，截图是一个非常常见的需求。虽然 Windows 自带截图工具，但有时我们需要更精确的截图方式，比如选取特定区域、快速保存截图并进行预览。本篇博客将介绍一个使用 Python 结合 Tkinter 和 PyAutoGUI 开发的精确截图工具。 C:\pytho…...

编程日记 2025/7/4 16:20:22

Linux练习——有关硬盘、联网、软件包的管理

1、将你的虚拟机的网卡模式设置为nat模式，给虚拟机网卡配置三个主机位分别为100、200、168的ip地址 #使用nmtui打开文本图形界面配置网络 [rootrhcsa0306 ~]# nmtui #使用命令激活名为 ens160 的 NetworkManager 网络连接 [rootrhcsa0306 ~]# nmcli c up ens160 #通…...

编程日记 2025/7/1 7:52:31

【C++】 —— 笔试刷题day_12

一、删除公共字符题目解析题目给了两个字符串（其中包含空格），让我们在第一个字符串中删除第二个字符串中的字符。我们要输出删除后的字符串。算法思路这道题，如果直接按照题目中的要求去第一个字符串中删除字符&#xff0c…...

编程日记 2025/7/3 1:10:11

家乡旅游景点小程序（源码+部署教程）

运行环境家乡旅游景点小程序运行环境如下： • 前端：小程序 • 后端：无 • IDE工具：微信开发者工具 • 技术栈：小程序注意：此项目为纯静态项目，无后端主要功能家乡旅游景点微信小程序主…...

编程日记 2025/7/6 4:24:48

SQL Server：当在删除数据库时因为存在触发器而无法删除

当在删除数据库时因为存在触发器而无法删除，你可以通过禁用触发器来解决这个问题。下面为你介绍在 SQL Server 里禁用和启用触发器的方法。禁用数据库中所有表的触发器你可以使用系统视图 sys.triggers 来查询数据库里所有的触发器，然后生成禁用这些…...

编程日记 2025/6/27 7:43:41

多人协同进行qt应用程序开发应该注意什么2？

在多人协同开发Qt应用程序时，为了确保高效协作、代码一致性和项目可维护性，需要特别注意以下关键点： 1. 版本控制与协作流程统一版本控制工具：使用Git并规范分支策略（如Git Flow），通过.gitign…...

编程日记 2025/7/5 5:20:06

js关于for of 与for in

for…of for-of循环用于遍历可迭代对象，如数组、字符串、Map、Set等。它直接访问每个元素的值，而不是键名。 const arr [3,5,6,7,0] for(let item of arr){console.log(item); } // 3 // 5 // 6 // 7 // 0只有部署了Iterator接口的数据结构才能使用fo…...

编程日记 2025/7/3 17:55:28

Python Excel

一、Python读Excel——xlrd -*- coding: utf-8 -*- import xlrddef read_excel():打开文件workbook xlrd.open_workbook(rD:\demo1.xlsx)获取所有sheetprint(workbook.sheet_names()) 列表形式返回sheet1_name workbook.sheet_names()[0]根据sheet索引或者名称获取sheet内容…...

编程日记 2025/7/6 23:54:14

前端全局编程和模块化编程

1. 全局编程 <!DOCTYPE html> <html> <head><title>OpenLayers 示例</title><style>.map {width: 100%;height: 400px;}</style><script src"https://cdn.jsdelivr.net/npm/olv7.4.0/dist/ol.js"></script>&…...

编程日记 2025/7/5 10:47:14

随机2级域名引导页HTML源码

源码介绍随机2级域名引导页HTML源码,每次点进去都随机一个域名前缀。修改跳转域名在 350 行代码，源码由HTMLCSSJS组成，记事本打开源码文件可以进行内容文字之类的修改，双击html文件可以本地运行效果预览源码免费获取随机2级域名引导页…...

编程日记 2025/7/4 17:10:42

Latex的各种数学公式

Latex的各种数学公式简介公式1、 A 、 A ‾ \neg A\text{、}\overline{A} A、A2、、 \text{、} 、3、 ⋅ 、 ∙ \cdot \text{、} \bullet ⋅、∙ 4、表格简介这里会随时更新我需要用到的数学公式，以csdn中写作格式为主，可能过时了，不适合…...

编程日记 2025/6/30 1:39:59

稻壳模板下载器（Windows）：免费获取WPS稻壳模板的利器

稻壳模板下载器（Win） 稻壳模板下载器是一款功能强大的工具，能够帮助用户免费下载WPS稻壳儿中的各种模板，无需开通VIP会员。它支持多种模板类型，包括PPT、Word、Excel等，极大地提升了用户的办公效率。依托…...

编程日记 2025/7/6 13:03:37

BeanDefinition和Beanfactory实现一个简单的bean容器

目录什么是 Springbean 容器设计思路图解参考文章开源地址 BeanDefinition 类 BeanFactory 类测试类什么是 Springbean 容器 Spring 包含并管理应用对象的配置和生命周期，在这个意义上它是一种用于承载对象的容器，你可以配置你的每个 Bea…...

编程日记 2025/6/28 1:31:48

Mybatis的resultMap标签介绍

说明：在Mybatis中，resultMap 标签可以用于SQL查询后的封装数据，本文用两个场景介绍 resultMap 标签的使用。搭建环境先搭一个Demo，pom如下： <?xml version"1.0" encoding"UTF-8"?> &…...

编程日记 2025/7/2 1:34:32

jarvisoj API调用 [JSON格式变XXE]

http://web.jarvisoj.com:9882/ 题目要求：请设法获得目标机器 /home/ctf/flag.txt 中的flag值抓包得到： POST /api/v1.0/try HTTP/1.1 Host: web.jarvisoj.com:9882 Content-Length: 36 Accept-Language: zh-CN,zh;q0.9 User-Agent: Mozilla/5.0 (W…...

编程日记 2025/7/1 1:37:20

论坛系统的测试

项目背景论坛系统采用前后端分离的方式来实现，同时使用数据库来处理相关的数据，同时将其部署到服务器上。前端主要有7个页面组成：登录页，列表页，论坛详情页，编辑页，个人信息页，我…...

编程日记 2025/7/4 5:31:52

RK3588使用笔记：纯linux系统下基础功能配置（不定期更新）

一、前言用于记录使用RK3588这个平台在纯linux系统下的一些功能配置，RK3588只是一个芯片，linux只是一个系统，但是linux系统可以运行在无数的芯片上，也都大同小异，本编文章主要记录linux系统环境的一些常用的基础功能…...

编程日记 2025/7/2 16:22:08

yum install 报错（CentOS换源）：

yum instally yum utils device mapper persistent-data lvm2 报错： 排查错误原因：centos7 系统停止维护了解决方案：换源（更换操作系统） //1.备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-…...

编程日记 2025/7/1 1:18:39

HTTP常见状态码分析

当浏览者访问一个网页时，浏览者的浏览器会想网页所在的服务器发出请求，当浏览器接收并显示网页前，此网页所在的服务器会返回一个包含 HTTP 状态码的信息头（server header）用以响应浏览器的请求。常见的状态码&#xf…...

编程日记 2025/7/1 11:27:09

Python与Web 3.0支付系统：技术融合与未来展望

Python与Web 3.0支付系统：技术融合与未来展望随着区块链技术的不断发展，Web 3.0支付系统正逐步成为数字经济的重要组成部分。Python作为一种高效、易用的编程语言，在Web 3.0支付系统的开发中扮演着不可或缺的角色。本文将从技术背景、Python的应用、代码示例以及未来发展趋…...

编程日记 2025/6/28 4:19:44

Linux命令-sed指令

sed命令参数： 基本参数 -n：抑制默认输出，只显示匹配的行。 -e：指定 sed 脚本。 -i：直接修改文件内容。 -f：指定包含 sed 脚本的文件。 -r：启用扩展正则表达式。常用操作 s：替换字符…...

编程日记 2025/7/4 8:13:11

Unbantu24.04配置-软件安装

Ubantu24.04配置—环境安装最近在笔记本安装了双系统，这次在这里回顾一下，本章节主要是一些软件的注意点，大多数都是在网上有一定的教程的 1.搜狗输入法 1.1 删除其他框架 sudo apt purge ibus sudo apt remove fcitx5* sudo apt pur…...

编程日记 2025/7/1 1:08:13

八股总结（Java）实时更新！

八股总结（java） ArrayList和LinkedList有什么区别 ArrayList底层是动态数组，LinkedList底层是双向链表；前者利于随机访问，后者利于头尾插入；前者内存连续分配，后者通过指针连接多块不连续的内存…...

编程日记 2025/6/28 1:32:06

NVIDIA TensorRT 10 [TAR]安装教程

平台信息操作系统：Ubuntu 20.04.6 LTSCPU架构：x86_64GPU：Tesla T4 x 2驱动信息： NVIDIA-SMI：535.104.05Driver Version: 535.104.05CUDA Version: 12.2 步骤预备步骤安装驱动和CUDA 假设已经成功安装好驱动&a…...

编程日记 2025/7/3 1:22:21

深入探索 iOS 卡顿优化

认识卡顿一些概念 FPS：Frames Per Second，表示每秒渲染的帧数，通过用于衡量画面的流畅度，数值越高则表示画面越流畅。CPU：负责对象的创建和销毁、对象属性的调整、布局计算、文本的计算和排版、图片的格式转换和解码…...

编程日记 2025/6/28 2:59:15

NLP推理方法详解 — 穷举和贪心搜索

穷举搜索（Exhaustive Search）

方法介绍

优势

问题

*例子

贪心方法（Greedy Method）

方法介绍

计算复杂度

例子

问题

贪心推理的不同变体

1. Top-1 方法

2. 随机采样（Random Sampling）

3. Top-K 采样

4. Top-P 采样（Nucleus Sampling）

5. 对比采样（Contrastive Sampling）

方法对比

相关文章：