当前位置：首页 > news >正文

自然语言处理NLP入门 -- 第三节词袋模型与 TF-IDF

news 来源：原创 2025/5/15 1:10:35

目标

了解词袋模型（BoW）和 TF-IDF 的概念
通过实际示例展示 BoW 和 TF-IDF 如何将文本转换为数值表示
详细讲解 Scikit-learn 的实现方法
通过代码示例加深理解
归纳学习难点，并提供课后练习和讲解

3.1 词袋模型（Bag of Words, BoW）

1. 什么是词袋模型？

词袋模型（BoW）是一种最简单的文本表示方法，它的核心思想是：

将一篇文章表示为一个词的集合
忽略词的顺序，仅统计每个词的出现次数
转换成一个数值向量，方便计算机处理

让我们用一个直观的例子来理解：

示例：文本数据

假设有两条文本：

文本1: "猫 喜欢 喝 牛奶"
文本2: "狗 也 喜欢 喝 牛奶"

如果我们要分析这些文本，需要将它们转换为计算机可处理的格式。

构建词表（Vocabulary）

首先，我们从所有文本中提取唯一的词，构建一个词表：

词表 = ["猫", "喜欢", "喝", "牛奶", "狗", "也"]

转换成数值表示

对于每条文本，我们用向量表示每个词出现的次数：

文本1: [1, 1, 1, 1, 0, 0]  # "猫"、"喜欢"、"喝"、"牛奶" 各出现 1 次
文本2: [0, 1, 1, 1, 1, 1]  # "狗"、"也"、"喜欢"、"喝"、"牛奶" 各出现 1 次

这样，我们就把文本转换成了一个数值矩阵，每行对应一个文本，每列对应一个单词的词频。

2. BoW 代码示例

我们使用 Scikit-learn 的 CountVectorizer 来实现 BoW：

from sklearn.feature_extraction.text import CountVectorizer# 1. 定义文本数据
texts = ["猫 喜欢 喝 牛奶", "狗 也 喜欢 喝 牛奶"]# 2. 创建 CountVectorizer 对象，确保单字符词也被保留
vectorizer = CountVectorizer(token_pattern=r"(?u)\b\w+\b", stop_words=None)# 3. 训练 BoW 模型并转换文本
bow_matrix = vectorizer.fit_transform(texts)# 4. 输出词表
print("词表:", vectorizer.get_feature_names_out())# 5. 输出转换后的 BoW 矩阵
print("BoW 矩阵:\n", bow_matrix.toarray())

运行结果

词表: ['也' '喜欢' '喝' '牛奶' '狗' '猫']
BoW 矩阵:
[[0 1 1 1 0 1][1 1 1 1 1 0]]

词表是按字母顺序排列的
0 表示该单词未出现在这篇文章中
1 表示该单词在文章中出现了一次

3.2 TF-IDF（词频-逆文档频率）

1. 为什么需要 TF-IDF？

BoW 只计算了单词的出现次数，但有个问题：

高频词的影响：在中文里，“的”、“是”、“在” 这样的词出现次数很高，但它们对文本的意义贡献很小。
重要但不常见的词被忽略：像 “人工智能” 这样的词可能只在部分文本中出现，但它们的信息量很大。

TF-IDF（词频-逆文档频率） 通过两部分来调整词的重要性：

TF（词频，Term Frequency）：衡量某个词在文章中出现的频率。
IDF（逆文档频率，Inverse Document Frequency）：衡量某个词在所有文档中的重要性。
$[ IDF = \log(\frac{\text{总文档数}}{\text{包含该词的文档数} + 1}) ]$
- 例如，“的” 在所有文本中都出现，IDF 低
- “人工智能” 只在一部分文章出现，IDF 高

最终：
在这里插入图片描述

它的作用是：

常见但无意义的词（如 “的”、“是”）权重降低
罕见但重要的词（如 “人工智能”）权重提高

2. TF-IDF 代码示例

我们使用 Scikit-learn 的 TfidfVectorizer 进行 TF-IDF 计算。

from sklearn.feature_extraction.text import TfidfVectorizer# 1. 定义文本数据
texts = ["猫 喜欢 喝 牛奶", "狗 也 喜欢 喝 牛奶"]# 2. 创建 TF-IDF Vectorizer 对象，确保单字符词也被保留
tfidf_vectorizer = TfidfVectorizer(token_pattern=r"(?u)\b\w+\b", stop_words=None)# 3. 训练 TF-IDF 并转换文本
tfidf_matrix = tfidf_vectorizer.fit_transform(texts)# 4. 输出词表
print("词表:", tfidf_vectorizer.get_feature_names_out())# 5. 输出 TF-IDF 矩阵
print("TF-IDF 矩阵:\n", tfidf_matrix.toarray())

运行结果（示例）

词表: ['也' '喜欢' '喝' '牛奶' '狗' '猫']
TF-IDF 矩阵:
[[0.     0.5    0.5    0.5    0.     0.707][0.707  0.5    0.5    0.5    0.707  0.    ]]

3. 观察结果

“喜欢”、“喝”、“牛奶” 这些词在两篇文章中都出现，所以权重较低
“猫” 只在第一篇文章中出现，所以权重较高
“狗” 只在第二篇文章中出现，所以权重较高

3.3 难点总结

难点	理解方式
BoW 忽略词序	记住：BoW 只统计词频，而不考虑单词顺序
TF-IDF 计算复杂	只需记住：TF 代表词频，IDF 代表重要性（少见但重要的词权重高）
向量化后数据	文本转化为数字矩阵，方便机器学习使用

3.4 课后练习

1. 理解 BoW

练习：
请修改以下代码，增加一个新文本，并观察 BoW 变化：

texts = ["猫 喜欢 喝 牛奶", "狗 也 喜欢 喝 牛奶", "机器学习 是 人工智能 的 一部分"]

你观察到哪些新单词？
词表是否有变化？

2. 理解 TF-IDF

练习：
请修改以下代码，增加一个新文本，并观察 TF-IDF 变化：

texts = ["机器学习 很 有趣", "机器学习 使 生活 更 智能"]

哪些词的权重较高？
频繁出现的词的权重是否下降了？

总结

BoW 适用于简单 NLP 任务，但容易丢失语义信息
TF-IDF 解决了高频词影响，但仍无法完全理解上下文
下一步学习：深度学习模型（如 Word2Vec、BERT）如何更好地理解文本语义

自然语言处理NLP入门 -- 第三节词袋模型与 TF-IDF

目标了解词袋模型（BoW）和 TF-IDF 的概念通过实际示例展示 BoW 和 TF-IDF 如何将文本转换为数值表示详细讲解 Scikit-learn 的实现方法通过代码示例加深理解归纳学习难点，并提供课后练习和讲解 3.1 词袋模型（Bag of Words, BoW&a…...

编程日记 2025/5/15 1:10:35

Flappy Bird开发学习记录

概述为了了解一下Unity的开发过程，或者说感受？先搞简单的练练手。工具 Unity:2022.3.51f1c1 visual studio 2022 开发过程项目基本设置新建2d项目，游戏画面设置为1080*1920（9：16）。图片素材设…...

编程日记 2025/5/10 0:01:18

Visual Studio 使用 “Ctrl + /”键设置注释和取消注释

问题：在默认的Visual Studio中，选择单行代码后，按下Ctrl /键会将代码注释掉，但再次按下Ctrl /键时，会进行双重注释，这不是我们想要的。实现效果：当按下Ctrl /键会将代码注释掉，…...

编程日记 2025/5/14 5:41:16

CTF-WEB: 利用Web消息造成DOM XSS

如果索引中有类似如下代码  <div idads> </div> <script>window.addEventListener(message, function(e) {document.getElementById(ads).innerHTML e.data;}); </script>这行代码的作用是将接收到的消息内容…...

编程日记 2025/5/15 1:05:31

2025 西湖论剑wp

web Rank-l 打开题目环境： 发现一个输入框，看一下他是用上面语言写的发现是python，很容易想到ssti 密码随便输，发现没有回显但是输入其他字符会报错确定为ssti注入开始构造payload， {{(lipsum|attr(‘global…...

编程日记 2025/5/9 10:30:03

常见的排序算法：插入排序、选择排序、冒泡排序、快速排序

1、插入排序步骤： 1.从第一个元素开始，该元素可以认为已经被排序 2.取下一个元素tem，从已排序的元素序列从后往前扫描 3.如果该元素大于tem，则将该元素移到下一位 4.重复步骤3，直到找到已排序元素中小于等于tem的元素…...

编程日记 2025/5/5 12:59:10

LVDS接口总结--(5)IDELAY3仿真

仿真参考资料如下： https://zhuanlan.zhihu.com/p/386057087 timescale 1 ns/1 ps module tb_idelay3_ctrl();parameter REF_CLK 2.5 ; // 400MHzparameter DIN_CLK 3.3 ; // 300MHzreg ref_clk ;reg …...

编程日记 2025/5/13 4:20:34

数据库的基本概念

在当今的信息时代，数据已成为企业乃至整个社会的重要资产。如何有效地存储、管理和利用这些数据成为了技术发展的关键领域之一。数据库系统作为数据管理的核心工具，在软件开发、数据分析等多个方面扮演着不可或缺的角色。本文将带你了解数据库的一些基本…...

编程日记 2025/5/11 15:07:29

Redis性能优化

1.是否使用复杂度过高的命令首先，第一步，你需要去查看一下 Redis 的慢日志（slowlog）。 Redis 提供了慢日志命令的统计功能，它记录了有哪些命令在执行时耗时比较久。查看 Redis 慢日志之前，你需要设置慢…...

编程日记 2025/5/8 14:42:35

CCF-CSP第34次认证第二题——矩阵重塑（其二）【需反复思考学习！！！】

第34次认证第二题——矩阵重塑（其二） 官网题目链接时间限制： 1.0 秒空间限制： 512 MiB 相关文件： 题目目录（样例文件） 题目背景矩阵转置操作是将矩阵的行和列交换的过程。在转置过程中&…...

编程日记 2025/5/10 6:13:46

大模型DeepSeek-R1学习

学习路线机器学习-> 深度学习-> 强化学习-> 深度强化学习大模型演进分支微调： SFT 监督学习蒸馏：把大模型作为导师训练小模型RLHF：基于人类反馈的强化学习 PPO 近端策略优化油门 - 重要性采样权重 * 打分刹车 - clip 修剪…...

编程日记 2025/5/10 8:34:03

Spring Cloud — 深入了解Eureka、Ribbon及Feign

Eureka 负责服务注册与发现；Ribbon负责负载均衡；Feign简化了Web服务客户端调用方式。这三个组件可以协同工作，共同构建稳定、高效的微服务架构。 1 Eureka 分布式系统的CAP定理： 一致性（Consistency）&am…...

编程日记 2025/5/13 23:51:50

《深度LSTM vs 普通LSTM：训练与效果的深度剖析》

在深度学习领域，长短期记忆网络（LSTM）以其出色的处理序列数据能力而备受瞩目。而深度LSTM作为LSTM的扩展形式，与普通LSTM在训练和效果上存在着一些显著的不同。训练方面参数数量与计算量：普通LSTM通常只有一层或较少…...

编程日记 2025/5/14 17:15:47

认识一下redis的分布式锁

Redis的分布式锁是一种通过Redis实现的分布式锁机制，用于在分布式系统中确保同一时刻只有一个客户端可以访问某个资源。它通常用于防止多个应用实例在同一时间执行某些特定操作，避免数据的不一致性或竞争条件。实现分布式锁的基本思路： 1. …...

编程日记 2025/5/15 0:59:58

untiy3D为游戏物体制作简单的动画

1.创建一个物体挂载动画组件Animator 2.创建一个动画控制器 3.动画控制器挂载到Animator组件 4.创建动画窗口>动画入口默认执行left 执行效果 20250212_151707 脚本控制动画鼠标点击是切换到动画t using System.Collections; using System.Collections.Generic; usi…...

编程日记 2025/5/12 10:49:36

微服务与网关

什么是网关背景单体项目中，前端只用访问指定的一个端口8080，就可以得到任何想要的数据微服务项目中，ip是不断变化的，端口是多个的解决方案：网关网关：就是网络的关口，负责请求的路由、转发、身份校验。前段还是访问之前的端口8080即可后端对于前端来说是透明的网…...

编程日记 2025/5/14 20:50:12

ArcGIS基础知识之ArcMap基础设置——ArcMap选项：常规选项卡设置及作用

作为一名 GIS 从业者，ArcMap 是我们日常工作中不可或缺的工具。对于初学者来说，掌握 ArcMap 的基础设置是迈向 GIS 分析与制图的第一步。今天，就让我们一起深入了解 ArcMap 选项中常规选项卡的各个设置，帮助大家更好地使用这款强大的软件。在 ArcMap 中，常规选项卡是用户…...

编程日记 2025/5/9 18:05:11

Ubuntu轻松部署ToolJet低代码开发平台结合内网穿透远程访问

文章目录前言1.关于ToolJet2.Docker部署3.简单使用演示4.安装cpolar内网穿透5. 配置公网地址6. 配置固定公网地址前言本文主要介绍如何在本地Linux服务器使用Docker部署轻量级开源文件分享系统ToolJet，并结合cpolar内网穿透工具轻松实现跨网络环境远程访问与使用…...

编程日记 2025/5/11 3:02:40

[MySQL]5-MySQL扩展（分片）

随着数据量和用户量增加，MySQL会有读写负载限制。以下是部分解决方案目录功能拆分使用读池拓展读（较复杂） 排队机制 🌟分片拓展写按业务或职责划分节点或集群大数据集切分分片键的选择多个分片键跨分片查询资料…...

编程日记 2025/5/12 17:13:28

如何使用 DeepSeek 帮助自己的工作

Hi，我是布兰妮甜 ！在当今快速发展的技术领域，人工智能（AI）工具已经成为提高工作效率、促进创新的重要助手。DeepSeek作为一款先进的AI解决方案，为用户提供了强大的数据处理、分析以及预测能力，可…...

编程日记 2025/5/9 23:29:31

Redis缓存穿透、击穿和雪崩面试相关问题整理

在互联网公司的面试中，Redis 的缓存穿透、击穿和雪崩是高频考点，尤其在北京的头部互联网公司（如字节、阿里、美团、快手等）。以下是针对这三个问题的详细解析及常见面试题方向： 一、缓存穿透（Cache Penetra…...

编程日记 2025/5/10 3:24:49

Flink之Watermark

Apache Flink 是一个分布式流处理框架，它非常擅长处理实时数据流。流处理中的一个关键挑战是事件时间的处理，因为在流式数据中，事件到达系统的顺序可能并不代表它们的实际发生时间。为了解决这一问题，Flink 引入了**Watermark&…...

编程日记 2025/5/6 0:51:57

vs构建网络安全系统网络安全和网络搭建

网站的组成和搭建网站由服务器，容器，脚本，数据库组成。服务器和家庭电脑一样。容器又为环境或服务：apache，lls，tomcat，nginx等脚本：php，aspx，asp&#x…...

编程日记 2025/5/12 8:02:58

缓存穿透问题及解决方案

一、什么是缓存穿透？ 在分布式系统中，缓存常常用于提高系统的性能，减轻数据库的压力。缓存穿透问题指的是请求的数据在缓存和数据库中都不存在，导致请求每次都直接查询数据库，无法从缓存中获取数据，从而绕…...

编程日记 2025/5/9 13:26:07

ElementUI el-popover弹框背景色设置

1.el-popover样式由于使用了 absolute 属性，导致脱离了节点，所以在父级元素使用class无法进行权重处理来修改其样式，解决方式如下：通过popper-class实现样式处理，避免全局样式污染 // html <el-popoverplacement&q…...

编程日记 2025/5/13 7:26:00

在 Mac ARM 架构上使用 nvm 安装 Node.js 版本 16.20.2

文章目录 1. 安装 nvm（如果还没有安装的话）2. 加载 nvm 配置3. 列出特定系列的 Node.js 版本（远程）：4. 安装 Node.js 16.20.25. 使用指定版本的 Node.js6. 验证安装在 Mac ARM 架构上使用 nvm 安装 Node.js 版本 16.…...

编程日记 2025/5/12 3:49:41

spring集成activiti流程引擎（源码）

前言 activiti工作流引擎项目，企业erp、oa、hr、crm等企事业办公系统轻松落地，请假审批demo从流程绘制到审批结束实例。源码获取：本文末个人名片直接获取。一、项目形式 springbootvueactiviti集成了activiti在线编辑器，流行…...

编程日记 2025/5/12 17:54:14

VLLM历次会议(2024.4)

Prefix Caching。预先算好KV cache，遇见公共前缀，复用之，避免再计算一遍。场景：1. 多轮对话。2.公共的system prompt。 Guided Decoding(格式化输出) 通过Outlines工具实现。支持正则表达式、JSON格式等。输入：…...

编程日记 2025/5/5 22:53:08

基于 Docker 搭建 Elasticsearch + Kibana 环境

一、Elasticsearch 1. 下载镜像 elasticsearch镜像不支持latest标签，必须指定版本号 % docker pull elasticsearch:8.17.2 2. 启动容器参考官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docker.html % docker run -p 9200:9200 -p 9…...

编程日记 2025/5/14 0:55:28

在 ARM64 架构系统离线安装 Oracle Java 8 全流程指南

在 ARM64 架构系统离线安装 Oracle Java 8 全流程指南文章目录在 ARM64 架构系统离线安装 Oracle Java 8 全流程指南一、引言二、下载前的准备2.1 确认系统架构2.2 注册 Oracle 账号三、从 Oracle 官方下载 Java 8 for ARM643.1 访问 Oracle Java 存档页面3.2 选择合适的版本…...

编程日记 2025/5/9 13:11:24

策略模式-小结

总结一下看到的策略模式： A:一个含有一个方法的接口 B:具体的实行方式行为1,2,3，实现上面的接口。 C:一个环境类（或者上下文类），形式可以是：工厂模式，构造器注入模式，枚举模式。 …...

编程日记 2025/5/3 13:31:10

记一次Self XSS+CSRF组合利用

视频教程在我主页简介或专栏里 （不懂都可以来问我专栏找我哦） 目录：　确认 XSS 漏洞确认 CSRF 漏洞这个漏洞是我在应用程序的订阅表单中发现的一个 XSS 漏洞，只能通过 POST 请求进行利用。通常情况下，基于 POST 的…...

编程日记 2025/5/10 9:17:45

VSCode + Continue 实现AI编程助理

安装VS Code 直接官网下载安装，反正是免费的。安装VS插件Continue 直接在插件市场中搜索， Continue，第一个就是了。配置Chat Model 点击Add Chat model后进行选择： 选择Ollama后，需要点击下面的config file : 由于…...

编程日记 2025/5/11 4:53:46

使用Typescript开发Babylon.js的Vue3模板参考

main.js文件 // main.ts import { createApp } from vue import App from ./App.vuecreateApp(App).mount(#app) App.vue文件  <template><div class"app-container"><BabylonScene /></div> </template><…...

编程日记 2025/5/12 13:54:18

STM32+Proteus+DS18B20数码管仿真实验

1. 实验准备硬件方面： 了解 STM32 单片机的基本原理和使用方法，本实验可选用常见的 STM32F103 系列。熟悉 DS18B20 温度传感器的工作原理和通信协议（单总线协议）。数码管可选用共阴极或共阳极数码管，用于显示温度值。…...

编程日记 2025/5/11 11:15:17

DeepSeek自然语言处理（NLP）基础与实践

自然语言处理（Natural Language Processing, NLP）是人工智能领域的一个重要分支，专注于让计算机理解、生成和处理人类语言。NLP技术广泛应用于机器翻译、情感分析、文本分类、问答系统等场景。DeepSeek提供了强大的工具和API，帮助我们高效地构建和训练NLP模型。本文将详细介…...

编程日记 2025/5/13 8:44:48

Baklib优化数字化内容管理用科技提升商业效率与增值潜力

内容概要在当今数字化迅速发展的时代，数字化内容管理已成为企业提升竞争力的重要手段。Baklib作为一款强大的智能优化内容管理系统，通过先进的科技手段，帮助企业在内容管理和数据整合方面实现高效运作。Baklib 是什么类型的工具&#xff0c…...

编程日记 2025/5/1 7:59:25

视频基础操作

1.1. 例子读取mp4格式的视频，将每一帧改为灰度图，并且打上水印（“WaterMark”）,并将其输出保存为out.mp4，在这个例子中可以看到视频读取，每帧数据处理，视频保存的整体流程简单示例 import cv…...

编程日记 2025/4/28 5:30:36

写一个鼠标拖尾特效

思路和逻辑要实现鼠标拖尾特效，我们需要： 监听鼠标移动事件，获取鼠标的当前位置。在每次鼠标移动时，绘制一个小圆点或其他形状在鼠标的当前位置。将所有绘制的圆点连接起来，形成一条“尾巴”。使用动画效果让尾巴看…...

编程日记 2025/5/12 9:33:08

Docker上安装Zabbix-server-mysql报错

创建新的zabbix server （mysql）容易，最后一条日志报错 cannot usedatabase"zabbix": its "users" table is empty (is this the Zabbix proxy database?) 往前还有一条关键报错信息 ERROR 1153 (08S01): Got a packe…...

编程日记 2025/5/12 3:54:30

＜tauri＞＜rust＞＜GUI＞使用tauri创建一个图片浏览器（文件夹遍历、图片切换）

前言本文是基于rust和tauri，由于tauri是前、后端结合的GUI框架，既可以直接生成包含前端代码的文件，也可以在已有的前端项目上集成tauri框架，将前端页面化为桌面GUI。环境配置系统：windows 10平台：visual studio code语言：rust、javascript库：tauri2.0概述本文是…...

编程日记 2025/5/13 23:34:44

【STM32系列】利用MATLAB配合ARM-DSP库设计IIR数字滤波器（保姆级教程）

ps.源码放在最后面设计FIR数字滤波器可以看这里：利用MATLAB配合ARM-DSP库设计FIR数字滤波器（保姆级教程） 设计IIR滤波器 MATLAB配置设计步骤首先在命令行窗口输入"filterDesigner"，接着就会跳出以下界面&#xf…...

编程日记 2025/5/9 17:41:59

迷宫（信息学奥赛一本通-1215）

【题目描述】一天Extense在森林里探险的时候不小心走入了一个迷宫，迷宫可以看成是由nn的格点组成，每个格点只有2种状态，.和#，前者表示可以通行后者表示不能通行。同时当Extense处在某个格点时，他只能移动到东南西北(或…...

编程日记 2025/5/10 22:02:42

centos7 curl#6 - Could not resolve host mirrorlist.centos.org；未知的错误解决方案

问题描述 centos7系统安装完成后，yum安装软件时报错“curl#6 - “Could not resolve host: mirrorlist.centos.org; 未知的错误”” [root192 ~]# yum install vim -y 已加载插件：fastestmirror Determining fastest mirrors Could not retrieve mirro…...

编程日记 2025/5/9 8:35:12

Ubuntu安装PgSQL17

参考官网教程，Ubuntu24 apt在线安装Postgres 17 1. 要手动配置 Apt 存储库 # 导入存储库签名密钥： sudo apt install curl ca-certificates sudo install -d /usr/share/postgresql-common/pgdg sudo curl -o /usr/share/postgresql-common/pgdg/apt…...

编程日记 2025/5/10 3:23:44

在 Navicat 17 中扩展 PostgreSQL 数据类型 - 范围类型

范围类型 PostgreSQL 是市场上最灵活的数据库之一，这已不是什么秘密。事实上，PostgreSQL 的可扩展性和丰富的功能集使 PostgreSQL 近期已超越 MySQL，成为最受开发人员推崇和最受欢迎的数据库系统。在这个使用 Navicat Premium 17 在 Postgre…...

编程日记 2025/5/14 11:34:38