当前位置：首页 > news >正文

【漫话机器学习系列】227.信息检索与数据挖掘中的常用加权技术（TF-IDF）

news 来源：原创 2025/8/2 12:41:28

在自然语言处理（NLP）、信息检索（IR）和数据挖掘（DM）领域中，TF-IDF 是一种非常经典且常用的加权技术。
无论是搜索引擎排序、文本挖掘，还是特征工程，TF-IDF都扮演着重要角色。

今天，我们通过一张手绘图（见下方）出发，详细理解TF-IDF的定义、公式推导及实际意义。

一、什么是TF-IDF？

TF-IDF（Term Frequency - Inverse Document Frequency），中文通常翻译为词频-逆文档频率，是一种用于评估一个词语对于一个文档集合中的某份文档的重要程度的方法。

它综合考虑了：

词在当前文档中出现的频率（TF）
词在所有文档中出现的广泛程度（IDF）

从而在文本处理中，突出那些能较好区分不同文档的关键词。

二、公式详解

根据手绘图内容，TF-IDF的标准公式如下：

$\text{TF-IDF}(t,d) = \text{TF}(t,d) \times \text{IDF}(t)$

其中：

t：词项（term）
d：文档（document）

接下来分别拆开解释：

1. 词频（TF, Term Frequency）

$\text{TF}(t,d)$

表示词t在文档d中出现的频率。
通常定义为该词在文档中出现的次数除以文档的总词数。

在手绘图中，蓝色箭头标注了：

次数 + 出现在文档中d的文档

这里强调的是，词频关注的是“在单一文档内部”，某个词出现了多少次。

2. 逆文档频率（IDF, Inverse Document Frequency）

$\text{IDF}(t) = \log \left( \frac{1 + n}{1 + df(t)} \right) + 1$

其中：

n：语料库中所有文档数量
df(t)：包含词ttt的文档数量（Document Frequency）

手绘图中，棕色箭头标注了逆文档频率的具体推导公式，并解释了每个变量的含义。

通过引入逆文档频率（IDF），可以有效降低出现在大多数文档中的常用词（比如“的”“是”等）的权重，同时提高那些在少数文档中出现、具有区分性的词的重要性。

注意：
加1操作（如公式中的 1+n、1+df(t)）是为了避免分母为零或对数中出现非法运算的问题。

三、为什么要使用TF-IDF？

直接使用词频（TF）容易出现的问题是：常见但不具备实际意义的词（如"的"、"是"、"and"、"the"）会有很高的频率，从而被错误地认为非常重要。

而引入逆文档频率（IDF）后，可以：

抑制常见词的权重
提升稀有词的重要性
更好地反映词语对特定文档的区分能力

总之，TF-IDF 是一种简单有效、广泛应用的文本特征权重评估方法。

四、应用场景

TF-IDF的应用非常广泛，包括但不限于：

搜索引擎：根据TF-IDF评分，返回最相关的搜索结果。
文本分类：作为特征向量输入到分类器（如SVM、朴素贝叶斯）。
关键词提取：从文档中自动提取重要关键词。
推荐系统：基于内容的推荐中提取文章或商品描述的关键特征。

五、举个简单例子

假设我们有三篇文档：

文档	内容
d1	我爱自然语言处理
d2	自然语言处理是人工智能的重要分支
d3	我爱人工智能

关键词 "自然语言处理"：

在d1出现1次，在d2出现1次，在d3未出现。
词频TF在各自文档中可计算。
文档频率df为2（出现在2篇文档中）。
IDF根据总文档数（n=3）进行计算。

最后通过TF × IDF，就能得到每个文档中该词的重要性得分。

六、总结

TF-IDF是一种衡量词在文档集合中重要性的方法。
综合了词频（TF）和逆文档频率（IDF）两部分。
能有效提升文本特征的区分能力。
应用范围广，是文本处理领域的基础技能之一。

掌握好TF-IDF，不仅可以帮助理解传统NLP任务，也为后续深入学习如词向量（Word2Vec）、BERT等打下坚实基础！

如果这篇文章对你有帮助，欢迎点赞 👍、收藏 ⭐ 和留言讨论哦！
后续我将继续分享更多文本处理、自然语言理解的实战经验，欢迎关注～

【漫话机器学习系列】227.信息检索与数据挖掘中的常用加权技术（TF-IDF）

在自然语言处理（NLP）、信息检索（IR）和数据挖掘（DM）领域中，TF-IDF 是一种非常经典且常用的加权技术。无论是搜索引擎排序、文本挖掘，还是特征工程，TF-IDF都扮演着重要角色…...

编程日记 2025/8/2 12:41:28

【音视频】FFmpeg过滤器框架分析

ffmpeg的filter⽤起来是和Gstreamer的plugin是⼀样的概念，通过avfilter_link，将各个创建好的filter按⾃⼰想要的次序链接到⼀起，然后avfilter_graph_config之后，就可以正常使⽤。⽐较常⽤的滤镜有：scale、trim、over…...

编程日记 2025/8/2 12:29:32

硬盘损坏数据恢复后对python程序的影响

最近硬盘突然间坏掉了，让数据商恢复了2个月今天终于拿到了恢复后的数据。但是一测试问题就来了： PS E:\geosystem> python manage.py runserver 0.0.0.0:5000 Unhandled exception in thread started by <function check_errors.<locals>.…...

编程日记 2025/7/29 1:28:38

Azure Devops - 尝试一下在Pipeline中使用Self-hosted Windows agent

1.简单介绍 Azure Devops是微软提供的辅助软件的开发，测试，部署以及计划和进度跟踪的平台，通过Azure Devops可以使开发者，项目经理，运维人员在软件的整个生命周期中更紧密地合作，同时借助Continuous Integ…...

编程日记 2025/8/1 13:41:23

Linux红帽：RHCSA认证知识讲解（十四）分区管理、交换分区，创建逻辑卷与调整逻辑卷的大小

Linux红帽：RHCSA认证知识讲解（十四）分区管理、交换分区，创建逻辑卷与调整逻辑卷的大小前言一、分区管理，使用fdisk管理分区1.1 找到硬盘1.2 使用fdisk分区1.3 格式化分区1.4 挂载分区二、创建逻辑卷，调整…...

编程日记 2025/8/2 12:31:51

详解 Unreal Engine（虚幻引擎）

详解 Unreal Engine（虚幻引擎） Unreal Engine（简称 UE）是由 Epic Games 开发的一款全球领先的实时渲染引擎，自 1998 年随首款游戏《Unreal》问世以来，已发展成为覆盖游戏开发、影视制作、建筑可视化、汽车…...

编程日记 2025/7/28 17:40:10

【Linux网络】Http服务优化 - 增加请求后缀、状态码描述、重定向、自动跳转及注册多功能服务

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/8/1 23:24:17

Docker compose 部署微服务项目（从0-1出发纯享版无废话）

目录一.Docker安装 （1）安装依赖 （2）安装Docker （3）启动Docker服务 （4）系统配置 （5）镜像加速配置 （6）验证安装二.编写Docke…...

编程日记 2025/8/2 12:34:18

C#学习第19天：多线程

什么是多线程？ 定义：多线程允许一个程序分成多个独立的执行路径来进行并发操作。用途：提高程序的执行效率，特别是在I/O操作、计算密集型任务和用户交互中。多线程核心概念 1. 创建和管理线程使用 Thread 类 using System; u…...

编程日记 2025/8/2 12:39:06

day7 python针对心脏病数据集预处理

在数据科学与机器学习领域，数据预处理与可视化是挖掘数据价值的关键前置步骤。本文以 heart1.csv 心脑血管疾病数据集为例，借助 Python 中的 pandas、matplotlib、seaborn 以及 scikit-learn 库，详细演示数据加载、缺失值处理、特征相关性分析…...

编程日记 2025/8/1 8:51:58

树莓派学习专题＜9＞：使用V4L2驱动获取摄像头数据--设定分辨率和帧率

树莓派学习专题＜9＞：使用V4L2驱动获取摄像头数据--设定分辨率和帧率 1. 设定分辨率2. 设定帧率3. 设定分辨率代码解析4. 获取与设定帧率代码解析5. 实测 1. 设定分辨率使用如下代码设定摄像头的分辨率： #define CAMERA_RESOLUTI…...

编程日记 2025/8/2 12:36:40

模态链：利用视觉-语言模型从多模态人类视频中学习操作程序

25年4月来自谷歌 DeepMind 和斯坦福大学的论文“Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models”。从人类视频中学习执行操作任务，是一种很有前景的机器人教学方法。然而，许多操作任务…...

编程日记 2025/8/1 8:52:11

JAVAEE初阶01

个人主页 JavaSE专栏 JAVAEE初阶01 操作系统 1.对下（硬件）管理各种计算机设备 2.对上（软件）为各种软件提供一个稳定的运行环境线程运行的程序在操作系统中以进程的形式存在进程是系统分配资源的最小单位进程与线程的关…...

编程日记 2025/8/2 12:31:51

【网络安全】用 Linux 命令行 CLI 日志文件处理指南

Linux 命令行 CLI 神技回忆录：日志文件处理指南（以 Zeek Logs 为例） 1. CLI简介2. 基础操作3. 文件读取4. 查找与筛选5. 进阶操作6. Zeek 日志骚操作7. 结语 1. CLI简介在数据分析的世界里，图形界面（GUI）…...

编程日记 2025/7/25 4:48:08

[C++] 高精度乘法

目录引入: 大整数比较比较方法例题1-青蛙计数题目描述输入描述输出描述输入输出样例AC代码高精度乘法模版高精度运算小合集(这集乘法上集加法) 注意: 若还没有学过高精度运算的话先去看高精度加法引入: 大整数比较比较方法大整数比较可以使用此方法比较(注释有讲解): …...

编程日记 2025/7/29 5:15:32

反事实——AI与思维模型【82】

一、定义反事实思维模型是一种心理认知模型，它指的是人们在头脑中对已经发生的事件进行否定，然后构建出一种可能性假设的思维活动。简单来说，就是思考“如果当时……，那么就会……”的情景。这种思维方式让我们能够超越现实的限制，设想不同的可能性和结果，从而对过去的…...

编程日记 2025/7/26 5:46:46

Java学习手册：Java开发常用的内置工具类包

以下是常用 Java 内置工具包。 • 日期时间处理工具包 • java.time包（JSR 310）：这是 Java 8 引入的一套全新的日期时间 API，旨在替代陈旧的java.util.Date和java.util.Calendar类。其中的LocalDate用于表示不带时区的日期&…...

编程日记 2025/8/1 17:07:36

JAVA多线程（8.0）

目录线程池为什么使用线程池线程池的使用工厂类Executors（工厂模式） submit 实现一个线程池线程池为什么使用线程池在前面我们都是通过new Thread() 来创建线程的，虽然在java中对线程的创建、中断、销毁、等值等功能提供了支持…...

编程日记 2025/7/30 14:59:04

通过门店销售明细表用Python Pandas得到每月每个门店的销冠和按月的同比环比数据

假设我在本地有Excel销售表，包含ID主键、门店ID、日期、销售员姓名和销售额，需要用Pandas统计出每个月所有门店和各门店销售额最高的人，不一定是一个人，以及他所在的门店ID和月总销售额。步骤1：导入数据并处理日期 …...

编程日记 2025/7/29 12:32:43

详解最新链路追踪skywalking框架介绍、架构、环境本地部署配置、整合微服务springcloudalibaba 、日志收集、自定义链路追踪、告警等

1.skywalking介绍多种监控手段，可以通过语言探针和service mesh 获得监控数据支持多种语言自动探针，包含java/net/nodejs轻量高效，无需大数据平台和大量的服务器资源模块化，UI、存储、集群管理都有多种机制可选支持告警优秀的可…...

编程日记 2025/7/27 15:18:46

【OSG学习笔记】Day 11: 文件格式与数据交换

OSG 常用文件格式简介在开始转换前，先了解 OSG 生态中常见的文件格式： .osg：OSG 标准二进制格式，存储场景图数据，体积小、加载快，适合实时渲染。 .ive：OSG 标准文本格式，可读性强，便于手动编辑或调试场景图结构（本质是 XML 格式的文本描述）。 .osgb：OSG 二进制格…...

编程日记 2025/8/1 1:35:42

2025.04.26-美团春招笔试题-第二题

📌 点击直达笔试专栏 👉《大厂笔试突围》 💻 春秋招笔试突围在线OJ 👉 笔试突围OJ 02. 曼哈顿距离探测器问题描述 K小姐正在研发一种城市交通探测器，该探测器能够检测城市中任意两个位置之间的曼哈顿距离是否恰好为特定值。曼哈顿距离是在直角坐标系中，两点之间…...

编程日记 2025/7/27 6:45:41

搭建基于火灾风险预测与防范的消防安全科普小程序

基于微信小程序的消防安全科普互动平台的设计与实现，是关于微信小程序的，知识课程学习，包括学习后答题。技术栈主要采用微信小程序云开发，有下面的模块： 1.课程学习模块 2.资讯模块 3.答题模块 4.我的模块还需…...

编程日记 2025/7/31 11:26:45

05--Altium Designer（AD）的详细安装

一、软件的下载 Altium Designer官网下载 1、临近五一的假期，想着搞个项目，且这个项目与PCB有关系，所以就下这个软件来玩玩。下面保姆级教大家安装。 2、选择适合自己的版本下载（我安装的是24的） 3、软件安装 1.下…...

编程日记 2025/7/28 23:47:07

药监平台上传数据报资源码不存在

问题：电子监管码上传药监平台提示“导入的资源码不存在” 现象：从生产系统导出的关联关系数据包上传到药监平台时显示： 原因：上传数据包的通道的资源码与数据包的资源码不匹配。解决方法：检查药监平台和生产系统的药…...

编程日记 2025/8/2 3:48:42

DeepSeek预训练追求极致的训练效率的做法

DeepSeek在预训练阶段通过多种技术手段实现了极致的训练效率，其中包括采用FP8混合精度训练框架以降低计算和内存需求，创新性地引入Multi-head Latent Attention（MLA）压缩KV缓存以提升推理效率，以及基于Mixture-of-Experts（MoE）的稀疏计算架构以在保证性能的同时显著降低…...

编程日记 2025/7/31 13:56:56

Windows11系统中GIT下载

Windows11系统中GIT下载 0、GIT背景介绍0.0 GIT概述0.1 GIT诞生背景0.2 Linus Torvalds 的设计目标0.3 Git 的诞生（2005 年）0.4 Git 的后续发展0.5 为什么 Git 能成功？ 1、资源下载地址1.1 官网资源1.2 站内资源 2、安装指导3、验证是否下载完…...

编程日记 2025/7/29 19:45:48

Maven的概念与初识Maven

目录一、Maven的概念 1. 什么是Maven 2. 项目构建：从代码到部署的标准化流程 2.1 Maven构建生命周期 2.2 传统构建 vs Maven构建 3. 依赖管理：解决“JAR地狱”的利器 3.1 依赖声明 3.2 依赖传递与冲突解决 4. Maven仓库：依赖的存储…...

编程日记 2025/7/27 18:08:18

【Android】app调用wallpaperManager.setBitmap的隐藏权限

这是一个杞人忧天的问题，app中，可以通过wallpaperManager.setBitmap来设置壁纸， private void setWallpaper() {// 获取 WallpaperManager 实例WallpaperManager wallpaperManager WallpaperManager.getInstance(getApplicationContext());t…...

编程日记 2025/7/21 10:10:42

ORACLE数据库备份入门：第四部分：2-备份场景举例

下面以4个常见的场景为例，介绍如何规划备份方案。备份方案没有标准答案，需要根据实现情况来制定，也和管理员的个人使用习惯有很大相关性。 1 交易型数据库备份以银行的交易系统为例，除了前一章节提到的关于RPO和RTO的指标外&am…...

编程日记 2025/7/31 15:44:15

STL中emplace实现原理是什么？

template <class... Args>void emplace_back (Args&&... args);这个是vector的emplace_back方法，用到的c11的语法有三个，分别是万能引用、完美转发、参数包。参数包中的参数是用来构造vector<T>中的T对象。假如我直接传的就是一个…...

编程日记 2025/7/28 7:07:26

血泪之arduino库文件找不到ArduinoJSON.h: No such file or directory错误原因

#include <ArduinoJson.h> 始终报这个错误， C:\techxixi_project\Arduino\test\camer\camertoserver\camertoserver.ino:6:10: fatal error: ArduinoJSON.h: No such file or directory 6 | #include <ArduinoJSON.h> | ^~~~~~~~~…...

编程日记 2025/7/13 17:32:27

通过门店销售明细表用PySpark得到每月每个门店的销冠和按月的同比环比数据

假设我在Amazon S3上有销售表的Parquet数据文件的路径，包含ID主键、门店ID、日期、销售员姓名和销售额，需要分别用PySpark的SparkSQL和Dataframe API统计出每个月所有门店和各门店销售额最高的人，不一定是一个人，以及他所在的门店…...

编程日记 2025/8/1 9:04:24

【前后端分离项目】Vue+Springboot+MySQL

文章目录 1.安装 Node.js2.配置 Node.js 环境3.安装 Node.js 国内镜像4.创建 Vue 项目5.运行 Vue 项目6.访问 Vue 项目7.创建 Spring Boot 项目8.运行 Spring Boot 项目9.访问 Spring Boot 项目10.实现 Vue 与 Spring Boot 联动11.安装 axios12.编写请求13.调用函数请求接口14.…...

编程日记 2025/7/27 13:18:57

图解 Redis 事务 ACID特性｜源码解析｜EXEC、WATCH、QUEUE

写在前面 Redis 通过 MULTI、EXEC、WATCH 等命令来实现事务功能。Redis的事务是将多个命令请求打包，然后一次性、按照顺序的执行多个命令的机制，并且在事务执行期间，服务器不会中断事务而该去执行其他客户端的命令请求。就像下面这样&#…...

编程日记 2025/7/25 14:42:50

w~嵌入式C语言~合集3

我自己的原文哦~ https://blog.51cto.com/whaosoft/13870307 一、单片机多任务事件驱动单片机的ROM与RAM存贮空间有限，一般没有多线程可用，给复杂的单片机项目带来困扰。经过多年的单片机项目实践，借鉴windows消息机制的思想&#xff…...

编程日记 2025/7/30 8:42:54

CMCC RAX3000M CH EC 算力版刷机（中国移动 RAX3000M 算力版）刷机

刷机前面的工作参考： https://blog.csdn.net/asdcls/article/details/147434218 刷机 eMMC Flash instructions: 1. SSH to RAX3000M, and backup everything, especially factory part. (data partition can be ignored, its useless.) 2. Write new GPT tabl…...

编程日记 2025/7/30 13:46:32

cron定时任务

cron定时任务一、Cron表达式的定义基础结构 Cron表达式是由空格分隔的6或7个字段组成的字符串，格式为： 秒分时日月星期 [年]其中，年通常可以被省略字段说明： 秒（0-59） 秒字段表示每分钟的哪一…...

编程日记 2025/7/28 1:27:18

1.4 大模型应用产品与技术架构

目录一，产品架构 1.1 AI Embedded产品架构 1.2 AI Copilot产品架构 1.3 AI Agent产品架构二，技术架构 2.1 纯Prompt 2.2 Agent Function Calling 2.3 RAG （Retrieval-Augmented Generation 检索增强生成） 2.4 Fine-tu…...

编程日记 2025/7/30 11:15:58

Android HAL HIDL

1 Android HAL HIDL 1.1 Android中查看有哪些HIDL HAL HIDL是Treble Interface的一部分。 adb root adb shell # lshal 1.2 Android打印C调用栈 #include <utils/CallStack.h> 在需要打印的地方加如下的定义。 android::CallStack stack("oem"); logcat | g…...

编程日记 2025/7/29 21:07:00

std::mutex底层实现原理

std::mutex是一个用于实现互斥访问的类，其具备两个成员函数——lock和unlock 锁的底层实现原理锁的底层实现是基于原子操作的，这些原子操作是由指令支持的，因为单个指令是不能被中断的一些与锁的实现有关的原子指令为： 待补充…...

编程日记 2025/8/1 17:35:04

性能提升手段--池化技术

看到hadoop代码里有ByteBufferPool，使用池子来避免频繁创建、销毁ByteBuffer，减轻GC压力，提高性能。顺便总结一下池化技术一、什么是池化技术？池化（Pooling）是一种资源管理策略，通过预先创建并复用资源（如数据库连接、线程、内存对象等）来提…...

编程日记 2025/8/1 11:22:07

精益数据分析（28/126）：解读商业模式拼图与关键指标

精益数据分析（28/126）：解读商业模式拼图与关键指标在创业和数据分析的探索旅程中，每一次深入研究都可能带来新的启发和突破。今天，我们依旧带着共同进步的初心，深入解读《精益数据分析》中关于商业模式的…...

编程日记 2025/8/1 21:44:09

QT6 源（52）篇二：存储 c 语言字符串的类 QByteArray 的使用举例，

（3） （4） 谢谢...

编程日记 2025/7/27 12:01:12

工业摄像头通过USB接口实现图像

工业摄像头系列概览：类型与应用工业摄像头系列涵盖了多种类型，以满足不同行业和应用的需求。以下是对工业摄像头系列的一些介绍： 一、主要类型与特点 USB工业摄像头 ：这类摄像头通常通过USB接口与计算机连接，适用于…...

编程日记 2025/7/29 12:40:10

【BBDM】main.py -- notes

命令行接口 python main.py [OPTIONS]参数参数类型默认值说明-c, --configstr"BBDM_base.yml"配置文件路径-s, --seedint1234随机种子，用于结果复现-r, --result_pathstr"results"结果保存目录-t, --trainflagFalse训练模式开关：…...

编程日记 2025/7/27 8:03:16

X86物理机安装iStoreOS软路由

目录安装前准备制作启动盘安装系统到硬盘启动与初始配置常见问题与注意事项参考资料安装前准备硬件设备 X86物理机（如普通电脑、J4125/N5105等小主机） U盘（建议容量≥2GB） 显示器、键盘（用于初始配置…...

编程日记 2025/7/31 19:17:58

QML Date：日期处理示例

目录引言相关阅读QML Date对象知识概要格式化选项 DateExamples示例解析代码解析示例1：日期格式化示例2：不同地区的日期显示示例3：日期解析示例4：自定义格式示例5：日期与时间戳转换运行效果总结下载链接引言在Qt …...

编程日记 2025/8/2 2:05:53

python 与Redis操作整理

以下是使用 Python 操作 Redis 的完整整理，涵盖基础操作、高级功能及最佳实践： 1. 安装与连接 (1) 安装库 pip install redis(2) 基础连接 import redis# 创建连接池（推荐复用连接） pool redis.ConnectionPool(hostlocalhost, …...

编程日记 2025/7/27 22:35:34

【Linux】环境监控系统软件框架

目录 tasks.h type.h main.c tasks.c makefile 运行结果调用多线程框架，在主函数写好环境监控文件的函数，使用结构体封装环境指标的参数最后使用makefile管理工程文件 tasks.h #include<pthread.h>#ifndef __TASK_H__ #define __TASK_H_…...

编程日记 2025/7/27 19:26:16