当前位置：首页 > news >正文

特征工程四：数据特征提取TfidfVectorizer的使用

news 来源：原创 2025/6/8 6:23:41

TfidfVectorizer 深度解析

TfidfVectorizer 是 scikit-learn 中用于文本特征提取的核心工具，它将原始文本转换为 TF-IDF 特征矩阵，是自然语言处理(NLP)和文本挖掘的基础组件。

一、核心原理

1. TF-IDF 计算

TF (Term Frequency)：词频，衡量词在文档中的出现频率

TF(t,d) = (词t在文档d中出现的次数) / (文档d中所有词的总数)

IDF (Inverse Document Frequency)：逆文档频率，衡量词的重要性
```
IDF(t) = log(总文档数 / (包含词t的文档数 + 1))
```
TF-IDF：两者乘积
```
TF-IDF(t,d) = TF(t,d) * IDF(t)
```

2. 工作流程

文本分词(tokenization)
构建词汇表(vocabulary)
计算每个词的TF值
计算每个词的IDF值
生成TF-IDF特征矩阵

二、基本用法

from sklearn.feature_extraction.text import TfidfVectorizer# 示例文本数据
corpus = ['This is the first document.','This document is the second document.','And this is the third one.','Is this the first document?'
]# 初始化向量化器
vectorizer = TfidfVectorizer()# 拟合并转换数据
X = vectorizer.fit_transform(corpus)# 查看结果
print(vectorizer.get_feature_names_out())
# 输出: ['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this']print(X.shape)  # (4, 9) - 4个文档，9个特征

三、关键参数详解

1. 预处理参数

参数	说明	示例值
`stop_words`	停用词处理	‘english’, [‘a’, ‘the’], None
`lowercase`	是否转为小写	True/False
`token_pattern`	分词正则表达式	r’(?u)\b\w\w+\b’
`ngram_range`	n元语法范围	(1,1) (仅单词), (1,2) (单词和双词)

2. 特征选择参数

参数	说明	示例值
`max_df`	忽略高频词	0.85(比例)或50(绝对数)
`min_df`	忽略低频词	2(至少出现2次)
`max_features`	最大特征数	10000

3. 加权参数

参数	说明	示例值
`norm`	归一化方式	‘l1’, ‘l2’, None
`use_idf`	是否使用IDF	True/False
`smooth_idf`	IDF平滑	True/False

四、高级应用技巧

1. 自定义分词器

from nltk.stem import SnowballStemmer
from nltk.tokenize import word_tokenizestemmer = SnowballStemmer("english")def custom_tokenizer(text):return [stemmer.stem(word) for word in word_tokenize(text)]vectorizer = TfidfVectorizer(tokenizer=custom_tokenizer)

2. 处理中文文本

import jiebadef chinese_tokenizer(text):return [word for word in jieba.cut(text) if word.strip()]vectorizer = TfidfVectorizer(tokenizer=chinese_tokenizer)

3. 增量学习

# 初始拟合
vectorizer.partial_fit(first_batch_documents)# 增量更新
vectorizer.partial_fit(more_documents)

五、性能优化

1. 并行处理

vectorizer = TfidfVectorizer(n_jobs=-1)  # 使用所有CPU核心

2. 内存优化

# 使用HashingVectorizer替代(无状态，适合流式数据)
from sklearn.feature_extraction.text import HashingVectorizer
hv = HashingVectorizer(n_features=10000)

3. 管道组合

from sklearn.pipeline import make_pipeline
from sklearn.naive_bayes import MultinomialNBpipeline = make_pipeline(TfidfVectorizer(max_features=10000),MultinomialNB()
)

六、实际应用案例

1. 文本分类

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split# 加载数据
newsgroups = fetch_20newsgroups(subset='all')
X_train, X_test, y_train, y_test = train_test_split(newsgroups.data, newsgroups.target)# 构建模型
vectorizer = TfidfVectorizer(max_df=0.5, min_df=5, stop_words='english')
X_train_tfidf = vectorizer.fit_transform(X_train)# 使用分类器(如SVM)训练
from sklearn.svm import LinearSVC
clf = LinearSVC().fit(X_train_tfidf, y_train)

2. 相似文档检索

from sklearn.metrics.pairwise import cosine_similarity# 计算文档相似度
doc_similarities = cosine_similarity(X_train_tfidf)输出结果类似以下：
[[1.         0.6461289  0.        ][0.6461289  1.         0.        ][0.         0.         1.        ]
]# 查找最相似文档
def find_similar_docs(query, vectorizer, doc_matrix, top_n=3):query_vec = vectorizer.transform([query])sim_scores = cosine_similarity(query_vec, doc_matrix)top_doc_indices = sim_scores.argsort()[0][-top_n:][::-1]return top_doc_indices

七、常见问题解决

内存不足问题
- 减小 max_features
- 使用 HashingVectorizer
- 分批处理数据
处理速度慢
- 设置 n_jobs=-1 并行处理
- 增加 min_df 减少特征数
- 使用更高效的分词器
中文处理特殊问题
- 确保使用正确分词工具(jieba等)
- 处理停用词时需要中文停用词表
- 可能需要调整token_pattern

TfidfVectorizer作为文本特征提取的行业标准工具，合理使用可以显著提升文本分析任务的效果。根据具体场景调整参数，结合其他NLP组件，能够构建强大的文本处理流水线。

关于cosine_similarity（余弦相似度）计算的结果解释

矩阵结构解析

假设输入 3 个文档：（如上文相似文档检索的结果）

documents = ["I love machine learning",       # 文档1"Machine learning is amazing",   # 文档2"I hate math"                    # 文档3
]

输出的相似度矩阵为：

[[1.         0.6461289  0.        ]  # 文档1 vs (文档1, 文档2, 文档3)[0.6461289  1.         0.        ]  # 文档2 vs (文档1, 文档2, 文档3)[0.         0.         1.        ]] # 文档3 vs (文档1, 文档2, 文档3)

对角线（i=j）

[0][0] = 1.0：文档1 与自身 的相似度（完全相同）
[1][1] = 1.0：文档2 与自身 的相似度
[2][2] = 1.0：文档3 与自身 的相似度

非对角线（i≠j）

[0][1] = 0.6461289：文档1 和文档2 的相似度（有部分共同词）
[0][2] = 0.0：文档1 和文档3 的相似度（无共同词）
[1][2] = 0.0：文档2 和文档3 的相似度（无共同词）

为什么是 3×3 矩阵？

因为 cosine_similarity 默认计算所有文档两两之间的相似度。对于 N 个文档，输出矩阵形状为 N×N，其中：

行 i 表示第 i 个文档与其他所有文档（包括自己）的相似度
矩阵对称（[i][j] == [j][i]）

如何提取特定文档对的相似度？

# 获取文档1和文档2的相似度
doc1_vs_doc2 = similarity_matrix[0, 1]  # 0.6461289# 获取文档2和文档3的相似度
doc2_vs_doc3 = similarity_matrix[1, 2]  # 0.0

如果只想计算部分文档对？

使用 cosine_similarity 的 子集计算：

# 只计算文档1和文档2的相似度（不计算整个矩阵）
subset_sim = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix[1:2])
print(subset_sim[0][0])  # 输出 0.6461289

总结

矩阵位置	含义	示例值
`[i][i]`	文档自己与自己的相似度	1.0
`[i][j]`	文档i与文档j的相似度	0.0~1.0
`[j][i]`	文档j与文档i的相似度（对称）	同`[i][j]`

1：表示两个向量方向完全相同（高度相似）
0：表示两个向量正交（无相关性）
-1：表示两个向量方向完全相反（高度不相似）

这种矩阵形式便于一次性分析所有文档之间的关系，常用于 聚类分析、推荐系统 等任务。
什么是TD-IDF?

特征工程四：数据特征提取TfidfVectorizer的使用

TfidfVectorizer 深度解析 TfidfVectorizer 是 scikit-learn 中用于文本特征提取的核心工具，它将原始文本转换为 TF-IDF 特征矩阵，是自然语言处理(NLP)和文本挖掘的基础组件。一、核心原理 1. TF-IDF 计算 TF (Term Frequency)：词频&…...

编程日记 2025/6/2 3:59:05

深度学习涉及的数学与计算机知识总结

深度学习涉及的数学与计算机知识可总结为以下核心模块，结合理论与实践需求分为数学基础和计算机技能两大方向： 一、数学知识线性代数核心：矩阵运算（乘法、转置、逆矩阵）、向量空间、特征值与特征向量、奇异值分解&am…...

编程日记 2025/6/1 3:47:58

引领印尼 Web3 变革：Mandala Chain 如何助力 1 亿用户迈向数字未来？

当前 Web3 的发展正处于关键转折点，行业亟需吸引新用户以推动 Web3 的真正大规模采用。然而，大规模采用面临着核心挑战：数据泄露风险、集中存储的安全漏洞、跨系统互操作性障碍，以及低效的服务访问等问题。如何才能真正突破这些瓶…...

编程日记 2025/5/24 19:29:15

Mysql从入门到精通day6————时间和日期函数精讲

关于Mysql的日期和时间计算函数种类非常繁多，此处我们对常用的一些函数的用法通过实例演示让读者体会他们的用法，文章末尾也给出了时间和日期计算的全部函数函数1：curdate（）和current_date()函数作用：获取当前日期 select curdate(),current_date();运行效果：...

编程日记 2025/5/28 15:11:15

C#如何正确的停止一个多线程Task？CancellationTokenSource 的用法。

在 C# 中停止一个 Task 需要谨慎处理，因为直接强制终止（如 Thread.Abort()）会导致资源泄漏或状态不一致。推荐使用协作式取消（Cooperative Cancellation） 通过 CancellationToken 实现安全停止。以下是详细方…...

编程日记 2025/5/4 3:14:15

【Redis】Redis Zset实现原理：跳表+哈希表的精妙设计

一、实现： Zset有序集合是一种由跳表(Skip List)哈希表(Hash Table) 实现的数据结构。二、特点功能： Set特性排序三、跳表与哈希表分析： Zset的实现由两个数据结构： 1.跳表(Skip List)：用于存储数据的排序和快…...

编程日记 2025/5/19 11:02:44

【前端】jQuery 对数据进行正序排列

你可以使用 jQuery 对数据进行正序排列（按 jbsj 升序）。以下是完整的代码示例： <!DOCTYPE html> <html> <head><title>按时间排序</title><script src"https://code.jquery.com/jquery-3.6.0.min.js&…...

编程日记 2025/5/29 11:14:08

Matlab 报错：尝试将 SCRIPT vl_sift 作为函数执行:

问题描述： 运行matlab程序出现报错： 警告: 名称不存在或不是目录: xxx\vlfeat-0.9.21\toolbox\mex\mexw64 xxxx 尝试将 SCRIPT vl_sift 作为函数执行: xxxx\vlfeat-0.9.21\toolbox\sift\vl_sift.m原因分析： 缺少 \vlfeat-0.9.21\toolbox…...

编程日记 2025/5/17 14:19:25

前端权限管理

前端权限本质上就是控制前端视图层的展示和前端所发送的请求一、RBAC 用户（User）：系统的使用者角色（Role）：权限的集合（如管理员、普通用户）。权限（Permission&am…...

编程日记 2025/5/1 19:50:57

【PVR】《Adaptive Palm Vein Recognition Method》

[1]程良彬.自适应的手掌静脉识别方法研究[D].桂林电子科技大学,2023.DOI:10.27049/d.cnki.ggldc.2023.000681. 文章目录 1、Background and Motivation2、Related Work3、Advantages / Contributions4、Method4.1、Datasets and Metrics4.2、基于最大化手掌内切圆的感兴趣区域提…...

编程日记 2025/5/13 1:56:08

MLLM之Bench：LEGO-Puzzles的简介、安装和使用方法、案例应用之详细攻略

MLLM之Bench：LEGO-Puzzles的简介、安装和使用方法、案例应用之详细攻略目录 LEGO-Puzzles的简介 1、LEGO-Puzzles的特点 LEGO-Puzzles的安装和使用方法 1、安装步骤 0：安装 VLMEvalKit 步骤 1：设置 API 密钥（可选&#xf…...

编程日记 2025/5/29 20:25:43

一周学会Pandas2 Python数据处理与分析-Pandas2数据信息查看操作

锋哥原创的Pandas2 Python数据处理与分析视频教程： 2025版 Pandas2 Python数据处理与分析视频教程(无废话版) 玩命更新中~_哔哩哔哩_bilibili DataFrame的基础信息和统计性信息。在我们拿到一个数据集，用Pandas载入后，需要做一些初步的…...

编程日记 2025/5/13 8:52:56

【大模型微调与应用开发实战指南】从理论到工业级部署

目录前言技术背景与价值当前技术痛点解决方案概述目标读者说明一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比二、实战演示环境配置要求核心代码实现（LoRA微调）运行结果验证三、性能对比测试方法论量化数据对比结果分析四、…...

编程日记 2025/5/11 4:43:00

动手学深度学习11.10. Adam算法-笔记练习（PyTorch）

以下内容为结合李沐老师的课程和教材补充的学习笔记，以及对课后练习的一些思考，自留回顾，也供同学之人交流参考。本节课程地址：72 优化算法【动手学深度学习v2】_哔哩哔哩_bilibili 本节教材地址：11.10. Adam算法 — 动手学深度学习 2.0.0 documentation 本节开源代码…...

编程日记 2025/5/24 13:04:45

Spring Boot API版本控制实践指南

精心整理了最新的面试资料和简历模板，有需要的可以自行获取点击前往百度网盘获取点击前往夸克网盘获取引言在API迭代过程中，版本控制是保障系统兼容性的重要机制。合理的版本控制策略可以帮助开发团队平滑过渡接口变更，同时支持多版本客…...

编程日记 2025/5/15 8:12:08

如何让自己的博客可以在百度、谷歌、360上搜索到（让自己写的CSDN博客可以有更多的人看到）

发现自己写的博客文章名复制，然后粘贴到百度进行搜索，发现搜索不到自己的，但是会显示其他人的CSDN博客。于是查找相关资料，整理出以下搜索引擎资源收录入口，把自己的文章链接输入进去，然后经过审核通过后&a…...

编程日记 2025/5/30 22:17:25

Transformer

一、为什么需要Transformer？先看传统模型的痛点 1. 传统模型：RNN与CNN的短板 RNN（循环神经网络）：逐个处理单词，像流水线作业。问题：速度慢（无法并行&…...

编程日记 2025/5/25 9:45:31

LeetCode热题100--438.找到字符串中所有字母异位词--中等

1. 题目给定两个字符串 s 和 p，找到 s 中所有 p 的异位词的子串，返回这些子串的起始索引。不考虑答案输出的顺序。示例 1: 输入: s “cbaebabacd”, p “abc” 输出: [0,6] 解释: 起始索引等于 0 的子串是 “cba”, 它是 “abc” 的异位词。起始…...

编程日记 2025/5/29 11:53:25

仿微信上传头像，实现拍摄、相册选择、手动缩放、裁剪、蒙版、撤回、还原、上传微信本地文件功能

目前功能基于wx-cropper进行开发，wx-cropper 是一个基于微信小程序的图片裁剪工具项目地址：gitcode地址一、触发入口标签 <t-cell hover arrow class"userCell" catchtap"handleChangeHeadImg"><view slot"title&…...

编程日记 2025/5/29 9:19:35

Python 操作 Excel 插入图表：解锁数据可视化的高效密码

Python 操作 Excel 插入图表：解锁数据可视化的高效密码在数据分析与展示的领域中，Python 凭借其强大的库支持，成为众多开发者与数据工作者的得力助手。将图表嵌入 Excel 文件，不仅能丰富数据呈现形式，还能让信息传递…...

编程日记 2025/4/29 18:27:00

python实战项目66：抓取考研招生专业信息

python实战项目66：抓取考研招生专业信息一、流程分析二、完整代码一、流程分析考研招生专业信息所在网页主页如下图：在搜索框中输入所需查询的专业点击“开设院校”，如下图所示：打开浏览器开发者工具抓包，刷新页面，找到xhr数据包。首先，在zydws.do数据包中抓…...

编程日记 2025/5/29 16:39:34

Awesome-Embodied-AI: 具身机器人的资源库

💡 你是否在寻找具身人工智能（Embodied AI）领域的研究资源？是否希望有一个系统性的资源集合来加速你的研究？今天给大家推荐一个重磅项目！ 🌟 为什么需要这个项目？ 具身人工智能是一…...

编程日记 2025/4/28 12:12:28

Java位运算符大全

1. Java 支持的位运算符 Java 提供了 7 种位运算符： 运算符名称描述示例&按位与（AND）两个位都为 1 时，结果才为 15 & 3 → 1|按位或（OR）两个位有一个为 1 时，结果就为 15 | 3 → 7^按…...

编程日记 2025/5/28 8:31:19

Using the NCCL Library: A Practical Guide

文章目录 Using the NCCL Library: A Practical GuidePrerequisitesBasic NCCL ConceptsPractical Demo CodeCompilation and ExecutionKey Steps ExplainedCommon Patterns1. Point-to-Point Communication2. Broadcast3. Using Streams Best Practices Using the NCCL Librar…...

编程日记 2025/5/8 1:48:13