当前位置：首页 > news >正文

自然语言处理NLP入门 -- 第二节预处理文本数据

news 来源：原创 2025/7/3 21:02:23

在自然语言处理（NLP）中，数据的质量直接影响模型的表现。文本预处理的目标是清理和标准化文本数据，使其适合机器学习或深度学习模型处理。本章介绍几种常见的文本预处理方法，并通过 Python 代码进行示例。

2.1 文本清理

文本数据往往包含各种噪音，例如 HTML 标签、特殊字符、空格、数字等。清理文本可以提高模型的准确性。

常见的清理步骤

去除 HTML 标签
移除特殊字符（如 @#%$&）
移除数字
统一大小写（通常转换为小写）
去除多余的空格

Python 示例

import re  # 正则表达式库，用于文本匹配和替换text = "Hello, <b>world</b>! Visit us at https://example.com or call 123-456-7890."# 1. 去除HTML标签
text = re.sub(r'<.*?>', '', text)# 2. 去除特殊字符（保留字母和空格）
text = re.sub(r'[^a-zA-Z\s]', '', text)# 3. 转换为小写
text = text.lower()# 4. 去除多余空格
text = " ".join(text.split())print(text)

输出：

hello world visit us at httpsexamplecom or call

2.2 分词（Tokenization）

分词是将文本拆分成单个的单词或子词，是 NLP 任务的基础。

常见分词方法

按空格拆分（适用于英文）
NLTK 分词（更精准）
spaCy 分词（高效处理大规模数据）

Python 示例

import nltk  # 自然语言处理库，提供分词、词性标注、停用词等功能
from nltk.tokenize import word_tokenize, sent_tokenize
import spacy  # 现代 NLP 库，优化分词、词性标注等任务nltk.download('punkt_tab')  # punkt_tab 是 NLTK 中的分词模型text = "Hello world! This is an NLP tutorial."# 1. 基础空格分词
tokens_space = text.split()
print("空格分词:", tokens_space)# 2. 使用 NLTK 进行分词
tokens_nltk = word_tokenize(text)
print("NLTK 分词:", tokens_nltk)# 3. 使用 spaCy 进行分词
nlp = spacy.load("en_core_web_sm")  # 加载预训练的小型英文模型
doc = nlp(text)
tokens_spacy = [token.text for token in doc]
print("spaCy 分词:", tokens_spacy)

输出：

空格分词: ['Hello', 'world!', 'This', 'is', 'an', 'NLP', 'tutorial.']
NLTK 分词: ['Hello', 'world', '!', 'This', 'is', 'an', 'NLP', 'tutorial', '.']
spaCy 分词: ['Hello', 'world', '!', 'This', 'is', 'an', 'NLP', 'tutorial', '.']

注意：

空格分词简单但容易出错，如 “NLP tutorial.” 仍包含标点。
NLTK 和 spaCy 处理得更精准，分离了标点符号。

2.3 词干提取（Stemming）和词形还原（Lemmatization）

在 NLP 任务中，单词的不同形式可能具有相同的含义，例如：

running 和 run
better 和 good

词干提取和词形还原可以将单词标准化，从而提高模型的泛化能力。

词干提取（Stemming）

词干提取是基于规则的词形归一化方法，会粗暴地去掉单词的后缀。

from nltk.stem import PorterStemmer, SnowballStemmer  # 词干提取工具stemmer = PorterStemmer()  # PorterStemmer 是常用的词干提取方法
words = ["running", "flies", "easily", "studies"]stemmed_words = [stemmer.stem(word) for word in words]
print("Porter Stemmer:", stemmed_words)

输出：

Porter Stemmer: ['run', 'fli', 'easili', 'studi']

缺点：

flies 变成了 fli
easily 变成了 easili
可能导致含义丢失

词形还原（Lemmatization）

Lemmatization 通过查找词典将单词转换为其词根形式，更加精确。

from nltk.stem import WordNetLemmatizer
import nltknltk.download('wordnet')  # 下载 WordNet 语料库lemmatizer = WordNetLemmatizer()
words = ["running", "flies", "easily", "studies", "better"]lemmatized_words = [lemmatizer.lemmatize(word, pos="v") for word in words]
print("Lemmatization:", lemmatized_words)

输出：

Lemmatization: ['run', 'fly', 'easily', 'study', 'better']

优点：

flies 被正确地还原为 fly
studies 被正确地还原为 study
better 仍保持其正确形式

2.4 停用词（Stopwords）处理

停用词（Stopwords）是指在文本处理中不重要的高频词，如 is, the, and，可以去除以减少模型计算量。

Python 示例

from nltk import word_tokenize
from nltk.corpus import stopwords  # NLTK 提供的停用词库
import nltk
nltk.download('stopwords')  # 下载停用词列表text = "This is a simple NLP example demonstrating stopwords removal."words = word_tokenize(text)filtered_words = [word for word in words if word.lower() not in stopwords.words('english')]
print("去除停用词后:", filtered_words)

输出：

去除停用词后: ['simple', 'NLP', 'example', 'demonstrating', 'stopwords', 'removal', '.']

注意：

is, a, this 被去掉
NLP 等关键词被保留

2.5 难点总结

分词的不同方法：空格分词 vs. NLTK vs. spaCy，适用于不同场景。
词干提取 vs. 词形还原：Stemming 可能会导致错误，而 Lemmatization 更精确但需要额外的词性信息。
停用词的处理：某些 NLP 任务（如情感分析）可能需要保留停用词。

2.6 课后练习

练习 1：文本清理

清理以下文本，去掉 HTML 标签、特殊字符、数字，并转换为小写：

text = "Visit our <b>website</b>: https://example.com!!! Call us at 987-654-3210."

练习 2：使用 spaCy 进行分词

使用 spaCy 对以下文本进行分词：

text = "Natural Language Processing is fun and useful!"

练习 3：词形还原

使用 Lemmatization 处理以下单词：

words = ["running", "mice", "better", "studying"]

练习 4：去除停用词

从以下文本中去除停用词：

text = "This is an example sentence demonstrating stopwords removal."

自然语言处理NLP入门 -- 第二节预处理文本数据

在自然语言处理（NLP）中，数据的质量直接影响模型的表现。文本预处理的目标是清理和标准化文本数据，使其适合机器学习或深度学习模型处理。本章介绍几种常见的文本预处理方法，并通过 Python 代码进行示例。 2.1 文本清理…...

编程日记 2025/7/3 21:02:23

depcheck检查node.js项目中未使用和缺失依赖的工具

depcheck检查node.js项目中未使用和缺失依赖的工具一、安装二、使用方法 depcheck 是一个用于检查 Node.js 项目中未使用依赖项和缺失依赖项的工具。以下为你详细介绍它的相关信息、使用方法和作用。主要作用: 1.发现未使用的依赖在项目开发过程中，我们可能会安…...

编程日记 2025/7/2 22:35:31

正则表达式(竞赛篇)

为了更深入了解正则表达式，我们需要首先学习与正则表达式有关的类以及方法。如Pattern和Matcher类，以及部分字符串方法。我们这里先将简单的字符串方法(String类)进行讲解在Java中，String类提供了许多用于字符串操作的方法，其中…...

编程日记 2025/7/3 20:30:26

国科大 2024-2025秋大数据分析课程期末复习重点

教师：靳小龙、刘盛华博主在做期末复习时，发现这门课的资料少之又少，搜遍全网只能找到几份作业答案。特此将本学期老师画的重点分享给学弟学妹们，希望对大家的复习有所帮助。靳小龙老师部分： 大数据与大数据分析简…...

编程日记 2025/7/3 14:10:05

使用Python爬虫获取淘宝Custom API接口数据

一、引言淘宝作为中国最大的电商平台之一，其提供的API接口为开发者提供了丰富的数据访问能力。通过淘宝的Custom API接口，开发者可以获取商品详情、店铺信息、订单数据等多种资源。这些数据对于电商运营、市场分析、竞品监控等场景具有极高的价值。本文…...

编程日记 2025/7/3 20:44:44

人生的转折点反而迷失了方向

就像我老婆说的，我是抽空结了一个婚。今天是上班的第三天，不知道是出于何种原因，自己反而陷入了深深的困境，没有了斗志，原因也找不出来，白天在公司没有很大量的产出，晚上回去是想学一学&#xf…...

编程日记 2025/7/2 22:35:55

Web应用项目开发 ——Spring Boot邮件发送

一.邮件发送介绍邮件发送是一个非常常见的功能，注册时的身份认证、重要通知发送等都会用到邮件发送。在现代的Web应用程序中，邮件发送功能是非常常见且重要的一部分，Spring Boot框架提供了简单且强大的方式来实现邮件发送功能。Spring中提供…...

编程日记 2025/7/1 11:49:34

mit6.824-lab1

1.任务及要求 https://pdos.csail.mit.edu/6.824/labs/lab-mr.html 2 Coordinator 与 Worker 的设计分析 2.1 Coordinator（协调器）的核心职责协调器是 MapReduce 系统的核心控制节点，负责全局任务调度与状态管理，具体功能如下…...

编程日记 2025/7/3 8:37:46

Vision Transformer：打破CNN垄断，全局注意力机制重塑计算机视觉范式

目录引言一、ViT模型的起源和历史二、什么是ViT？ 图像处理流程图像切分展平与线性映射位置编码 Transformer编码器分类头（Classification Head） 自注意力机制注意力图三、Coovally AI模型训练与应用平台四、ViT与图像…...

编程日记 2025/7/1 12:31:45

linux查看所有程序占用的本地端口

sudo ss -tulwnp ss是Socket Statistics的缩写，用来替代旧的netstat工具，功能更强大，执行更快。它用于查看系统的网络连接情况，包括TCP、UDP等协议的信息。查阅ss的帮助文档（man ss），发现选项…...

编程日记 2025/7/1 4:10:58

java后端开发day15--字符串（一）

（以下内容全部来自上述课程） 1.API （Application Programming Interface 应用程序编程接口） 1.简单理解简单理解：API就是别人已经写好的东西，我们不需要自己编写，直接使用即可。 Java API&…...

编程日记 2025/7/1 12:31:24

C++STL容器之map的使用及复现

map 1. 关联式容器 vector、list、deque、forward_list(C11) 等STL容器，其底层为线性序列的数据结构，里面存储的是元素本身，这样的容器被统称为序列式容器。而 map、set 是一种关联式容器，关联式容器也是用来存储数据的&#xf…...

编程日记 2025/7/1 11:36:35

lvs的DR模式

基于Linux的负载均衡集群软件 LVS 全称为Linux Virtual Server,是一款开源的四层(传输层)负载均衡软件 Nginx 支持四层和七层(应用层)负载均衡 HAProxy 和Nginx一样,也可同时支持四层和七层(应用层)负载均衡基于Linux的高可用集群软件 Keepalived Keepalived是Linux…...

编程日记 2025/7/2 13:32:13

FlutterWeb实战：07-自动化部署

Flutter Web 开发打包后，可以手动发布到服务器上，通过 nginx 来托管静态页面。本文将介绍如何将这一过程自动化。整体思路使用脚本自动化构建，然后使用 Docker 打包成镜像，最后部署在服务器上。自动化构建这里使用 GitLab-…...

编程日记 2025/7/3 17:46:58

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20020.%20%E5%9B%9E%E6%96%87%E5%AD%90%E5%AD%97%E7%AC%A6%E4%B8%B2%E7%9A%84%E4%B8%AA%E6%95%B0/README.md 剑指 Offer II 020. 回文子字符串的个数题目描述 …...

编程日记 2025/7/1 11:50:14

vue中附件下载及打印功能

1.附件dom 注：fileList是由后台返回的附件数组，数组中包含附件名称fileName,附件地址url，附件id等信息 <el-form-item label"附件" style"width: 100% !important;" v-if"modelTypeborrowDetail"><d…...

编程日记 2025/6/30 19:55:16

Python(十九)实现各大跨境船公司物流查询数据处理优化

一、前言之前已经实现了常用跨境物流船司基础信息查询功能，如下所示实现各大跨境船公司[COSCO/ZIM/MSK/MSC/ONE/PIL]的物流信息查询：https://blog.csdn.net/Makasa/article/details/145484999?spm1001.2014.3001.5501 然后本章在其基础上做了一些…...

编程日记 2025/7/1 4:11:53

android 安装第三方apk自动赋予运行时权限

摘要：行业机使用场景点击运行时权限很麻烦，而随着android的演进，对于权限的管控越发严格。故本文通过对系统的修改实现第三方app在运行时直接获取全部权限。通过属性ro.perms.force_grant控制功能开关。 Index: frameworks/base/services/…...

编程日记 2025/7/1 20:18:29

java8、9新特性

JAVA8 Lambda 表达式 (parameters) -> expression 或 (parameters) ->{ statements; } 提供了一种更为简洁的语法，尤其适用于函数式接口。相比于传统的匿名内部类，Lambda 表达式使得代码更为紧凑，减少了样板代码的编写。它允许将函…...

编程日记 2025/7/3 6:48:56

程序诗篇里的灵动笔触：指针绘就数据的梦幻蓝图＜9＞

大家好啊，我是小象٩(๑ω๑)۶ 我的博客：Xiao Xiangζั͡ޓއއ 很高兴见到大家，希望能够和大家一起交流学习，共同进步。这一节是对之前内容的修整目录一、传值调用和传址调用二、数组名的理解三、指针访问数组四、结尾一…...

编程日记 2025/7/1 5:38:06

Java网络编程入门

网络编程是指通过计算机网络进行数据传输和通信的过程。在Java中，网络编程提供了一套强大的API，使得开发者能够轻松地创建网络应用程序。本文将介绍Java网络编程的基本概念和一些常用的类。 1.网络编程的基本概念在网络编程中，我们通常需要…...

编程日记 2025/7/2 22:20:54

2.4 构建模块化应用

第4章：构建模块化应用模块化应用是 JDK 9 的核心特性之一，通过模块化系统（Project Jigsaw）实现代码的强封装和显式依赖管理。本章详细讲解如何从零构建一个模块化应用，包括模块定义、编译、打包、运行及调试。 4.1 模…...

编程日记 2025/6/27 21:02:01

14.1 Auto-GPT 项目定位与价值解读：揭开自主智能体的神秘面纱

Auto-GPT 项目定位与价值解读：揭开自主智能体的神秘面纱关键词：Auto-GPT 核心机制、自主任务分解、LangChain 智能体、持续自我优化、AGI 实践路径一、为什么 Auto-GPT 能引爆技术圈？ 1.1 从工具到员工的范式转移维度传统AI系统Auto-GPT 智能体输入方式精确指令（“翻译…...

编程日记 2025/7/3 11:07:28

【Elasticsearch】分析器的构成

在Elasticsearch中，分析器（Analyzer）是一个处理文本数据的管道，它将输入的文本转换为一系列词元（tokens），并可以对这些词元进行进一步的处理和规范化。分析器由以下三个主要组件构成&#xff1a…...

编程日记 2025/7/3 18:00:07

2025 年前端开发现状分析：卷疯了还是卷麻了？

一、前端现状：框架狂飙，开发者崩溃如果你是个前端开发者，那么你大概率经历过这些场景： 早上打开 CSDN（或者掘金，随便），发现又有新框架发布了，名字可能是 VueXNext.js 之…...

编程日记 2025/7/2 1:25:52

单例模式详解（Java）

单例模式详解（Java）一、引言 1.1 概述单例模式的基本概念和重要性单例模式是一种常用的软件设计模式，它确保一个类在整个应用程序中只有一个实例，并提供一个全局访问点来访问这个唯一实例。这种模式在资源管理、配置设置和日志记录等方面非常有用，因为它们通常只需要…...

编程日记 2025/6/28 2:13:40

后端面试题

以下是一些常见的后端面试题：一、通用基础请简述HTTP协议的工作原理。答案： HTTP是基于请求 - 响应模型的协议。客户端（通常是浏览器）向服务器发送一个HTTP请求，请求包含请求行（包含请求方法，如GET、POST等、请求的URL和HTTP版本）、请求头（包含诸如浏览器类型、接…...

编程日记 2025/7/2 20:58:57

深入理解Linux网络随笔（一）：内核是如何接收网络包的（上篇）

深入理解Linux网络随笔（一）：内核是如何接收网络包的（上篇） 1、TCP/IP模型概述从Linux视角看，TCP/IP网络分层模型包括用户空间和内核空间。用户空间（应用层）负责HTTP、FTP等协议的…...

编程日记 2025/6/30 12:23:57

SQL-leetcode—1393. 股票的资本损益

1393. 股票的资本损益 Stocks 表： ---------------------- | Column Name | Type | ---------------------- | stock_name | varchar | | operation | enum | | operation_day | int | | price | int | ---------------------- (stock_name, operation_day) 是这张…...

编程日记 2025/7/3 11:37:53

热更图片方案

项目平常需要对线上一些图片资源修正，所以需要热更图片功能。远端入口新增字段配json文件 {"1.1.22030303":{"sprite":{"assets/ui/common/images/acient_gold.png" : "https://aaaa.png","assets/ui/common/image…...

编程日记 2025/7/3 5:33:04

Flutter PIP 插件 ---- iOS Video Call

以下是一篇关于在 iOS 中实现画中画(PiP)功能的技术博客: iOS 画中画(PiP)功能实现指南简介画中画(Picture in Picture, PiP)是一项允许用户在使用其他应用时继续观看视频内容的功能。本文将详细介绍如何在 iOS 应用中实现 PiP 功能。系统要求 iOS 15.0 及以上版本AVKi…...

编程日记 2025/7/2 7:38:14

本地部署DeepSeek开源大模型：从零开始的详细教程

友情提示：本文内容全部由银河易创（https://ai.eaigx.com）AI创作平台deepseek-reasoner模型生成，仅供参考。请根据具体情况和需求进行适当的调整和验证。近年来，随着人工智能技术的飞速发展，大模型在各个领…...

编程日记 2025/6/30 20:10:26

java项目之基于SSM会议管理系统的设计与实现源码(ssm+mysql)

项目简介基于SSM会议管理系统的设计与实现实现了以下功能： 基于SSM会议管理系统的设计与实现的主要使用者分为：管理员登录后修改个人的密码。用户管理中，对公司内的用户进行管理，包括会议管理员和员工，管理部门信息…...

编程日记 2025/7/3 2:02:47

PortSwigger——WebSockets vulnerabilities

文章目录一、WebSockets二、Lab: Manipulating WebSocket messages to exploit vulnerabilities三、Lab: Manipulating the WebSocket handshake to exploit vulnerabilities四、Using cross-site WebSockets to exploit vulnerabilities4.1 跨站WebSocket劫持（cro…...

编程日记 2025/7/3 4:14:05

STM32系统架构介绍

STM32系统架构 1. CM3/4系统架构2. CM3/4系统架构-----存储器组织结构2.1 寄存器地址映射（特殊的存储器）2.2 寄存器地址计算2.3 寄存器的封装 3. CM3/4系统架构-----时钟系统 STM32 和 ARM 以及 ARM7是什么关系? ARM 是一个做芯片标准的公司&#xff0c…...

编程日记 2025/6/28 10:32:09

智能GUI Agent是什么，有什么应用领域

智能GUI Agent是什么研究背景与目的：GUI长期主导人机交互，LLM特别是多模态模型的出现，为GUI自动化带来变革，催生了基于LLM的GUI智能体。这些智能体可理解自然语言指令，处理复杂GUI元素并执行操作，改变了用户与软件交互方式。论文旨在梳理该领域发展脉络，剖析关键要素，…...

编程日记 2025/7/1 4:02:06

Python3操作MongoDB批量upsert

个人博客地址：Python3操作MongoDB批量upsert | 一张假钞的真实世界代码如下： mongoClient MongoClient(mongodb://172.16.72.213:27017/) opsDb mongoClient.ops azScheduled opsDb.azScheduledFlowbulkOpers [] for flow in scheduledFlows.valu…...

编程日记 2025/7/1 20:48:39

3dgs 2025 学习笔记

CVPR 2024 3D方向总汇包含（3DGS、三维重建、深度补全、深度估计、全景定位、表面重建和特征匹配等）_cvpr2024-structure-awaresparse-viewx-ray3dreconstr-CSDN博客 https://github.com/apple/ml-hugs 3DGS COLMAP-Free 3D Gaussian Splatting ⭐code &…...

编程日记 2025/7/3 1:32:52

大模型笔记：pytorch实现MOE

0 导入库 import torch import torch.nn as nn import torch.nn.functional as F 1 专家模型 #一个简单的专家模型，可以是任何神经网络架构 class Expert(nn.Module):def __init__(self, input_size, output_size):super(Expert, self).__init__()self.fc nn.L…...

编程日记 2025/7/3 12:40:37

C#/.NET/.NET Core技术前沿周刊 | 第 25 期（2025年2.1-2.9）

前言 C#/.NET/.NET Core技术前沿周刊，你的每周技术指南针！记录、追踪C#/.NET/.NET Core领域、生态的每周最新、最实用、最有价值的技术文章、社区动态、优质项目和学习资源等。让你时刻站在技术前沿，助力技术成长与视野拓宽。欢迎投稿、推荐…...

编程日记 2025/7/1 1:09:46

package.json 文件配置

创建 Node.js 的配置文件 package.json npm init -y package.json 文件配置说明配置说明示例name指定项目的名称，必须是小写字母，可以包含字母、数字、连字符（-）或下划线（_），不能有特殊字符…...

编程日记 2025/7/1 1:10:42

相机模数转换

模拟图像是什么？ 模拟图像是指连续变化的图像，它通常来源于现实世界的物理场景，并通过光学系统（如相机镜头）投射到感光介质上。模拟图像是连续的，这意味着它在空间和颜色值上都有无穷的细节。例如&#xf…...

编程日记 2025/7/2 8:46:24

mysql大数据量分页查询

一、什么是‌MySQL大数据量分页查？ MySQL大数据量分页查‌是指在使用MySQL数据库时，将大量数据分成多个较小的部分进行显示，以提高查询效率和用户体验。分页查询通常用于网页或应用程序中，以便用户能够逐步浏览结果集。二、为什…...

编程日记 2025/7/1 10:34:03

组织结构改革：激活企业活力的 “源头活水”

难以适应市场变化、内部沟通与协作不畅、决策效率低下、运营成本增加、人才流失严重、员工士气下降、战略目标难以实现……企业如何根据市场环境变化和自身发展需求，灵活调整组织框架，赋能企业的持续健康发展？ 某国有投资建设集团旗下的二级…...

编程日记 2025/7/1 1:10:22

金融风控项目-1

文章目录一. 案例背景介绍二. 代码实现1. 加载数据2. 数据处理3. 查询三. 业务解读一. 案例背景介绍通过对业务数据分析了解信贷业务状况数据集说明从开源数据改造而来，基本反映真实业务数据销售，客服可以忽略账单周期，放款日期账单金…...

编程日记 2025/7/3 9:34:30

Java常用设计模式面试题总结(内容详细，简单易懂)

设计模式的分类创建型模式：通过隐藏对象创建的细节，避免直接使用 new 关键字实例化对象，从而使程序在判断和创建对象时更具灵活性。常见的模式包括： 工厂模式抽象工厂模式单例模式建造者模式原型模式结构型模式：通…...

编程日记 2025/7/3 17:50:46

【Elasticsearch】文本分析Text analysis概述

文本分析概述文本分析使 Elasticsearch 能够执行全文搜索，搜索结果会返回所有相关的结果，而不仅仅是完全匹配的结果。如果你搜索“Quick fox jumps”，你可能希望找到包含“A quick brown fox jumps over the lazy dog”的文档&#xff0c…...

编程日记 2025/6/30 20:55:35