当前位置：首页 > news >正文

nltk 是怎么和 Transformers（比如 BERT 模型）联动来处理文本的

news 来源：原创 2025/9/14 2:56:36

🧠 一句话解释`nltk`：

nltk 是一个用于自然语言处理（NLP）的 Python 库，功能包括分词、词性标注、命名实体识别、文本分类等。

全称是：Natural Language Toolkit（自然语言工具包）

🧰 它能干什么？

功能	举例说明
分词（Tokenization）	把一句话拆成词或句子（`word_tokenize`，`sent_tokenize`）
词性标注（POS Tagging）	判断“Apple”是名词还是动词
命名实体识别（NER）	找出人名、地名、组织机构等
文本分类	判断一段话属于哪一类（如垃圾邮件 vs 正常邮件）
词干提取/还原	如 “running” 变成 “run”
处理语料库	自带大量英文文本供分析用

🧪 举个例子：分词

import nltk
nltk.download('punkt')  # 第一次用需要下载分词器
from nltk.tokenize import word_tokenizetext = "I love learning AI with ChatGPT!"
tokens = word_tokenize(text)
print(tokens)

输出：

['I', 'love', 'learning', 'AI', 'with', 'ChatGPT', '!']

这就是把一句话拆成了单词列表。

📦 安装方式

如果你本地没装，可以用 pip 安装：

pip install nltk

💡 为什么很多 NLP 项目都用它？

它开源、免费
功能比较全，上手快
提供了很多处理英文文本的经典方法

⚠️ 注意：

nltk 更适合英文文本处理
对中文来说，要用 jieba、pkuseg、HanLP 等中文分词工具更合适

🧠 总结一句话：

nltk 是处理英文文本最经典的 Python 工具之一，它能帮你把句子拆词、识别人名、分析语法，是自然语言处理的“入门神器”。

`nltk` 是怎么和 `Transformers`（比如 BERT 模型）联动来处理文本的

🧠 首先理清角色关系：

库/工具	作用
`nltk`	主要做文本预处理，比如分句、分词等（文本的“清洗”）
`transformers`	主要用来做文本理解、分类、问答、生成等任务（文本的“智能分析”）
`bert` 等模型	是 `transformers` 提供的具体模型，用来实现上面的智能任务

这三者是前处理 + 主模型的配合。

✅ 举个实际例子：用 `nltk` 和 BERT 一起做“句子级别的情感分析”

1. 准备文本 + 用 `nltk` 分句

import nltk
from nltk.tokenize import sent_tokenize
nltk.download('punkt')text = "I love this movie. It's really inspiring. But the ending was disappointing."
sentences = sent_tokenize(text)
print(sentences)

输出：

['I love this movie.', "It's really inspiring.", 'But the ending was disappointing.']

这一步我们把一段话按句子拆分了，方便 逐句分析。

2. 用 Huggingface 的 Transformers + BERT 模型对每句做情感分析

from transformers import pipeline# 使用预训练情感分析模型（英文情感分析）
sentiment_pipeline = pipeline("sentiment-analysis")for sent in sentences:result = sentiment_pipeline(sent)[0]print(f"Sentence: {sent}")print(f"Label: {result['label']} | Score: {result['score']:.3f}")print()

输出示例：

Sentence: I love this movie.
Label: POSITIVE | Score: 0.999Sentence: It's really inspiring.
Label: POSITIVE | Score: 0.998Sentence: But the ending was disappointing.
Label: NEGATIVE | Score: 0.991

🔁 它们怎么“联动”的？

流程可以总结成：

nltk 拆分句子（sent_tokenize）
Transformers/BERT 对每句话做分类/情感分析等任务
最终结果是：结构清晰 + 分析准确

你可以根据这个框架扩展为：

分析每句话是否是事实（使用 lighteternal/fact-or-opinion-xlmr-el）
判断每句主语、谓语、宾语（信息抽取）
抽取关键词（配合 nltk.word_tokenize 和 SpanMarker）

🛠 一个进阶任务流程举例：

假设你要做“新闻分析”：

nltk 分段 + 分句
BERT 模型判断哪些句子是“事实”
抽取事实中的关键词（命名实体识别）
最终存储为结构化 JSON 文件

你写的这些脚本，其实就是在干这个事情：
✔ 用 nltk 做文本预处理
✔ 用 transformers 模型做分类
✔ 用 json 存结构化数据

✅ 总结：

nltk 负责「分词、分句等预处理」，
Transformers（比如 BERT）负责「深度语义理解」。
二者配合，就像洗干净菜再下锅炒菜：清洗 + 烹饪 = 智能文本处理。

nltk 是怎么和 Transformers（比如 BERT 模型）联动来处理文本的

🧠 一句话解释nltk： nltk 是一个用于自然语言处理（NLP）的 Python 库，功能包括分词、词性标注、命名实体识别、文本分类等。全称是：Natural Language Toolkit（自然语言工具包） &…...

编程日记 2025/9/14 2:56:36

项目日志配置模板示例

1.新增application.properties配置 logging.configclasspath:logback-spring.xml spring.profiles.activedev 将项目部署到服务器时需要将dev修改为test后再进行打包部署 2.新增logback-spring.xml <?xml version"1.0" encoding"UTF-8"?> <…...

编程日记 2025/9/14 2:55:33

sql server统计小时数据中每日最大风速及风速对应的风向

客户提出一个需求，有历年逐小时的风速、风向资料，想获取历年最大的风速及风速对应的风向值，通过sql 怎么实现，这个统计，我认为主要考虑一个问题，就是数据重复性，所以我采用以下方法实现&#xf…...

编程日记 2025/9/10 18:35:32

【SQL】MySql常见的性能优化方式

MySQL性能优化的常用方式及对比说明一、引言二、MySQL性能优化的常用方式及对比说明1. 索引优化1.1 合理创建索引1.2 覆盖索引1.3 索引下推 2. SQL语法优化2.1 避免低效操作2.2 分页优化2.3 JOIN优化 3. 配置与架构优化3.1 参数调优3.2 读写分离与分库…...

编程日记 2025/9/13 10:23:59

Prometheus实现负载均衡并将多个实例数据汇总到一个主Prometheus

一、Prometheus实现负载均衡策略原理要实现 Prometheus 的负载均衡并将多个 Prometheus 实例的数据汇总到一个主 Prometheus 实例中，可以结合 Prometheus 联邦（Federation） 和负载均衡器来进行配置。这种方法的核心是在主 Prometheus 实例…...

编程日记 2025/9/13 22:01:31

力扣 — — 最长公共子序列

力扣 — — 最长公共子序列最长公共子序列题源：1143. 最长公共子序列 - 力扣（LeetCode） 题目： 分析： 一道经典的题目：最长公共子序列(LCS) 题目大意：求两个字符串的最长公共序列。算法&…...

编程日记 2025/9/14 2:56:13

通过AWS EKS 生成并部署容器化应用

今天给大家分享一个实战例子，如何在EKS上创建容器化应用并通过ALB来发布。先介绍一下几个基本概念： IAM, OpenID Connect (OIDC) 2014 年，AWS Identity and Access Management 增加了使用 OpenID Connect (OIDC) 的联合身份支持。此功能允许…...

编程日记 2025/9/9 2:58:57

GNSS静态数据处理

1 安装数据处理软件：仪器之星（InStar ）和 Trimble Business Center 做完控制点静态后，我们需要下载GNSS数据，对静态数据进行处理。在处理之前需要将相关软件在自己电脑上安装好： 仪器之星（InS…...

编程日记 2025/9/11 13:03:54

NVIDIA H100 vs A100：新一代GPU架构性能对比分析

一、核心架构演进对比 ‌Ampere架构（A100）‌采用台积电7nm工艺，集成540亿晶体管，配备6,912个CUDA核心和432个第三代Tensor Core，支持FP16、TF32和INT8精度计算。其显存子系统采用HBM2e技术，80GB版本带宽可…...

编程日记 2025/9/9 15:04:56

AI图像生成

要通过代码实现AI图像生成，可以使用深度学习框架如TensorFlow、PyTorch或GANs等技术。下面是一个简单的示例代码，演示如何使用GANs生成手写数字图像： import torch import torchvision import torchvision.transforms as transforms import …...

编程日记 2025/9/8 16:23:54

计算机考研一战上岸宁波大学经验分享

目录话不多说先上分数个人介绍政治英语二数学二 408 复试话不多说先上分数初试排名15/65 复试79.81分，复试排名13/65 总成绩13/65，研招网招考50人 （均为公开数据，非泄露复试信息） 个人介绍本人山东…...

编程日记 2025/9/11 22:44:46

泛微ECOLOGY9 记数据展现集成自定义开窗测试中对SQL 的IN语法转换存在BUG

背景搭建流程时，需将明细表1中的合同字段供明细表2中的合同开窗查询使用。最终实现如下图： 选择发票号时，自动带出明细表1中的采购合同号清单，然后在明细表2中开窗采购合同号时，只跳出明细表1中有的采购合同号&am…...

编程日记 2025/9/12 17:45:59

【Nginx】Nginx代理Tomcat配置及404问题解决

当Tomcat返回HTTP 404未找到错误时，可以通过以下两种方式设置跳转到指定地址： ① 在Tomcat应用内部配置错误页面跳转（直接修改Tomcat的Web应用配置） ② 在Nginx反向代理层拦截404错误并跳转（无需修改Tomcat&#xff0c…...

编程日记 2025/9/11 4:51:31

【Vue】案例——To do list：

【Vue】案例——To do list： 一、案例介绍：二、效果展示（如图）三、主要功能：四、技术要点：补充：【Vue】Vue模板语法(点击可跳转)补充：【Vue】数据绑定（单双向&#xff09…...

编程日记 2025/9/13 5:09:52

JVM不同环境不同参数配置文件覆盖

背景需要在启动Java服务并且参数不同的场景，例如端口号在yml中的配置是这样的： server:port: 9100 覆盖配置对应JVM参数： java -jar xxxx.jar -Dserver.port12306 [JVM其他参数] 这样12306就会覆盖掉9100端口的配置作为启动配置 IDE…...

编程日记 2025/9/10 4:40:38

游戏引擎学习第215天

总结并为今天做铺垫今天的工作内容是解决调试系统中的一个小问题。昨天我们已经完成了大部分的调试系统工作，但还有一个小部分没有完全处理，那就是关于如何层次化组织数据的问题。我们遇到的一个问题是，演示代码中仍有一个尚未解决的部分&a…...

编程日记 2025/9/10 22:25:40

C语言--求n以内的素数（质数）

求n以内的素数，可以用试除法或者埃拉托斯特尼筛法（埃氏筛法） 输入：数字n 输出：n以内所有的素数不管是哪个方法，都有一个数学结论可以减少循环次数： 如果有一个数不是质数，那么它至…...

编程日记 2025/9/13 21:58:57

多版本go冲突问题

今天执行go build时遇到一个报错： compile: version “go1.22.7 (Red Hat 1.22.7-1.moduleel8.10.0700fd5cfc7a)” does not match go tool version “go1.23.4” 结果一查 which -a go 发现当前系统居然有四个不同的位置都安装了go 于是先看go version&#xf…...

编程日记 2025/9/13 5:06:21

Windows 10系统出现无法使用键鼠的问题

有一位系统之家的小伙伴在升级Windows 10系统电脑的时候，出现键盘鼠标不能正常工作打问题，其实，遇到这个问题，有时只需重新启动计算机或断开连接并重新连接鼠标或键盘可以提供帮助，如果没有，可以看看下面系…...

编程日记 2025/9/7 7:51:03

NFC 数据传输

前言初次接触NFC协议，很多人都会感觉困惑，搜索相关资料，大多数都介绍协议的理论及应用领域，数据传输的内容却很少，但对与开发人员来说，除了理论知识外，数据传输也是非常重要环节，尤…...

编程日记 2025/9/13 20:24:51

基于Streamlit的智能创业计划生成器开发实践

一、应用概述在数字经济时代，创业者亟需高效工具进行系统化的商业规划。本文介绍的智能创业计划生成器基于Streamlit框架构建，整合了财务建模、时间轴规划、智能文档生成等核心功能。该工具通过模块化设计实现了九大创业要素的系统化配置，显…...

编程日记 2025/9/13 20:16:07

蓝桥杯单片机刷题——按键控制距离显示精度

设计要求驱动超声波传感器，启动距离测量功能,并将其结果显示到数码管上，距离数据单位为m。按键“S4”定义为“切换”按键，通过此按键切换距离的显示精度（一位或两位小数）。切换顺序如图所示。数码管显示格式如下图…...

编程日记 2025/9/7 8:41:03

c++拷贝构造函数（深浅拷贝）+运算符重载

1拷贝构造函数 1.1定义只有一个形参，且该形参是对本类类型对象的引用（一般用const 修饰），在用已经存在的类类型对象穿件新对象是由编译器自动调用。（是一种特殊构造，即初始化一个一模一样的新对象&#…...

编程日记 2025/9/7 8:41:02

操作系统 3.5-内存换入-请求调页

案例分析内存换入内存换入分析： 内存换入（Swapping）是指操作系统将不常使用的内存页从物理内存（RAM）移动到磁盘上的交换空间（Swap Space），以释放物理内存供其他进程使用。当需要访…...

编程日记 2025/9/7 8:41:00

stm32工程,拷贝到另一台电脑编译,错误提示头文件找不到cannot open source input file “core_cm4.h”

提示 cannot open source input file “core_cm4.h” ,找不到 [ core_cm4.h ] 这个头文件 . 于是我在原电脑工程文件里找也没有找到这个头文件接下来查看原电脑keil的头文件引入配置,发现只引入了工程文件下的头文件, 那么core_cm4.h到底哪里来的? (到现在我也不清楚怎…...

编程日记 2025/9/7 8:40:59

使用platformio如何定位hard fault错误

这里写自定义目录标题前言过程记录结语前言 hard fault是单片机开发过程中经常会遇到的问题，通常是内存溢出、野指针访问等导致，对于有经验的工程师，在代码改动不大的情况下，一般可以通过代码审查定位到问题原因，但也有很多情况下需要借助调试工具进行定位，像Keil就有比…...

编程日记 2025/9/7 8:40:57

全局异常处理器的基本使用

那使用全局异常处理器可以么？ 是的，使用全局异常处理器是一个非常好的选择，因为它可以将异常处理逻辑集中化，避免在 Service 层或 Controller 层中重复编写异常处理代码。以下是使用全局异常处理器来处理添加用户时 username 唯一…...

编程日记 2025/9/11 6:34:17

python入门：简单介绍和python和pycharm软件安装/学习网址/pycharm设置（改成中文界面，主题，新建文件）

Python 目前是 AI 开发的首选语言软件安装 python解释器官网下载 Python |Python.org 勾选 Add python.exe to PATH 将python.exe添加到PATH 勾选这个选项会将Python的可执行文件路径添加到系统的环境变量PATH中。这样做的好处是，你可以在命令行中从任何位置直…...

编程日记 2025/9/11 10:29:43

众趣科技助力商家“以真示人”，让消费场景更真实透明

在当今的消费环境中，消费者权益保护问题日益凸显。无论是网购商品与实物不符、预定酒店民宿与图文描述差异大，还是游览景区遭遇“照骗”，这些问题不仅让消费者在消费和决策过程中倍感困扰，也让商家面临信任危机。消费者在享受便…...

编程日记 2025/9/7 8:40:52

【Redis】string类型

目录 1、介绍2、底层实现【1】SDS【2】int编码【3】embstr编码【4】raw编码【5】embstr和raw的区别 3、常用指令【1】字符串基本操作：【2】批量操作【3】计数器【4】过期时间【5】不存在就插入 4、使用场景 1、介绍 string是redis中最简单的键值对形式，…...

编程日记 2025/9/7 8:40:50

EPLAN许可证更新教程

随着电气设计软件的不断更新和优化，确保您的EPLAN许可证始终是最新版本对于顺畅的项目管理至关重要。本文将为您提供一份详尽的EPLAN许可证更新教程，帮助您轻松完成更新操作，确保您的软件始终保持最佳状态。一、为什么需要更新EPLAN许可证&…...

编程日记 2025/9/11 13:05:05

学习笔记五——Rust 控制流全解析

📚 目录什么是控制流？Rust 有什么特别？if 表达式完整语法loop / while / for 三种循环写法match 表达式 _ 通配符深入解释if let 表达式用法与场景Option、Some、None 全面通俗讲解 "Tom" 和 "Tom".to_string() 有啥本…...

编程日记 2025/9/12 0:38:20

远程桌面协议(RDP)详解：原理、优势与局限和优化方案分享

文章目录导言一. RDP的工作原理二. RDP的优势三. RDP的局限性四. RDP的优化与替代方案五. 内网穿透远程访问总结导言远程桌面协议(RDP)是一种微软开发的专有协议，允许用户通过网络连接到另一台计算机，并像操作本地计算机一样进行操作。它广泛应用于远…...

编程日记 2025/9/12 1:14:51

Linux 系统管理常用命令

以下是 Linux 系统管理常用命令的详细介绍，涵盖 IP地址查看、端口管理、进程监控等核心操作，并附上实际示例： 一、查看网卡 IP 地址 1. 使用 ip 命令 # 查看所有网络接口信息（包括 IP 地址） ip addr show# 查看特定…...

编程日记 2025/9/9 4:21:42

蓝桥杯篇---客观题

文章目录前言前言本文简单介绍了蓝桥杯中客观题各个部分的知识点。一、单片机相关 IAP15F2K61S2单片机的定时器0具有4种工作模式，当采用外部12MHz晶振时，定时器最大定时长度65535us。8051单片机的P0口，当使用外部存储器时它是一个传输低…...

编程日记 2025/9/7 8:40:41

RK3568 基于Gstreamer的多媒体调试记录

文章目录 1、环境介绍2、概念理清3、提前准备4、GStreamer编译5、GStreamer基础介绍6、视频播放初体验7、视频硬编码7.1、h2647.2、h265 8、视频硬解码8.1、解码视频并播放解码视频并播放带音频 1、环境介绍硬件：飞凌ok3568-c开发板软件：原厂rk356x …...

编程日记 2025/9/10 18:23:23

ZYNQ笔记（五）：AXI GPIO 中断

版本：Vivado2020.2（Vitis） 任务：使用 AXI GPIO IP 核以中断方式实现按键 KEY 控制 LED 亮灭翻转（两个都在PL端） 目录一、介绍二、硬件设计三、软件设计四、效果一、介绍 AXI GPIO 中断通常…...

编程日记 2025/9/12 11:20:21

C++23 多维下标运算符：探索 P2128R6 提案

文章目录一、背景与动机二、语法与实现2.1 语法2.2 实现方式三、应用场景3.1 多维数组3.2 自定义数据结构3.3 并行计算四、性能影响4.1 编译时优化4.2 自定义数据结构的优化五、总结 C23 引入了许多新特性，其中之一便是多维下标运算符（P2128R6&#…...

编程日记 2025/9/7 5:24:53

原理图设计准备：页面栅格模板应用设置

一、页面大小的设置 （1）单页原理图页面设置首先，选中需要更改页面尺寸的那一页原理图，鼠标右键，选择“Schmatic Page Properties”选项，进行页面大小设置。 （2）对整个原理图页面设…...

编程日记 2025/9/9 8:04:35

LeeCode 409.最长回文串

给定一个包含大写字母和小写字母的字符串 s ，返回通过这些字母构造成的最长的回文串的长度。在构造过程中，请注意区分大小写。比如 "Aa" 不能当做一个回文字符串。示例 1: 输入:s "abccccdd" 输出:7 解释: 我们可以构造的…...

编程日记 2025/9/10 19:22:44

保护PCBA的不同方法：喷三防漆 vs 镀膜

PCBA（印刷电路板组件）的防护工艺中，喷三防漆和镀膜（如Parylene气相沉积）是两种常见技术。它们在防护目的上类似，但在具体实现方式和应用场景上有显著差异。以下从外观、工艺、性能、物理性质和成本五个…...

编程日记 2025/9/12 21:06:39

XILINX FPGA万兆光电口PXIE板卡设计

主要性能指标 1、 FPGA 型号： XC7K325-TFFG676-2 ； 2、网络端口速率 ： 10Gbps/1Gbps/2.5Gbps ； 3、网络端口形式 ： 3 路 SFP 万兆光电口 ； 4、内存数量： 4Gb 4 ； 5、内存带宽&…...

编程日记 2025/9/8 9:43:37

LangChain4j实战-Java AI应用开源框架之LangChain4j和Spring AI

今天这篇文章我来分享LangChain4j实战-Java AI应用开源框架之LangChain4j和Spring AI。在贝恩聊架构AI专栏中通过学习如何使用Java相关AI应用开源框架，到后续开发企业级Java AI应用，将大型语言模型和AI工具集成到现有系统中。我们将重点介绍如何使用Sp…...

编程日记 2025/9/7 7:01:34

机器学习十大算法全解析机器学习，作为人工智能的基石，涵盖了众多高效的算法。今天，我们就来深入探讨其中的十大核心算法！

1️⃣ 线性回归：通过最小化误差的平方和来寻找最佳函数匹配。 2️⃣ 逻辑回归：用于分类问题，通过逻辑函数来预测事件发生的概率。 3️⃣ 决策树：基于特征选择和阈值来构建树形结构，用于分类和回归。 4️⃣ 朴素贝叶…...

编程日记 2025/9/13 17:43:16

day26图像处理OpenCV

文章目录一、OpenCV1.介绍2.下载3.图像的表示4.图像的基本操作4.1图片读取或创建4.1.1读取4.1.2创建 4.2创建窗口4.3显示图片4.3.1设置读取的图片4.3.2设置显示多久4.3.3释放 4.4.保存图片4.5图片切片（剪裁）4.6图片大小调节 5.在图像中绘值5.1绘制直线5…...

编程日记 2025/9/11 8:01:17

怎么查询SQL Server AlwaysOn

1. SQL Server AlwaysOn 是什么？ SQL Server AlwaysOn 是 Microsoft 提供的高可用性（High Availability, HA）和灾难恢复（Disaster Recovery, DR）解决方案，包含以下两个核心技术： 组件描述故障…...

编程日记 2025/9/10 5:38:10

10分钟做了一个投资回报计算器，欢迎大家使用

一、背景今天突然想算一下1万本金，2%利率存2年情况下的投资回报收益情况，但是发现手上没有计算器，想着自己做一个网页简单实现一下，于是有了这个小工具（FutureValueCalculator——未来价值计算器）。二、…...

编程日记 2025/9/10 0:18:59

报错：mount: unknown filesystem type ‘vfat’

服务器重启之后进入 Ctrl D 界面界面报错是 FAILED to mount /boot/efi 输入密码进去之后 (py38) [rootlocalhost data]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS sda 8:0 0 1.5T 0 disk ├─sda1 8:1 0 50M 0 part /bo…...

编程日记 2025/9/5 4:46:36

Java学习手册：面向对象编程核心概念

面向对象编程（OOP）是Java语言的核心编程范式，它强调通过对象之间的交互来实现程序功能。OOP的核心思想是将现实世界中的事物抽象为对象，通过对象的属性和行为来描述和操作这些事物。本文将深入探讨Java中面向对象编程的三大核心概…...

编程日记 2025/9/8 9:09:48

工厂模式（简单工厂，工厂方法，抽象工厂）

工厂模式工厂模式是java中最常用的设计模式，主要是用来完成对象的创建，使得对象创建过程和对象使用过程分离。简单来说是取消对象创建者和使用者的耦合，简化new 对象的创建。优势 ：对象的属性创建完整。缺点： 创建…...

编程日记 2025/9/12 18:24:59

🧠 一句话解释nltk：

🧰 它能干什么？

🧪 举个例子：分词

📦 安装方式

💡 为什么很多 NLP 项目都用它？

⚠️ 注意：

🧠 总结一句话：

nltk 是怎么和 Transformers（比如 BERT 模型）联动来处理文本的

🧠 首先理清角色关系：

✅ 举个实际例子：用 nltk 和 BERT 一起做“句子级别的情感分析”

1. 准备文本 + 用 nltk 分句

2. 用 Huggingface 的 Transformers + BERT 模型对每句做情感分析

🔁 它们怎么“联动”的？

🛠 一个进阶任务流程举例：

✅ 总结：

相关文章：

🧠 一句话解释`nltk`：

`nltk` 是怎么和 `Transformers`（比如 BERT 模型）联动来处理文本的

✅ 举个实际例子：用 `nltk` 和 BERT 一起做“句子级别的情感分析”

1. 准备文本 + 用 `nltk` 分句