当前位置：首页 > news >正文

自然语言处理NLP入门 -- 第六节命名实体识别

news 来源：原创 2025/9/12 12:25:12

1 什么是命名实体识别？

在日常生活中，我们经常会遇到这样的情景：希望从一大段文本中，快速找出所有的人名、地名、组织机构名称、日期、时间等关键信息。举个例子，如果你在阅读一篇关于历史事件的新闻报道时，需要尽快确认「这篇新闻里提到的国家名有哪些？涉及了哪些重要人物和组织？重大日期在哪些地方出现了？」这时，「命名实体识别（Named Entity Recognition, NER）」就能帮上大忙。

命名实体识别是自然语言处理（NLP）中的一个核心任务，目标是从文本中自动识别并提取具有特定意义的实体。常见的实体类型包括：

人名（Person）
地名（Location）
组织（Organization）
日期（Date）
货币单位（Money）
时间（Time）
事件（Event）
等等。

在搜索引擎、信息检索、对话机器人等实际应用场景中，NER 都是一个重要的技术支撑环节。例如：

搜索引擎：可以根据用户搜索内容中的实体，做更加精准的搜索结果匹配；
智能客服机器人：能够识别聊天文本中的产品名称、地点后，再做个性化的回复；
情报分析：从海量文本中快速挖掘出关键人物、地点和组织，用于安全监控、市场调研等。

换句话说，NER 就像给文本装了一双「慧眼」，自动挑出有意义的「关键词」，帮助我们节省大量人工标注和检索的时间。

2 使用 spaCy 进行 NER

为了让你更好地理解 NER 的原理和应用，我们先来试试一个轻量级但非常实用的 Python 库：spaCy。它提供了预训练的模型，可以直接用来识别英文（以及部分其他语言）文本中的实体。

2.1 准备工作

安装 spaCy
```
pip install spacy
```
下载 spaCy 预训练的语言模型
比如，如果我们需要进行英文文本处理，可以下载 en_core_web_sm：
```
python -m spacy download en_core_web_sm
```
这里的 en_core_web_sm 是 spaCy 提供的一个小型英文模型。

2.2 代码示例：识别英文文本中的实体

下面的示例演示如何使用 spaCy 识别一段文本中的实体类型：

import spacy# 加载spaCy的英文模型
nlp = spacy.load("en_core_web_sm")# 准备一段英文文本
text = "Apple was founded by Steve Jobs and Steve Wozniak in the United States."# 使用 spaCy 解析文本
doc = nlp(text)# 打印识别出的实体及其类别
for ent in doc.ents:print(ent.text, ent.label_)

示例输出：

Apple ORG
Steve Jobs PERSON
Steve Wozniak PERSON
the United States GPE

doc.ents 存放了所有从文本里识别出的实体，每个 ent 对象包含了实体的文本 ent.text 和实体类型 ent.label_。
运行这段代码，你会看到像 “Apple ORG”、“Steve Jobs PERSON”、“United States GPE”（地理位置）等输出。
- ORG：组织机构
- PERSON：人名
- GPE：地理/政治实体（比如国家、城市等）

这样，你就能轻松自动提取文中提到的人名、组织名称、地名等关键信息。

2.3 难点总结：为什么有时识别不准确？

模型训练数据有限：开源模型（如 en_core_web_sm）训练语料不一定覆盖所有行业领域，识别新兴名词或专业术语时容易出错。
多义词：同一个单词在不同语境下表示不同含义，需要上下文才能判定。
文本噪音：文本中有拼写错误、特殊字符，或者混杂多语言，也会影响 NER 准确率。

3 使用 OpenAI API 进行 NER

除了使用 spaCy 这样的传统 NLP 库，我们还可以借助 OpenAI 提供的大型语言模型来完成 NER。这里有一个有趣的点：由于 GPT 系列模型对语言的理解程度较高，一些具有创意的文本或者多种语言混合的文本，往往可以借助 OpenAI API 做到不错的实体识别效果。不过需要注意，OpenAI 大模型并没有直接输出实体类别的「内置功能」，通常需要我们使用提示工程（prompt engineering）的方式告诉它具体的操作需求。

3.1 准备工作

安装 OpenAI Python 库
```
pip install openai
```
获取 API Key
前往 OpenAI 平台获取你的 API Key，并在代码中进行配置。

3.2 代码示例：通过 Prompt 方式让 GPT 进行 NER

import openai# 替换成你自己的 API Key
openai.api_key = "YOUR_OPENAI_API_KEY"text = "Apple was founded by Steve Jobs and Steve Wozniak in the United States."prompt = f"""
从以下文本中识别人名、组织、地点等命名实体，并用JSON格式输出：文本：{text}
"""response = openai.chat.completions.create(model="gpt-3.5-turbo",  # 或者使用最新的 GPT-4 模型messages=[{"role": "user", "content": prompt}],temperature=0.0
)print(response.choices[0].message.content)

示例输出：

{"人名": ["Steve Jobs", "Steve Wozniak"],"组织": ["Apple"],"地点": ["United States"]
}

在这个例子里，我们给 GPT-3.5-turbo 模型发送了一个包含具体「指令」的 prompt，要求它把文本中的命名实体识别出来，并用 JSON 格式返回。

temperature=0.0 代表结果更具确定性，减少回答中的随机性。

3.3 优缺点对比

spaCy：
- 优点：速度快，易于部署，本地运行无需外部 API；对于英文等主流语言模型支持较好；也可以微调模型以适应专业领域。
- 缺点：对模型覆盖不到的领域或多语言场景可能支持有限；需要自己训练或寻找相应的语言模型。
OpenAI API：
- 优点：大模型对很多场景的文本有更好的理解力，识别准确度相对较高；无需自己训练、上手简单。
- 缺点：需要付费（调用 API 会产生费用）；响应速度受网络和 API 负载影响；对一些私密数据处理有合规要求。

4 课后练习与思考

课后练习 1：
- 使用 spaCy 对一篇新闻报道或微博文本进行 NER，比较一下 spaCy 对新闻文本和社交媒体文本的识别效果。哪些实体容易出错？
课后练习 2：
- 修改 OpenAI 提示词，让 GPT 识别更多类型的实体，如「日期」「事件」「货币单位」等。尝试为不同领域（比如医疗、金融）编写不同的 prompt，看看能否得到更准确的识别结果。

5 小结：为什么要学 NER？

在整个 NLP 流程中，命名实体识别承担着「抽取关键信息」的重任。它不仅能帮助我们快速了解文本中的核心内容，也为更高层的 NLP 任务（如信息检索、知识图谱构建、对话系统等）提供了宝贵的结构化信息。如果你想让你的 NLP 应用「更聪明」，那么 NER 绝对是必须掌握的一项技能。

在后续的学习中，你可以尝试把 NER 与其他技术结合，比如把识别出的实体输入到一个对话机器人中，或者利用这些实体做更精准的文本聚类与推荐。这样，通过不断的应用和实践，才能真正体会到 NER 的价值与乐趣。

希望经过这一节，你已经对命名实体识别（NER）有了更直观、生动的认识，也能动手试试在 spaCy 以及 OpenAI API 中进行实体识别。

自然语言处理NLP入门 -- 第六节命名实体识别

1 什么是命名实体识别？ 在日常生活中，我们经常会遇到这样的情景：希望从一大段文本中，快速找出所有的人名、地名、组织机构名称、日期、时间等关键信息。举个例子，如果你在阅读一篇关于历史事件的新闻报道时&#xff0…...

编程日记 2025/9/12 12:25:12

Windows PicPick Professional-v7.3.2-中文版

Windows PicPick Professional-中文版链接：https://pan.xunlei.com/s/VOKGwGVGWUDl7L8cW4D1A1W4A1?pwdw5qz# - 更新了中文翻译，默认取消检测升级，删除多国语言...

编程日记 2025/8/16 10:45:09

Hue UI展示中文

个人博客地址：Hue UI展示中文 | 一张假钞的真实世界如果使用开发分支代码如master分支）编译安装，需要自己编译语言文件。例如Hue安装目录为“/opt/hue”，则安装后执行以下命令： $ cd /opt/hue $ make locales 如果…...

编程日记 2025/9/8 9:36:11

【Unity】AI Navigation自动寻路（导航）功能

1.简介以及安装AI Navigation 1.1 简介 AI导航包包含高级组件，允许你在游戏中使用导航网格来整合导航和寻径。有了这个包，你可以在运行时和编辑时构建和使用导航网格，创建动态障碍，并使用链接来允许特定的动作（如跳跃…...

编程日记 2025/9/12 12:25:10

网络安全员证书

软考网络安全员证书：信息安全领域的黄金标准随着信息技术的飞速发展，网络安全问题日益凸显，网络安全员的需求也日益增加。软考网络安全员证书作为信息安全领域的黄金标准，对于网络安全从业者来说具有重要意义。本文将详细介绍…...

编程日记 2025/9/12 12:06:43

2.你有什么绝活儿？—Java能做什么？

1、Java的绝活儿：要问Java有什么绝活，我觉得它应该算是一位魔法师，会的绝活儿有很多，要说最能拿得出手的当属以下三个。 1.1 平台无关性：Java可以在任何地方施展魔法，无论是Windows、Linux还是Mac&#xf…...

编程日记 2025/9/12 12:25:11

使用 ASP.NET Core 创建和下载 zip 文件

对于最近的一个功能，我必须从用 ASP.NET Core 编写的内部网站下载一批文件。在下载文件之前对其进行压缩，结果证明这是一种轻松实现多文件下载的好方法。.NET 提供了所有需要的功能，在本文中，我将向您展示如何实现它。首先&#…...

编程日记 2025/9/8 1:12:43

数据结构之队列

一、队列的概念队列是一个有序列表，可以用数组或者是链表来实现的。遵循的是先入先出的原则，就是先存入队列的数据要先取出，后面存的需要后面取出。插入的一端称为队尾，删除的一端称为队头，队列里没有元素就称它为空…...

编程日记 2025/9/10 15:46:51

微信小程序读取写入NFC文本，以及NFC直接启动小程序指定页面

一、微信小程序读取NFC文本(yyy优译小程序实现)，网上有很多通过wx.getNFCAdapter方法来监听读取ＮＦＣ卡信息，但怎么处理读取的message文本比较难找，现用下面方法来实现，同时还解决几个问题，1、在回调方法中this.setData不更新信息，因为this的指向问题，2、在退出页面时，…...

编程日记 2025/9/12 12:23:14

【Godot4.3】自定义简易菜单栏节点ETDMenuBar

概述 Godot中的菜单创建是一个复杂的灾难性工作，往往无从下手，我也是不止一次尝试简化菜单的创建。从自己去年的发明“简易树形数据”用于简化Tree控件获得灵感，于是尝试编写了用于表示菜单数据的EasyMenuData类，以及对应的纯文…...

编程日记 2025/9/8 0:36:31

win7电脑上最好安装 Python什么版本？

李升伟整理在 Windows 7 上安装 Python 时，需考虑系统兼容性和安全性。以下是具体建议： --- ### **推荐版本：Python 3.8.x** 1. **兼容性** Python 3.8 是最后一个官方支持 Windows 7 的版本（需安装系统更新至 **SP1** …...

编程日记 2025/9/12 12:23:14

苍穹外卖-阿里云OSS文件上传

苍穹外卖-阿里云OSS文件上传一、阿里云OSS简介**获取AccessKey**获取enpoint 二、代码实现1 引入依赖2 定义OSS相关配置2.1 application-dev.yml2.2 application.yml 3 读取OSS配置3.1 AliOssProperties 4 生成OSS工具类对象4.1 AliOssUtil4.2 OssConfiguration2.5 CommonCont…...

编程日记 2025/9/6 9:20:13

一周热点：基于向量的推理，而非文本

背景介绍大型语言模型（LLMs）：大型语言模型（如GPT-2）可以通过生成思维链（CoT）来提高性能。CoT是将回应提示的过程分解为一系列步骤的中间文本标记。然而，大部分CoT文本旨在保持流畅性（例如“a”、“of”、“we know that”），而非推理（例如“a + b = c”）。这导致了…...

编程日记 2025/9/12 5:57:28

Tagr 5 for Mac v5.8.0 [MAS] 音频标签编辑工具支持M、Intel芯片

Tagr 5应用介绍 Tagr 5 是一款功能强大的音乐标签编辑工具，专为macOS用户设计。它旨在帮助用户高效地管理和编辑音乐文件的标签（Metadata），尤其适合那些有大量音乐文件的用户。通过Tagr 5，用户可以轻松地编辑和更新音…...

编程日记 2025/9/12 12:22:08

【linux】详谈环境变量

目录一、基本概念二、常见的环境变量取消环境变量三、获取环境变量通过代码获取环境变量环境变量的特性 1. getenv函数:获取指定的环境变量 2. environ获取环境变量四、本地变量五、定义环境变量的方法临时定义（仅对当前会话有效） 永…...

编程日记 2025/9/12 2:00:42

【PyQt5】python可视化开发：PyQt5介绍，开发环境搭建快速入门

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…...

编程日记 2025/9/12 12:20:39

数据结构1-4 队列

一、队列是什么？ 先举一个日常例子，排队买饭。排队买饭大家按先来后到的顺序，在窗口前排队买饭，先到先得，买完之后走开，轮到下一位买，新来的人排在队尾，不能插队。可见&#x…...

编程日记 2025/9/12 12:20:38

地弹与振铃

地弹（Ground Bounce）和振铃（Ringing）是数字电路中常见的信号完整性问题，两者都与高速开关和寄生参数有关，但表现形式和成因不同。以下是它们的对比及解决方法： 1. 地弹（Ground Bounc…...

编程日记 2025/9/11 16:05:46

单一职责原则（设计模式）

目录问题： 定义： 解决： 方式 1：使用策略模式示例：用户管理方式 2：使用装饰者模式示例：用户操作方式 3：使用责任链模式示例：用户操作链总结推荐问题&a…...

编程日记 2025/9/10 17:33:42

蓝桥杯深秋的苹果

题目当深秋的苹果树丰收时，村庄的居民们兴致勃勃地采摘着红彤彤的苹果。他们将采摘下来的 NN 个苹果排成了一排，形成了一个苹果序列 AA，第 ii 个苹果的甜度值为 AiAi（1≤i≤N1≤i≤N）。现在村民需要将苹果序列划…...

编程日记 2025/9/11 14:27:44

【网页视频背景闪烁问题分析与解决方案】

网页视频背景闪烁问题分析与解决方案现象描述在开发带有视频背景的网页时，我们遇到了一个棘手的问题：当用户滚动页面时，视频背景区域会出现明显的闪烁现象，具体表现为： 文字内容会突然变亮或变大视频背景会突然变…...

编程日记 2025/9/10 13:17:06

Server 6 ，VMware 解析，ESXi 与 Workstation 应用指南（VMware ESXi 与 VMware Workstation）

目录前言一、VMware公司介绍二、主要产品和技术 2.1 服务器虚拟化 2.2 桌面虚拟化 2.3 网络虚拟化与安全 2.4 云管理平台 2.5 存储与可用性三、VMware ESXi 3.1 ESXi 是什么“超级神器” 3.2 安装与网络配置如何掌握 3.3 访问与管理如何玩转 3.4 下载地址与官网…...

编程日记 2025/9/12 3:04:35

今天你学C++了吗？——string（上）

♥♥♥~~~~~~欢迎光临知星小度博客空间~~~~~~♥♥♥ ♥♥♥零星地变得优秀~也能拼凑出星河~♥♥♥ ♥♥♥我们一起努力成为更好的自己~♥♥♥ ♥♥♥如果这一篇博客对你有帮助~别忘了点赞分享哦~♥♥♥ ♥♥♥如果有什么问题可以评论区留言或者私信我哦~♥♥♥ ✨✨✨✨✨✨ 个…...

编程日记 2025/9/9 12:23:34

使用通义万相Wan2.1进行视频生成

使用通义万相Wan2.1进行视频生成源代码准备运行环境准备创建Python虚拟环境并激活安装依赖包模型下载生成视频官网的视频生成例子简单描述场景视频生成示例详细描述场景视频生成示例最近通义万相开源了其视频生成模型。模型有两个版本，一个是1.3B的，一…...

编程日记 2025/9/10 21:53:54

Windows在多网络下指定上网接口

Windows在多网络下指定上网接口一、说明设备情况：win11，同时连接了有线网和WLAN，有线网连接着NAS必须保持连接。需求：有些情况时，有线网无网络而WLAN有网，但系统仍走着有线导致无法上网。二、方法过…...

编程日记 2025/9/11 19:41:46

前端正则表达式完全指南：从入门到实战

文章目录第一章：正则表达式基础概念1.1 什么是正则表达式1.2 正则表达式工作原理1.3 基础示例演示第二章：正则表达式核心语法2.1 元字符大全表2.2 量词系统详解2.3 字符集合与排除第三章：前端常用正则模式3.1 表单验证类3.1.1 邮箱验证3.1…...

编程日记 2025/9/7 13:40:29

【愚公系列】《Python网络爬虫从入门到精通》038-SQLite数据库

标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度…...

编程日记 2025/9/11 11:45:59

npx degit 问题：could not fetch remote...

问题与处理策略问题描述 npx degit dream-num/univer-sheet-start-kit univer-sheet-start-kit执行上述指令，报如下错误 ! could not fetch remote https://github.com/dream-num/univer-sheet-start-kit ! could not find commit hash for HEAD# 翻译无法获取远…...

编程日记 2025/9/11 14:15:19

空投与转账：Solana代币核心概念及代码实战精解

目录 1.空投和转账概念 1.1.空投(Airdrop) 1.2.转账(Transfer) 2.Solana 代币创建与空投核心代码总结 2.1. 代币创建核心代码 2.2. 添加元数据核心代码 2.3. 空投代币核心代码 3.效果图展示 1.空投和转账概念 1.1.空投(Airdrop) 创建新代币: 空投是铸造(Mint)新代币…...

编程日记 2025/9/11 10:57:38

Rust~tokio的AsyncRead

AsyncRead trait 定义介绍 /// This trait is analogous to the [std::io::Read] trait, but integrates with /// the asynchronous task system. In particular, the [poll_read] method, /// unlike [Read::read], will automatically queue the current task for wakeup…...

编程日记 2025/9/12 7:06:29