当前位置：首页 > news >正文

自然语言处理spaCy

news 来源：原创 2025/9/2 3:32:43

spaCy 是一个流行的开源 自然语言处理（NLP） 库，专注于 高效、易用和工业化应用。它由 Explosion AI 开发，广泛应用于文本处理、信息提取、机器翻译等领域。

zh_core_web_sm 是 spaCy 提供的一个小型中文预训练语言模型，适用于基本的（NLP）任务。以下是关于它的关键信息：

1. 模型特点

小型（SM）：模型体积较小，占用内存少，适合快速处理和轻量级应用。
预训练：基于中文文本训练，包含词汇、句法和实体识别等基础能力。
功能：支持分词（Word Segmentation）、词性标注（POS）、依存句法分析（Dependency Parsing）和命名实体识别（NER）等。

2. 主要用途

文本分词和词性标注。
识别实体（如人名、地名、组织机构等）。
句法分析（需注意小型模型的精度可能较低）。

3. 安装与使用

安装步骤：
1. 确保已安装 spaCy：pip install spacy
2. 下载模型：
到下面网址上下载对应的spacy版本的zh_core_web_sm
https://github.com/explosion/spacy-models/releases?q=zh_core_web_sm&expanded=true
下载到自己指定的路径下，命令行cd至该路径下，进行安装

pip install zh_core_web_sm-3.6.0-py3-none-any.whl

示例代码：

import spacy
import pytextrank
from spacy import displacy
# 加载模型
nlp = spacy.load("zh_core_web_sm")# 处理文本
text = "小明考上了中国传媒大学。他买了票，很快就要去北京了"
#断句
doc1=nlp(text.strip())
sents=[sent.text.strip() for sent in doc1.sents]
print(*sents,sep="\n")
# 命名实体识别NER
doc2 = nlp(text)
ents=[(ent.text,ent.label_) for ent in doc2.ents]
# ORG代表机构组织名,GPE代表地名
print(*["\t".join(e) for e in ents],sep="\n")#中国传媒大学 ORG 北京	GPE
#分词和词性标注
words=[(token.text,token.pos_) for token in doc2]
print(words)#依存句法分析
sentid=1
r=[]
for token in doc2:rec=(sentid,token.i+1,token.text,token.pos_)if token.head.i==token.i:rec +=(0,None,None)else:rec +=(token.head.i+1,token.head.text,token.head.pos_)rec +=(token.dep_,)r.append(rec)
print(f"句子：{text}\n 依存分析结果：")
print("句子编号\t 词序\t 词\t 词性\t 支配词序\t 支配词\t 支配词性\t 依存关系")
print(*["\t".join(map(str,e)) for e in sorted(r)],sep="\n")
#依存关系图
svg=displacy.render(doc2,style="dep")
fout="sent.svg"
with open(fout,"wt",encoding="utf-8") as fpw:fpw.write(svg)

4. 性能与限制

优点：轻量、速度快，适合对精度要求不高的场景。
缺点：相比更大的模型（如 zh_core_web_md/lg），准确率较低，尤其是对复杂句子或专业术语。

5. 替代模型

若需要更高精度，可尝试：
- zh_core_web_md：中等规模，含词向量。
- zh_core_web_lg：大规模，精度更高但资源消耗大。

6. 注意事项

需配合 spaCy 3.x 使用，版本不兼容可能导致错误。
中文处理效果受训练数据影响，特定领域（如医学、法律）可能需要微调。

自然语言处理spaCy

spaCy 是一个流行的开源自然语言处理（NLP） 库，专注于高效、易用和工业化应用。它由 Explosion AI 开发，广泛应用于文本处理、信息提取、机器翻译等领域。 zh_core_web_sm 是 spaCy 提供的一个小型中文预训练语言模型&#xff0…...

编程日记 2025/9/2 3:32:43

大语言模型（LLMs）中的强化学习（Reinforcement Learning, RL）

第一部分：强化学习基础回顾在深入探讨LLMs中的强化学习之前，我们先快速回顾一下强化学习的核心概念，确保基础扎实。 1. 强化学习是什么？ 强化学习是一种机器学习范式，目标是让智能体（Agent）…...

编程日记 2025/8/25 21:32:52

数字后端实现Innovus DRC Violation之如何利用脚本批量解决G4:M7i DRC Violation

大家在跑完物理验证calibre DRC之后，会发现DRC里面存在一种G4:M7i的DRC违例，这种违例一般都是出现在memory的边界。今天教大家如何利用脚本来批量处理这一类DRC问题的解决。首先，我们需要把calibre的DRC结果读取到innovus里面来&#xff0c…...

编程日记 2025/9/2 3:27:29

Java版企业电子招标采购系统源业码Spring Cloud + Spring Boot +二次开发+ MybatisPlus + Redis

功能描述 1、门户管理：所有用户可在门户页面查看所有的公告信息及相关的通知信息。主要板块包含：招标公告、非招标公告、系统通知、政策法规。 2、立项管理：企业用户可对需要采购的项目进行立项申请，并提交审批，查看所…...

编程日记 2025/8/28 7:29:44

CTF web入门之文件上传

知识点产生文件上传漏洞的原因原因：对于上传文件的后缀名（扩展名）没有做较为严格的限制对于上传文件的MIMETYPE(用于描述文件的类型的一种表述方法) 没有做检查权限上没有对于上传的文件目录设置不可执行权限，（尤其是对于shebang类型的文件）对于web server对于上传…...

编程日记 2025/8/31 9:51:25

ArmSoM Sige5 CM5：RK3576 上 Ultralytics YOLOv11 边缘计算新标杆

在计算机视觉技术加速落地的今天，ArmSoM 正式宣布其基于 Rockchip RK3576 的旗舰产品 Sige5 开发板和 CM5 核心板全面支持 Ultralytics YOLOv11 模型的 RKNN 部署。这一突破标志着边缘计算领域迎来新一代高性能、低功耗的 AI 解决方案&am…...

编程日记 2025/8/27 22:26:00

游戏引擎学习第224天

回顾游戏运行并指出一个明显的图像问题。回顾一下之前那个算法我们今天要做一点预加载的处理。上周刚完成了游戏序章部分的所有剪辑内容。在运行这一部分时，如果观察得足够仔细，就会注意到一个问题。虽然因为视频流压缩质量较低，很难清楚…...

编程日记 2025/8/31 13:25:24

PN1-S25系列ProfiNet网关模组产品方案

PN1-S25系列ProfiNet网关模组是一款专为工业通信环境设计的先进设备，旨在实现ProfiNet与Modbus RTU协议之间的无缝转换，从而优化工业自动化系统中的数据传输效率。以下是对该系列ProfiNet网关模组产品的详细介绍： 一、ProfiNet网关模组功能特…...

编程日记 2025/8/29 12:41:44

提示工程指南学习记录（三）

提示词示例文本概括 Explain the above in one sentence（用一句话解释上面的信息）： 提示词工程是一种用于自然语言处理的任务，目的是通过给定的文本或语音输入来生成相应的输出。它基于预训练的大型语言模型，例如通…...

编程日记 2025/8/28 8:27:21

04 GE - 钳制属性，等级

1.PostGameplayEffectExecute 1.作用：在这里对生命值进行最后的钳制防止越界。 2.参数中有什么： FGameplayEffectModCallbackData //传进来的值 {EffectSpec; //GESpecTargetASC //目标ASCFGameplayModifierEvaluatedData& EvaluatedData{Magni…...

编程日记 2025/8/26 15:37:04

【机器学习】机器学习笔记

1 机器学习定义计算机程序从经验E中学习，解决某一任务T，进行某一性能P，通过P测定在T上的表现因经验E而提高。 eg：跳棋程序 E： 程序自身下的上万盘棋局 T： 下跳棋 P： 与新对手下跳棋时赢的概率…...

编程日记 2025/8/27 21:51:00

使用SSE实现实时消息推送并语音播报：从后端到前端的完整指南

前言在现代Web应用中，实时消息推送已成为提升用户体验的关键功能。无论是即时聊天、通知提醒还是实时数据更新，都需要一种高效的服务器到客户端的通信机制。本文将详细介绍如何使用Server-Sent Events (SSE)技术实现后端向前端的实时消息推送&#xff…...

编程日记 2025/8/30 20:17:58

交通运输部4项网络与数据安全标准发布

近日，交通运输部审查通过并发布《交通运输数据安全风险评估指南》《交通运输行业网络安全实战演练工作规程》《交通运输电子证照数据交换与应用要求》《冷藏集装箱智能终端技术规范》等 4 项交通运输行业标准（2025 年第 3 批）。其中&#…...

编程日记 2025/8/28 12:44:53

HarmonyOS-ArkUI V2装饰器： @Monitor装饰器：状态变量修改监听

Monitor作用 Monitor的作用就是来监听状态变量的值变化的。被Monitor修饰的函数，会在其对应监听的变量发生值的变化时，回调此函数，从而可以让您知道是什么值发生变化了，变化前是什么值，变化后是什么值。 V1版本的装饰器，有个叫@Watch的装饰器，其实也有监听变化的能力，…...

编程日记 2025/9/1 14:12:26

在Ubuntu系统中运行Windows程序

在Ubuntu系统中运行Windows程序可通过以下方法实现，根据使用场景和需求选择最适合的方案： 一、使用Wine兼容层（推荐轻量级场景） 原理：通过模拟Windows API环境直接运行.exe文件，无需安装完整系统。步骤&a…...

编程日记 2025/9/1 19:22:04

七大数据库全面对比：ClickHouse、ES、MySQL等特性、优缺点及使用场景

七大数据库全面对比：ClickHouse、ES、MySQL等特性、优缺点及使用场景引言在数字化时代，数据库的选择对于业务的成功至关重要。本文将通过表格形式，对ClickHouse、Elasticsearch（ES）、MySQL、SQL Server、MongoDB、HBase、Cassandra这七大数据库进行特性、优缺点及使用…...

编程日记 2025/8/31 12:58:47

循环神经网络 - 门控循环单元网络之参数学习

GRU（门控循环单元）的参数学习与其他循环神经网络类似，主要依赖于梯度下降和反向传播通过时间（BPTT）算法。下面我们通过一个简单例子来说明 GRU 参数是如何在训练过程中“自适应”调整的。一、GRU参数学习假设我们的…...

编程日记 2025/9/1 9:09:55

Java并发编程面试题：内存模型（6题）

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/9/1 14:27:26

SpringBoot Starter自定义：创建可复用的自动配置模块

文章目录引言一、自定义Starter基础知识二、创建自动配置模块2.1 项目结构搭建2.2 配置属性类2.3 服务接口及实现2.4 自动配置类2.5 spring.factories文件2.6 Maven依赖配置三、创建Starter模块3.1 项目结构3.2 Maven依赖配置四、使用自定义Starter4.1 添加依赖4.2 配置属性…...

编程日记 2025/8/31 0:06:02

服务器风扇故障导致过热问题的解决方案

# 服务器风扇故障导致过热问题的解决方案 ## 一、故障诊断与确认 ### 1. 确认风扇故障现象 bash # 检查系统日志中的硬件错误 dmesg | grep -i fan journalctl -b | grep -i thermal # 查看传感器数据（需要安装lm-sensors） sudo sensors-detect sudo …...

编程日记 2025/8/27 14:30:18

[OS] vDSO + vvar（频繁调用的处理） | 存储：寄存器(高效)和栈（空间大）| ELF标准包装规范（加速程序加载）

vDSO vvar 一、社区公告板系统（类比 vDSO vvar） 想象你住在一个大型社区，管理员（内核）需要向居民（用户程序）提供实时信息（如天气预报、社区活动时间等）。直接让每个居…...

编程日记 2025/8/27 4:20:11

SQL刷题日志（day1)

1、substring_index（截取字符串） 参数说明： profile：要处理的字符串字段。,：分隔符。-1：表示从字符串的右侧开始截取，第一个出现的分隔符后面的所有内容。 SELECT SUBSTRING_INDEX(profile, ,…...

编程日记 2025/8/27 9:31:58

爬虫：一文掌握 curl-cffi 的详细使用（支持 TLS/JA3 指纹仿真的 cURL 库）

更多内容请见：爬虫和逆向教程-专栏介绍和目录文章目录一、curl-cffi 概述1.1 curl-cffi介绍1.2 主要特性1.3 适用场景1.4 使用 curl-cffi 的注意事项1.5 与 requests 和 pycurl 对比1.6 curl-cffi 的安装二、基本使用2.1 同步请求2.2 异步请求三、高级功能3.1 模拟浏览器指…...

编程日记 2025/8/28 0:20:48

前端开发基础：HTML 与 CSS 入门详解

目录一、HTML 基础 （一）HTML 概述 （二）HTML 标签标签分类常用标签详解 （三）HTML 注释二、CSS 样式 （一）CSS 概述 （二）CSS 引入方式 &#xff0…...

编程日记 2025/8/27 19:29:54

实时语音交互数字人VideoChat,可自定义形象与音色，支持音色克隆，首包延迟低至3s

简介实时语音交互数字人，支持端到端语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG）。用户可通过麦克风或文本输入，与数字人进行语音或视频交互。目前支持的功能支持自定义形象TTS模块添加音…...

编程日记 2025/8/27 21:50:57

25.OpenCV中的霍夫圆变换

OpenCV中的霍夫圆变换在图像处理与计算机视觉中，圆形检测是一项常见的任务，应用场景包括车牌识别、瞳孔检测、交通标志识别等。霍夫圆变换（Hough Circle Transform）是一种高效且鲁棒的算法，通过在参数空间中寻找局部…...

编程日记 2025/9/2 0:32:38

OpenTiny使用指南

最近项目里用到了一个新的组件库——OpenTiny，但是官方文档的使用指南的描述很复杂，花了一些时间尝试才正常使用。下面是一个使用步骤的描述，可放心食用： 一、安装 TinyVue 组件库同时支持 Vue 2.0 和 Vue 3.0 框架，…...

编程日记 2025/8/30 19:58:21

Uniapp: 大纲

目录一、基础巩固1.1、Uniapp:下拉选择框ba-tree-picker 二、项目配置2.1、Uniapp：修改端口号2.2、Uniapp：本地存储一、基础巩固 1.1、Uniapp:下拉选择框ba-tree-picker 二、项目配置 2.1、Uniapp：修改端口号 2.2、Uniapp：本…...

编程日记 2025/8/27 18:00:00

A2A协议实现详解及示例

A2A协议概述 A2A (Agent2Agent) 是Google推出的一个开放协议，旨在使AI智能体能够安全地相互通信和协作。该协议打破了孤立智能体系统之间的壁垒，实现了复杂的跨应用自动化。[1] A2A协议的核心目标是让不同的AI代理能够相互通信、安全地交换信息以及在各…...

编程日记 2025/8/29 21:37:45

HTTP协议入门

文章目录 1. 概述2. 请求协议2.1 Get 方式请求协议2.2 POST 方式的请求2.3 获取请求数据 3. 响应协议3.1 响应数据格式3.2 设置响应数据 1. 概述概念 ：Hyper Text Transfer Protocol，超文本传输协议，规定了浏览器和服务器之间数据传输的规则…...

编程日记 2025/8/30 7:51:22

远程控制Android手机(web-scrcpy)

最近有web远程查看和控制Android手机的需求，研究了一下scrcpy，发现还是比较容易实现远程控制，所以自己就用flask写了一个web远程控制的scrcpy，算是推荐一下自己的作品，作品地址：https://github.com/baixin1…...

编程日记 2025/8/17 19:46:09

在AWS EC2上部署网站的完整步骤指南

本文详细介绍如何从零开始在AWS EC2实例上部署静态/动态网站，涵盖实例创建、安全组配置、环境搭建及域名绑定等关键步骤。一、准备工作 AWS账号：访问 AWS官网注册账号并完成信用卡绑定本地工具： SSH客户端（Mac/Linux自带终端&…...

编程日记 2025/8/27 3:55:35

CentOS下，Xftp中文文件名乱码的处理方式

乱码原因中文版Windows默认使用GBK编码，现代Linux发行版（如CentOS、Ubuntu等）默认使用UTF-8编码。Windows下正常的编码，可能在linux下无法识别，例如：Windows的GBK字节0xD6D0被Linux用UTF-8解码时&#xf…...

编程日记 2025/8/29 5:32:27

Linux vagrant 导入ubuntu到virtualbox

前言 vagrant 导入ubuntu虚拟机前提要求安装 virtualbox 和vagrant<vagrant-disksize> (Linux 方式 Windows 方式) 创建一键部署ubuntu虚拟机 /opt/vagrant 安装目录/opt/VirtualBox 安装目录/opt/ubuntu22/Vagrantfile （可配置网络IP，内存…...

编程日记 2025/8/30 21:32:17

2025高频面试算法总结篇【动态规划】

文章目录直接刷题链接直达编辑距离最长回文子串完全平方数最长递增子序列正则表达式匹配零钱兑换鸡蛋掉落单词拆分直接刷题链接直达动态规划（Dynamic Programming, DP）是一种通过拆解子问题并利用子问题的最优解来构建整体问题的最优解的方法&#x…...

编程日记 2025/8/19 11:24:12

FPGA_UART

1.UART 概述 （通用异步收发传输器） 1. 基本定义 UART（Universal Asynchronous Receiver/Transmitter）是一种常见的串行通信协议，用于在设备间通过异步串行通信传输数据。它不依赖独立的时钟信号，而是通过预…...

编程日记 2025/8/31 20:37:02

绿算轻舟系列FPGA加速卡：驱动数字化转型的核心动力

在数字化浪潮席卷全球的今天，算力已成为推动企业创新和行业升级的核心引擎。绿算轻舟系列FPGA加速卡凭借其高性能、低延迟、高能效比的独特优势，正成为各领域智能化转型的“隐形加速器”。它以灵活的硬件架构和强大的并行计算能力，为复杂场景…...

编程日记 2025/8/27 12:54:11

gitee基本使用

git实用手册 git全局设置 git config --global user.name "yourname" git config --global user.email "youremail"推代码时的账号（email) 版本回退 git loggit reset –hard <码>git push -f HTTPS步骤(上传) 拉取项目 1、新建一个…...

编程日记 2025/8/27 6:19:27

最短路径介绍

最短路径是图论中的算法，下面将列举几个常见的算法： 🚗 一、单源最短路径（一个起点到所有点） 1. Dijkstra 算法适用图：非负权图（不能有负权边） 思路：贪心最小堆&am…...

编程日记 2025/8/28 16:17:59

VRRP 基础全解析：从结构到配置

目录 VRRP基本概述 VRRP基本结构状态机编辑负载分担 （多个VRRP） VRRP基本概述 VRRP能够在不改变组网的情况下，将多台路由器虚拟成一个虚拟路由器，通过配置虚拟路由器的IP地址为默认网关，实现网关的备份。协…...

编程日记 2025/8/27 20:35:49

【NIO番外篇】之组件 Buffer

目录一、Buffer：数据界的“快递小哥”/“临时仓库管理员” 😉什么是 Buffer？它的作用是什么？ 二、Buffer 的“三围”和“书签”📌：核心属性1. Capacity (容量)：2. Position (位置)：…...

编程日记 2025/8/27 16:14:39

Python基础知识（一、基础语法）

Python基础知识（一、基础语法） 字面量注释单行注释多行注释变量数据类型数据类型查看数据类型转换标识符命名规范不可使用关键字运算符算数运算符赋值运算符字符串字符串的定义方式字符串拼接占位拼接数字精度控制快速格式化数据输入逻辑运算比较运…...

编程日记 2025/8/27 5:17:15

C语言题目自增在前与在后

一、题目引入谨记真言: i的值最终都会改变只是表达式的值不同二、分析题目 if判断语句里面要条件为真执行时 printf语句 i 变量在前使用i的当前值是1 i的值就是1与1相等所以&&左边的为真但是&&存在必须前后都为真才为真所以还要看&&后面…...

编程日记 2025/8/29 5:51:10

【口腔粘膜鳞状细胞癌】文献阅读

写在前面看看文章，看看有没有思路文献 The regulatory role of cancer stem cell marker gene CXCR4 in the growth and metastasis of gastric cancer IF:6.8 中科院分区:1区医学WOS分区: Q1 目的：通过 scRNA-seq 结合大量 RNA-seq 揭示癌症干细胞…...

编程日记 2025/8/30 6:15:01

如何撤回刚提交的 commit

如何撤回刚提交的 commit 如果刚刚执行了 git commit 但想撤销这个提交，有几种方法可以实现，具体取决于你想达到的效果： 1. 撤销 commit 但保留更改（修改回到暂存区） git reset --soft HEAD~1这会撤销最后一次提交提…...

编程日记 2025/8/27 12:51:02

deepin使用autokey添加微信快捷键一键显隐ctrl+alt+w

打开deepin商店，搜索快捷键，找到autokey 快捷键管理，点击安装点击右键新建文件夹点击右键新建脚本打开脚本并添加以下内容 import subprocess import time# ------------------ 配置项 ------------------ WM_CLASS "wechat…...

编程日记 2025/8/27 18:57:08