当前位置：首页 > news >正文

Python常用的第三方模块之【jieba库】支持三种分词模式：精确模式、全模式和搜索引擎模式(提高召回率)

news 来源：原创 2025/7/15 7:14:20

Jieba 是一个流行的中文分词Python库，它提供了三种分词模式：精确模式、全模式和搜索引擎模式。精确模式尝试将句子最精确地切分，适合文本分析；全模式则扫描文本中所有可能的词语，速度快但存在冗余；搜索引擎模式在精确模式的基础上，对长词进行再次切分，提高召回率。

分词功能

Jieba的核心功能是分词，它依据词库确定汉字间的关联概率。用户可以通过以下函数进行分词操作：

jieba.cut(s, cut_all=False): 精确模式，默认模式，返回一个可迭代的generator对象。
jieba.cut(s, cut_all=True): 全模式，返回一个可迭代的generator对象，可能包含冗余。
jieba.cut_for_search(s): 搜索引擎模式，返回一个可迭代的generator对象，对长词进行再次切分。

返回列表的分词

Jieba还提供了返回列表形式的分词结果的函数：

jieba.lcut(s): 精确模式，返回一个列表类型的分词结果。
jieba.lcut(s, cut_all=True): 全模式，返回一个列表类型的分词结果，存在冗余。
jieba.lcut_for_search(s): 搜索引擎模式，返回一个列表类型的分词结果，存在冗余。

自定义词典

用户可以通过jieba.add_word(w)向分词词典中增加新词，以提高分词的准确性。例如，如果有一个不常见的词语“就这”，可以添加到词典中，使得Jieba在未来的分词操作中能够识别它。

import jieba# 精确模式
words = jieba.cut("我爱自然语言处理", cut_all=False)
for word in words:print('精确模式:',word)# 全模式
words = jieba.cut("我爱自然语言处理", cut_all=True)
for word in words:print('全模式:',word)# 搜索引擎模式
words = jieba.cut_for_search("我爱自然语言处理")
for word in words:print('搜索引擎模式:',word)

示例：

import jieba
import chardet
from chardet import UniversalDetectorfileName='AI工具集.txt'
# #读取进来,with open只能打开txt这样的纯文本，请勿打开非文本文档(比如Office系列excel)，尝试使用UTF-8编码打开文件
with open(fileName, 'r', encoding='utf-8') as file:content = file.read()# print(content)#分词
lst=jieba.lcut(content)
print(lst)#去重操作
set1=set(lst) #使用集合实现去重
#
d={} #key:词，value：出现的次数
for item in set1:if len(item)>2:print(item)d[item]=0#统计出现次数
for item in lst:if item in d:d[item]=d.get(item)+1
print(d)new_lst=[]
for item in d:new_lst.append([item,d[item]])
print(new_lst)#排序
new_lst.sort(key=lambda x:x[1],reverse=True)
print(new_lst[0:11]) #显示的是前10项

Python常用的第三方模块之【jieba库】支持三种分词模式：精确模式、全模式和搜索引擎模式(提高召回率)

Jieba 是一个流行的中文分词Python库，它提供了三种分词模式：精确模式、全模式和搜索引擎模式。精确模式尝试将句子最精确地切分，适合文本分析；全模式则扫描文本中所有可能的词语，速度快但存在冗余；搜索引擎…...

编程日记 2025/7/15 7:14:20

Redisson实战：分布式系统中的五大典型应用场景

引言在分布式系统架构中，数据一致性、高并发控制和资源协调是开发者面临的核心挑战。Redisson作为基于Redis的Java客户端，不仅提供了丰富的分布式对象和服务，还简化了分布式场景下的编程模型。本文将通过实际代码示例，解析Redis…...

编程日记 2025/7/15 4:47:30

webrtc建立连接的过程

WebRTC 连接全过程：从零到视频通话的每一步 WebRTC 是个神奇的技术，让浏览器直接进行点对点（P2P）音视频通话或数据传输，不用每次都靠服务器中转。想知道 Alice 和 Bob 是怎么通过 WebRTC 建立视频通话的吗&#xff1f…...

编程日记 2025/7/10 2:07:45

system verilog 语句耗时规则

在 SystemVerilog 中，确实有一类语句是**不消耗仿真时间(zero simulation time)**的，我们一般叫它们： ✅ 零延迟语句（Zero-Time Statements） 🔹1. 什么是“不费时间”的语句？ 这些语句在仿真时…...

编程日记 2025/7/15 6:41:51

【Docker】在Ubuntu平台上的安装部署

写在前面 docker作为一种部署项目的辅助工具，真是太好用了需要魔法，不然无法正常运行笔者环境：ubuntu22.04 具体步骤更新系统包索引 sudo apt update安装必要依赖包 sudo apt install -y apt-transport-https ca-certificates curl softwa…...

编程日记 2025/7/15 6:17:22

2025年阅读论文的常用工具推荐

在快速发展的学术界，阅读和整理论文的能力对于研究者和学生来说至关重要。随着科技的进步，各种工具应运而生，帮助我们更高效地处理文献。本文将为您推荐一些2025年最常用的阅读论文工具，让您的学术之路更加顺畅。 1. SumiNote S…...

编程日记 2025/7/8 8:28:22

pod内部共享命名空间与k8s命名空间是一个东西吗？

文章目录小知识-命名空间**下面着重介绍一下刚刚提到的内部命名空间**IPC NamespaceNetwork Namespace 本文摘自于我的免费专栏《Kubernetes从0到1（持续更新）》请多关注小知识-命名空间注意，首先我要强调一点，Kubernetes命名空…...

编程日记 2025/7/15 7:02:22

Linux笔记---进程间通信：匿名管道

1. 管道通信 1.1 管道的概念与分类管道（Pipe） 是进程间通信（IPC）的一种基础机制，主要用于在具有亲缘关系的进程（如父子进程、兄弟进程）之间传递数据，其核心特性是通过内核缓冲区实…...

编程日记 2025/7/15 6:23:39

JAVA设计模式——（三）桥接模式

JAVA设计模式——（三）桥接模式（Bridge Pattern） 介绍理解实现武器抽象类武器实现类涂装颜色的行为接口具体颜色的行为实现让行为影响武器修改武器抽象类修改实现类测试适用性介绍将抽象和实现解耦，使两者可以独立…...

编程日记 2025/7/15 6:28:33

设计模式--工厂模式详解

工厂模式作用： 实现了创建者与调用者的分离详细分类简单工厂模式工厂方法模式抽象工厂模式 OOP七大原则： 开闭原则：一个软件的实体应该对拓展开发，对修改关闭依赖反转原则：要针对接口编程，不…...

编程日记 2025/6/29 11:58:01

每天五分钟深度学习PyTorch:图像的处理的上采样和下采样

本文重点在pytorch中封装了上采样和下采样的方法，我们可以使用封装好的方法可以很方便的完成采样任务，采样分为上采样和下采样。上采样和下采样下采样（缩小图像）的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。下采样（放大图像）的…...

编程日记 2025/7/14 14:10:00

前端面试场景题

目录 1.项目第一次加载太慢优化 / vue 首屏加载过慢如何优化 2.说说了解的es6-es10的东西有哪些 ES6（ES2015）之后，JavaScript 新增了许多实用的数组和对象方法，下面为你详细介绍： 3.常见前端安全性问题 XSS&#…...

编程日记 2025/7/13 17:18:35

国际化不生效

经过我的重重检查最终发现是版本问题。原本下载默认next版本cnpm install vue-i18nnext 下载国际化插件 cnpm install vue-i18n^9.14.3 删除掉node_models，再重新加载包：cnpm install 这时候就可以正常显示了国际化操作： en.js zh…...

编程日记 2025/7/8 12:08:40

新一代人工智能驱动医疗数智化：范式变革、实践方向及路径选择

人工智能（AI）正以前所未有的速度重构医疗健康行业的底层逻辑，从数据获取、知识建模到临床决策支持，AI不仅是“辅助工具”，更日益成为医疗生产力体系的核心引擎。随着大模型、计算平台和数智基础设施的迅猛发展，医疗数智化正进入从“点状创新”走向“系统重构”的深水区。…...

编程日记 2025/7/9 17:17:20

OpenCV 图形API（55）颜色空间转换-----将图像从 RGB 色彩空间转换为 I420 格式函数RGB2I420()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述将图像从 RGB 色彩空间转换为 I420 色彩空间。该函数将输入图像从 RGB 色彩空间转换为 I420。R、G 和 B 通道值的常规范围是 0 到 255。输出图…...

编程日记 2025/6/29 11:45:51

大模型安全吗？数据泄露与AI伦理的黑暗面！

大模型安全吗？数据泄露与AI伦理的黑暗面！ 随着人工智能技术的飞速发展，尤其是大型语言模型（如GPT-3、BERT等）的出现，AI的应用场景越来越广泛，从智能客服到内容生成，从医疗诊断到金融…...

编程日记 2025/7/14 8:54:58

穿越链路的旅程：深入理解计算机网络中的数据链路层

一、引言在计算机网络的七层模型中，数据链路层（Data Link Layer） 是连接物理世界与逻辑网络世界的关键一环。它位于物理层之上，网络层之下，负责将物理层的“比特流”转换成具有结构的数据帧，并确保数据在…...

编程日记 2025/7/15 4:26:41

《AI大模型应知应会100篇》第35篇：Prompt链式调用：解决复杂问题的策略

第35篇：Prompt链式调用：解决复杂问题的策略摘要在大模型应用中，单次提示的能力往往受限于上下文长度和任务复杂度。为了解决这些问题，Prompt链式调用应运而生。本文将深入探讨如何通过分解任务、设计逻辑链路、传递中间结果&am…...

编程日记 2025/7/15 6:23:38

管理100个小程序-很难吗

20公里的徒步-真难群里的伙伴发起了一场天目山20公里徒步的活动，想着14公里都轻松拿捏了，思考了30秒后，就借着春风带着老婆孩子就出发了。一开始溪流清澈见底，小桥流水没有人家；青山郁郁葱葱，枯藤老树没有…...

编程日记 2025/7/15 6:49:30

算法恢复训练-Part01-数组

注：参考的某算法训练营的计划核心注意点在 Golang（和大多数主流语言，如 C/C）中，二维数组按行访问的效率更高。因为它符合 Go 的内存连续存储结构，能提高 CPU Cache 命中率，减少内存跳跃带来…...

编程日记 2025/7/12 20:42:58

软件黑盒与白盒测试详解

黑盒测试与白盒测试的核心对比一、定义与核心目标黑盒测试定义：将程序视为“黑盒”，仅通过输入和输出验证功能是否符合需求规格，不关注内部代码逻辑。目标：确保功能完整性、输入输出正确性及用户体验，例如验证购物车…...

编程日记 2025/7/15 6:51:57

本文通俗简介-优雅草星云物联网AI智控系统软件介绍-星云智控是做什么用途的？？-优雅草卓伊凡

本文通俗简介-优雅草星云物联网AI智控系统软件介绍-星云智控是做什么用途的？？-优雅草卓伊凡星云智控：物联网设备实时监控的革新力量一、引言在科技飞速发展的当下，物联网技术的广泛应用使得各类设备的实时监控与管理变得愈发…...

编程日记 2025/7/15 6:17:26

查询达梦某个对象上是否有统计信息 select id,T_TOTAL,N_SMAPLE,N_DISTINCT,N_NULL,BLEVEL,N_LEAF_PAGES,N_LEAF_USED_PAGES,LAST_GATHERED from sysstats where id IN (select id from sysobjects where upper(name)upper(&objname));可能有系统对象，可以增加…...

编程日记 2025/6/29 9:31:46

【MQ篇】RabbitMQ之发布订阅模式！

目录引言一、回顾：简单模式与工作队列模式的局限 😔二、发布/订阅模式详解：消息的“广播站” 📻三、 RabbitMQ 中的交换机类型：不同的“广播方式” 📻四、 Java (Spring Boot) 代码实战Fanout 模式的完整…...

编程日记 2025/7/15 6:53:29

如何批量为多张图片（JPG、PNG、BMP、WEBP 等格式）添加自定义水印保护

「鹰迅批量处理工具箱」提供了强大的批量水印添加功能，支持常见的图片格式，如 JPG、JPEG、PNG、BMP、GIF、WEBP 等。用户不仅可以选择添加文字水印或图片水印，还能自定义设置水印的样式、位置和透明度等参数，操作简单而高效&#…...

编程日记 2025/6/29 9:31:03

LeetCode每日一题4.23

题目问题分析计算每个数字的数位和：对于从 1 到 n 的每个整数，计算其十进制表示下的数位和。分组：将数位和相等的数字放到同一个组中。统计每个组的数字数目：统计每个组中有多少个数字。找到并列最多的组：返回数…...

编程日记 2025/7/9 21:06:51

Kafka简介

简介基本概念 Kafka是分布式发布 - 订阅消息系统，最初由LinkedIn开发，后成为Apache项目一部分，可类比为放鸡蛋的篮子，生产者产蛋放入，消费者从中取蛋。消息系统优势：分布式系统，易扩展&am…...

编程日记 2025/7/15 6:26:33

大数据利器：Kafka与Spark的深度探索

在大数据领域，Kafka和Spark都是极为重要的工具。今天就来和大家分享一下我在学习和使用它们过程中的心得。 Kafka作为分布式消息系统，优势显著。它吞吐量高、延迟低，能每秒处理几十万条消息，延迟最低仅几毫秒；可扩展性…...

编程日记 2025/6/29 11:23:54

使用logrotate实现日志轮转

logrotate 是一个强大的 Linux 工具，用于自动化管理日志文件的轮转、压缩、删除和归档。它能有效防止日志文件无限增长，节省磁盘空间，同时保持日志的可追溯性。以下是详细讲解 logrotate 的用法，涵盖安装、配置、测试、自动化、常…...

编程日记 2025/7/15 6:43:25

第52讲：农业AI + 区块链——迈向可信、智能、透明的未来农业

目录一、为什么农业需要“AI+区块链”？二、核心应用场景解读 1. 农产品溯源系统 2. 农业信贷与保险精准评估 3. 农业碳足迹追踪与碳汇交易三、案例实战分享：智能溯源 + 区块链合约四、面临挑战与展望五、总结在数字农业时代，“AI” 和 “区块链” 是两股不容忽…...

编程日记 2025/7/13 1:41:28

视频智能分析平台EasyCVR无线监控：全流程安装指南与功能应用解析

在当今数字化安防时代，无线监控系统的安装与调试对于保障各类场所的安全至关重要。本文将结合EasyCVR视频监控的强大功能，为您详细阐述监控系统安装过程中的关键步骤和注意事项，帮助您打造一个高效、可靠的监控解决方案。一、调试物资准备与…...

编程日记 2025/7/15 6:53:29

Spring Cloud Eureka 与 Nacos 深度解析：从架构到对比

一、Eureka：经典微服务注册中心 （一）核心定位与特性 Spring Cloud Eureka 是 Netflix 开源的服务注册与发现组件，在微服务架构中扮演 "大脑" 角色，负责服务的注册、发现与状态管理。其核心优势在于通过心跳…...

编程日记 2025/7/9 11:48:09

深入详解Java中的@PostConstruct注解：实现简洁而高效初始化操作

🧑 博主简介：CSDN博客专家、CSDN平台优质创作者，高级开发工程师，数学专业，10年以上C/C, C#, Java等多种编程语言开发经验，拥有高级工程师证书；擅长C/C、C#等开发语言，熟悉Java常用开…...

编程日记 2025/7/10 18:27:38

【Unity笔记】Unity 编辑器扩展：一键查找场景中组件引用关系（含完整源码）（组件引用查找工具实现笔记）

摘要： 本文介绍了如何在 Unity 编辑器中开发一款实用的编辑器扩展工具 —— ComponentReferenceFinder，用于查找场景中对某个自定义组件的引用关系。该工具特别适用于大型项目、多人协作或引入外部插件后，快速定位组件间的耦合关系。本文从需…...

编程日记 2025/7/14 1:14:59

实体店的小程序转型之路：拥抱新零售的密码-中小企实战运营和营销工作室博客

实体店的小程序转型之路：拥抱新零售的密码-中小企实战运营和营销工作室博客在当今数字化浪潮的冲击下，实体店面临着前所未有的挑战，但小程序的出现为实体店转型新零售带来了新的曙光。先来看一组惊人的数据，据相关统计&#xff…...

编程日记 2025/7/9 19:28:18

Mysql安装与备份配置分析

若之前存有msqyl的数据缓存，建议用以下命令将数据文件删除干净 mysql-server：主程序 mysql：客户端工具 mysql-devel：开发库 mysql-libs：共享库文件 /var/lib/mysql：数据目录 /etc/my.cnf : 主配置文件 …...

编程日记 2025/6/29 11:09:35

Android APP 爬虫操作

工具夜神模拟器、charles、mitm 等 mitm的使用参考:Mitmproxy对Android进行抓包（真机）_mitmproxy 安卓-CSDN博客 charles的使用参考：【全网最详细】手把手教学Charles抓包工具详细自学教程，完整版安装教程，详细介绍…...

编程日记 2025/6/29 9:31:59

与Ubuntu相关命令

windows将文件传输到Ubuntu 传输文件夹或文件 scp -r 本地文件夹或文件 ubuntu用户名IP地址:要传输到的文件夹路径例如： scp -r .\04.py gao192.168.248.129:/home/gao 如果传输文件也可以去掉-r 安装软件 sudo apt-get update 更新软件包列表 sudo apt insta…...

编程日记 2025/6/29 9:32:20

Unity常用内置变换矩阵

Unity引擎提供了一系列内置的变换矩阵，这些矩阵在着色器中用于处理物体、摄像机和光照的坐标变换，是游戏开发中不可或缺的工具。它们帮助开发者在顶点着色器和片段着色器中实现坐标转换、光照计算等功能。主要变换矩阵类型模型矩阵 (Model Matrix) /…...

编程日记 2025/6/29 12:07:09

算法题-图论

图的表示 207.课程表 127.单词接龙图的遍历 DFS 递归。。。 200.岛屿数量 239.矩阵中的最长递增路径 BFS 102.二叉树的层序遍历看到最短，首先想到的是BFS 542.01矩阵 207.课程表 127.单词接龙拓扑排序对于一个有向无环图G进行拓扑排序，是将G中…...

编程日记 2025/6/29 11:56:24

Java 8（Ubuntu 18.04.6 LTS）安装笔记

一、前言本文与【MySQL 8（Ubuntu 18.04.6 LTS）安装笔记】同批次：先搭建数据库，再安装JVM，后面肯定就是部署Web应用了——典型的单机部署，真可谓“麻雀虽小五脏俱全”。二、准备 （1&#xff…...

编程日记 2025/7/13 1:41:39

unity编辑器的json验证及格式化

UNITY编辑器的json格式化和验证工具资源-CSDN文库https://download.csdn.net/download/qq_38655924/90676188?spm1001.2014.3001.5501 反复去别的网站验证json太麻烦了用这个工具能方便点 # Unity JSON工具这是一个Unity编辑器扩展，用于验证、格式化和压缩JSO…...

编程日记 2025/7/11 10:06:01

C语言中小写字母转大写字母

一、题目引入这一题运行结果是什么? 二、代码分析在这个代码中首先 -> 定义了一个字符数组空间内存是80 里面存储的是字符串123abcdEFG*& 接着 -> 定义了一个整型变量j 后面的循环会用到然后 -> 使用了<stdio.h>中的库函数puts(ch)原样打印…...

编程日记 2025/7/10 18:58:49

深度学习--卷积神经网络调整学习率

文章目录前言一、学习率1、什么学习率2、什么是调整学习率3、目的二、调整方法1、有序调整1）有序调整StepLR(等间隔调整学习率)2）有序调整MultiStepLR(多间隔调整学习率)3）有序调整ExponentialLR (指数衰减调整学习率)4）有序调整…...

编程日记 2025/7/11 8:55:53

桥接模式：分离抽象与实现的独立进化

桥接模式：分离抽象与实现的独立进化一、模式核心：解耦抽象与实现的多层变化在软件设计中，当抽象（如 “手机品牌”）和实现（如 “操作系统”）都可能独立变化时，使用多层继承会导致…...

编程日记 2025/6/29 12:29:19

配置kafka与spark连接

一、配置kafka 首先进到software目录当中，如下图所示： 安装包上传/解压/重命名/解压过后的目录如下图所示： 修改配置： cd config vi server.properties 全部修改语句如下所示（以node01为样例）&#xff1…...

编程日记 2025/6/29 12:19:52

WebXR教学 05 项目3 太空飞船小游戏

准备工作自动创建 package.json 文件 npm init -y 安装Three.js 3D 图形库，安装现代前端构建工具Vite（用于开发/打包） npm install three vite 启动 Vite 开发服务器（推荐）（正式项目开发） …...

编程日记 2025/7/15 5:19:52

【leetcode】3524 求出数组的X值1

题目链接题目描述给你一个正整数数组 nums 和一个正整数 k。你可以对数组执行一次操作：移除不重叠的前缀和后缀（可以为空），留下一个连续非空子数组。对于每一种留下的子数组，计算： (该子数组的乘积…...

编程日记 2025/7/10 22:48:13

配电室安全用电漏电保护装置的安全用电措施

配电室作为电力分配与控制的关键场所，其安全用电装置的重要性不言而喻。防触电、防漏电、防火灾、安全防护、保障生命财产； 当用电设备发生短路、过载或漏电等异常时能迅速切断电源，精准定位问题。及时报警，防止触电在配电室中…...

编程日记 2025/7/10 1:25:59

数据库-基本概述和 SQL 语言

标题目录基本概述DB和DBMS关系数据库库与表的概念表库数据库在项目中的角色如何操作数据库 SQL 语言SQL 分类DDL 语言数据库操作创建数据库查看数据库删除数据库切换数据库表的操作创建表查看表修改表名删除表修改表结构 DML 语言插入数据修改数据删除数据基本概述 DB和DB…...

编程日记 2025/6/29 10:37:37

分词功能

返回列表的分词

自定义词典

相关文章：