当前位置：首页 > news >正文

中文分词与数据可视化02

news 来源：原创 2025/6/21 6:25:19

jieba 库简介

jieba（结巴分词）是一个高效的中文分词工具，广泛用于中文自然语言处理（NLP）任务。它支持以下功能：

分词：将句子切分为独立的词语。
自定义词典：添加专业词汇或新词，提升分词准确性。
关键词提取：基于 TF-IDF 或 TextRank 算法提取文本关键词。
词性标注：识别词语的词性（如名词、动词）。
并行分词：加速大规模文本处理。

核心函数与用法

1. 分词功能

jieba.cut(sentence, cut_all=False, HMM=True)

功能：对句子进行分词，返回生成器（需转换为列表使用）。

参数：

cut_all：是否启用全模式（默认 False，即精确模式）。

HMM：是否使用隐马尔可夫模型识别未登录词。

import jieba
text = "自然语言处理很有趣"# 精确模式（默认）
words = jieba.cut(text)
print("/".join(words))  # 输出：自然语言/处理/很/有趣# 全模式（所有可能组合）
words = jieba.cut(text, cut_all=True)
print(list(words))  # 输出：['自然', '自然语言', '语言', '处理', '很', '有趣']

jieba.lcut()
功能与 jieba.cut() 相同，但直接返回列表（更常用）：

words = jieba.lcut("我爱Python编程")
print(words)  # 输出：['我', '爱', 'Python', '编程']

jieba.cut_for_search(sentence)
功能：搜索引擎模式，适合短词组合的细粒度分词。

words = jieba.cut_for_search("自然语言处理技术")
print("/".join(words))  # 输出：自然/语言/处理/技术/自然语言/语言处理

2. 自定义词典

jieba.load_userdict(file_path)
功能：加载自定义词典文件（.txt 格式），支持添加新词、调整词频。

词典文件格式：每行 词语 [词频] [词性]（后两者可省略）。

深度学习 10 n
机器学习

jieba.add_word(word, freq=None, tag=None)
功能：动态添加单个词语。

jieba.add_word("区块链", freq=20)  # 添加新词并设置词频

jieba.del_word(word)
功能：删除词典中的某个词。

jieba.del_word("某个不需要的词")

jieba.suggest_freq(segment, tune=True)
功能：调整词语的词频，强制拆分或合并。

# 强制将 "自然语言" 拆分为 "自然" 和 "语言"
jieba.suggest_freq(("自然", "语言"), tune=True)

3. 关键词提取

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False)
功能：基于 TF-IDF 算法提取关键词。

参数：

topK：返回前 N 个关键词。

withWeight：是否返回权重值。

import jieba.analyse
text = "机器学习需要大量数据和算力支持。"
keywords = jieba.analyse.extract_tags(text, topK=3)
print(keywords)  # 输出：['机器学习', '算力', '数据']

jieba.analyse.textrank()
功能：基于 TextRank 算法提取关键词，用法类似 extract_tags。

4. 词性标注

jieba.posseg.cut(sentence)
功能：分词并标注词性（需导入 jieba.posseg）。

import jieba.posseg as pseg
words = pseg.cut("我爱自然语言处理")
for word, flag in words:print(f"{word}({flag})", end=" ")
# 输出：我(r) 爱(v) 自然语言(nz) 处理(vn)

5. 停用词过滤（需手动实现）

虽然 jieba 不内置停用词表，但可结合自定义列表过滤：

text = "这是一段需要过滤停用词的例子。"
stopwords = ["的", "是", "一段", "需要", "。"]
words = [word for word in jieba.lcut(text) if word not in stopwords]
print(words)  # 输出：['过滤', '停用词', '例子']

6. 其他实用函数

jieba.enable_parallel()
功能：启用并行分词（需多核 CPU），加速大规模文本处理。

jieba.enable_parallel(4)  # 使用4个CPU核心

jieba.disable_parallel()
功能：关闭并行分词。

jieba 的优势

轻量高效：适合处理大规模中文文本。
灵活扩展：支持自定义词典和算法调整。
多场景适用：从简单分词到复杂 NLP 任务（如关键词提取、词性标注）。

适用场景

中文文本清洗与分词
关键词提取（生成标签、摘要）
词频统计（生成词云）
结合其他库（如 wordcloud, gensim）实现高级分析。

中文分词与数据可视化02

jieba 库简介 jieba（结巴分词）是一个高效的中文分词工具，广泛用于中文自然语言处理（NLP）任务。它支持以下功能： 分词：将句子切分为独立的词语。自定义词典：添加专业词汇或新词&am…...

编程日记 2025/6/21 6:25:19

SSH主机密钥验证失败：全面解决方案与技术手册

一、问题本质与安全机制解析 SSH(Secure Shell)的主机密钥验证是安全通信的核心机制，当出现"Host key verification failed"错误时，表明客户端检测到服务器身份异常。这种设计可有效防范中间人攻击(Man-in-the-Middle)，其工作原理…...

编程日记 2025/6/21 6:00:04

buuctf Crypto-鸡藕椒盐味1

1.题目： 公司食堂最新出了一种小吃，叫鸡藕椒盐味汉堡，售价八块钱，为了促销，上面有一个验证码，输入后可以再换取一个汉堡。但是问题是每个验证码几乎都有错误,而且打印的时候倒了一下。小明买到了一个汉堡&a…...

编程日记 2025/6/21 5:21:31

真题卷001——算法备赛

蓝桥杯2024年C/CB组国赛卷 1.合法密码问题描述小蓝正在开发自己的OJ网站。他要求用户的密码必须符合一下条件： 长度大于等于8小于等于16必须包含至少一个数字字符和至少一个符号字符请计算一下字符串，有多少个子串可以当作合法密码。字符串为&am…...

编程日记 2025/6/21 6:18:27

基于MCP的桥梁设计规范智能解析与校审系统构建实践

引言在腾讯云开发者社区中，有多种MCP工具可以用于本系统的开发和优化中，以下是一些潜在的应用场景： ‌PDF解析工具‌：如pdfplumber等，可以用于规范文件的预处理，提取文本和图像信息。‌自然语言处理工具…...

编程日记 2025/6/21 5:30:38

matlab与python问题解析

Python requests乱码的五种解决办法 Python requests乱码的五种解决办法_requests.get乱码-CSDN博客 requests库post请求参数data、json和files的使用 requests库post请求参数data、json和files的使用_requests post data-CSDN博客如何在浏览器中查看POST请求提交的数据内…...

编程日记 2025/5/29 16:59:09

【分布式锁通关指南 10】源码剖析redisson之MultiLock的实现

引言本期我们将把目光聚焦在 Redisson 中另一个颇具代表性的分布式锁实现——MultiLock。它的核心思想是：一次性对多个独立的 RLock 进行加锁或解锁操作，只有当多个锁都成功加锁时才算真正完成锁的获取，一旦有任何一个失败，整体操…...

编程日记 2025/6/21 4:38:22

MySQL 8.0 OCP 1Z0-908 131-140题

Q131.You have upgraded the MySQL binaries from 5.7.28 to 8.0.18 by using an in-place upgrade. Examine the message sequence generated during the first start of MySQL 8.0.18: 。。。[System]。。。/usx/sbin/mysqld (mysqld 8.0.18-commercial) starting as process…...

编程日记 2025/6/21 5:56:32

实战解析MCP-使用本地的Qwen-2.5模型-AI协议的未来？

文章目录目录文章目录前言一、MCP是什么？ 1.1MCP定义 1.2工作原理二、为什么要MCP？ 2.1 打破碎片化的困局 2.2 实时双向通信，提升交互效率 2.3 提高安全性与数据隐私保护三、MCP 与 LangChain 的区别 3.1 目标定位不同 3.…...

编程日记 2025/5/29 12:00:03

从零开始学习three.js（20）：three.js实现天气与时间动态效果（白天，黑夜，下雨，下雪）

基于Three.js的天气与时间动态效果实现本文将通过代码解析，介绍如何使用Three.js实现动态天气（下雨、下雪）和时间（白天、黑夜）切换效果。完整代码基于一个交互式天气模拟项目，支持粒子密度、速度和环境亮…...

编程日记 2025/6/21 5:09:49

sqli-labs靶场23-28a关（过滤）

目录 less23（--过滤） less24（二次注入） less25（or过滤） less25a（or过滤） less26（--和空格过滤报错） less26a（--空格过滤盲注） …...

编程日记 2025/6/21 6:10:55

Sigmoid与Softmax：从二分类到多分类的深度解析

Sigmoid与Softmax：从二分类到多分类的深度解析联系函数性质：二者都是非线性函数，也都是指数归一化函数，可将输入值映射为0到1之间的实数，都能把输出转化成概率分布的形式，在神经网络中常作为激活函数使用。Softmax是Sigmoid的推广：从功能角度看，Softmax函数可视为…...

编程日记 2025/6/21 6:16:28

uni-app x正式支持鸿蒙原生应用开发

DCloud发布的HBuilderX 4.64正式版，支持编译uni-app x项目到鸿蒙平台，实现跨平台开发鸿蒙原生应用。至此，uni-app x 已经完成Android、iOS、鸿蒙、Web、微信小程序等主流平台全覆盖。 uni-app x，是下一代 uni-app，是一…...

编程日记 2025/6/21 4:47:39

【软件推荐——pdf2docx】

pdf2docx Open source Python library for converting PDF to DOCX. https://github.com/ArtifexSoftware/pdf2docx Install pip install pdf2docx使用 from pdf2docx import Converterpdf_file D:\my\c4611_sample_explain.pdf docx_file D:\my\c4611_sample_explain.d…...

编程日记 2025/6/21 5:47:42

HarmonyOS开发组件基础

个人简介 👨‍💻‍个人主页： 魔术师 📖学习方向： 主攻前端方向，正逐渐往全栈发展 🚴个人状态： 研发工程师，现效力于政务服务网事业 🇨🇳人生格言&…...

编程日记 2025/6/21 5:25:35

JMeter 测试工具--组件--简单介绍

目录编辑一、测试计划（Test Plan） 二、线程组（Thread Group） 三、取样器（Sampler） 四、监听器（Listener） 五、逻辑控制器（Logic Controller） 六、断…...

编程日记 2025/5/26 9:42:38

ECPF 简介

ECPF（Embedded CPU Function，嵌入式CPU功能）是NVIDIA BlueField DPU特有的一种功能类型，和PF（Physical Function，物理功能）、VF（Virtual Function，虚拟功能）密…...

编程日记 2025/6/21 4:39:31

【Opencv】canny边缘检测提取中心坐标

采用opencv 对图像中的小球通过canny边缘检测的方式进行提取坐标本文介绍了如何使用OpenCV对图像中的小球进行Canny边缘检测，并通过Zernike矩进行亚像素边缘检测，最终拟合椭圆以获取小球的精确坐标。首先，图像被转换为灰度图并进行高斯平滑…...

编程日记 2025/5/27 6:19:25

C#实现访问远程硬盘（附源码）

在现实场景中，我们经常用到远程桌面功能，而在某些场景下，我们需要使用类似的远程硬盘功能，这样能非常方便地操作对方电脑磁盘的目录、以及传送文件。那么，这样的远程硬盘功能要怎么实现了？ 这次我们将给出…...

编程日记 2025/6/21 5:54:05

AI日报 · 2025年05月16日｜Google DeepMind推出AlphaEvolve，能自主设计高级算法的编码代理

全球AI新闻日报日期：2025年5月16日目录 OpenAI与CoreWeave签署40亿美元新协议，GPT-4.1模型全面推出Google DeepMind推出AlphaEvolve，能自主设计高级算法的编码代理Anthropic律师因Claude模型虚构法律引用被迫道歉Meta推迟旗舰AI模型&quo…...

编程日记 2025/6/21 5:43:40

TCP/IP 知识体系

TCP/IP 知识体系一、TCP/IP 定义全称：Transmission Control Protocol/Internet Protocol（传输控制协议/网际协议）核心概念： 跨网络实现信息传输的协议簇（包含 TCP、IP、FTP、SMTP、UDP 等协议）因 TCP 和…...

编程日记 2025/6/21 5:11:21

记一次缓存填坑省市区级联获取的操作

先说缓存是什么？ 缓存主要是解决高并发，大数据场景下，热点数据快速访问。缓存的原则首先保证数据的准确和最终数据一致，其次是距离用户越近越好，同步越及时越好。再说我们遇到的场景： 接手项目后&#…...

编程日记 2025/6/21 5:01:31

【时空图神经网络交通】相关模型2：STSGCN | 时空同步图卷积网络 | 空间相关性，时间相关性，空间-时间异质性

注：仅学习使用~ 前情提要：【时空图神经网络 & 交通】相关模型1：STGCN | 完全卷积结构，高效的图卷积近似，瓶颈策略 | 时间门控卷积层：GLU（Gated Linear Unit），一种特殊的非线性门控单元目录 STSGCN-2020年1.1 背景1.2 模型1.2.1 问题背景：现有模型存在的问题1.2…...

编程日记 2025/6/21 5:55:24

uniapp实现在线pdf预览以及下载

uniapp实现在线pdf预览以及下载在线预览遇到的问题后端返回一个url地址，我需要将在在页面中渲染出来。因为在浏览器栏上我输入url地址就可以直接预览pdf文件，因此直接的想法是通过web-view组件直接渲染。有什么问题呢？在h5端能够正常渲…...

编程日记 2025/6/21 5:21:30

【Rust闭包】rust语言闭包函数原理用法汇总与应用实战

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…...

编程日记 2025/6/21 4:59:13

裸金属服务器和云服务器之间的差别

裸金属服务器能够直接在硬件上运行，不需要额外的虚化层，让每个应用程序或者是服务都能够在实际的硬件上运行，不需要和其他虚拟服务器来共享资源；而云服务器作为一种虚拟服务器，是通过虚拟化技术为企业提供一个独立的计…...

编程日记 2025/6/21 4:29:42

CentOS系统中升级Python 3.12.2版本

在CentOS系统中升级Python版本是一项常见的操作，尤其是在需要使用较新功能或满足某些软件依赖的情况下。以下是详细的步骤和注意事项，帮助您顺利完成Python版本的升级。 1. 升级Python版本前的准备在开始升级之前，请确保以下几点&#xff1…...

编程日记 2025/6/21 5:13:19

win10-django项目与mysql的基本增删改查

以下都是在win10系统下，django项目的orm框架对本地mysql的表的操作 models.py----->即表对应的类所在的位置在表里新增数据 1.引入表对应的在models.py中的类class 2.在views.py中使用函数：类名.objects.create(字段名值,字段名"值"。。。…...

编程日记 2025/5/27 6:30:11

图像处理：预览并绘制图像细节

前言因为最近在搞毕业论文的事情，要做出一下图像细节对比图，所以我这里写了两个脚本，一个用于框选并同时预览图像放大细节，可显示并返回框选图像的坐标，另外一个是输入框选图像的坐标并将放大的细节放置在图像中&…...

编程日记 2025/6/20 14:36:53

针对面试-微服务篇

1.Spring Cloud 5大组件有哪些? 随着SpringCloudAlibba在国内兴起，我们项目中使用了一些阿里巴巴的组件注册中心/配置中心 Nacos 负载均衡 Ribbon 服务调用 Feign 服务保护 sentinel 服务网关 Gateway 2. 我看你之前也用过nacos、你能说下nacos与eureka的区别?…...

编程日记 2025/6/21 5:30:38

SRS流媒体服务器(5)源码分析之RTMP握手

1.概述学习 RTMP 握手逻辑前，需明确两个核心问题： rtmp协议连接流程阶段rtmp简单握手和复杂握手区别具体可以学习往期博客： RTMP协议分析_rtmp与264的关系-CSDN博客 2.rtmp握手源码分析 2.1 握手入口根据SRS流媒体服务器(4)可知&am…...

编程日记 2025/6/21 5:33:39

线程池（ThreadPoolExecutor）实现原理和源码细节是Java高并发面试和实战开发的重点

一、线程池核心流程图 ----------------- | 提交任务 | submit/execute -----------------|v ----------------- | 判断核心线程数 | < corePoolSize？ -----------------|Yes |Nov v [创建新线程] -----------------| 队列是否满&a…...

编程日记 2025/6/21 5:30:37

C# DataGridView 选中所有复选框

问题描述在程序中尝试选中所有复选框，但出现错误。如果单击顶部的完整选中/释放复选框，同时选中包含复选框的列，则选定区域不会改变。该如何解决？ 上面的图片是点击完整版本之后的。下面是本文的测试代码，函数 dat…...

编程日记 2025/6/21 4:39:31

linux 服务器安装jira-8.22.0和confluence-8.5.21

前提： 下载资源包 z_atlassian-agent-v1.3.1.zip z_atlassian-confluence-8.5.21-x64.zip z_atlassian-jira-software-8.22.0-x64.zip z_jdk-8u131-linux-x64.tar.gz z_postgresql-12.0.tar.gz 可通过作者本身资源库下载一：服务器构建文件夹 mkdir /z …...

编程日记 2025/6/21 4:36:42

【计算机网络】HTTP/1.0,HTTP/1.1,HTTP/2,HTTP/3汇总讲解，清晰表格整理面试重点对比

表格汇总对比维度HTTP/1.0HTTP/1.1HTTP/2HTTP/3传输协议TCPTCPTCP/TLS（默认加密）UDP（基于 QUIC 协议）连接方式短连接（每次请求/响应后断开）引入持久连接（Persistent Connection）&a…...

编程日记 2025/6/21 6:00:05

Go语言之路————并发

Go语言之路————并发前言协程管道SelectsyncWaitGroup锁前言我是一名多年Java开发人员，因为工作需要现在要学习go语言，Go语言之路是一个系列，记录着我从0开始接触Go，到后面能正常完成工作上的业务开发的过程，如…...

编程日记 2025/6/21 5:46:19

python的家教课程管理系统

目录技术栈介绍具体实现截图系统设计研究方法：设计步骤设计流程核心代码部分展示研究方法详细视频演示试验方案论文大纲源码获取/详细视频演示技术栈介绍 Django-SpringBoot-php-Node.js-flask 本课题的研究方法和研究步骤基本合理，难度适中&#xf…...

编程日记 2025/6/1 18:21:48

0x08.Redis 支持事务吗？如何实现？

回答重点 Redis 支持事务，但它的事务与 MySQL 等关系型数据库的事务有着本质区别。MySQL 中的事务严格遵循 ACID 特性，而 Redis 中的事务主要保证的是命令执行的原子性和隔离性，即所有命令在一个不可分割的操作中顺序执行，不会被其他客户端的命令请求所打断。最关键的区…...

编程日记 2025/5/27 4:43:58

互联网应用的安全防线-身份证实名认证api-身份证三要素验证

随着联网技术的普及，互联网应用已深度渗透人们的生活，从购物下单到社交互动，从金融理财到在线教育，每一次的联网互动都隐藏着一个关乎安全与信任的“隐形卫士”-身份证实名认证接口功能。它如同数字世界的“电子身份证”&#xff…...

编程日记 2025/5/29 13:56:51

本地跑通vue-element-admin项目

GitHub - PanJiaChen/vue-element-admin: :tada: A magical vue admin https://panjiachen.github.io/vue-element-admin 通过加速clone到本地 git clone https://gitclone.com/github.com/PanJiaChen/vue-element-admin.git # 进入项目目录 cd vue-element-admin # 安装依赖…...

编程日记 2025/5/31 9:00:24

el-table表格列宽度自适应

需求：表格错误描述列要求按照内容最大值设置宽度；如果没有值则设置最小宽度 <el-table-columnv-else-if"item.prop errorDescription":key"item.code":width"flexColumnWidth(errorDescription, tableConfigA.tableDataA…...

编程日记 2025/5/28 8:04:55

Mysql存储过程(附案例)

文章目录存储过程概述1、基本语法2、变量①、系统变量②、用户自定义变量③、局部变量 3、流程控制语句①、if语句②、参数③、case语句④、while语句⑤、repeat语句⑥、loop语句⑦、cursor游标⑧、handler 4、存储函数存储过程概述存储过程是事先经过编译并存储在数据…...

编程日记 2025/5/29 17:57:03

宇树科技申请 “机器人牌照” 商标，剑指机器人领域新高度

近日，据天眼查信息显示，杭州宇树科技有限公司有了一项重大举动，其申请注册了 “机器人牌照”“机牌”“Robot license”“Robot plate” 等商标，国际分类涉及科学仪器、运输工具、广告销售等多个领域，当前商标状态均为…...

编程日记 2025/6/1 8:10:32

计算机图形学基础--Games101笔记（一）数学基础与光栅化

数学基础向量点乘，叉乘和投影： 插值三角形插值 **重心坐标：**我们通过任意点的重心坐标来插值。 V α V A β V B γ V C V\alpha V_A\beta V_B\gamma V_C VαVAβVBγVC。注意重心坐标没有投影不变性，如果插值三…...

编程日记 2025/6/2 4:25:07

Chrome拓展（Chrome Extension）开发定时任务插件

Chrome扩展定时任务插件开发指南核心实现原理使用Chrome Alarms API实现定时触发通过Service Worker保持后台运行本地存储保存任务配置开发步骤创建manifest文件 (manifest.json) {"manifest_version": 3,"name": "定时任务助手","…...

编程日记 2025/6/3 10:39:15

100G QSFP28 BIDI光模块一览：100G单纤高速传输方案｜易天光通信

目录前言一、易天光通信100G QSFP28 BIDI光模块是什么？ 二、易天光通信100G QSFP28 BIDI光模块采用的关键技术三、100G QSFP28 BIDI光模块的优势四、以“易天光通信100G BIDI 40km ER1光模块”为例五、总结：高效组网，从“减”开始关于…...

编程日记 2025/6/1 16:20:46

每日Prompt：迷你 3D 建筑

提示词 3D Q版迷你风格，一个充满奇趣的迷你星巴克咖啡馆，外观就像一个巨大的外带咖啡杯，还有盖子和吸管。建筑共两层，大大的玻璃窗清晰地展示出内部温馨而精致的设计：木质的家具、温暖的灯光以及忙碌的咖啡师们。街道…...

编程日记 2025/5/22 10:00:41

从另一个视角理解TCP握手、挥手与可靠传输

本文将深入探讨 TCP 协议中三次握手、四次挥手的原理，以及其保证可靠传输的机制。一、三次握手：为何是三次，而非两次？ 建立 TCP 连接的过程犹如一场严谨的 “对话”，需要经过三次握手才能确保通信双方的可靠连接。三…...

编程日记 2025/5/25 12:17:31

SearxNG本地搜索引擎

SearxNG 是一个强大、开源的元搜索引擎（meta search engine），它不会存储用户信息，注重隐私保护，并支持从多个搜索引擎聚合结果，用户可以自建部署，打造一个无广告、可定制的搜索平台。 🔍 什么是 SearxNG？ SearxNG 是 Searx 的一个积极维护的分支（fork），意在改进…...

编程日记 2025/6/1 15:34:20

基于支持向量机（SVM）的P300检测分类

基于支持向量机（SVM）的P300检测分类MATLAB实现，包含数据预处理、特征提取和分类评估流程： %% P300检测分类完整流程（SVM实现） clc; clear; close all;%% 1. 数据加载与模拟生成（实际应用需替换…...

编程日记 2025/5/30 7:08:24

jieba 库简介

核心函数与用法

jieba 的优势

适用场景

相关文章：