当前位置：首页 > news >正文

三十一、基于HMM的词性标注

news 来源：原创 2025/8/23 6:48:52

基于HMM的中文词性标注

1 实验目标

理解HMM模型的原理和基本问题
理解HMM的实现命名实体识别的具体步骤
掌握HMM模型实现命名实体识别的方法

2 实验环境

HMM的中文词性标注的实验环境。

在这里插入图片描述

3 实验步骤

该项目主要由3个代码文件组成，分别为hmm.py、tagging.py和run.py，具体功能如下。

hmm.py：构建HMM类，转移概率矩阵、发射矩阵，以及``viterbi`算法的实现。
taging.py：完成数据预处理，调用HMM算法实现词性的标注。
run.py：主程序入口。

首先创建项目工程目录words_tag，在words_tag目录下创建源码文件hmm.py、tagging.py和run.py，以及目录文件corpus，用于存储renmin.txt数据文件。最终的实验目录结构如下图所示：

在这里插入图片描述

3.1 HMM类的实现

编写HMM类，完成转移概率矩阵、发生矩阵的计算，以及viterbi算法的实现

import numpy as npclass HMM():def build_transition(self, states_n, state_state_n, states):len_status = len(states_n) # 状态的集合，词性列表的长度# 状态转移概率矩阵transition_prob = np.zeros((len_status, len_status),dtype=float)for i in range(len_status):for j in range(len_status):s = states[i] + '_' + states[j]tag_i = states[i]try:# 条件概率transition_prob[i, j] = \state_state_n[s] / (states_n[tag_i] + 1)except KeyError:transition_prob[i, j] = 0.0return transition_probdef build_emission(self, states_n, o_state_n, o_sequence, states):# 发射概率emission_prob = np.zeros((len(states), len(o_sequence)),dtype=float)# 遍历词性列表的长度，计算发生概率for i in range(len(states)):for j in range(len(o_sequence)):s = o_sequence[j] + '/' + states[i]tag_i = states[i]try:# 条件概率emission_prob[i, j] = o_state_n[s] / states_n[tag_i]except KeyError:emission_prob[i, j] = 0return emission_probdef viterbi(self, o_sequence, A, B, pi):# o_sequence:观测序列，A 条件转移概率  B 观测概率  pi:初始状态概率len_status = len(pi)status_record = {i: [[0, 0] for j in range(len(o_sequence))]for i in range(len_status)}for i in range(len(pi)):status_record[i][0][0] = pi[i] * B[i, o_sequence[0]]status_record[i][0][1] = 0# 遍历观测序列，获取最优结果for t in range(1, len(o_sequence)):for i in range(len_status):max = [-1, 0]for j in range(len_status):tmp_prob = status_record[j][t - 1][0] * A[j, i]if tmp_prob > max[0]:max[0] = tmp_probmax[1] = jstatus_record[i][t][0] = max[0] * B[i, o_sequence[t]]status_record[i][t][1] = max[1]# 符合最优的状态序列，即句子的词向组合return self.get_state_sequence(len_status,o_sequence, status_record)#  获取最大概率的状态序列def get_state_sequence(self, len_status, o_seq, status_record):max = 0max_idx = 0t = len(o_seq) - 1for i in range(len_status):if max < status_record[i][t][0]:max = status_record[i][t][0]max_idx = istate_sequence = []  # 栈结构state_sequence.append(max_idx)while (t > 0):max_idx = status_record[max_idx][t][1]state_sequence.append(max_idx)t -= 1state_sequence.reverse()return state_sequence

3.2 PosTagging类的实现

编写PosTagging类，调用HMM算法实现词性标注。

import re
from words_tag.hmm import HMMclass PosTagging():def __init__(self):self.term_tag_n = {}  # 统计单词的次数self.tag_tag_n = {}   # 词性转移统计self.tags_n = {}      # 语料库中词性的数量self.term_list = []   # 观测序列，单词列表self.states = []      # 状态序列，词性列表self.hmm = HMM()      # hmm算法# 数据预处理def process_corpus(self, path):term_list = set()with open(file=path, mode='r', encoding='utf-8') as f:lines = f.readlines()for line in lines:# 处理语料中的前一项时间信息line = re.sub("\d{8}-\d{2}-\d{3}-\d{3}/m? ", "", line)sentences = line.split("/w")# 切分句子sentences = [term + '/w' for term in sentences[:-1]]for sentence in sentences:terms = sentence.split()for i in range(len(terms)):if terms[i] == '':continuetry:self.term_tag_n[terms[i]] += 1except KeyError:self.term_tag_n[terms[i]] = 1word_tag = terms[i].split('/')term_list.add(word_tag[0])try:self.tags_n[word_tag[-1]] += 1except KeyError:self.tags_n[word_tag[-1]] = 1if i == 0:tag_tag = 'Pos' + "_" + word_tag[-1]else:tag_tag = terms[i - 1].split('/')[-1] +\'_' + word_tag[-1]try:self.tag_tag_n[tag_tag] += 1except KeyError:self.tag_tag_n[tag_tag] = 1self.states = list(self.tags_n.keys())self.term_list = list(term_list)self.transition = self.hmm.build_transition(self.tags_n,self.tag_tag_n,self.states)self.emission = self.hmm.build_emission(self.tags_n,self.term_tag_n,self.term_list,self.states)self.build_init_prob()# 初始化概率矩阵def build_init_prob(self):sum_tag = sum(list(self.tag_tag_n.values()))self.pi = [self.tags_n[value] / sum_tag forvalue in self.tags_n]# 预测句子中单词的词性def predict_tag(self, sentence):  # sentence 为分词后的数组形式o_seq = self.convert_sentence(sentence)s_seq = self.hmm.viterbi(o_seq, self.transition,self.emission, self.pi)self.out_put_result(o_seq, s_seq, self.term_list, self.states)# 单词到编号的转换def convert_sentence(self, sentence):return [self.term_list.index(word) for word in sentence]#def out_put_result(self, o_seq, s_seq, term_list, states):for i in range(len(o_seq)):tag = states[s_seq[i]]print(term_list[o_seq[i]] + '/' + tag, end=' ')

3.3 主函数

# coding:utf-8
from words_tag.taging import PosTaggingif __name__ == "__main__":pt = PosTagging()pt.process_corpus("./corpus/renmin.txt")pt.predict_tag(['你', '可以', '永远','相信', '这', '界', '年轻人','。'])

3.4 运行结果

通过执行上述代码，程序在控制台输出的结果如下所示。
你/r 可以/v 永远/d 相信/v 这/r 界/n 年轻人/n 。/w

4 实验小结

在本章中使用HMM模型实现了词向标注的任务。从程序运行结果可以看出，HMM算法能够给出句子中每个单词的词性。

三十一、基于HMM的词性标注

基于HMM的中文词性标注 1 实验目标理解HMM模型的原理和基本问题理解HMM的实现命名实体识别的具体步骤掌握HMM模型实现命名实体识别的方法 2 实验环境 HMM的中文词性标注的实验环境。 3 实验步骤该项目主要由3个代码文件组成，分别为hmm.py、tagging.py和run.p…...

编程日记 2025/8/23 6:48:52

MCUboot 中的 BOOT_SWAP_TYPE_PERM 功能介绍

目录概述 1 Image 数据结构 1.1 Image介绍 1.2 Swap info 2 BOOT_SWAP_TYPE_PERM 功能 2.1 功能定义 2.2 典型工作流程 3 BOOT_SWAP_TYPE_xx的其他功能 3.1 BOOT_SWAP_TYPE_REVERT 3.2 三中模式的比较 4 使用机制 4.1 实现细节 4.2 使用场景 4.3 开发者注意事…...

编程日记 2025/8/21 1:02:08

数学复习笔记 2

前言朋友和我讨论了一个二重积分题，非常有意思。内容非常细致。整理如下： 二重积分题目来源是 1000 上面的 16 题，积分区域是一个偏心圆，偏心圆的圆心在 y 轴上面，偏心圆是关于 y 轴对称的，可以看关于…...

编程日记 2025/8/20 9:07:03

从入门到登峰-嵌入式Tracker定位算法全景之旅 Part 5 ｜地图匹配与轻量 SLAM：HMM/Viterbi 与简化图优化

Part 5 ｜地图匹配与轻量 SLAM：HMM/Viterbi 与简化图优化在本章中，我们将在 ESP32-S3 这样的资源受限平台上，实现地图匹配（Map Matching）和轻量级图优化（Lightweight SLAM）功能。通过隐马尔可夫模型（HMM）+ Viterbi 算法，以及简化的图优化思路，校正定位轨迹，提升…...

编程日记 2025/8/21 1:02:03

Amazon Bedrock Converse API：开启对话式AI新体验

Amazon Bedrock Converse API：开启对话式AI新体验前言在当今人工智能飞速发展的时代，对话式AI已成为众多应用的核心组成部分。从智能客服到智能助手，对话式AI为用户带来了便捷且高效的交互体验。而Amazon Bedrock Converse API的出现&…...

编程日记 2025/8/23 17:18:01

软考系统架构设计师系列知识点之杂项集萃（54）

接前一篇文章：软考系统架构设计师系列知识点之杂项集萃（53） 第87题某银行系统采用Factory Method方法描述其不同账户之间的关系，设计出的类图如下所示。其中与Factory Method的“Creator”角色对应的类是（&#xff…...

编程日记 2025/8/23 8:28:05

第三章 - 软件质量工程体系

1 概述系统工程学的思想系统工程学是为了研究多个子系统构成的整体系统所具有的多种不同目标的相互协调，以期系统功能的最优化、最大限度地发挥系统组成部分的能力而发展起来的一门科学。软件质量工程体系的建立建立和实施质量管理体系的方法确定顾客和其…...

编程日记 2025/8/20 22:23:36

#基础Machine Learning 算法（上）

机器学习算法的分类机器学习算法大致可以分为三类： 监督学习算法 (Supervised Algorithms）:在监督学习训练过程中，可以由训练数据集学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。…...

编程日记 2025/8/21 1:01:53

【YOLO11改进】改进Conv、颈部网络STFEN、以及引入PIOU用于小目标检测！

改进后的整体网络架构改进一：RFD模块（Conv） YOLOv11模型的跨步卷积下采样虽然快速聚合了局部特征，并且实现了较高的计算效率，但其固有的信息压缩机制会导致细粒度特征的不可逆丢失。针对特征保留与计算效率的平衡问题，本文采用RFD模块替换跨步卷积下采样模块。RFD模块通…...

编程日记 2025/8/20 17:21:19

算法之上的权力——空域治理的政治哲学

当AI算法成为空域资源分配的核心机制，我们不得不直面一个核心问题：谁拥有算法，谁控制算法，谁审查算法？调度系统表面上是中立技术，实则承载了深刻的价值判断与权力结构。本章提出“算法即治理”命题&#xf…...

编程日记 2025/8/21 1:01:49

虚幻引擎作者采访

1万小时编程_哔哩哔哩_bilibili https://www.youtube.com/watch?v477qF6QNSvc 提姆斯温尼是一位传奇性的视频游戏程序员，Epic Games 的创始人兼首席执行官。该公司开发了虚幻引擎、堡垒之夜、战争机器、虚幻竞技场等许多开创性和有影响力的视频游戏。他哥哥…...

编程日记 2025/8/21 2:34:45

一、下载CodeBlocks 25.03版本 1.去Sourceforge.net Code::Blocks - Browse /Binaries/25.03/Windows at SourceForge.net 下载codeblocks-25.03mingw-nosetup.zip 2.解压到d盘，并把目录改为codeblocks 二、.下载wxWidgets 3.2.8 1. 去Sourceforge.net wxWidg…...

编程日记 2025/8/21 1:01:26

Python 整理3种查看神经网络结构的方法

1. 网络结构代码 import torch import torch.nn as nn# 定义Actor-Critic模型 class ActorCritic(nn.Module):def __init__(self, state_dim, action_dim):super(ActorCritic, self).__init__()self.actor nn.Sequential(# 全连接层，输入维度为 state_dim&#xf…...

编程日记 2025/8/21 1:01:24

【Bootstrap V4系列】学习入门教程之组件-卡片（Card）

Bootstrap V4系列学习入门教程之组件-卡片（Card） 卡片（Card）一、Example二、Content types 内容类型2.1 Body 主体2.2 Titles, text, and links 标题、文本和链接2.3 Images 图片2.4 List groups 列表组2.5 Kitchen sink 洗涤槽…...

编程日记 2025/8/23 2:30:13

AI Agent开发第50课-机器学习的基础-线性回归如何应用在商业场景中

开篇虽然我们这个系列主讲AI Agent，但是这个系列是一个喂饭式从0到深入的全AI类计算机教程系列，它主要面向的是培养出一个个AI时代的程序员，不是像外部那种很水的只是做做套壳、聊天、绘图小工具的急功近利式教学。而机器学习是现代AI的基础与基石，一些机器学习、深度学习…...

编程日记 2025/8/21 2:29:54

代码随想录第34天：动态规划7（打家劫舍问题：链式、环式、树式房屋）

一、背包问题小结 1.递推公式： 1.问能否能装满背包（或者最多装多少）：dp[j] max(dp[j], dp[j - nums[i]] nums[i]) 2.问装满背包有几种方法：dp[j] dp[j - nums[i]] 3.问背包装满最大价值：dp[j] max…...

编程日记 2025/8/23 18:59:54

网络安全自动化：找准边界才能筑牢安全防线

数字时代，企业每天要面对成千上万的网络攻击。面对庞大的服务器群、分散的团队和长期不重启的设备，很多企业开始思考：哪些安全操作适合交给机器自动处理？哪些必须由人工把关？今天我们就用大白话聊聊这件事。一、这些事…...

编程日记 2025/8/22 7:41:57

ctfshow——web入门361~368

最近练习ssti 当 Web 应用程序使用模板引擎动态生成 HTML 页面或其他类型的输出时，如果用户输入未经过充分验证或转义就被直接嵌入到模板中，就可能发生 SSTI 攻击。攻击者可以利用这个弱点注入恶意模板代码，该代码将在服务器端执行。常见的…...

编程日记 2025/8/22 21:13:17

备忘录模式（Memento Pattern）

🧠 备忘录模式（Memento Pattern） 备忘录模式是行为型设计模式之一。它通过将对象的状态存储在一个备忘录中，允许对象在不暴露其内部结构的情况下，保存和恢复自己的状态。该模式允许将对象的状态保存到备忘录中&#…...

编程日记 2025/8/20 4:09:11

五一假期作业

sub_process.c #include <stdio.h> // 标准输入输出库 #include <pthread.h> // POSIX线程库 #include <sys/ipc.h> // IPC基础定义（如消息队列/共享内存） #include <sys/msg.h> // 消息队列操作相关…...

编程日记 2025/8/21 1:01:13

Multi Agents Collaboration OS：专属多智能体构建—基于业务场景流程构建专属多智能体

背景随着人工智能技术的飞速发展，大型语言模型（LLM）的能力不断突破，单一智能体的能力边界逐渐显现。为了应对日益复杂的现实世界任务，由多个具备不同能力、可以相互协作的智能体组成的多智能体系统 (Multi-Agent Sys…...

编程日记 2025/8/20 20:32:58

数据库的二级索引

二级索引 10.1 二级索引作为额外的键表结构正如第8章提到的，二级索引本质上是包含主键的额外键值对。每个索引通过B树中的键前缀来区分。 type TableDef struct {// 用户定义的部分Name stringTypes []uint32 // 列类型Cols []string // 列名Indexes …...

编程日记 2025/8/21 1:01:11

湖北理元理律师事务所：债务法律服务的民生价值重构

当前我国居民杠杆率达62.3%（央行2023年数据），债务问题已从经济议题演变为社会议题。湖北理元理律师事务所通过构建覆盖咨询、备案、规划的全链条服务，试图在法律框架内探索债务危机的社会化解决方案。民生导向的服务设计 1.阶梯…...

编程日记 2025/8/20 9:08:48

DotNetBrowser 3.2.0 版本发布啦！

包含来自 Chromium 135 的安全修复支持自定义用户代理客户端提示（User Agent Client Hints）在 Avalonia 离屏渲染模式中支持拖放（Drag & Drop）功能 🔗 点击此处了解更多详情。 🆓 免费试用 30 天。...

编程日记 2025/8/20 8:42:28

PyTorch 张量与自动微分操作

笔记 1 张量索引操作 import torch # 下标从左到右从0开始(0->第一个值), 从右到左从-1开始 # data[行下标, 列下标] # data[0轴下标, 1轴下标, 2轴下标] def dm01():# 创建张量torch.manual_seed(0)data torch.randint(low0, high10, size(4, 5))print(data->,…...

编程日记 2025/8/21 1:01:05

C语言数据在内存中的存储详解

在 C 语言的编程世界里，理解数据在内存中的存储方式是非常重要的，它能帮助我们更好地掌握数据类型、内存管理和程序性能优化等内容。今天，我就来给大家详细讲解数据在内存中的存储，包括整数、大小端字节序和浮点数的存储方式&…...

编程日记 2025/8/22 11:48:01

【AI大模型】SpringBoot整合Spring AI 核心组件使用详解

目录一、前言二、Spring AI介绍 2.1 Spring AI介绍 2.2 Spring AI主要特点 2.3 Spring AI核心组件 2.4 Spring AI应用场景 2.5 Spring AI优势 2.5.1 与 Spring 生态无缝集成 2.5.2 模块化设计 2.5.3 简化 AI 集成 2.5.4 支持云原生和分布式计算 2.5.5 安全性保障…...

编程日记 2025/8/21 1:01:00

linux-文件操作

在 Linux 系统中，文件操作与管理是日常使用和系统管理的重要组成部分。下面将详细介绍文件的复制、移动、链接创建，以及文件查找、文本处理、排序、权限管理等相关知识。一、文件的复制在 Linux 里，cp 命令可用于复制文件或目录&#xff…...

编程日记 2025/8/21 12:26:10

丢失的数字 --- 位运算

目录一：题目二：算法原理三：代码实现一：题目题目链接： 268. 丢失的数字 - 力扣（LeetCode） 二：算法原理三：代码实现 class Solution { public:int missingNumb…...

编程日记 2025/8/19 8:53:48

从Rtos到Linux：学习的策略

这里目的只是为了学习，哪天工作需要用上了能更顺利的上手，写文章的目的是为了记录和便于查询。工作的前两年主要是以mcu裸机为主，目的是压缩资源以最少的ram和flash实现最多的功能，后来五年做的东西越来越复杂的跑的rtos&#xff…...

编程日记 2025/8/22 3:05:56

BUUCTF——Mark loves cat

BUUCTF——Mark loves cat 进入靶场简单的看了一下功能点扫一下目录吧扫目录发现一个.git 下一下源码看看找到个flag.php和index.php <?php$flag file_get_contents(/flag);再看看index.php（代码有点长，所以只留了后面有用的） &…...

编程日记 2025/8/20 12:24:41

C/C++滑动窗口算法深度解析与实战指南

C/C滑动窗口算法深度解析与实战指南引言滑动窗口算法是解决数组/字符串连续子序列问题的利器，通过动态调整窗口边界，将暴力解法的O(n)时间复杂度优化至O(n)。本文将系统讲解滑动窗口的核心原理、C/C实现技巧及经典应用场景，助您掌握这一高…...

编程日记 2025/8/19 9:15:27

Webug4.0靶场通关笔记15- 第19关文件上传(畸形文件)

目录第19关文件上传(畸形文件) 1.打开靶场 2.源码分析 （1）客户端源码 （2）服务器源码 3.渗透实战 （1）构造脚本 （2）双写绕过 （3）访问脚本本文通过《…...

编程日记 2025/8/19 6:38:38

黑马点评大总结

8.2.1 短信登录首先是用户提交手机号，后端将生成的验证码以及用户信息存入session中，用户登录时进行拦截并从session中拿出来信息校验，并把用户信息存入ThreadLocal中session共享问题：每个tomcat有自己的一份session&#xff0c…...

编程日记 2025/8/21 23:44:57

LeetCode：返回倒数第k个结点

1、题目描述实现一种算法，找出单向链表中倒数第 k 个节点。返回该节点的值。注意：本题相对原题稍作改动示例： 输入： 1->2->3->4->5 和 k 2 输出： 4 说明： 给定的 k 保证是有效的。 2、…...

编程日记 2025/8/22 7:22:07

zotero pdf中英翻译插件使用

最近发现一个pdf中英翻译的神器zotero-pdf2zh，按照官方安装教程走一遍的时候，发现一些流程不清楚的问题， 此文就是整理一些安装需要的文件以及遇到的问题： 相关文件下载地址 Zotero 是一款免费的、开源的文献管理工具&#xff0…...

编程日记 2025/8/19 3:33:13

Java后端程序员学习前端之CSS

什么是css Cascading Style Sheet 层叠级联样式表表现 (美化网页) 字体，颜色，边距，高度，宽度，背景图片，网页定位，网页浮动.. 发展史 CSS1.0 CSS2.0 DIV(块)CSS，HTML与CSS结构分离…...

编程日记 2025/8/21 7:24:09

MySQL——数据库基础操作

学习MySQL之前，要先配置好相关环境与软件下载，怎么就不展开了：找找网上对应环境下的教程即可目录数据库与MySQL 案例使用 MySQL架构 SQL指令分类储存引擎库操作创建数据库编码集与校验规则校验规则的影响删除数据库数…...

编程日记 2025/8/21 19:37:00

[低代码 + AI] 明道云与 Dify 的三种融合实践方式详解

随着低代码平台和大语言模型工具的不断发展，将企业数据与智能交互能力融合，成为提高办公效率与自动化水平的关键一步。明道云作为一款成熟的低代码平台，Dify 则是一个支持自定义工作流的开源 LLM 应用框架。两者结合，可以实现灵活、高效的智能化业务处理。本文将详解明道…...

编程日记 2025/8/20 20:36:06

湖北理元理律师事务所：规模化债事服务的探索与实践

在个人债务问题日益普遍化的当下，如何通过合法、系统化的服务帮助债务人化解危机，成为法律服务业的重要课题。湖北理元理律师事务所作为经国家司法局批准设立的债事服务机构，其构建的“法律技术金融”服务模式，为债务优化领域提供…...

编程日记 2025/8/21 22:36:50

MySQL JOIN详解：掌握数据关联的核心技能

一、为什么需要JOIN？ 在关系型数据库中，数据通常被拆分到不同的表中以提高存储效率。当我们需要从多个表中组合数据时，JOIN操作就成为了最关键的技能。通过本文，您将全面掌握MySQL中7种JOIN操作，并学会如何在实际场景中…...

编程日记 2025/8/22 22:07:42

深入浅出数据库规范化的三大范式

数据库的“成长之路”：从1NF到3NF的规范化进化在数据库的世界里，关系模式就像一个“孩子”，需要一步步学习“规矩”，才能健康成长。今天，我们就来聊聊数据库的规范化历程——从第一范式（1NF）出…...

编程日记 2025/8/18 20:14:19

精益数据分析（39/126）：SaaS与移动应用商业模式的关键要点剖析

精益数据分析（39/126）：SaaS与移动应用商业模式的关键要点剖析在创业和数据分析的探索之旅中，每一次深入研究不同的商业模式都是一次宝贵的学习机会。今天，依旧怀揣着与大家共同进步的期望，深入解读《精益…...

编程日记 2025/8/17 9:27:49

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】4.3 数据脱敏与安全（模糊处理/掩码技术）

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲 PostgreSQL数据脱敏实战：从模糊处理到动态掩码的全流程解析4.3 数据脱敏与安全：模糊处理与掩码技术深度实践4.3.1 数据脱敏的核心技术体系4.3.1.1 技…...

编程日记 2025/8/20 12:16:10

nginx面试题

nginx 返回状态码413 Nginx 状态码 413 表示“请求实体过大”（Request Entity Too Large），意味着客户端发送的请求体大小超过了服务器允许的限制。解决方法修改 Nginx 配置文件： 找到 Nginx 配置文件，通常位于 /etc…...

编程日记 2025/8/22 6:05:23

flink rocksdb状态说明

文章目录 1.默认情况2.flink中的状态3.RocksDB4.对比情况5.使用6.RocksDB架构7.参考文章8.总结提示：以下主要考虑flink 状态永久存储 rocksdb情况，做一些简单说明 1.默认情况当flink使用rocksdb存储状态时。无论是永久存储还是临时存储都可能会落盘写文件(如果没有配置存储…...

编程日记 2025/8/21 18:11:33