当前位置：首页 > news >正文

敏感词 v0.25.1 新特性之返回匹配词，修正 tags 标签

news 来源：原创 2025/5/6 10:41:02

开源项目

敏感词核心 https://github.com/houbb/sensitive-word

敏感词控台 https://github.com/houbb/sensitive-word-admin

版本特性

大家好，我是老马。

敏感词以前在实现的时候，没有返回底层实际匹配的词，有时候问题排查非常耗费时间。

同时如果使用了一些字符的转换+跳过等，得到了一个匹配词，和定义的匹配词之间不同可能会比较奇怪。

所以 v0.25.1，

问题场景

issues/105

 final String text = "你好敏#!@感$!@词";List<WordTagsDto> wordList = wordBs.findAll(text, WordResultHandlers.wordTags());
[WordTagsDto{word='敏#!@感$!@词', tags=null}]final String text = "你好敏感词";List<WordTagsDto> wordList = wordBs.findAll(text, WordResultHandlers.wordTags());
[WordTagsDto{word='敏感词', tags=[0]}]

PR 111

当然，有小伙伴提交 PR 来解决这个问题

pull/111

但是实际上考虑的场景还是缺失了。

根本原因是什么

最根本的原因在于我们命中了一个词，但是以前只返回命中的文本，比如【敏#!@感$!@词】，但是我们只给【敏感词】定义标签。

如果想穷尽各种匹配后的枚举值，显然是不合理的。

所以我们需要知道匹配的黑名单词到底是什么。

解决方案

黑名单命中词

知道了这个述求，我们在原来的黑名单词处理时，额外返回对应的底层命中词。

内置 tags 调整

public class WordResultHandlerWordTags extends AbstractWordResultHandler<WordTagsDto> {@Overrideprotected WordTagsDto doHandle(IWordResult wordResult, IWordContext wordContext, String originalText) {WordTagsDto dto = new WordTagsDto();// 截取String word = InnerWordCharUtils.getString(originalText.toCharArray(), wordResult);// 获取 tags (使用清理后的单词查找标签)Set<String> wordTags = InnerWordTagUtils.tags(word, wordContext);// 如果为空，则尝试使用命中的敏感词匹配 v0.25.1 bug105if(CollectionUtil.isEmpty(wordTags)) {wordTags = InnerWordTagUtils.tags(wordResult.word(), wordContext);}dto.setWord(word);dto.setTags(wordTags);return dto;}}

为了让结果更加符合直觉，我们最初依然使用匹配的 word 去查看 tags。

如果没有，再用底层命中的黑名单去查询。

测试效果

敏感词 为底层实际的黑名单。

敏---感---词 为忽略字符后命中的返回文本。

@Test
public void testNoiseCharacterInTaggedWords() {Map<String, Set<String>> newHashMap = new HashMap<>();newHashMap.put("敏感词", new HashSet<>(Arrays.asList("政治", "领导人")));// 配置同时启用字符忽略和标签的实例SensitiveWordBs ignoreAndTagWordBs = SensitiveWordBs.newInstance().charIgnore(SensitiveWordCharIgnores.specialChars()) // 启用字符忽略.wordTag(WordTags.map(newHashMap)).init();// 包含噪音字符的敏感词文本final String noisyText = "你好敏---感---词";// 测试同时启用字符忽略和标签的实例（修复前会失败）List<WordTagsDto> fixedWord = ignoreAndTagWordBs.findAll(noisyText, WordResultHandlers.wordTags());Assert.assertEquals(1, fixedWord.size());Assert.assertEquals("敏---感---词", fixedWord.get(0).getWord());Assert.assertNotNull("标签不应为空", fixedWord.get(0).getTags());Assert.assertTrue("应包含'政治'标签", fixedWord.get(0).getTags().contains("政治"));Assert.assertTrue("应包含'领导人'标签", fixedWord.get(0).getTags().contains("领导人"));
}

小结

希望本文对你有所帮助，如果喜欢，欢迎点赞收藏转发一波。

我是老马，期待与你的下次相遇。

敏感词系列

sensitive-word-admin 敏感词控台 v1.2.0 版本开源

sensitive-word-admin v1.3.0 发布如何支持分布式部署？

01-开源敏感词工具入门使用

02-如何实现一个敏感词工具？违禁词实现思路梳理

03-敏感词之 StopWord 停止词优化与特殊符号

04-敏感词之字典瘦身

05-敏感词之 DFA 算法(Trie Tree 算法)详解

06-敏感词(脏词) 如何忽略无意义的字符？达到更好的过滤效果

v0.10.0-脏词分类标签初步支持

v0.11.0-敏感词新特性：忽略无意义的字符，词标签字典

v0.12.0-敏感词/脏词词标签能力进一步增强

v0.13.0-敏感词特性版本发布支持英文单词全词匹配

v0.16.1-敏感词新特性之字典内存资源释放

v0.19.0-敏感词新特性之敏感词单个编辑，不必重复初始化

v0.20.0 敏感词新特性之数字全部匹配，而不是部分匹配

v0.21.0 敏感词新特性之白名单支持单个编辑，修正白名单包含黑名单时的问题

v0.23.0 敏感词新特性之结果条件拓展，内置支持链式+单词标签

v0.24.0 新特性支持标签分类，内置实现多种策略

敏感词 v0.25.1 新特性之返回匹配词，修正 tags 标签

开源项目敏感词核心 https://github.com/houbb/sensitive-word 敏感词控台 https://github.com/houbb/sensitive-word-admin 版本特性大家好，我是老马。敏感词以前在实现的时候，没有返回底层实际匹配的词，有时候问题排查非常耗费时间。 …...

编程日记 2025/5/6 10:41:02

【多线程】六、基于阻塞队列的生产者消费者模型

文章目录 Ⅰ. 生产者消费者模型的概念Ⅱ. 生产者消费者模型的优点Ⅲ. 基于阻塞队列的生产者消费者模型MakefileBlock_queue.hpptask.hpptest.cppⅣ. 如何理解提高了效率❓❓❓Ⅰ. 生产者消费者模型的概念生产者消费者模型是一种常见的并发模式，用于解决生产者和消费者之间…...

编程日记 2025/5/3 11:43:14

解决Flutter项目中Gradle构建Running Gradle task ‘assembleDebug‘卡顿问题的终极指南

解决Flutter项目中Gradle构建Running Gradle task ‘assembleDebug‘卡顿问题的终极指南前言在开发Flutter应用时，经常会遇到Gradle构建卡在Running Gradle task assembleDebug阶段的问题。本文将分享如何通过配置华为云镜像和使用自定义脚本下载依赖的方法解决这些问题。…...

编程日记 2025/5/3 11:40:06

IntelliJ IDEA 保姆级使用教程

文章目录一、创建项目二、创建模块三、创建包四、创建类五、编写代码六、运行代码注意七、IDEA 常见设置1、主题2、字体3、背景色八、IDEA 常用快捷键九、IDEA 常见操作9.1、类操作9.1.1、删除类文件9.1.2、修改类名称注意 9.2、模块操作9.2.1、修改模块名快速查看 9.2.2、导…...

编程日记 2025/5/3 11:36:53

从此，K8S入门0门槛！

前言当你想要入门K8S的时候，往往会被各种概念搞的晕乎乎的，什么API Server，Scheduler，Controller manager，Etcd，Pod，Kubelet，kube-proxy，deployment…… 哪怕你使用了…...

编程日记 2025/5/3 11:36:51

vue2和vue3组件如何监听子组件生命周期

在 Vue 中监听子组件的生命周期是一个常见需求，但 Vue 官方并不直接推荐这么做，因为这会打破组件的封装性。但在**一些特定场景（如自动化监控、封装逻辑复用）**下仍是有意义的。下面分别讲解 Vue 2 和 Vue 3 中如何监听子组件的…...

编程日记 2025/5/3 11:35:46

如何用Python绘制两个圆之间的8条公切线

引言在几何学中，两圆之间存在多种类型的公共切线。本文将通过Python代码演示如何绘制两个同心圆（半径分别为1.0和3.0）之间的8条公切线，并解释相关数学原理与代码实现细节。环境准备 import matplotlib.pyplot as plt import …...

编程日记 2025/5/3 11:33:41

会话历史管理——持久化

需求场景推荐方案理由中小企业级应用，需复杂查询MySQL/PostgreSQL事务支持完善，开发成本低海量数据高并发写入Cassandra水平扩展性强，写入性能高非结构化历史数据快速检索MongoDB灵活存储，内置全文检索本…...

编程日记 2025/5/6 10:39:39

C++之IO流

目录一、C语言的输入与输出二、流是什么三、CIO流 3.1、C标准IO流 3.2、C文件IO流四、stringstream的简单介绍一、C语言的输入与输出 C语言中我们用到的最频繁的输入输出方式就是scanf ()与printf()。 scanf(): 从标准输入设备(键盘)读取数据，并将值存放…...

编程日记 2025/5/3 11:29:22

maven install时报错：【无效的目标发行版: 17】

在很多次运行项目前的maven install时，我总是遇到无效的目标发行版: 17的问题，解决过之后就又忘了怎么解决，浪费了很多时间。。今天把他总结一下，如图报错： 解决方法注意： 如果只想解决这个项目的问题…...

编程日记 2025/5/3 11:29:21

开闭原则（OCP）

非常棒的问题！🔍 开闭原则（OCP, Open/Closed Principle）是软件设计的核心原则之一，下面我将从定义、意义、优劣分析、Python示例和结构图五个方面完整解析给你。 🧠 什么是开闭原则？ 开闭原则&a…...

编程日记 2025/5/3 11:28:19

FHQ Treap

按值分裂 /* 按值x分裂Treap：将树u分裂为<x的树l和>x的树r */ void split(int u, int x, int& l, int& r) {if (!u) { l r 0; return; } // 空树直接返回if (t[u].val < x) { // 当前节点值<x，应放入左树l u; …...

编程日记 2025/5/3 11:28:18

题解传送门

做个算法分类，这样找特定算法的题目就方便多了23333 竞赛工具【竞赛工具】——sublime text4 xcpc竞赛向配置教程【竞赛工具】——vscode xcpc竞赛向配置教程算法讲解 [算法学习]——通过RMQ与dfs序实现O(1)求LCA（含封装板子） [算法…...

编程日记 2025/5/3 11:28:17

ASP.NET MVC 入门与提高指南七

39. 量子安全通信与 MVC 应用保障 39.1 量子安全通信概念量子安全通信基于量子力学原理，利用量子态的特性（如量子纠缠、量子不可克隆定理）来实现信息的安全传输。与传统加密方式相比，量子安全通信能够提供更高的安全性&#xf…...

编程日记 2025/5/3 11:28:15

Linux工作台文件操作命令全流程解析

全文目录 1 确认当前工作路径2 导航与目录管理2.1 关键命令2.2 逻辑衔接 3 文件基础操作3.1 创建 → 备份 → 重命名 → 清理3.2 文件查看和编辑3.3 文件链接3.4 文件diff 4 文件权限与所有权管理5 文件打包与归档6 参考文献写在前面 shell是一种命令解释器，它提供…...

编程日记 2025/5/3 11:27:10

spring security自定义登出页面文档 00 - spring security框架使用01 - spring security自定义登录页面02 - spring security基于配置文件及内存的账号密码自定义登出页面调整配置类WebSecurityConfig.java package xin.yangshuai.springsecurity03.config;import org.…...

编程日记 2025/5/3 11:27:10

unity webgl netbox2本地部署打开运行

unity webgl netbox2本地部署打开运行复制NetBox2.exe和index.html 在同一级目录下使用，双击netbox2.exe。下载文件下载地址： netbox2.exe...

编程日记 2025/5/3 11:25:05

华为OD机试真题 Java 实现【水库蓄水问题】

前言博主刷的华为机考题，代码仅供参考，因为没有后台数据，可能有没考虑到的情况如果感觉对你有帮助，请点点关注点点赞吧，谢谢你！ 题目描述思路 1. 其实就是找一个最大的水坑，两个…...

编程日记 2025/5/3 11:22:58

A2A 协议与 MCP 协议：智能代理生态系统的双轮驱动

本文将探讨A2A 协议与MCP 协议的特点、区别及协同作用，帮助开发者和产品设计师更好地理解这一新兴技术领域。 A2A 协议：打造代理间的沟通桥梁 A2A 协议的核心概念 A2A 协议是由 Google 与 50 多家行业合作伙伴共同开发的开放协议，旨在实现…...

编程日记 2025/5/3 11:18:45

使用AI-01开发板和开源后端服务搭建整套小智服务系统

使用AI-01开发板和开源后端服务搭建整套小智服务系统四博智联的AI-01开发板，基于乐鑫ESP32-C2 专属定制的离线语音模组，能够完美的接入小智AI服务平台，再使用开源后端服务，就能够搭建一个完整的小智AI服务系统了。下面是具体…...

编程日记 2025/5/3 11:18:44

第三章权限维持-linux权限维持-隐藏

简介 ssh rootenv.xj.edisec.net -p 密码 xjqxwcyc 1.黑客隐藏的隐藏的文件完整路径md5 2.黑客隐藏的文件反弹shell的ip端口 {ip:port} 3.黑客提权所用的命令完整路径的md5 flag{md5} 4.黑客尝试注入恶意代码的工具完整路径md5 5.使用命令运行 ./x.xx 执行该文件将查询的…...

编程日记 2025/5/3 11:17:41

Linux操作系统系统编程：x86-64架构下的系统调用

在Linux操作系统里，系统编程如同精密仪器的核心部件，掌控着系统运行的关键。而 x86-64 架构下的系统调用，更是连接用户空间程序与内核的关键桥梁。你可以把用户空间的程序想象成一个个 “工匠”，它们有着各式各样的需求&#xff0…...

编程日记 2025/5/3 11:17:39

linux下如何在一个录目中将一个文件复制到另一个录目，删除目录

一.文件复制到另一个目录在Linux系统中，要将一个文件从一个目录复制到另一个目录，你可以使用cp命令。下面是一些基本的用法： 1. 使用绝对路径如果你知道文件的绝对路径和目标目录的绝对路径，你可以直接使用cp命令。例如&…...

编程日记 2025/5/3 11:15:30

用Selenium开启自动化网页交互与数据抓取之旅

用Selenium开启自动化网页交互与数据抓取之旅在当今数字化时代，数据的价值不言而喻，而网页作为海量数据的重要载体，如何高效获取其中的关键信息成为众多开发者和数据爱好者关注的焦点。Selenium这一强大工具，为我们打开了自动化…...

编程日记 2025/5/3 11:14:28

RabbitMQ的交换机

一、三种交换机模式核心区别对比特性广播模式（Fanout）路由模式（Direct）主题模式（Topic）路由规则无条件复制到所有绑定队列精确匹配 Routing Key通配符匹配…...

编程日记 2025/5/3 11:14:27

多模态大语言模型arxiv论文略读（五十五）

MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation ➡️ 论文标题：MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation ➡️ 论文作者：Kunpeng Song, Yizhe Zhu, Bingchen Liu, Qing Yan, Ahmed Elgammal, Xiao…...

编程日记 2025/5/3 11:12:21

TMI投稿指南(四)：投稿相关网址

TMI官网：https://ieeetmi.org/ 模版选择器：选择合适的latex模版 IEEE-Template Selector 评审过程状态查看：ScholarOne Manuscripts AE assigns reviewers：副编辑已经开始选择和邀请审稿人，但同意审稿…...

编程日记 2025/5/3 11:11:18

Oracle无法正常OPEN(三）

在Oracle数据库中，如果几个数据文件丢失，导致数据库无法启动，报错“ORA-01157: cannot identify/lock data file 2 - see DBWR trace file”，如果没有物理备份的情况下，位于丢失数据文件的数据是无法找回的&#xff0c…...

编程日记 2025/5/3 11:10:16

SQL语句练习自学SQL网在查询中使用表达式统计

目录 Day 9 在查询中使用表达式 Day 10 在查询中进行统计聚合函数 Day 11 在查询中进行统计 HAVING关键字 Day12 查询执行顺序 Day 9 在查询中使用表达式 SELECT id , Title , (International_salesDomestic_sales)/1000000 AS International_sales FROM moviesLEFT JOIN …...

编程日记 2025/5/3 11:09:12

当LLM遇上Agent：AI三大流派的“复仇者联盟”

你一定听说过ChatGPT和DeepSeek，也知道它们背后的LLM（大语言模型）有多牛——能写诗、写代码、甚至假装人类。但如果你以为这就是AI的极限，那你就too young too simple了！ 最近，**Agent（智能体&a…...

编程日记 2025/5/3 11:08:10

模拟开发授权平台

这次只是实现应用的curd和公私钥的校验以及第三方的通知dmeo项目，大家可以拓开视野来编写进入主题项目链接：桌角的眼镜/develop_auth_platform 直接下拉并运行就行回调应用代码在test包中回调应用测试代码 package mainimport ("encoding/…...

编程日记 2025/5/3 11:06:01

python数据分析（八）：Pandas 文本数据处理

Pandas 文本数据处理全面指南 1. 引言在数据分析中，文本数据是常见的数据类型之一。Pandas 提供了强大的字符串处理方法，可以方便地对文本数据进行各种操作。本文将详细介绍 Pandas 中的文本处理功能，包括字符串连接(cat)、分割(split)、替…...

编程日记 2025/5/3 11:04:57

Spring AI：简化人工智能功能应用程序开发

Spring AI：简化人工智能功能应用程序开发一、项目简介 Spring AI 项目致力于简化包含人工智能功能的应用程序的开发工作，并且不会引入不必要的复杂性。该项目从著名的 Python 项目（如 LangChain 和 LlamaIndex）中获取灵感&#…...

编程日记 2025/5/3 11:04:56

【算法基础】三指针排序算法 - JAVA

一、基础概念 1.1 什么是三指针排序三指针排序是一种特殊的分区排序算法，通过使用三个指针同时操作数组，将元素按照特定规则进行分类和排序。这种算法在处理包含有限种类值的数组时表现出色，最经典的应用是荷兰国旗问题（Dutch …...

编程日记 2025/5/3 11:03:52

从实列中学习linux shell9 如何确认服务器反应迟钝是因为cpu还是硬盘io 到底是那个程序引起的。cpu负载多高算高

在 Linux 系统中，Load Average（平均负载）是衡量系统整体压力的关键指标，但它本身没有绝对的“高/低”阈值，需要结合 CPU 核心数和其他性能指标综合分析。以下是具体判断方法：一、Load Average 的基本含义定义：Load Average 表示单位时间内处于可运行状态（R）和不…...

编程日记 2025/5/3 11:03:50

[面试]SoC验证工程师面试常见问题（三）

SoC验证工程师面试常见问题（三）在 SoC 验证工程师的面试中，面试官可能会要求候选人现场编写 SystemVerilog、UVM (Universal Verification Methodology) 或 SystemC 代码，以评估其编程能力、语言掌握程度以及解决实际验证问题的能力。这种随机抽题写代码的环节通常…...

编程日记 2025/5/3 10:59:41

架构进阶：深入学习企业总体架构规划（Oracle 战略专家培训课件）【附全文阅读】

本文主要讨论了企业总体技术架构规划的重要性与实施建议。针对Oracle战略专家培训课件中的内容，文章强调了行业面临的挑战及现状分析、总体技术架构探讨、SOA集成解决方案讨论与问题解答等方面。文章指出，为了消除信息孤岛、强化应用系统，需要…...

编程日记 2025/5/3 10:58:35

stm32教程：软件I2C通信协议代码模板提供

早上好啊大伙，这一期也是stm32的基础教学，这一期说的是 —— I2C通信协议。文章目录一、I2C协议概述二、物理层特性硬件结构速率模式三、协议层机制起始与停止信号数据帧结构应答机制时钟同步与仲裁四、通信协议1. 起始信号（START Condit…...

编程日记 2025/5/3 10:55:28

Java零基础入门Day4：数组与二维数组详解

一、为什么需要数组？ 当程序需要处理批量同类型数据时，使用多个变量存储会非常繁琐。例如存储70个学生姓名时，需定义70个变量，而数组可以简化这一过程，提高代码可维护性。示例：变量存储的弊端 String n…...

编程日记 2025/5/3 10:53:22

一条 SQL 查询语句是如何执行的（MySQL）

第一讲：一条 SQL 查询语句是如何执行的总览图示 MySQL 查询的执行流程可以大致分为以下步骤（如图所示）： 连接器（Connection）查询缓存（Query Cache，MySQL 8.0 已废弃）…...

编程日记 2025/5/3 10:53:19

IntelliJ IDEA

文章目录一、集成开发环境(IDE, Integrated Development Environment)二、IntelliJ IDEAIDEA 安装三、IDEA 管理 Java 程序的结构四、IDEA 开发 HelloWorld 程序一、集成开发环境(IDE, Integrated Development Environment) 把代码编写，编译，执行等多…...

编程日记 2025/5/3 10:52:17

详细说明StandardCopyOption.REPLACE_EXISTING参数的作用和使用方法

StandardCopyOption.REPLACE_EXISTING 是 Java java.nio.file.StandardCopyOption 枚举类中的一个常量，它主要用于在文件复制或移动操作中处理目标文件已存在的情况。下面详细介绍其作用和使用方法。作用在使用 java.nio.file.Files 类的 copy() 或 move() 方法时…...

编程日记 2025/5/3 10:52:16

Linux 下使用tcpdump进行网络分析原

简介 tcpdump 是一个命令行数据包分析器，可实时捕获和检查网络流量。它通常用于网络故障排除、性能分析和安全监控。安装 Debian/Ubuntu sudo apt update && sudo apt install tcpdump -yCentOS/RHEL sudo yum install tcpdump -ymacOS brew install…...

编程日记 2025/5/3 10:52:16

人车交叉作业防撞系统介绍

一、技术原理与核心功能 UWB脉冲测距技术系统基于UWB技术，通过纳秒级非正弦窄脉冲（脉冲宽度0.21.5ns）实现实时测距，精度可达1030厘米。工作原理：人员佩戴防撞标签（A）与车载基站（B&…...

编程日记 2025/5/3 10:52:15

移动端开发中设备、分辨率、浏览器兼容性问题

以下是针对移动端开发中设备、分辨率、浏览器兼容性问题的系统化解决方案，按开发流程和技术维度拆解，形成可落地的执行步骤： 一、基础环境适配：从「起点」杜绝兼容性隐患 1. Viewport 元标签标准化 <meta name"viewpor…...

编程日记 2025/5/3 10:51:13

Git 基本操作（二）

目录撤销修改操作情况一情况二情况三删除文件升级git 撤销修改操作在日常编码过程中，有些时候，我们可能写着写着发现目前的版本的代码越写越挫，越不符合标准，想让我们当前的文件去恢复到上一次提交的版本…...

编程日记 2025/5/3 10:48:04

多模态大模型轻量化探索-开源SmolVLM模型架构、数据策略及其衍生物PDF解析模型SmolDocling

在《多模态大模型轻量化探索-视觉大模型SAM的视觉编码器》介绍到，缩小视觉编码器的尺寸，能够有效的降低多模态大模型的参数量。再来看一个整体的工作，从视觉侧和语言模型侧综合考量模型参数量的平衡模式，进一步降低参数量&#xf…...

编程日记 2025/5/3 10:47:02

gRPC学习笔记记录以及整合gin开发

gprc基础前置环境准备 grpc下载项目目录下执行 go get google.golang.org/grpclatestProtocol Buffers v3 https://github.com/protocolbuffers/protobuf/releases/download/v3.20.1/protoc-3.20.1-linux-x86_64.zip go语言插件： go install google.golang.…...

编程日记 2025/5/3 10:47:01