当前位置：首页 > news >正文

【Lucene】搜索引擎和文档相关性评分 BM25 算法的工作原理

news 来源：原创 2025/7/26 19:30:57

BM25 算法的工作原理：

什么是 BM25 算法？

BM25 是一种流行的文本检索算法，广泛用于搜索引擎和文档相关性评分。它基于概率检索模型，旨在评估查询和文档之间的相关性。

核心公式

BM25 的公式如下：

$\text{score}(D, Q) = \sum_{t \in Q} IDF(t) \cdot \frac{f(t, D) \cdot (k_1 + 1)}{f(t, D) + k_1 \cdot (1 - b + b \cdot \frac{|D|}{\text{avgdl}})}$

$I D F (t)$ ：词项 ( t ) 的逆文档频率。
$f (t, D)$ ：词项 ( t ) 在文档 ( D ) 中的频率。
$∣ D ∣$ ：文档 ( D ) 的长度。
$\text{avgdl}$ ：所有文档的平均长度。
$k_1$ ：控制词项饱和度的参数，通常取 ( 1.2 )。
$b$ ：长度归一化参数，通常取 ( 0.75 )。

IDF 的计算

$\log \frac{N - n_t + 0.5}{n_t + 0.5} + 1$

( N )：文档总数。
( n_t )：包含词 ( t ) 的文档数量。

代码实现

以下是 BM25 的简单 Python 实现：

import mathclass BM25:def __init__(self, documents, k1=1.2, b=0.75):self.documents = documentsself.k1 = k1self.b = bself.doc_lengths = [len(doc) for doc in documents]self.avgdl = sum(self.doc_lengths) / len(self.doc_lengths)self.inverted_index = self._build_inverted_index()def _build_inverted_index(self):index = {}for i, doc in enumerate(self.documents):for word in set(doc):index.setdefault(word, []).append(i)return indexdef idf(self, term):n_t = len(self.inverted_index.get(term, []))return math.log((len(self.documents) - n_t + 0.5) / (n_t + 0.5) + 1)def score(self, query, doc_index):doc = self.documents[doc_index]score = 0for term in query:if term in doc:f = doc.count(term)idf = self.idf(term)score += idf * ((f * (self.k1 + 1)) / (f + self.k1 * (1 - self.b + self.b * len(doc) / self.avgdl)))return score# 示例文档
documents = [["hello", "world", "search", "engine"],["hello", "search", "bm25", "algorithm"],
]
bm25 = BM25(documents)# 查询得分
query = ["hello", "bm25"]
print(bm25.score(query, 0))  # 文档 0 的相关性得分
print(bm25.score(query, 1))  # 文档 1 的相关性得分

图示

词频与文档长度归一化
- 用柱状图表示不同文档中词频和长度的对比，展示 BM25 如何平衡短文档和长文档。
IDF 权重
- 用折线图展示常见词和稀有词的 IDF 值，突出稀有词对相关性的重要贡献。

为细化 BM25 相关图表，以下是具体建议和生成方式：

图表 1: 词频与文档长度归一化

目标：展示 BM25 如何平衡短文档和长文档的评分。

图类型：条形图。
数据结构：每个文档的总词频与长度。
关键点：对比文档长度对评分的影响。

示例生成代码（使用 Matplotlib）：

import matplotlib.pyplot as plt# 示例文档数据
doc_lengths = [4, 4, 6, 10]  # 文档长度
term_frequencies = [2, 3, 4, 5]  # 查询词的频率# 绘图
plt.bar(range(len(doc_lengths)), doc_lengths, label="Document Lengths", alpha=0.6)
plt.bar(range(len(term_frequencies)), term_frequencies, label="Term Frequencies", alpha=0.6)
plt.xlabel("Documents")
plt.ylabel("Values")
plt.legend()
plt.title("Term Frequency vs Document Length")
plt.show()

图表 2: 逆文档频率 (IDF) 权重

目标：展示 IDF 在常见词与稀有词上的差异。

图类型：折线图。
数据结构：不同词项的文档频率与其对应的 IDF。
关键点：稀有词拥有更高权重，帮助区分相关性。

示例生成代码：

import numpy as np# 示例词项数据
doc_count = 100  # 总文档数
term_doc_freq = np.array([1, 5, 20, 50, 90])  # 包含查询词的文档数
idf_values = np.log((doc_count - term_doc_freq + 0.5) / (term_doc_freq + 0.5) + 1)# 绘图
plt.plot(term_doc_freq, idf_values, marker='o')
plt.xlabel("Term Document Frequency")
plt.ylabel("IDF Value")
plt.title("IDF Curve")
plt.grid()
plt.show()

图表 3: BM25 综合评分变化

目标：展示 BM25 参数 (k_1) 和 (b) 的调整对评分的影响。

图类型：3D 表面图或热图。
数据结构：BM25 分数在不同 (k_1) 和 (b) 参数组合下的变化。
关键点：参数对相关性评分的微调作用。

在这里插入图片描述

示例生成代码：

from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt
import numpy as np# 参数网格
k1 = np.linspace(0.5, 2.0, 50)
b = np.linspace(0.0, 1.0, 50)
k1, b = np.meshgrid(k1, b)
scores = (k1 + 1) / (k1 * (1 - b + b * 0.5) + 1)# 绘制 3D 图
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.plot_surface(k1, b, scores, cmap='viridis')
ax.set_xlabel("k1")
ax.set_ylabel("b")
ax.set_zlabel("Score")
ax.set_title("BM25 Scoring Surface")
plt.show()

以上图表可以帮助直观理解 BM25 的重要概念。

ref：https://emschwartz.me/understanding-the-bm25-full-text-search-algorithm/?continueFlag=1f3c7fda32b1a504d3118d71fe55ae8f

【Lucene】搜索引擎和文档相关性评分 BM25 算法的工作原理

BM25 算法的工作原理： 什么是 BM25 算法？ BM25 是一种流行的文本检索算法，广泛用于搜索引擎和文档相关性评分。它基于概率检索模型，旨在评估查询和文档之间的相关性。核心公式 BM25 的公式如下： score ( D , Q ) …...

编程日记 2025/7/26 19:30:57

嵌入式Linux——文件类型

目录普通文件目录文件目录文件的权限与管理字符设备文件和块设备文件符号链接文件查看符号链接删除符号链接修改符号链接管道文件匿名管道（Anonymous Pipe） 匿名管道的特点： 使用示例： 命名管道&#xff08…...

编程日记 2025/7/26 19:20:48

ES6 模块化语法

目录 ES6 模块化语法分别暴露统一暴露编辑默认暴露 ES6 模块化引入方式 ES6 模块化语法模块功能主要由两个命令构成：export 和 import。 ⚫ export 命令用于规定模块的对外接口（哪些数据需要暴露，就在数据前面加上关键字即可…...

编程日记 2025/7/26 19:22:45

Gradio学习笔记记录

安装指令：pip install gradio方法介绍 Interface》用于构建一些简单的页面，可以直接用这个指令搞定形式》接收三个参数分别为处理函数、输入、输出三部分，呈现一般左/上为输入，右或下为输出 fn：将用户界面 &#xff0…...

编程日记 2025/7/26 19:30:05

Node.js的下载与安装(支持各种新旧版本）

目录 1、node官网 2、node软件下载 3、软件安装（完整版） 1、node官网 Node.js — Download Node.jshttps://nodejs.org/en/download/package-manager 2、node软件下载按照下图进行选择node版本（真心推荐16/18，而是尽量是LTS…...

编程日记 2025/7/26 19:22:07

数据库和缓存的数据一致性 -20241124

问题描述一致性缓存中有数据，缓存的数据值数据库中的值缓存中本没有数据，数据库中的值最新值（有请求查询数据库时，会将数据写入缓存，则变为上面的“一致”状态） “数据不一致”： 缓存的数据值…...

编程日记 2025/7/24 23:08:15

【计算机网络】多路转接之select

系统提供select()来实现多路转接 IO 等拷贝 -> select()只负责等待，可以一次等待多个fd select()本身没有数据拷贝的能力，拷贝要read()/write()来完成一、select的使用 int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exc…...

编程日记 2025/7/15 21:23:13

Linux命令思维导图

看到一个很不错的Linux命令思维导图，用机器翻译了一下，建议收藏备用。附上英文版：...

编程日记 2025/7/2 13:08:34

自然语言处理（词嵌入和词向量的使用）

一、实验目的 1.了解词嵌入和词向量的基本概念及其在自然语言处理中的应用。 2.掌握使用One-Hot编码和Word2Vec模型构建词向量的方法。 3.掌握Doc2Vec模型构建文档向量的方法以及如何计算文档向量之间的相似度。二、实验内容 （1）使用One-Hot编码构…...

编程日记 2025/7/24 12:39:33

量子感知机

神经网络类似于人类大脑，是模拟生物神经网络进行信息处理的一种数学模型。它能解决分类、回归等问题，是机器学习的重要组成部分。量子神经网络是将量子理论与神经网络相结合而产生的一种新型计算模式。1995年美国路易斯安那州立大学KAK教授首次提出了量子…...

编程日记 2025/7/25 10:33:19

[HarmonyOS] 解决HMRouter路由地址无法抽取的问题

解决HMRouter路由地址无法抽取的问题背景最近开始学习HarmonyOS开发，搭建项目的时候采用了 HMRouter 路由框架，在项目里使用到路由跳转，官方链接在这： https://gitee.com/hadss/hmrouter/blob/master/HMRouterLibrary/README…...

编程日记 2025/7/25 4:33:05

七天掌握SQL---＞第四天：事务处理与并发控制

# 7天掌握SQL - 第四天：事务处理与并发控制 ## 目标 - 学习事务处理的基本概念，如ACID特性。 - 掌握并发控制的方法，如锁机制、事务隔离级别等。 - 通过实际案例练习事务处理和并发控制。 ## 1. 事务处理的基本概念事务处理是数据库管理系…...

编程日记 2025/7/26 5:31:54

Docker学习笔记整理

这周不知道写点啥内容做个分享，但还是秉持学会分享的精神，粗略放一些Docker相关的问题和解答吧，后面有机会再补补再深挖深挖o(>﹏<)o 1. 容器VS虚拟机虚拟机是一种带环境安装的解决方案（资源完全隔离）,有以下缺…...

编程日记 2025/7/22 9:04:50

PIMPL模式和D指针

一、PIMPL模式概念： Pimpl（pointer to implementation, 指向实现的指针）是一种用来对“类的接口与实现”进行解耦合的方法。就是将真正的实现细节的Implementor从类定义的头文件中分离出去，公有类通过一个私有指针指向隐藏的实现类…...

编程日记 2025/7/22 19:51:57

Linux入门系列--文件与目录

一、介绍在Linux中，有着一句话，叫做：一切皆文件。也就是任何东西都是以文件的形式存储的。目录结构 bin：全程binary，含义是二进制。该目录中存储的都是一些二进制文件。我们学过C/C，其实也都知道机器能…...

编程日记 2025/7/22 7:48:36

论文阅读——Intrusion detection systems using longshort‑term memory (LSTM)

一.基本信息论文名称：Intrusion detection systems using longshort‑term memory (LSTM) 中文翻译：基于长短期记忆(LSTM)的入侵检测系统 DOI：10.1186/s40537-021-00448-4 作者：FatimaEzzahra Laghrissi1* , Samira Douzi2*, Kha…...

编程日记 2025/7/26 19:23:24

平面点排序（结构体专题)

(1) 题目描述平面上有n个点，坐标均为整数。请按与坐标原点（0,0）距离的远近将所有点排序输出。可以自己写排序函数，也可以用qsort库函数排序。输入描述输入有两行，第一行是整数n（1<n<10)&#xff…...

编程日记 2025/7/26 10:53:15

QT 实现仿制网络调试器(未实现连接唯一性) QT5.12.3环境 C++实现

网络调试助手： 提前准备：在编写代码前，要在.pro工程文件中，添加network模块。服务端： 代码： widget.h #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QtWidgets> #inclu…...

编程日记 2025/7/24 4:33:44

搜索引擎中广泛使用的文档排序算法——BM25（Best Matching 25）

在搜索场景中，BM25能计算每个文档与查询的匹配度，从中找出最相关的文档，并按相关性高低排序展示。要理解BM25，需要掌握以下几个关键概念： 1. 词频（Term Frequency, TF）：某关键词在文…...

编程日记 2025/7/26 1:27:45

文件上传需要考虑的安全性问题及解决方案

恶意文件上传：攻击者可能上传包含恶意代码的文件，如病毒、木马等，这些文件被服务器执行后，可能完全控制服务器或破坏服务器安全。为避免这种情况，应实施严格的文件验证策略，只允许特定的安全文件类型上传&a…...

编程日记 2025/7/24 23:36:22

论文笔记：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

1. 挑战/问题（Challenges/Issues）： 这篇论文探讨了大型预训练语言模型在处理知识密集型自然语言处理（NLP）任务时面临的挑战。尽管这些模型在参数中存储了大量事实知识，并在微调后能够在下游NLP任务中取得很…...

编程日记 2025/7/26 19:27:52

Web 网络安全

一. 浏览器系统安全方面，使用多进程方案，而js主线程运行在渲染进程中，渲染进程时运行在沙箱中的，没有对本地OS文件的直接读写权限，所以需要通过IPC与浏览器主线程通信，才可以获取cookie等信息，这…...

编程日记 2025/7/20 9:12:25

Android Gradle 插件和 Android Studio 兼容性

Android Gradle 插件和 Android Studio 兼容性 Android Studio 版本所需的 AGP 版本Ladybug 2024.2.13.2-8.7Ladybug 2024.2.13.2-8.7Koala 2024.1.12024.2.1Jellyfish 2023.3.12024.2.1Iguana 2023.2.13.2-8.3Hedgehog 2023.1.13.2-8.2Giraffe 2022.3.13.2-8.1Flamingo 2022.…...

编程日记 2025/7/25 7:11:18

C++设计模式-策略模式-StrategyMethod

动机（Motivation） 在软件构建过程中，某些对象使用的算法可能多种多样，经常改变，如果将这些算法都编码到对象中，将会使对象变得异常复杂；而且有时候支持不使用的算法也是一个性能负担。如何在运…...

编程日记 2025/7/26 19:20:07

【H2O2|全栈】JS案例章节（四）——使用原型的JS工厂模式

目录前言开篇语准备工作需求工厂模式概念优点添加元素的新方法分析案例 HTML代码 JS实现结束语前言开篇语本系列为短章节，单独讲述部分特殊重点案例，本期讲述使用原型来实现JS的工厂模式。与HTML和CSS相比，JS加…...

编程日记 2025/7/22 15:29:02

.NET9 - 新功能体验（三）

书接上回，我们继续来聊聊.NET9和C#13带来的新变化。 01、Linq新方法 CountBy 和 AggregateBy 引入了新的方法 CountBy 和 AggregateBy后，可以在不经过GroupBy 分配中间分组的情况下快速完成复杂的聚合操作，同时方法命名也非常直观&#xff0…...

编程日记 2025/7/24 13:23:31

论文概览 |《Journal of Urban Technology》2024 Vol.31 Issue.2

本次给大家整理的是《Journal of Urban Technology》杂志2024年第31卷第2期的论文的题目和摘要，一共包括6篇SCI论文！ 论文1 Aerial Video Surveillance in a Megacity: A Case Study in Santiago, Chile 大城市中的空中视频监控：智利圣地亚哥…...

编程日记 2025/7/26 13:35:05

Makefile 之自动化变量

作用范围只在这条规则以及连带规则中，所以其值也只在作用范围内有效。而不会影响规则链以外的全局变量的值。 "$" 表示目标的集合，就像一个数组，"$"依次取出目标，并执于命令。 "$<"和"$&qu…...

编程日记 2025/7/22 20:22:07

【C语言】const修饰符在指针变量中的作用详解

博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C语言文章目录 💯前言💯指针与解引用：基础概念1. 指针变量2. 解引用操作 💯const 修饰指针变量的三种主要情况1. 情况一：int * const p （指针本…...

编程日记 2025/7/25 11:20:12

阿里云ECS服务器监控报警配置

背景：服务器偶尔会异常，比如CPU过载，磁盘满，影响使用，人工盯服务器不现实采用方法：阿里云监控告警功能步骤： 第一步：登录阿里云服务器 https://account.aliyun.com/login/logi…...

编程日记 2025/7/26 19:21:26

高性能linux服务器运维实战小结性能调优工具

性能指标进程指标进程关系父进程创子进程时，调fork系统调用。调用时，父给子获取一个进程描述符，并设置新的pid，同事复制父进程的进程描述符给子进程，此时不会复制父进程地址空间，而是父子用相同地址空…...

编程日记 2025/7/23 14:44:57

初识Linux—— 基本指令（下）

前言： 本篇继续来学习Linux的基础指令，继续加油！！！ 本篇文章对于图片即内容详解，已同步到本人gitee：Linux学习: Linux学习与知识讲解 Linux指令 1、查看文件内容的指令 cat cat 查看文件…...

编程日记 2025/7/24 10:42:42

【Linux】线程的互斥和同步

【Linux】线程的互斥和同步线程间的互斥临界资源：多线程执行共享的资源就叫做临界资源临界区：每个线程内部，访问临界资源的代码，就叫做临界区互斥：任何时刻，互斥保证有且只有一个执行流进入临界区&#…...

编程日记 2025/7/26 1:21:16

详解Oracle表的类型（二）

1.引言： Oracle数据库提供了多种表类型，以满足不同的数据存储和管理需求。本博文将对Oracle分区表及使用场景进行详细介绍。 2. 分区表分区表是Oracle数据库中一种重要的表类型，它通过将表数据分割成多个逻辑部分来提高查询性能、管理灵活…...

编程日记 2025/7/22 6:58:28

VSCode 下载安装

VSCode【下载】【安装】【汉化】【配置C环境（超快）】（Windows环境）-CSDN博客 Download Visual Studio Code - Mac, Linux, Windowshttps://code.visualstudio.com/Downloadhttps://code.visualstudio.com/Download 注意&#xff0…...

编程日记 2025/7/22 4:51:31

java中的最小堆

概述最小堆minHeap指的级别n的每个节点存储的值小于或等于级别n1的子节点的值。因此，根就存储了其中最小的值。注意节点的值与其他兄弟节点的值之间没有必然关系。 java中最小堆的表示利用数组常用的是利用数组minHeap[]表示，将最小堆的节点或值…...

编程日记 2025/7/24 1:47:56

ES实用面试题

一、es是什么，为什么要用它？ ES通常是Elasticsearch的简称，它是一个基于Lucene构建的开源搜索引擎。Elasticsearch以其分布式、高扩展性和实时数据分析能力而闻名，广泛用于全文搜索、日志分析、实时监控等多种场景。基本特点&am…...

编程日记 2025/7/26 9:33:34

数据结构（7）线性表的链式存储

前言线性表是一种基本的数据结构，用于存储线性序列的元素。线性表的存储方式主要有两种：顺序存储和链式存储。链式存储，即链表，是一种非常灵活和高效的存储方式，特别适用于需要频繁插入和删除操作的场景。链表的基本…...

编程日记 2025/7/25 6:36:30

数据结构：链表进阶

链表进阶 1. ArrayList的缺陷2. 链表2.1 链表的概念及结构2.2 链表的实现 3.链表面试题4.LinkedList的使用5.1 什么是LinkedList4.2 LinkedList的使用 5. ArrayList和LinkedList的区别 1. ArrayList的缺陷通过源码知道，ArrayList底层使用数组来存储元素&#xff1…...

编程日记 2025/7/24 4:52:46

Can UDS 学习记录

目录 Can UDS 学习记录10 03 响应否定响应22和24 的说明27服务肯定响应抑制位 Can UDS 学习记录 10 03 响应否定响应22和24 的说明 0x22条件不正确，就是不满足服务端的运行条件0x24请求顺序错误；停止例程的请求必须在开始例程后面才可以，请…...

编程日记 2025/7/22 19:53:23

C 语言实现的优先级队列

C 语言实现的优先级队列 priorityqueue.h /******************************************************************************* * Copyright © 2024-2025 Light Zhang <mapawarehotmail.com>, MapAware, Inc. * * ALL RIGHTS RESERVED. …...

编程日记 2025/7/26 5:32:33

卷积神经网络（CNN）中的批量归一化层（Batch Normalization Layer）

批量归一化层（BatchNorm层），或简称为批量归一化（Batch Normalization），是深度学习中常用的一种技术，旨在加速神经网络的训练并提高收敛速度。一、基本思想为了让数据在训练过程中保持同一分布…...

编程日记 2025/7/20 22:48:04

HDR视频技术之四：HDR 主要标准

HDR 是 UHD 技术中最重要维度之一，带来新的视觉呈现体验。 HDR 技术涉及到采集、加工、传输、呈现等视频流程上的多个环节，需要定义出互联互通的产业标准，以支持规模化应用和部署。本文整理当前 HDR 应用中的一些代表性的国际标准。 1 HDR 发…...

编程日记 2025/7/25 6:24:29

下一个阶段的生产工具更换：

开源竞争： 当你无法彻底掌握技术的时候，就开源这个技术，让更多的人了解这个技术，形成更多的技术依赖，你会说，这不就是在砸罐子吗？一个行业里面总会有人砸罐子的，你不如先砸罐子&…...

编程日记 2025/7/24 22:06:03

性能优化--CPU微架构

一指令集架构 Intel X86, ARM v8, RISC-V 是当今广泛使用的指令架构的实例。大多数现代架构可以归类为基于通用寄存器的加载和存储型架构，在这种架构下，操作数倍明确指定，只能使用夹在和存储指令访问内存。除提供基本的功能之外&#xff0c…...

编程日记 2025/7/26 13:47:18

3.3_1 差错控制（检错编码）

目录 1、差错来源全局性局部性 2、数据链路的差错控制编辑奇偶校验码 CRC循环冗余码接收端检错过程 1、差错来源概括来说，传输中的差错都是由于噪声引起的。全局性由于线路本身电气特性所产生的随机噪声(热噪声)，是信道固有的&#xf…...

编程日记 2025/7/19 17:15:37

2024年wordpress、d-link等相关的多个cve漏洞poc

⚠️ 漏洞 ✅ CVE-2024-10914 在D-Link DNS-320、DNS-320LW、DNS-325和DNS-340L中发现的漏洞，版本直到20241028 GET /cgi-bin/account_mgr.cgi?cmdcgi_user_add&name%27;id;%27 HTTP/1.1✅ CVE-2024-11305 在Altenergy Power Control Software中发现的关键…...

编程日记 2025/7/26 11:32:59