当前位置： 首页 > news >正文

Elasticsearch 架构及 Lucene 索引结构原理入门

news 来源：原创 2025/6/28 19:23:05

文章目录

  • Elasticsearch 整体架构
  • Lucene 索引结构
  • Lucene 倒排索引核心原理
  • 倒排索引
  • 倒排表（Posting List）

Elasticsearch 整体架构

在这里插入图片描述
在这里插入图片描述
一个 ES Index 在集群模式下，有多个Node（节点）组成，每个节点就是ES的 instance（实例）
每个节点上会有多个 shard（分片），P1 P2 是主分片，R1 R2 是副本分片。
每个分片上对应着就是一个 Lucene Index （底层索引文件）
Lucene Index 是一个统称：
由多个 Segment（段文件，就是倒排索引）组成，每个段文件存储着的就是 Doc 文档。
commit point 记录了所有的 segments 的信息

Lucene 索引结构

在这里插入图片描述

Lucene 倒排索引核心原理

Lucene 是一个成熟的权威检索库，具有高性能、可伸缩的特点，并且开源、免费。在其基础上开发的分布式搜索引擎便是 Elasticsearch。
在这里插入图片描述
Elasticsearch 的搜索原理简单过程是，索引系统通过扫描文章中的每一个词，对其创建索引，指明在文章中出现的次数和位置，当用户查询时，索引系统就会根据事先的索引进行查找，并将查找的结果反馈给用户的检索方式。

倒排索引

倒排索引是整个 ES 的核心，正常的搜索以一本书为例，应该是由 “目录 -> 章节 -> 页码 -> 内容” 这样的查找顺序，这样是正排索引的思想。
倒排索引的思路是通过单词到文档ID的关系对应。
在这里插入图片描述
倒排索引包含两个部分：

  • 单词词典（Term Dictionary）：记录所有文档的单词，记录单词到倒排列表的关联关系（单词词典一般比较大，通过 B+ 树或哈希拉链法实现，以满足高性能的插入与查询）
  • 倒排表（Posting List）：记录了单词对应的文档结合，由倒排索引组成。
    文档ID
    词频 TF - 该单词在文档中分词的位置。用于语句搜索
    位置（Position）- 单词在文档中分词的位置，用于语句搜索
    偏移（Offset）- 记录单词的开始结束位置，实现高亮显示。

倒排表（Posting List）

倒排表记录了对应单词（Term Dictionary）所出现的的文档ID等信息。并且为了搜索的时延肯定需要放在内存中，面对海量的文档必然会存在更多量级的倒排表，为了节约空间，肯定是需要一定的压缩算法。
FOR：（Frame Of Reference）
假设某个包含某个 单词 （Term Dictionary）的文档出现了100W次，那么其对应的倒排表就会非常的大，按1个int占用空间为 4 Byte 计算，仅这么倒排表中的一项就要消耗 3.8MB 空间。
在这里插入图片描述
如上图所示，我们知道一个1个int是4字节，一个字节最大可以存正21亿，1个bit可以存2个数，2个bit可以存4个数（0,1,2,3）。那么假设我们存的都是非常小的数字能否将存储所占空间压下来呢。如果我们只取 posting list 中的数字差值，这将是一个非常小的数字，比如上图是100W个1。这样我们通过只取差值，得到了一个100W个1的列表，并将每个元素只耗费1bit存储了下来。这样可以压缩32倍存储空间。
但事实是，一般没有这么理想的状态。
在这里插入图片描述

相关文章：

Elasticsearch 架构及 Lucene 索引结构原理入门

文章目录 Elasticsearch 整体架构Lucene 索引结构Lucene 倒排索引核心原理倒排索引倒排表（Posting List） Elasticsearch 整体架构 一个 ES Index 在集群模式下，有多个Node（节点）组成，每个节点就是ES的 inst…...

编程日记 2025/6/28 19:23:05

vue3项目通过修改虚拟dom实现向页面上追加内容

前言： demo效果： 1、刚进页面，渲染welcome.vue组件内容。2、向输入框中输入数据按回车，页面上追加text.vue组件内容，输入框中的数据也被传递给text.vue组件，并在页面上进行了展示。3、点击text.vue组件中的…...

编程日记 2025/6/28 18:38:35

Java:集合(List、Map、Set)

文章目录 1. Collection集合1-1. 迭代器遍历方式1-2. 通过for循环进行遍历1-3. forEach遍历 2. List集合2-1. ArrayList底层实现原理2-2. LinkedList底层实现原理 3. Set集合3-1. HashSet 底层实现3-2. LinkedHashSet 底层实现3-3. TreeSet 4. Collection集合->总结5. Map集…...

编程日记 2025/6/28 18:00:30

208-Base Camera Link 图像信号模拟器

１、板卡概述 该板卡是基于Altra FPGA处理芯片EP3C40F484C8（兼容EP3C16F484C8），模拟产生自定义分辨率的Camera Link 图像信号，并以base Camera Link输出。主要用于作为Camera Link 图像信号模拟器，模拟各类C…...

编程日记 2025/6/28 18:01:06

【创建模式-蓝本模式（Prototype Pattern）】

目录 Overview应用场景代码演示JDK Prototype pattern 更优实践泛型克隆接口 https://doc.hutool.cn/pages/Cloneable/#%E6%B3%9B%E5%9E%8B%E5%85%8B%E9%9A%86%E7%B1%BB The prototype pattern is a creational design pattern in software development. It is used when the t…...

编程日记 2025/6/28 18:00:32

（一）强化学习基础概念及学习路径

目录 前言 一、强化学习是什么？ 二、强化学习中的基本概念 1.状态 2.动作 3.奖励 4.策略 5.智能体 6.环境 7.智能体与环境交互 三、强化学习路径 总结 前言 强化学习（Reinforcement Learning, RL）是机器学习的范式和方法论之一&a…...

编程日记 2025/6/28 18:00:34

Android 好的开源库

1. 权限请求框架 GitHub - getActivity/XXPermissions: Android 权限请求框架，已适配 Android 14 2. 下载框架 GitHub - lingochamp/okdownload: A Reliable, Flexible, Fast and Powerful download engine....

编程日记 2025/6/28 19:15:39

Spring中xxAware接口和InitializingBean接口的作用

question：Aware接口和InitializingBean接口的作用都可以用例如Autowired PostConstruct注解来实现，那么其相比较于注解的实现，优势是什么呢？ 早期的Spring中并不存在注解开发，注解开发是在后期的Spring中引入&#xf…...

编程日记 2025/6/28 18:00:37

Nginx WebDAV扩展模块安装与配置完全指南

Nginx WebDAV扩展模块安装与配置完全指南 nginx-dav-ext-module nginx WebDAV PROPFIND,OPTIONS,LOCK,UNLOCK support [这里是图片001] 项目地址: https://gitcode.com/gh_mirrors/ng/nginx-dav-ext-module 项目基础介绍 Nginx WebDAV扩展模块（nginx-dav-ext-module）是由a…...

编程日记 2025/6/28 20:09:52

算法刷题Day16: BM41 输出二叉树的右视图

题目链接 描述 思路： 递归构造二叉树在Day15有讲到。复习一下，就是使用递归构建左右子树。将中序和前序一分为二。 接下来是找出每一层的最右边的节点，可以利用队列层次遍历。 利用队列长度记录当前层有多少个节点，每次从队列里…...

编程日记 2025/6/28 19:37:07

1.2 计算机网络的分类和应用（重要知识点）

1.2.1 计算机网络的分类 计算机网络的定义： 由通信线路互相连接的、能自主工作的计算机构成，强调各计算机（工作站）拥有独立的计算资源和任务能力。与多终端分时系统不同，后者终端仅作为主机接口，不具备计…...

编程日记 2025/6/28 18:00:36

Xcode

info.plist Appearance Light 关闭黑暗模式 Bundle display name 设置app名称，默认为工程名 Location When In Use Usage Description 定位权限一共有3个key 1.Privacy - Location When In Use Usage Description 2.Privacy - Location Always and When In U…...

编程日记 2025/6/28 19:23:56

HarmonyOS 5.0应用开发——属性动画

【高心星出品】 文章目录 属性动画animateTo属性动画animation属性动画 属性动画 属性接口（以下简称属性）包含尺寸属性、布局属性、位置属性等多种类型，用于控制组件的行为。针对当前界面上的组件，其部分属性（如位置属…...

编程日记 2025/6/28 18:02:10

Freertos任务切换

一、操作系统进行任务切换的时机： 采用信号量实现任务的互斥： 二、FreeRTOS 任务切换场合 PendSV 中断的时候提到了上下文(任务)切换被触发的场合： ● 可以执行一个系统调用 ● 系统滴答定时器(SysTick)中断。 1、执行系统调用 执行系统…...

编程日记 2025/6/28 18:02:17

【汇编】思考汇编中的两个基本问题

1. 若干年前的疑问 几年前还在大学学习汇编时，不管是考试还是课程设计，其实都很顺利。但是心里一直对什么时候使用哪个寄存器存在疑惑，编写汇编时，没有十足的把握，都是抱着试一试的心态去完成了课程任务。 工作八年有…...

编程日记 2025/6/28 18:01:26

开发环境服务器 vs 生产环境服务器：开发与生产须分明

【背景】作为开发者，我们在不同的阶段都与两种服务器环境打交道——开发环境服务器和生产环境服务器。虽然听起来名字相似，但它们的职责和工作方式简直是天差地别！ 不知道朋友们有没有跟我一开始刚了解的时候的一些疑惑，因为刚开始…...

编程日记 2025/6/28 18:00:40

Tomcat的安装即使用

Tomcat的概念 Tomcat服务器是Java语言开发的，免费的开放源代码的Web应用服务器。 Tomcat处理静态HTML的能力远不及Apache或者Nginx，通常是作为一个Servlet和JSP容器，单独运行在后端。 Tomcat是由三个功能组合而成： java servlet&…...

编程日记 2025/6/28 19:37:57

外包干了9天，技术退步明显。。。。。

时光荏苒，转眼我已是一个拥有近四年功能测试经验的大专生。19年，我满怀激情地通过校招进入湖南某知名软件公司，期待在这里开启我的职业生涯。然而，长时间的舒适环境让我渐渐失去了前进的动力，技术停滞不前，…...

编程日记 2025/6/28 18:00:38

梳理你的思路(从OOP到架构设计)_基本OOP知识04

目录 1、 主动型 vs.基於被动型 API 1）卡榫函数实现API 2）API的分类 3）回顾历史 4）API >控制力 2、 结语&复习： 接口与类 1）接口的表示 2）Java的接口表示 1、 主动型 vs.基於被动…...

编程日记 2025/6/28 18:56:57

每天40分玩转Django：简介和环境搭建

Django简介和环境搭建 一、课程概述 学习项目具体内容预计用时Django概念Django框架介绍、MVC/MTV模式、Django特点60分钟环境搭建Python安装、pip配置、Django安装、IDE选择45分钟创建项目项目结构、基本配置、运行测试75分钟实战练习创建个人博客项目框架60分钟 二、Djang…...

编程日记 2025/6/28 18:02:06

OpenCV相关函数

一、Sobel算子函数 (cv2.Sobel) 功能 Sobel算子是一个梯度算子，用于边缘检测。通过计算图像中像素的梯度，Sobel算子可以检测出水平和垂直方向上的边缘。 参数 src：输入图像。 ddepth：输出图像的深度（如cv2.CV_8U, cv…...

编程日记 2025/6/28 18:03:30

【理想汽车中科院】基于模仿学习的端到端自动驾驶数据缩放规律

论文: https://arxiv.org/pdf/2412.02689 项目: https://github.com/ucaszyp/Driving-Scaling-Law 0. 摘要 端到端自动驾驶范式因其可扩展性而最近吸引了大量关注。然而，现有方法受到现实世界数据规模有限的制约，这阻碍了对端到端自动驾驶相关扩展规律…...

编程日记 2025/6/28 18:49:09

重卡补能新未来：光储充换一体开启高效之路

《重卡补能新未来：光储充换一体开启高效之路》 一、光储充换一体重卡补能模式的兴起 重卡运输行业在电动化进程加速下迎来变革，光储超充快换一体化补能站成为新趋势。 随着国家 “双碳” 战略的持续推进，新能源汽车市场蓬勃发展&#xff0c…...

编程日记 2025/6/28 18:00:56

Mybatis Plus 3.0 快速入门

1、简介 MyBatis-Plus （简称 MP）是一个 MyBatis 的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。 2、创建并初始化数据库 2.1、创建数据库 mybatis_plus 2.2、创建 User 表 其表结构如下： idnameageemail1Jone18test1@baomidou.com2Jack…...

编程日记 2025/6/28 20:15:54

ABAP:MB51字段增强

MB51所对应的程序：RM07DOCS 1.定义增强字段：RM07DOCS_GENERATED中定义 2.取值：RM07DOCS中detail_list中加取值逻辑 也有对ITAB取值做调整的，但是要写很多处，直接这里取值就很简单。 3.展示字段：RM07DOCS中…...

编程日记 2025/6/28 19:42:42

nVisual 定制化APP打包流程

一、下载打包软件 HBuilder X 下载地址：https://dcloud.io/hbuilderx.html 安装:此软件为绿色软件，解压即可使用。进入目录，双击exe启动。 此软件需要注册，打开时会提供跳转链接，通过邮箱注册账号。 注册成功后&#…...

编程日记 2025/6/28 20:26:24

k8s的节点亲和性NodeAffinity

关键词: ① requiredDuringSchedulingIgnoredDuringExecution：表示强匹配，必须要满足 ② preferredDuringSchedulingIgnoredDuringExecution：表示弱匹配，尽可能满足，但不保证 示例： apiVersion: v1 kind:…...

编程日记 2025/6/28 19:23:41

比特币国家与企业机构“战略储备”潮起

100 万枚 BTC 的战略储备资产，是一个什么概念？ 据世界黄金协会统计数据显示，截至 2024 年第三季度，美联储黄金储备总量达 8133.46 吨（约合 5300 亿美元），稳居全球首位。而 100 万枚 BTC 当前市…...

编程日记 2025/6/28 18:32:09

Vue生命周期钩子函数：深入解析与实践

作为高级Vue前端开发人员，对Vue组件的生命周期钩子函数有着深刻的理解是至关重要的。生命周期钩子函数是指在Vue组件的创建、更新、销毁等过程中，Vue自动调用的一系列方法。通过这些钩子函数，我们可以在组件的不同生命周期阶段执行特定的操作…...

编程日记 2025/6/28 20:02:58

mysql、postgresql、oceanbase调优

一、mysql 1、my.cnf [mysqld_safe] log-error=/data/mysql/log/mysql.log pid-file=/data/mysql/run/mysqld.pid[client] socket=/data/mysql/run/mysql.sock default-character-set=utf8[mysqld] basedir=/usr/local/mysql tmpdir=/data/mysql/tmp datadir=/data/mysql/dat…...

编程日记 2025/6/28 20:26:17

【Flux.jl】 卷积神经网络

Flux.jl 是包含卷积神经网络的， 但是官方API文件中没有给出一个完整的程序框架， 只是对所需神经元给了局部解释， 此外对 model-zoo 模型动物园中的案例没有及时跟着 Flux.jl 的版本更新， 也无法运行出来结果。 因此本文搭建了一个完整可训练的卷积神经网络。 Conv 卷积算子…...

编程日记 2025/6/28 19:54:27

数字证书管理工具 openssl keytool

OPENSSL 命令 openssl command [ command_opts ] [ command_args ] 常用command: version 用于查看版本信息 enc 用于加解密 ciphers 列出加密套件 genrsa 用于生成私钥 -des|-des3|-idea：用来加密私钥文件的三种对称加密算法。 rsa …...

编程日记 2025/6/28 18:32:15

notify和notifyAll

notify和notifyAll 简单来说： notify()：只唤醒一个等待的线程，如果有多个线程在等待，那么被唤醒的线程是随机选择的。 notifyAll()：唤醒在该对象监视器上等待的所有线程，但是这些被唤醒的线程仍然需要竞争…...

编程日记 2025/6/28 18:30:38

删除MySQL的多余实例步骤

删除 MySQL 的多余实例通常意味着我们希望卸载或停止某个 MySQL 服务器实例，并从系统中完全移除它。这通常涉及到几个步骤，包括但不限于停止服务、删除数据目录、卸载软件（如果适用）等。 1.基于 Linux 的系统上删除 MySQL 的多余…...

编程日记 2025/6/28 18:00:41

LDR6500应用：C转DP线材双向投屏开启全新体验

在当今这个科技日新月异、蓬勃发展的时代，高清视频传输以及显示技术已经深深融入到我们日常生活与工作的方方面面，其重要性不言而喻。不管是在商务场合的会议演示，还是教育领域的娱乐享受，以及充满激情的游戏竞技领域，…...

编程日记 2025/6/28 18:00:42

商业化大前端在性能优化领域的探索与实践

导读：在业务飞速发展的过程中，用户体验是必不可少的一个环节，而页面性能是直接影响用户体验的重要因素。当页面加载时间过长、交互操作不流畅时，意味着业务可能会出现转化率降低、用户流失等业务问题。在过去一年，为了…...

编程日记 2025/6/28 18:01:46

FinClip | 2024年11月产品大事记

FinClip 的使命是使您（业务专家和开发人员）能够通过小程序解决关键业务流程挑战，并完成数字化转型的相关操作。不妨让我们看看在11月的产品与市场发布亮点，看看是否有助于您实现目标。 产品方面的相关动向👇&#x1f…...

编程日记 2025/6/28 19:16:38

EasyPlayer.js在同一个http的mp4视频流地址，浏览器可以播放，播放器中却播放不了

流媒体技术正站在数字化时代的前沿，随着互联网技术的不断进步和市场需求的日益增长，其发展前景显得尤为广阔。随着全球数字化转型的不断深入，流媒体行业将迎来更加繁荣的未来，成为信息传播和娱乐消费的主要渠道。 用户遇到在同一个…...

编程日记 2025/6/28 18:01:19

探索云原生安全解决方案的未来

我们是否充分意识到云端所面临的网络安全威胁？ 在当今互联互通的世界中，维护安全的环境至关重要。云的出现扩大了潜在威胁的范围，因为它催生了机器身份（称为非人类身份 (NHI)）及其秘密。随着组织越来越多地转向云原生…...

编程日记 2025/6/28 19:32:04

发愿和许愿的区别是什么？

在许多宗教和文化中，发愿和许愿都是人们表达内心愿望、祈求神灵保佑的重要方式。尽管这两个词在日常生活中经常被交替使用，但它们在含义和实践上存在一些重要的区别。本文就来详细说说发愿和许愿的区别，并提供相关的背景信息和建议。 1. 定义…...

编程日记 2025/6/28 18:00:46

【IntelliJ IDEA 集成工具】TalkX - AI编程助手

前言 在数字化时代，技术的迅猛发展给软件开发者带来了更多的挑战和机遇。为了提高技术开发群体在繁多项目中的编码效率和质量，他们需要一个强大而专业的工具来辅助开发过程，而正是为了满足这一需求，TalkX 应运而生。 一、概述 1…...

编程日记 2025/6/28 18:00:48

【故障处理--修改CI流水线】

背景：研发同事反映CI流水线卡顿严重，判断是移动云镜像仓库的带宽太小，故在公有云搭建一个harbor仓库，这就意味着CI流水线有些配置需要改动 1、CI流水线的介绍 helm-chart/pcas-appstore-hy存放的是chart包需要的文件 Dockerfile…...

编程日记 2025/6/28 19:35:17

Android 使用 Gson + OkHttp 实现 API 的常规使用（个人心得）

学习笔记 一、依赖和权限的添加 网络权限： 在 Android 中进行网络请求时，必须声明权限，确保应用具有访问互联网的能力。 <uses-permission android:name="android.permission.INTERNET"/> 依赖项： 确保在 build.gradle 中添加以下依赖： dependencies …...

编程日记 2025/6/28 18:55:55

MR30分布式 IO 模块：硅晶行业电池片导片机的智能 “心脏”

硅晶产业作为全球能源和电子领域的基石&#xff0c;其生产规模庞大且工艺复杂。从硅料的提纯、拉晶&#xff0c;到硅片的切割、电池片的制造&#xff0c;每一个环节都要求高精度与高稳定性。在电池片生产环节&#xff0c;导片机承担着硅片传输与定位的重要任务&#xff0c;其运…...

编程日记 2025/6/28 19:55:39

mysql高级篇 | 尚硅谷 | 第2章_数据库和文件系统的关系

二、数据库和文件系统的关系 文章目录 二、数据库和文件系统的关系1、查看默认数据库2、 数据库在文件系统中的表示3、表在文件系统中的表示①InnoDB存储引擎模式②表中数据和索引②MyISAM存储引擎模式 4、小结 1、查看默认数据库 查看一下在我的计算机上当前有哪些数据库&…...

编程日记 2025/6/28 18:00:47

React 生命周期

React 生命周期可以分为三个主要阶段&#xff1a;挂载&#xff08;Mounting&#xff09;、更新&#xff08;Updating&#xff09;和卸载&#xff08;Unmounting&#xff09; 挂载&#xff08;Mounting&#xff09; 当组件实例被创建并插入到 DOM 中时&#xff0c;会依次调用以…...

编程日记 2025/6/28 18:01:07

OpenCV--图像查找

OpenCV--图像查找 代码和笔记 代码和笔记 import cv2 import numpy as np""" 图像查找--特征匹配的应用&#xff0c;通过特征匹配和单应性矩阵 单应性变换&#xff1a;描述物体在世界坐标系&#xff08;原图&#xff09;和像素坐标系&#xff08;对比图&#x…...

编程日记 2025/6/27 21:08:05

数据保护策略：如何保障重要信息的安全

一、什么是数据安全&#xff1f; 数据安全是保护数字信息免遭盗窃、未经授权的访问和恶意修改的过程。这是一个持续的过程&#xff0c;负责监督信息的收集、存储和传输。 机密性&#xff1a;保护数据免遭未授权方访问。 完整性&#xff1a;保护数据免遭未经授权的修改、损坏…...

编程日记 2025/6/28 19:36:06

AI生成图表化：深入探索Mermaid

引言 在使用生成式AI时&#xff0c;只要你提出让AI帮你生成mermaid图&#xff0c;AI的生成就会出现丰富的图形&#xff01; 在现代文档编写中&#xff0c;图表的使用不仅能增强文档的可读性&#xff0c;还能更直观地表达复杂的概念和流程。Mermaid 作为一款开源的图表绘制工具…...

编程日记 2025/6/28 17:54:15

模型训练中梯度累积步数（gradient_accumulation_steps）的作用

模型训练中梯度累积步数&#xff08;gradient_accumulation_steps&#xff09;的作用 flyfish 在使用训练大模型时&#xff0c;TrainingArguments有一个参数梯度累积步数&#xff08;gradient_accumulation_steps&#xff09; from transformers import TrainingArguments梯…...

编程日记 2025/6/28 18:00:58