Elasticsearch 数据存储底层机制详解
Elasticsearch 数据存储底层机制详解
Elasticsearch 的底层存储机制依赖 Lucene 来实现数据的组织和管理。下面从数据存储的 流转过程 和 管理机制 两个方面来详细说明。
1. 数据存储流程
当一个文档通过 REST API 被写入 Elasticsearch 时，会经历以下流程：
1.1 接收请求
- 用户通过 REST API 发送一个文档，指定索引名称（
index）。 - 数据被分配到相应的 主分片（Primary Shard）。
1.2 分片分配
- Elasticsearch 根据索引配置，利用哈希值对文档 ID 进行路由，确定文档应存储在哪个分片上。
- 分片可以分为主分片（Primary Shard）和副本分片（Replica Shard）。
1.3 文档处理
文档进入主分片后，Lucene 执行以下步骤：
- 倒排索引构建：
- 将文档中的字段解析为词条（Terms）。
- 创建倒排索引，将每个词条映射到包含该词条的文档 ID 列表。
- 存储正排索引：
- 记录字段与文档的原始值，用于排序、聚合等功能。
- 数据压缩：
- 使用压缩算法对文档存储结构优化，减少磁盘占用。
1.4 数据写入
- 经过处理的数据被写入 Lucene Segment（段文件）。
- 每次写入不会立即更新到磁盘，而是先写入内存中的缓冲区和 事务日志（translog）。
1.5 刷新到磁盘
- 定时（默认 1 秒）或手动触发刷新操作，将缓冲区中的数据刷新到磁盘，生成新的段文件（
segment）。 - 同时清空事务日志，保证持久化。
1.6 数据同步到副本分片
- 主分片成功写入后，会将数据同步到副本分片。
- 副本分片的作用是提供高可用性和查询负载分担。
2. 数据管理机制
2.1 Lucene 段（Segment）
- Lucene 将数据存储在段文件（Segment）中，每个段文件是一个不可变的小型倒排索引。
- 当有新的写操作时，会创建新的段文件，而不是直接修改旧的段。
- 定期合并（Merge）段文件以减少段数量、优化查询性能。
2.2 Translog（事务日志）
- 每次写操作都会先写入事务日志，作为一个临时缓冲区。
- 在节点崩溃时，Elasticsearch 可以通过事务日志恢复未刷新的数据。
2.3 倒排索引
- Elasticsearch 使用倒排索引快速定位包含某个词条的文档。
- 示例：假设存储的文档包含以下内容：
倒排索引结构如下：文档1：Elasticsearch 是一个分布式搜索引擎 文档2：Elasticsearch 支持全文搜索词条 -> 文档列表 Elasticsearch -> [1, 2] 分布式 -> [1] 搜索 -> [1, 2] - 通过倒排索引，Elasticsearch 可以快速查询到包含特定词条的文档。
2.4 正排索引
- 用于支持聚合和排序操作。
- 示例：如果有字段
price，正排索引会记录每个文档的price值：文档ID -> 值 1 -> 100 2 -> 200
2.5 分布式存储
- 数据分片后被分配到集群中的多个节点上。
- Elasticsearch 会自动平衡分片，并提供高可用性机制：
- 主分片和副本分片分布在不同节点上。
- 节点故障时，副本分片会升级为主分片。
总结：数据存储的核心机制
- 写入流程： 数据从 REST 请求 -> 分片分配 -> Lucene 处理 -> 刷新到磁盘。
- 管理机制：
- Lucene 段文件管理数据，支持快速查询。
- 事务日志保证数据可靠性。
- 倒排索引和正排索引提供高效的全文搜索和排序聚合。
- 分布式架构确保高可用性。
若有错误与不足请指出，关注DPT一起进步吧！！！
相关文章：
Elasticsearch 数据存储底层机制详解
Elasticsearch 数据存储底层机制详解 Elasticsearch 的底层存储机制依赖 Lucene 来实现数据的组织和管理。下面从数据存储的 流转过程 和 管理机制 两个方面来详细说明。 1. 数据存储流程 当一个文档通过 REST API 被写入 Elasticsearch 时，会经历以下流程&#x…...
Spring Boot 中 Map 的最佳实践
在Spring Boot中使用Map时，请遵循以下最佳实践: 1.避免在Controller中 直接使用Map。应该使用RequestBody 接收-个DTO对象或者 RequestParam接收参数，然后在Service中处 理Map。 2.避免在Service中 直接使用原始的Map。应该使用Autowired 注入-个专门…...
es6 字符串每隔几个中间插入一个逗号
const insertCommaEveryNChars (str, n) > {// 将字符串转换为数组，以便我们可以更容易地操作每个字符const chars str.split();// 使用map遍历数组，并在每隔n个字符后插入逗号const result chars.map((char, index) > {// 检查当前位置是否是n…...
区块链共识机制深度揭秘：从PoW到PoS，谁能主宰未来？
区块链的技术背后，最大的挑战之一就是如何让多个分布在全球各地的节点在没有中心化管理者的情况下达成一致，确保数据的一致性和安全性。这一切都依赖于区块链的核心——共识机制。共识机制不仅决定了区块链的安全性、效率和去中心化程度，还对…...
)
SQL Server 新建 用户 登录失败。 (Microsoft SQL Server,错误: 18456)
新建用户后用SQLserver shen身份验证一直提示用户登录用户 登录失败。 (Microsoft SQL Server,错误: 18456)。 问题： 新建标题: 连接到服务器 无法连接到 DESKTOP-GKBXLEE。 其他信息: 用户 ‘’ 登录失败。 (Microsoft SQL Server，错误: 18456) 解…...
AW36518芯片手册解读（3）
接前一篇文章：AW36518芯片手册解读（2） 二、详述 3. 功能描述 （1）上电复位 当电源电压VIN降至预定义电压VPOR（典型值为2.0V）以下时，该设备会产生复位信号以执行上电复位操作&#x…...
有没有免费提取音频的软件？音频编辑软件介绍！
出于工作和生活娱乐等原因，有时候我们需要把音频单独提取出来（比如歌曲伴奏、人声清唱等、乐器独奏等）。要提取音频必须借助音频处理软件，那么有没有免费提取音频的软件呢？下面我们将为大家介绍几款免费软件࿰…...
一次医院RIS系统的升级
2020-03-11 目录 数据库升级... 1 数据结构升级... 1 系统配置... 2 WEB服务器准备... 3 启动ASP.NET State Service服务... 3 检查IIS. 4 发布站点... 4 添加应用程序池... 4 发布网站... 5 处理打印模板... 6 web.config的配置... 6 处理图片文件目录... 6 修改W…...
clickhouse测试报告
一、背景 针对当前实施的项目，面临着两个主要挑战：一是需要存储更详细的原始数据和中间数据，二是现有基于MySQL的数据存储解决方案在数据量增长时性能受限，特别是在进行跨年历史数据的即时分析时。为了解决这些问题…...
Elasticsearch安装和数据迁移
Elasticsearch安装和数据迁移 Elasticsearch安装 下载并解压Elasticsearch 首先下载Elasticsearch的tar.gz文件，并将其解压： wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.8.2-linux-x86_64.tar.gz tar -xzf elastics…...
K8s证书过期
part of the existing bootstrap client certificate is expired: 2023-11-27 12:44:12 0000 UTC 查看运行日志： journalctl -xefu kubelet 重新生成证书： #重新生成证书 kubeadm alpha certs renew all #备份旧的配置文件 mv /etc/kubernetes/*.conf…...
JSONException:java.lang.String cannot be converted to JSONObject异常的解决方法
在用org.json.JSONObject解析从网络获取的json数据时，遇到JSONException:java.lang.String cannot be converted to JSONObject，打印字符串，查看json字符串没有问题，研究了好长时间，终于找到问题，造成问题的…...
 --- 整体架构)
[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
link [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 目录 [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 0x00 摘要0x01 启动 1.1 分布式启动1.2 构造基础 1.2.1 获取模型1.2.2 获取数据集1.2.3 步进函数 1.2.3.1 广播数据0x02 Pretrain0x03 初始化 3.1 …...
kubeadm搭建k8s集群
前置环境： 准备三台虚拟机 192.168.1.104（用来做k8s的mater节点） 192.168.1.105（节点node2） 192.168.1.109（节点node3） 关闭防火墙 systemctl stop firewalld systemctl disable firewalld安装…...
家用无线路由器的 2.4GHz 和 5GHz
家中的无线路由器 WiFi 名称有两个，一个后面带有 “5G” 的标记，这让人产生疑问：“连接带‘5G’的 WiFi 是不是速度更快？” 实际上，这里的 “5G” 并不是移动通信中的 5G 网络，而是指路由器的工作频率为 5G…...
#渗透测试#漏洞挖掘#红蓝攻防#漏洞挖掘#未授权漏洞-Es未授权漏洞
免责声明 本教程仅为合法的教学目的而准备，严禁用于任何形式的违法犯罪活动及其他商业行为，在使用本教程前，您应确保该行为符合当地的法律法规，继续阅读即表示您需自行承担所有操作的后果，如有异议，请立即停…...
Windows 使用 非安装版MySQL 8
1.下载MySQL 8 https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.40-winx64.zip 2.创建my.ini 下载解压后，发现根目录没有my.ini文件，需手动创建 my.ini # For advice on how to change settings please see # http://dev.mysql.com/doc/refma…...
nginx Rewrite 相关功能
一、Nginx Rewrite 概述 定义 Nginx 的 Rewrite 模块允许对请求的 URI 进行重写操作。它可以基于一定的规则修改请求的 URL 路径，然后将请求定向到新的 URL 地址，这在很多场景下都非常有用，比如实现 URL 美化、网站重构后的 URL 跳转等。主要…...
2024年AI相关的论文写作经验（附实践资料下载）
在撰写AI相关的论文时，以下是一些实用的经验和技巧： 明确写作目标：在开始写作之前，明确你的论文类型（期刊论文、毕业论文等）和目标，这将影响你的写作方式和工具选择。 AI辅助文献检索ÿ…...
List详解
List详解 在Java中，List是一个接口，它继承自Collection接口。List接口为数据的有序集合提供了操作接口，其中可以包含重复的元素。这个接口的实现类以特定的方式存储元素，允许元素根据索引进行访问，同时还支持通过迭代…...
Flutter实现可拖拽操作Draggable
文章目录 1. Draggable 控件的构造函数主要参数： 2. Draggable 的工作原理3. 常见用法示例 1：基本的拖拽控件解释：示例 2：与 DragTarget 配合使用解释： 4. Draggable 的回调详解5. 总结 Draggable 是 Flutter 中一个用…...
【QSS样式表 - ⑥】：QPushButton控件样式
文章目录 QPushBUtton控件样式QSS示例 QPushBUtton控件样式 常用子控件 常用伪状态 QSS示例 代码： QPushButton {background-color: #99B5D1;color: white;font-weigth: bold;border-radius: 20px; }QPushButton:hover {background-color: red; }QPushButton:p…...
DPO（Direct Preference Optimization）算法解释：中英双语
中文版 DPO paper: https://arxiv.org/pdf/2305.18290 DPO 算法详解：从理论到实现 1. 什么是 DPO？ DPO（Direct Preference Optimization）是一种直接基于人类偏好进行优化的算法，旨在解决从人类偏好数据中训练出表现…...
_kaic)
springboot495基于java的物资综合管理系统的设计与实现(论文+源码)_kaic
摘 要 如今社会上各行各业，都喜欢用自己行业的专属软件工作，互联网发展到这个时候，人们已经发现离不开了互联网。新技术的产生，往往能解决一些老技术的弊端问题。因为传统物资综合管理系统信息管理难度大，容错率低&am…...
JavaScript语言的编程范式
JavaScript：面向对象与函数式编程的双重奏 在编程世界中，JavaScript 无疑是一颗璀璨的明星，它不仅主宰着前端开发领域，还在后端、桌面应用、甚至物联网设备上展现出了强大的生命力。JavaScript 的魅力在于其灵活多变的编程范式&a…...
MyBatis动态 SQL 的执行原理
MyBatis 动态 SQL 是 MyBatis 框架中的一个重要特性，它允许开发者根据条件动态地生成不同的 SQL 语句。通过使用动态 SQL，开发者可以根据传入的参数动态地构建 SQL 查询，这样就避免了写多个 SQL 语句，提升了代码的灵活性和可维护性…...
PostgreSQL自带的一个命令行工具pg_waldump
pg_waldump是PostgreSQL自带的一个命令行工具，用于以人类可读的形式显示PostgreSQL数据库集簇的预写式日志（Write-Ahead Logging，WAL）。以下是对pg_waldump的详细介绍： 一、主要用途 pg_waldump主要用于调试或教育目…...
K8s 常用资源介绍
在 Kubernetes 中，资源指的是可以在集群中管理的对象（Objects）。这些资源用来定义和控制应用、服务、以及集群的状态。以下是 Kubernetes 中常见的资源及其用途介绍： 1. 工作负载资源（Workloads Resources）…...
基于 Python 大数据的拼团购物数据分析系统的设计与实现
标题:基于 Python 大数据的拼团购物数据分析系统的设计与实现 内容:1.摘要 本文设计并实现了一个基于 Python 大数据的拼团购物数据分析系统。通过对拼团购物数据的收集、清洗和分析，系统能够为商家提供用户行为分析、商品销售情况分析等功能，帮助商家更…...
finalshell密码解密
finalshell密码解密 在线网站运行java https://c.runoob.com/compile/10/ import java.io.ByteArrayOutputStream; import java.io.DataOutputStream; import java.io.IOException; import java.math.BigInteger; import java.security.MessageDigest; import java.security.N…...
利用Java爬虫速卖通按关键字搜索AliExpress商品
在这个信息爆炸的时代，数据的价值日益凸显。对于电商领域的从业者来说，能够快速获取商品信息成为了一项重要的技能。速卖通（AliExpress）作为全球领先的跨境电商平台，拥有海量的商品数据。本文将介绍如何使用Java语言编…...
每天40分玩转Django：Django缓存
一、Django缓存概述 在高并发的Web应用中,缓存是提高性能的重要手段。通过缓存频繁访问的数据,可以显著减少数据库查询和渲染模板的时间,从而加快响应速度,提升用户体验。Django提供了多层级的缓存方案,可以灵活地满足不同场景下的缓存需求。 Django支持的缓存方式包括: 视图…...
matrix-breakout-2-morpheus
将这一关的镜像导入虚拟机，出现以下页面表示导入成功 以root身份打开kali终端，输入以下命令，查看靶机ip arp-scan -l 根据得到的靶机ip，浏览器访问进入环境 我们从当前页面没有得到有用的信息，尝试扫描后台 发现有一个…...
第七节：GLM-4v-9b模型的视觉模型源码解读
文章目录 前言一、EVA2CLIPModel视觉编码模块结构二、PatchEmbedding图像分块源码解读三、GLM的transformer结构源码解读四、GLU映射方法源码解读前言 清华智普的GLM-4v-9b模型，作为优化的多模态大模型，特别适用于国内应用场景，解决了国外模型本地化不足的问题。本专栏提供…...
@RestControllerAdvice和@ControllerAdvice的区别
RestControllerAdvice 和 ControllerAdvice 都是 Spring 框架中的注解，用于定义全局的异常处理、数据绑定、模型属性共享等功能。它们的区别主要体现在返回值的处理和适用的场景。 1. ControllerAdvice 功能： ControllerAdvice 是 Spring MVC 提供的全局…...
c++ 类似与c# 线程 AutoResetEvent 和 ManualResetEvent的实现
在 C 中，没有直接类似于 C# 的 AutoResetEvent 和 ManualResetEvent 的类，但可以通过一些线程同步机制来实现类似的功能。C 提供了一些线程同步原语，如 std::condition_variable 和 std::mutex，这些可以用来模拟类似于 C# 中 Auto…...
简单贪吃蛇小游戏的设计与实现
文章目录 1、知识预备1.1 WIN32 API1.1.1 什么是WIN32 API1.1.2 了解部分WIN32 API1.1.2.1 控制台坐标1.1.2.2 控制台光标1.1.2.3 获取键盘按键情况 2.1 宽字符2.1.1 C语言的国际化2.1.2 宽字符的打印 2、 贪吃蛇游戏设计2.1 游戏开始2.2 游戏运行2.2.1 更新分数2.2.2 按键检测…...
)
动态规划＜五＞ 子数组问题(含对应LeetcodeOJ题)
目录 引例 经典LeetcodeOJ题 1.第一题 2.第二题 3.第三题 4.第四题 5.第五题 6.第六题 7.第七题 引例 OJ传送门 Leetcode<53> 最大子数组和 画图分析: 使用动态规划解决 1.状态表示 dp[i]表示以i位置为结尾的所有子数组中的最大和 2.状态转移方程 子数组的问题可以…...
计算机网络——期末复习（4）协议或技术汇总、思维导图
思维导图 协议与技术 物理层通信协议：曼彻斯特编码链路层通信协议：CSMA/CD （1）停止-等待协议（属于自动请求重传ARQ协议）：确认、否认、重传、超时重传、 （2）回退N帧协…...
在 RK3568 Linux 系统上使用 TUN 设备：详细教程
RK3568 是一个基于 ARM 架构的处理器，广泛应用于嵌入式系统和物联网设备。Linux 系统上的 TUN（网络隧道）设备提供了一个虚拟的网络接口，允许用户空间程序通过内核与网络栈进行交互。本文将详细介绍如何在 RK3568 上配置和使用 TUN 设备，适用于搭建 VPN 或容器网络等应用场…...
记录一次前端绘画海报的过程及遇到的几个问题
先看效果 使用工具 html2canvas import html2canvas from html2canvas// 绘画前的内容 我就不过多写了<div class"content" ref"contentRef" v-show"!imgShow"><img :src"getReplaceImg(friendObj.coverUrl)" alt"&qu…...
费舍尔信息矩阵全面讲述
费舍尔信息矩阵（Fisher Information Matrix） 费舍尔信息矩阵是统计学中一个非常重要的概念，尤其在参数估计、最大似然估计（MLE）和贝叶斯推断中具有广泛的应用。它反映了参数估计的不确定性程度，也可以用来…...
【CSS in Depth 2 精译_094】16.2：CSS 变换在动效中的应用（下）——导航菜单的文本标签“飞入”特效与交错渲染效果的实现
当前内容所在位置（可进入专栏查看其他译好的章节内容） 第五部分 添加动效 ✔️【第 16 章 变换】 ✔️ 16.1 旋转、平移、缩放与倾斜 16.1.1 变换原点的更改16.1.2 多重变换的设置16.1.3 单个变换属性的设置 16.2 变换在动效中的应用 16.2.1 放大图标&am…...
webpack3 webpack4 webpack5 有什么区别
性能优化 Webpack 3 性能优化主要依赖开发者手动配置各种插件。例如，在代码分割方面，需要通过CommonsChunkPlugin来实现公共模块的提取，其配置相对复杂。如果配置不当，可能会导致模块重复打包等问题，影响构建效率和最终…...
vue2 升级为 vite 打包
VUE2 中使用 Webpack 打包、开发，每次打包时间太久，尤其是在开发的过程中，本文记录一下 VUE2 升级Vite 步骤。 安装 Vue2 Vite 依赖 dev 依赖 vitejs/plugin-vue2": "^2.3.3 vitejs/plugin-vue2-jsx": "^1.1.1 vite&…...
[创业之路-206]：《华为战略管理法-DSTE实战体系》- 6-关键成功因素法CSF
目录 一、概述 1、定义与起源 2、关键成功因素的定义 3、关键成功因素的来源 4、关键成功因素的确认方法 5、关键成功因素法的步骤 6、关键成功因素法的应用 7、关键成功因素法的优势与局限性 二、 关键成功因素法CSF的应用 1、企业战略管理 2、项目管理 3、绩效管…...
 RTX机制)
WebRTC服务质量（08）- 重传机制（05) RTX机制
WebRTC服务质量（01）- Qos概述 WebRTC服务质量（02）- RTP协议 WebRTC服务质量（03）- RTCP协议 WebRTC服务质量（04）- 重传机制（01) RTX NACK概述 WebRTC服务质量（…...
Go的select的运行原理
Go语言中的select语句是一种专门用于处理多个通道（channel）操作的控制结构。其运行原理可以概括为以下几点： 1. 监听多个通道 select语句能够同时监听多个通道上的操作，这些操作可以是发送操作或接收操作。每个通道操作都对应se…...
操作002：HelloWorld
文章目录 操作002：HelloWorld一、目标二、具体操作1、创建Java工程①消息发送端（生产者）②消息接收端（消费者）③添加依赖 2、发送消息①Java代码②查看效果 3、接收消息①Java代码②控制台打印③查看后台管理界面 操作…...
3D坐标下，一点在某一线段上的左右方向的判定
3D坐标下，一点在某一线段上的左右方向的判定 代码 代码 #include <iostream> #include <Eigen/Dense>#define M_PI 3.1415926// 计算三点组成平面的参数和变换到XOY平面的变换矩阵 void computePlaneAndTransform(const Eigen::Vector3d& P1, cons…...