当前位置：首页 > news >正文

详细描述一下Elasticsearch索引文档的过程？

news 来源：原创 2025/8/2 16:47:13

大家好，我是锋哥。今天分享关于【详细描述一下Elasticsearch索引文档的过程？】面试题。希望对大家有帮助；

详细描述一下Elasticsearch索引文档的过程？

Elasticsearch的索引文档过程是其核心功能之一，涉及将数据存储到索引中，并使其可搜索。下面我将详细描述Elasticsearch中索引文档的流程：

1. 文档（Document）

文档是Elasticsearch中存储数据的基本单位，类似于数据库中的一行记录。
每个文档都是一个JSON对象，包含了数据的字段和值。

2. 索引（Index）

索引是存储文档的地方，可以视为一个数据库，包含多个文档。每个文档在索引中有一个唯一的标识符（ID）。
Elasticsearch中的索引是分片的，可以包含多个分片，每个分片又是一个Lucene索引。

3. 索引文档的流程

索引文档的过程分为几个步骤：

3.1. 接收请求

当你向Elasticsearch发送一个index请求时，Elasticsearch接收到请求后，会根据请求的目标索引（index）来决定该文档存储在哪个位置。
这个请求通常是一个HTTP请求，通常如下所示：
```
PUT /my_index/_doc/1
{"title": "Elasticsearch Basics","content": "Elasticsearch is a distributed search engine."
}
```
上述请求向my_index索引中插入一条文档，文档的ID是1，内容是title和content字段。

3.2. 确定目标索引和文档ID

目标索引：请求中指定了文档要存入的索引（如my_index）。
文档ID：如果请求中指定了ID（如上例中的1），Elasticsearch会使用该ID；如果没有指定，Elasticsearch会自动生成一个唯一的ID。

3.3. 路由和分片

Elasticsearch使用路由来决定将文档存储到哪个分片（Shard）。路由通常是基于文档的ID来进行计算的，默认情况下，Elasticsearch会通过MD5哈希算法对文档ID进行处理，并将结果映射到分片。
这个过程确保文档在集群中的分布是均衡的。

3.4. 文档分析（Analyzing）

文档中的文本字段会经过分析过程。Elasticsearch使用**分析器（Analyzer）**来将文本字段分解成多个“词条”（terms）。这些词条会用于索引和查询。
- 分析器由字符过滤器（Character Filter）、**分词器（Tokenizer）和词项过滤器（Token Filter）**组成。
- 例如，文本"Elasticsearch Basics"会被分解为两个词条：elasticsearch和basics。
分析器的选择通常是在创建索引时配置的，默认分析器通常是standard分析器。

3.5. 创建Lucene文档

分析后的词条会被存储为Lucene文档的倒排索引（Inverted Index）的一部分。Lucene倒排索引将每个词条映射到包含该词条的文档ID列表中。
这些词条在Elasticsearch中是可以搜索的关键元素。

3.6. 存储原始文档（_source字段）

在索引文档时，Elasticsearch通常会将原始的JSON文档（即_source字段）存储起来。这样，当进行搜索时，用户可以检索到原始数据。
_source字段是文档的原始内容，不经过分析和转换，保留完整的原始结构。

3.7. 分配文档到分片

文档经过路由后被分配到集群中的某个具体的分片（Shard）。分片的数量在创建索引时设置，并且每个分片可以被多个节点（Node）存储。
每个文档的倒排索引会被存储在Lucene的分片索引中。

3.8. 更新和刷新

Elasticsearch的倒排索引是通过写入**事务日志（translog）**来进行更新的，事务日志确保了写操作的可靠性。在写入后，数据不会立即对外可见。
**刷新（refresh）**操作将事务日志的数据更新到倒排索引中，使得索引变得可搜索。
- 刷新是定期进行的，但也可以通过_refreshAPI手动触发。
每个分片会有一个独立的刷新周期，通常会在每个分片每隔一段时间进行一次刷新。

3.9. 成功索引

当文档成功被索引后，Elasticsearch返回一个响应，告知用户索引成功。
响应通常包含文档ID、索引名称、分片位置和版本号等信息。

{"_index": "my_index","_id": "1","_version": 1,"_shards": {"total": 1,"successful": 1,"failed": 0},"result": "created","_seq_no": 0,"_primary_term": 1
}

3.10. 数据的最终存储

文档经过索引和刷新后，它的倒排索引和原始文档（_source）数据被持久化存储。
Elasticsearch会定期清理无用的文档和版本，通过合并（merge）过程来减少索引的碎片。

4. 索引的状态

索引文档后的数据会进入搜索引擎的活跃状态。用户可以通过查询（search）请求来检索这些文档。
如果在文档索引后有更新操作（如update、delete），Elasticsearch会根据文档ID来执行这些操作，而这些操作最终会更新倒排索引。

总结

Elasticsearch索引文档的过程包括以下主要步骤：

接收索引请求。
确定目标索引和文档ID。
计算路由，将文档分配到对应的分片。
对文档中的文本字段进行分析，生成倒排索引。
存储原始文档（_source字段）。
执行更新和刷新操作，使文档可以被搜索。
最终，文档存储在索引的分片中，等待查询。

这些步骤结合了数据分片、路由、分析、索引和存储，确保Elasticsearch能够高效地存储和查询海量数据。

详细描述一下Elasticsearch索引文档的过程？

大家好，我是锋哥。今天分享关于【详细描述一下Elasticsearch索引文档的过程？】面试题。希望对大家有帮助； 详细描述一下Elasticsearch索引文档的过程？ Elasticsearch的索引文档过程是其核心功能之一，涉及将数据存储到…...

编程日记 2025/8/2 16:47:13

【shell编程】shell基础之for与while循环

shell基础（五） 声明：该笔记为up主泷羽的课程笔记，本节链接指路。警告：本教程仅作学习用途，若有用于非法行为的，概不负责。 for循环 for循环用于遍历一系列的值，通常为一个列表或…...

编程日记 2025/7/30 1:03:00

C++多线程编程入门教程（优质版）

一、引言在当今的软件开发领域中，多线程编程的重要性日益凸显。它已然成为充分挖掘现代多核处理器性能、提升程序效率与响应速度的关键技术。C 作为一门强大的编程语言，其丰富的多线程编程工具和技术为开发者提供了广阔的施展空间。本文将引领读者踏入 …...

编程日记 2025/7/31 1:44:45

Spring监听的使用、原理、源码分析

一、原理分析 Spring监听的核心原理就是观察者模式。本文将对应观察者模式分析Spring监听的使用和原理。文章较长，跳转记得使用文章右边的目录。 1.1，观察者模式的组成 1，Subject：目标，即被观察者维护了观察者列表&am…...

编程日记 2025/8/2 21:24:02

CSS布局学习2

flex布局中span会改变行为在使用 Flex 布局时，盒子中的子元素（如 span）会自动成为 Flex 项目，并参与 Flex 布局的计算。具体原因如下： Flex 容器：当一个元素设置为 display: flex; 时，它会变…...

编程日记 2025/8/2 21:23:11

Oracle - 多区间按权重取值逻辑，分时区-多层级-取配置方案（三）

本篇紧跟第一篇， 和第二篇无关 Oracle - 多区间按权重取值逻辑 ，分时区-多层级-取配置方案 Oracle - 多区间按权重取值逻辑 ，分时区-多层级-取配置方案(二) 先说需求： 某业务配置表，按配置的时间区间及组织层级取方…...

编程日记 2025/7/15 11:12:29

Spring Cloud Netflix 系列：Eureka 经典实战案例和底层原理解析

文章目录前言Eureka 简介架构设计工作流程项目 demo 构建Eureka Server 的搭建Eureka Client 的配置补充说明运行效果深入使用Eureka 注册中心添加认证搭建 Eureka 集群实现高可用双节点集群搭建运行效果补充说明为什么要配置不同host 原理解析服务注册、心跳续期详细流程…...

编程日记 2025/8/1 9:27:36

ElasticSearch学习篇17_《检索技术核心20讲》最邻近检索-局部敏感哈希、乘积量化PQ思路

目录场景在搜索引擎和推荐引擎中，对相似文章去重是一个非常重要的环节，另外是拍照识花、摇一摇搜歌等场景都可以使用它快速检索。基于敏感性哈希的检索更擅长处理字面上的相似而不是语义上的相似。向量空间模型ANN检索加速思路局部敏感哈希编码随…...

编程日记 2025/7/31 1:33:37

2024亚太杯国际赛C题参考文章50页+完整解题思路+数据处理+最终结果

中国宠物食品行业的发展趋势与汇率情景分析：基于多模型的量化预测与决策分析一、摘要本文针对宠物产业及相关产业的发展分析问题，采用多种数学建模方法和数据分析技术，构建了一系列预测和评估模型。从宠物数量预测、全球市场分析、产业 …...

编程日记 2025/7/29 18:15:15

渗透测试笔记——shodan（4）

声明： 学习视频来自B站up主【泷羽sec】有兴趣的师傅可以关注一下，如涉及侵权马上删除文章，笔记只是方便各位师傅的学习和探讨，文章所提到的网站以及内容，只做学习交流，其他均与本人以及泷羽sec团队无关&am…...

编程日记 2025/7/31 4:20:35

一次封装，解放双手：Requests如何实现0入侵请求与响应的智能加解密

引言之前写了 Requests 自动重试的文章，突然想到，之前还用到过 Requests 自动加解密请求的逻辑，分享一下。之前在做逆向的时候，发现一般医院的小程序请求会这么玩，请求数据可能加密也可能不加密，但是返回…...

编程日记 2025/7/29 20:34:42

c++中操作数据库的常用函数

在C中操作数据库，尤其是MySQL数据库，主要通过MySQL提供的C API或MySQL Connector/C库来实现。这些库提供了一系列的函数，使得开发者能够在C应用程序中执行数据库的连接、查询、更新、删除等操作。以下是C中操作MySQL数据库的一些常用函数&…...

编程日记 2025/8/2 6:37:10

CoAP 协议介绍：特性、应用与优劣势

CoAP 协议简介 CoAP 协议（Constrained Application Protocol）是一种专门为受限设备设计的互联网应用协议。它旨在让小型、低功耗的设备能够接入物联网（IoT）。该协议允许这些设备以最小的资源与更广泛的互联网进行通信。 CoAP 协…...

编程日记 2025/7/27 22:03:29

leetcode hot100【LeetCode 53.最大子数组和】java实现

LeetCode 53.最大子数组和题目描述给定一个整数数组 nums，找到一个具有最大和的连续子数组（至少一个元素），返回其最大和。子数组是数组中的一个连续部分。示例 1: 输入: nums [-2,1,-3,4,-1,2,1,-5,4] 输出: 6 解释: 连续…...

编程日记 2025/7/30 6:55:07

MAC C语言 Helloword

在 macOS 系统上编写并运行一个简单的 “Hello, World!” 程序，你可以使用多种编程语言。下面我将以 C 语言为例，展示如何在 macOS 上编写、编译和运行这个经典的 “Hello, World!” 程序。步骤 1: 安装 Xcode Command Line Tools macOS 系统上通常没…...

编程日记 2025/7/26 21:56:51

【过程控制系统】第6章串级控制系统

目录 6. l 串级控制系统的概念 6.1.2 串级控制系统的组成 6.l.3 串级控制系统的工作过程 6.2 串级控制系统的分析 6.2.1 增强系统的抗干扰能力 6.2.2 改善对象的动态特性 6.2.3 对负荷变化有一定的自适应能力 6.3 串级控制系统的设计 6.3.1 副回路的选择 2.串级系…...

编程日记 2025/7/29 19:17:12

springboot：责任链模式实现多级校验

责任链模式是将链中的每一个节点看作是一个对象，每个节点处理的请求不同，且内部自动维护一个下一节点对象。当一个请求从链式的首段发出时，会沿着链的路径依此传递给每一个节点对象，直至有对象处理这个请求为止。属于行为型模式…...

编程日记 2025/7/28 1:18:20

如何构建高效的接口自动化测试框架？

🍅 点击文末小卡片 ，免费获取软件测试全套资料，资料在手，涨薪更快在选择接口测试自动化框架时，需要根据团队的技术栈和项目需求来综合考虑。对于测试团队来说，使用Python相关的测试框架更为便捷。无论选…...

编程日记 2025/8/2 13:13:35

spring-logback引用外部文件

背景在spring微服务开发和云部署中，都涉及到日志的收集，很多时候为例方便管理和开发，很多公司都会开发一些基础配置代码。其中日志就是很重要的部分， 为了方便部署、收集、查看，所以日志文件需要存储在同一个…...

编程日记 2025/7/30 1:14:02

【MyBatisPlus·最新教程】包含多个改造案例，常用注解、条件构造器、代码生成、静态工具、类型处理器、分页插件、自动填充字段

文章目录一、MyBatis-Plus简介二、快速入门1、环境准备2、将mybatis项目改造成mybatis-plus项目（1）引入MybatisPlus依赖，代替MyBatis依赖（2）配置Mapper包扫描路径（3）定义Mapper接口并继承BaseM…...

编程日记 2025/7/30 23:31:32

go项目中比较好的实践方案

工作两年来，我并未遇到太大的挑战，也没有特别值得夸耀的项目。尽管如此，在日常的杂项工作中，我积累了不少心得，许多实践方法也在思考中逐渐得到优化。因此，我在这里记录下这些心得。转发与封装这个需求…...

编程日记 2025/7/29 8:56:33

Windows之使用putty软件以ssh的方式连接Linux中文显示乱码

项目场景： 运行环境：Windows10 使用软件：putty 操作说明：以ssh的方式连接Linux 中文显示乱码问题描述 Windows之使用putty软件以ssh的方式连接Linux中文显示乱码原因分析： linux 机器的系统语言字符集与putty软件…...

编程日记 2025/7/28 0:27:26

springboot整合hive pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.…...

编程日记 2025/7/30 22:48:00

vxe-form table 修改表单数据校验的主题样式

在使用 vxe-form 表单校验时，数据校验可以支持2种主题样式官网：https://vxeui.com 普通样式通过设置 valid-config.theme‘normal’ 设置为普通样式高亮样式通过设置 valid-config.theme‘beautify’ 设置为高亮样式 <template><div&…...

编程日记 2025/7/30 20:36:58

【UE5】使用基元数据对材质传参，从而避免新建材质实例

在项目中，经常会遇到这样的需求：多个模型（例如 100 个）使用相同的材质，但每个模型需要不同的参数设置，比如不同的颜色或随机种子等。在这种情况下，创建 100 个实例材质不是最佳选择。正确的做…...

编程日记 2025/7/29 14:39:38

一个计算频率的模块

先上代码 module _sync_reg #(parameter INIT 0,parameter ASYNC_RESET 0 ) (input clk,input rst,input in,output out );(* ASYNC_REG "TRUE" *) reg sync1; (* ASYNC_REG "TRUE" *) reg sync2;assign out sync2;generate if (ASYNC_RE…...

编程日记 2025/8/2 2:40:38

在SpringBoot项目中集成MongoDB

文章目录 1. 准备工作2. 在SpringBoot项目中集成MongoDB2.1 引入依赖2.2 编写配置文件2.3 实体类 3. 测试4. 文档操作4.1 插入操作4.1.1 单次插入4.1.2 批量插入 4.2 查询操作4.2.1 根据id查询4.2.2 根据特定条件查询4.2.3 正则查询4.2.4 查询所有文档4.2.5 排序后返回 4.3 删除…...

编程日记 2025/7/29 20:35:12

OpenJudge - 24：输出保留3位小数的浮点数

【题目来源】http://shnoip.openjudge.cn/level1/24/【题目描述】读入一个单精度浮点数，保留3位小数输出这个浮点数。【输入格式】只有一行，一个单精度浮点数。【输出格式】也只有一行，读入的单精度浮点数。【输入样例】 12.34521【输出样…...

编程日记 2025/7/28 1:18:39

华为流程L1-L6业务流程深度细化到可执行

该文档主要介绍了华为业务流程的深度细化及相关内容，包括流程框架、建模方法、流程模块描述、流程图建模等，旨在帮助企业构建有效的流程体系，实现战略目标。具体内容如下：华为业务流程的深度细化流程层级：华为业务流程分为 L1 - L6 六个层级，L1 为流程大类，L2 为流程…...

编程日记 2025/7/30 14:52:20

Python中Tushare（金融数据库）入门详解

文章目录 Python中Tushare（金融数据库）入门详解一、引言二、安装与注册1、安装Tushare2、注册与获取Token 三、Tushare基本使用1、设置Token2、获取数据2.1、获取股票基础信息2.2、获取交易日历2.3、获取A股日线行情2.4、获取沪股通和深股通成份股2.5、获…...

编程日记 2025/8/2 13:23:29

Odoo中，要实现实时数据推送，SSE 与 WebSocket 该如何选择

目录 1. 技术特点对比 2. 使用场景适合使用 SSE 的场景： 适合使用 WebSocket 的场景： 3. 优缺点总结 SSE 优点： SSE 缺点： WebSocket 优点： WebSocket 缺点： 4. 选择建议选择 SSE 的条件&#x…...

编程日记 2025/7/28 20:53:03

02. Python基础知识

一、注释在开发程序过程中，如果一段代码的逻辑比较复杂，不是特别容易理解，可以适当添加注释，以辅助自己或其他开发人员解读代码。注释是给程序员看的，为了让程序员方便阅读代码，解释器会忽略注释。在 Pyto…...

编程日记 2025/7/27 21:53:40

Mac 修改默认jdk版本

当前会话生效这里演示将 Java 17 版本降低到 Java 8 查看已安装的 Java 版本： 在终端（Terminal）中运行以下命令，查看已安装的 Java 版本列表 /usr/libexec/java_home -V设置默认 Java 版本： 找到 Java 8 的安装路…...

编程日记 2025/7/30 18:31:03

数字赋能，气象引领 | 气象景观数字化服务平台重塑京城旅游生态

在数字化转型的浪潮中，旅游行业正以前所未有的速度重塑自身，人民群众对于高品质、个性化旅游服务需求的日益增长，迎着新时代的挑战与机遇，为开展北京地区特色气象景观预报，打造“生态气象旅游”新业态，助推…...

编程日记 2025/7/31 8:55:57

C语言项⽬实践-贪吃蛇

目录 1.项目要点 2.窗口设置 2.1mode命令 2.2title命令 2.3system函数 2.Win32 API 2.1 COORD 2.2 GetStdHandle 2.3 CONSOLE_CURSOR_INFO 2.4 GetConsoleCursorInfo 2.5 SetConsoleCursorInfo 2.5 SetConsoleCursorPosition 2.7 GetAsyncKeyState 3.贪吃蛇游戏设…...

编程日记 2025/7/30 1:09:32

springboot整合kafka

springboot整合kafka pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven…...

编程日记 2025/7/23 16:25:18

量子计算机全面解析：技术、应用与未来

标题：量子计算机全面解析：技术、应用与未来一、什么是量子计算机？ 量子计算机是一种利用量子力学原理（如叠加、纠缠和干涉）进行计算的新型计算设备。与传统计算机基于比特（0 和 1）的运算方式不…...

编程日记 2025/7/27 19:45:18

提升软件测试报告的质量：Allure2中添加用例失败截图、日志、HTML块和视频的方法

Allure2的用途 Allure2是一个用于生成测试报告的框架，广泛应用于自动化测试和手动测试中。它支持多种测试框架，如JUnit、TestNG、MSTest等，通过生动的图表和详细的日志，使得非技术人员也能轻松地理解测试结果。许多团队选用Allur…...

编程日记 2025/8/1 20:47:20

Mysql启动报错：本地计算机上的mysql服务启动后停止,某些服务在未由其他服务或程序使用时将自动停止

原因是手动去改了mysql的配置文件my.ini的内容，重新启动服务启动不了。看了很多文章最终找到了恢复数据的办法。第一步备份先备份mysql数据存的文件夹Data，如果找不到则去看配置文件那一行datadir 第二步重新安装mysql 卸载篇可以看我之前发的文…...

编程日记 2025/7/31 20:34:58

国际环境和背景下的云计算领域

前言在当前国际环境和背景下，云计算领域呈现出复杂多变的局面，其发展深受技术创新、地缘政治、全球经济以及监管政策的影响。以下从技术趋势、市场竞争、地缘政治和监管环境四个方面详细解析云计算领域的现状。一、技术趋势：多云与边缘计算…...

编程日记 2025/8/1 8:16:57

网络安全-企业环境渗透2-wordpress任意文件读FFmpeg任意文件读

一、实验名称企业环境渗透2 二、实验目的【实验描述】操作机的操作系统是kali 进入系统后默认是命令行界面输入startx命令即可打开图形界面。所有需要用到的信息和工具都放在了/home/Hack 目录下。本实验的任务是通过外网的两个主机通过代理渗透到内网的两个主机。…...

编程日记 2025/7/30 23:35:33

C# 超链接控件LinkLabel无法触发Alt快捷键

在C#中，为控件添加快捷键的方式有两种，其中一种就是Windows中较为常见的Alt快捷键，比如运行对话框，记事本菜单等。只需要按下 Alt 框号中带下划线的字母即可触发该控件的点击操作。如图所示在C#开发中，实现类似的操作…...

编程日记 2025/7/30 1:07:47

一分钟学习数据安全——数据安全风险的系统化应对思路

数据是组织的重要资产，未经授权的数据访问可能导致数据泄露、数据篡改、隐私侵犯和合规风险等问题。企业可以通过数据访问控制来提高信息系统在数据全生命周期管理中的安全性。企业可以引入IAM系统，来控制身份来管理权限。通过对用户访问权限的管理和合适…...

编程日记 2025/8/2 16:47:13

深入了解 Spring Security 的授权核心功能

Spring Security 是一个强大且灵活的安全框架，能够帮助开发者为 Spring 应用程序提供认证和授权服务。在实际应用中，Spring Security 主要涉及用户的认证（谁是用户）和授权（用户能做什么）。本文将深入讲解 S…...

编程日记 2025/8/1 7:06:43

【Web前端】创建我的第一个 Web 表单

Web 开发中，表单是不可或缺的组成部分。无论是用户注册、登录还是反馈收集，表单都是与用户交互的重要方式。什么是 Web 表单？ Web 表单是一种用于收集用户输入数据的界面元素。它们允许用户在浏览器中输入信息并提交这些信息到服务器。Web …...

编程日记 2025/7/31 21:51:36

“人工智能+高职”：VR虚拟仿真实训室的发展前景

在当今科技日新月异的时代，人工智能（AI）与虚拟现实（VR）技术的融合正逐步改变着各行各业，教育领域也不例外。特别是在高等职业教育（简称“高职”）体系中，VR虚拟仿真实训室…...

编程日记 2025/7/27 18:31:03

状态模式之状态机

状态机的背景在软件开发过程中，尤其是涉及到复杂的系统行为控制时，我们常常会遇到这样的情况：一个对象或者系统会在多种状态之间进行转换，并且在不同状态下对相同事件的响应是不同的。以自动售卖机为例，自动售卖机…...

编程日记 2025/7/4 5:20:22

NUXT3学习日记四（路由中间件、导航守卫）

前言在 Nuxt 3 中，中间件（Middleware）是用于在页面渲染之前或导航发生之前执行的函数。它们允许你在路由切换时执行逻辑，像是身份验证、重定向、权限控制、数据预加载等任务。中间件可以被全局使用，也可以只在特定页…...

编程日记 2025/7/30 16:44:55

基于重复控制补偿的高精度 PID 控制

1. 背景与原理重复控制（Repetitive Control, RC）是一种适用于周期性信号跟踪和周期性扰动抑制的控制方法，通过在控制回路中引入周期补偿器来提高系统的控制精度。将 RC 与 PID 控制相结合，利用 PID 的快速响应特性和 RC 的周期补…...

编程日记 2025/7/28 1:02:59

详细描述一下Elasticsearch索引文档的过程？

1. 文档（Document）

2. 索引（Index）

3. 索引文档的流程

3.1. 接收请求

3.2. 确定目标索引和文档ID

3.3. 路由和分片

3.4. 文档分析（Analyzing）

3.5. 创建Lucene文档

3.6. 存储原始文档（_source字段）

3.7. 分配文档到分片

3.8. 更新和刷新

3.9. 成功索引

3.10. 数据的最终存储

4. 索引的状态

总结

相关文章：