当前位置：首页 > news >正文

Elasticsearch生态

news 来源：原创 2025/9/8 14:08:18

Elasticsearch核心概念

Elasticsearch实现全文检索的原理

Elasticsearch打分规则

常用的查询语法

ES数据同步方案

Elasticsearch生态非常丰富，包含了一系列工具和功能，帮助用户处理、分析和可视化数据，Elastic Stack是其核心部分：

Elastic Stack 也称 ELK Stack，由以下几个部门组成：

Elasticsearch：核心搜索引擎，负责存储、索引和搜索数据
Kibana：可视化平台，用于查询、分析和展示Elasticsearch中的数据
Logstash：数据处理管道，负责数据收集、过滤、增强和传输到Elasticsearch。
Beats：轻量级的数据传输工具，收集和发送数据到Logstash或Elasticsearch。

Elasticsearch核心概念

索引Index：类似数据库中的表，数据存储和搜索的基本单位，每个索引可以存储多条文档数据。

文档 Document：索引中的每条记录，类似数据库中的行，文档以JSON格式存储。

字段 Field：文档中的每个键值对，类似数据库中的列。

映射 Mapping：用于定义Elasticsearch索引中文档字段的数据类型及其处理方式，类似与关系型数据库中的Schema表结构，帮助控制字段的存储、索引和查询行为。

集群 Cluster：多个节点组成的集群，用于存储数据并提供搜索功能。集群中的每个节点都可以处理数据。

分片 Shard：为实现横向扩展，ES将索引拆分为多个分片，每个分片可以分布在不同节点上。

副本Replica：分片的复制品，用于提高可用性和容错性。

Elasticsearch实现全文检索的原理

1、分词：Elasticsearch的分词器会将输入文本拆解成独立的词条（tokens），方便进行索引和搜索。分词的具体过程有以下几步：

字符过滤：去除特殊字符、HTML标签或进行Italy文本清理。

分词：根据指定的分词器（analyzer），将文本按规则拆分成一个个词条。例如，英文按照空格分，中文使用专门的分词器处理。

词汇过滤：对分词结果进行过滤，如去掉停用词“the”“is” 或进行词形归并。

2、倒排索引

倒排索引是Elasticsearch实现高效搜索的核心数据结构。它将文档中的词条映射到文档ID，实现快速查找。

工作原理：

每个文档在被索引时，分词器会将文档内容拆解为多个词条。
Elasticsearch为每个词条生成一个倒排索引，记录改词条在哪些文档中出现。

例如：

文档1：小俱是美女
文档2：小俱是好人

中文分词后，生成的倒排索引大致如下：

词条	文档ID
小俱	1,2
是	1,2
美女	1
好人	2

通过这种结果，可以快速找到包含该词的所有文档。

Elasticsearch打分规则

打分规则是用于衡量每个文档与查询条件的匹配度的评分机制。搜索结果默认排序方式是按照相关性得分，从高到底。Elasticsearch使用 BM25算法来极端每个文档的得分，基于词频、反向文档频率、文档长度等因素来评估文档和查询的相关性。

打分的主要因素：

1.词频：查询词在文档中出现的次数，次数越多，得分越高。

2.反向文档频率：查询词在所有文档中出现的频率。词在越少的文档中出现，IDF 值越高，得分越高。
3.文档长度：较短的文档往往被认为更相关，因为查询词在短文档中占的比例更大。

常用的查询语法

DSL查询(Domain specific Language)

基于 JSON 的查询语言，它是 Elasticsearch 中最常用的查询方式。

{"query": {"match": {"message": "Elasticsearch 是强大的"}}
}

这个查询会对message字段进行分词

ES数据同步方案

一般情况下，如果做查询搜索功能，使用 ES 来模糊搜索，但是数据是存放在数据库 MySQL 里的，所以说我们需要把 MySQL 中的数据和 ES 进行同步，保证数据一致(以 MySQL为主)。

数据流向:MySQL=>ES(单向)
数据同步一般有2个过程:全量同步(首次)+增量同步(新数据)

总共四种：

1、定时任务

比如1分钟1次，找到 MySQL 中过去几分钟内(至少是定时周期的2倍)发生改变的数据，然后更新到 ES。
优点:

简单易懂，开发、部署、维护相对容易。
占用资源少，不需要引入复杂的第三方中间件。
不用处理复杂的并发和实时性问题。

缺点：

有时间差:无法做到实时同步，数据存在滞后。
数据频繁变化时，无法确保数据完全同步，容易出现错过更新的情况。
对大数据量的更新处理不够高效，可能会引入重复更新逻辑。

应用场景：

数据实时性要求不高:适合数据短时间内不同步不会带来重大影响的场景。
数据基本不发生修改:适合数据几乎不修改、修改不频繁的场景。
数据容忍丢失。

2、双写

写数据的时候，必须也去写 ES;更新删除数据库同理。
可以通过事务保证数据一致性，使用事务时，要先保证 MySQL写成功，因为如果 ES 写入失败了，不会触发回滚，但是可以通过定时任务 +日志+告警进行检测和修复(补偿)。
优点:

方案简单易懂，业务逻辑直接控制数据同步
可以利用事务部分保证 MySQL 和 ES 的数据一致性。
同步的时延较短，理论上可以接近实时更新 ES。.

缺点:

影响性能:每次写 MySQL时，需要同时操作 ES，增加了业务写入延迟影响性能。
一致性问题:如果 ES 写入失败，MySQL事务提交成功后，ES 可能会丢失数据;或者 ES 写入成功，MySQL事务提交失败，ES 无法回滚。因此必须额外设计监控、补偿机制来检测同步失败的情况(如通过定时任务、日志和告警修复)。
代码复杂度增加，需要对每个写操作都进行双写处理。

应用场景：

实时性要求较高
业务写入频率较低:适合写操作不频繁的场景，这样对性能的影响较小。

3、使用Logstash数据同步管道

一般要配合 kafka 消息队列 + beats 采集器:

优点:

配置驱动:基于配置文件，减少了手动编码，数据同步逻辑和业务代码解耦。
扩展性好:可以灵活引入 Kafka 等消息队列实现异步数据同步，并可处理高吞吐量数据
支持多种数据源:Logstash 支持丰富的数据源，方便扩展其他同步需求。

缺点:

灵活性差:需要通过配置文件进行同步，复杂的业务逻辑可能难以在配置中实现，无法处理细粒度的定制化需求。
引入额外组件，维护成本高:通常需要引入 Kafka、Beats 等第三方组件，增加了系统的复杂性和运维成本。

应用场景:

大数据同步:适合大规模、分布式数据同步场景。
对实时性要求不高:适合数据流处理或延迟容忍较大的系统。
系统已有 Kafka 或类似的消息队列架构:如果系统中已经使用了 Kafka 等中间件，使用 Logstash 管道会变得很方便。

4、监听 MysQL Binlog
有任何数据变更时都能够实时监听到，并且同步到 Elasticsearch。一般不需要自己监听，可以使用现成的技术，比如 Canal。

Canal 的核心原理:数据库每次修改时，会修改 binlog 文件，只要监听该文件的修改，就能第一时间得到消息并处理。
优点:

实时性强:能够在 MySQL数据发生变更的第一时间同步到 ES，做到真正的实时同步。
轻量级:Binlog 是数据库自带的日志功能，不需要修改核心业务代码，只需要新增监听逻辑。

缺点:

引入外部依赖:需要引入像 Canal 这样的中间件，增加了系统的复杂性和维护成本。
运维难度增加:需要确保 Canal 或者其他 Binlog 监听器的稳定运行，并且对 MySQL 的 Binlog 配置要求较高。
一致性问题:如果 Canal 服务出现问题或暂停，数据可能会滞后或丢失必须设计补偿机制。

应用场景

实时同步要求高:适合需要实时数据同步的场景，通常用于高并发、高数
据-致性要求的系统。
数据频繁变化:适合数据变更频警目需要高效增量同步的场景

Elasticsearch生态

目录 Elasticsearch核心概念 Elasticsearch实现全文检索的原理 Elasticsearch打分规则常用的查询语法 ES数据同步方案 Elasticsearch生态非常丰富，包含了一系列工具和功能，帮助用户处理、分析和可视化数据，Elastic Stack是其核心部分&a…...

编程日记 2025/9/8 14:08:18

idea配置spring MVC项目启动（maven配置完后）

springmvc项目在idea中配置启动总结，下面的内容是在maven配置好后进行的。配置 Tomcat 服务器添加 Tomcat 到 IDEA： File → Settings → Build, Execution, Deployment → Application Servers → 点击 → 选择 Tomcat Server。指定 Tomcat 安装目…...

编程日记 2025/9/8 13:59:32

大模型微调数据集怎么搞？基于easydataset实现文档转换问答对json数据集！

微调的难点之一在与数据集。本文介绍一种将文档转换为问答数据集的方法，超级快！ 上图左侧是我的原文档，右侧是我基于文档生成的数据集。原理是通过将文档片段发送给ollama本地模型，然后本地模型生成有关问题，并基于文…...

编程日记 2025/9/8 14:01:22

【排序算法】快速排序

目录一、递归版本 1.1 hoare版本问题1：为什么left 和 right指定的数据和key值相等时不能交换？ 问题2：为什么跳出循环后right位置的值⼀定不⼤于key？ 1.2 挖坑法 1.3 lomuto前后指针版本二、快排优化 2.1 时间复杂度的计算 2.1.…...

编程日记 2025/9/8 14:03:34

爬虫：IP代理

什么是代理代理服务器代理服务器的作用就是用来转发请求和响应在爬虫中为何需要使用代理？ 有些时候，需要对网站服务器发起高频的请求，网站的服务器会检测到这样的异常现象，则会讲请求对应机器的ip地址加入黑名单&#xff…...

编程日记 2025/9/8 14:06:09

JUC.atomic原子操作类原理分析

摘要多线程场景下共享变量原子性操作除了可以使用Java自带的synchronized关键字以及AQS锁实现线程同步外，java.util.concurrent.atomic 包下提供了对基本类型封装类(AtomicBoolean|AtomicLong|AtomicReference|AtomicBoolean) 以及对应的数组封装。对于已有的包含…...

编程日记 2025/9/8 4:11:20

【XCP实战】AUTOSAR架构下XCP从0到1开发配置实践

目录前言正文 1.CAN功能开发 1.1 DBC的制作及导入 1.2 CanTrcv模块配置 1.3 Can Controller模块配置 1.4 CanIf模块配置 2.XCP模块集成配置配置 2.1.XCP模块配置 2.2.XCP模块的Task Mapping 2.3.XCP模块的初始化 3.在链接文件中定义标定段 4.编写标定相关的测试…...

编程日记 2025/9/8 14:04:34

【STM32】STemWin库，使用template API

目录 CubeMX配置工程文件配置 Keil配置 STemwin配置 GUIConf.c LCDConf.c 打点函数修改屏幕分辨率 GUI_X.c 主函数添加区域填充函数移植过程中需要一些参考手册，如下 STemwin使用指南 emWin User Guide & Reference Manual CubeMX配置参考驱…...

编程日记 2025/9/8 14:03:33

Web开发-JavaEE应用动态接口代理原生反序列化危险Invoke重写方法利用链

知识点： 1、安全开发-JavaEE-动态代理&序列化&反序列化 2、安全开发-JavaEE-readObject&toString方法一、演示案例-WEB开发-JavaEE-动态代理动态代理代理模式Java当中最常用的设计模式之一。其特征是代理类与委托类有同样的接口，代理类…...

编程日记 2025/9/8 14:06:45

C语言中while的相关题目

一、题目引入以下程序中,while循环的循环次数是多少次? 二、代码分析首先要明确的一点 while循环是当循环条件为真就会一直循环不会停止 while中i是小于10的说明i可以取到0 1 2 3 4 5 6 7 8 9 进入第一个if判断i小于1为真时执行continue i0是为真的执行continue 后…...

编程日记 2025/9/8 14:03:00

1、下载交叉编译器下： st-example-image-qt wayland-openstlinux-weston-stm32mp1-x86_64-toolchain-3.1-snapshot.sh 通过网盘分享的文件：STM32项目链接: https://pan.baidu.com/s/1hTvJT2r6czWCrKSuNEZCuw?pwdth7t 提取码: th7t --来自百度网盘超级…...

编程日记 2025/9/8 1:27:42

深入剖析 Axios 的 POST 请求：何时使用 qs 处理数据

在前端开发中，Axios 是一个广泛使用的用于发送 HTTP 请求的库，特别是在处理 POST 请求时，数据的处理方式会直接影响到请求能否正确被后端接收和处理。其中，使用 qs 库对数据进行处理是一个常见的操作点，本文将深入探讨…...

编程日记 2025/9/8 14:04:34

Python中NumPy的随机操作

在数据科学、机器学习和科学计算中，随机数的生成和操作是不可或缺的一部分。NumPy作为Python中强大的数值计算库，提供了丰富的随机数生成工具，能够满足从简单随机数生成到复杂概率分布模拟的多种需求。本文将深入探讨NumPy的随机操作功能&…...

编程日记 2025/9/4 20:15:59

从代码学习深度学习 - 多头注意力 PyTorch 版

文章目录前言一、多头注意力机制介绍1.1 工作原理1.2 优势1.3 代码实现概述二、代码解析2.1 导入依赖序列掩码函数2.2 掩码 Softmax 函数2.3 缩放点积注意力2.4 张量转换函数2.5 多头注意力模块2.6 测试代码总结前言在深度学习领域，注意力机制（Attention Mechanism）是自然…...

编程日记 2025/9/5 1:00:52

通过扣子平台工作流将数据写入飞书多维表格

1. 进入扣子平台，并创建工作流扣子扣子是新一代 AI 大模型智能体开发平台。整合了插件、长短期记忆、工作流、卡片等丰富能力，扣子能帮你低门槛、快速搭建个性化或具备商业价值的智能体，并发布到豆包、飞书等各个平台。https://www.coze.cn…...

编程日记 2025/9/4 0:58:14

python专题2-----用python生成多位，值均是数字的随机数

有很多方法可以用 Python 生成多位随机数。我将向您介绍几个常用的方法，并解释它们的优缺点（此处以4位随机数为例）： 1. 使用 random.randint() 这是最简单直接的方法： import randomrandom_number random.randint…...

编程日记 2025/8/28 1:32:47

Mybatis的简单介绍

文章目录 MyBatis 简介 1. MyBatis 核心特点2. MyBatis 核心组件3. MyBatis 基本使用示例(1) 依赖引入（Maven）(2) 定义 Mapper 接口(3) 定义实体类(4) 在 Service 层调用 4. MyBatis 与 JPA/Hibernate 对比 MyBatis 简介 MyBatis 是一款优秀的持久层框…...

编程日记 2025/9/7 18:26:39

山东大学软件学院创新项目实训（11）之springboot+vue项目接入deepseekAPI

因为该阶段是前后端搭建阶段，所以没有进大模型的专项训练，所以先用老师给的deepseek接口进行代替且因为前端设计部分非本人负责且还没有提交到github上，所以目前只能先编写一个简易的界面进行功能的测试首先进行创建model类然后创建Cha…...

编程日记 2025/9/8 5:40:25

Qt绘图事件

目录 1.绘图事件 1.1绘图事件 1.2声明一个画家对象 2.画线、画圆、画矩形、画文字 2.1画线编辑 2.2画圆 2.3画矩形 2.4画文字 3.设置画笔 3.1设置画笔颜色 3.2设置画笔宽度 3.3设置画笔风格 4.设置画刷 4.1填色 4.2设置画刷风格 5.绘图高级设置 5.1设置抗锯…...

编程日记 2025/9/4 6:44:49

Linux 内核 BUG: Android 手机 USB 网络共享故障

众所周知, 窝日常使用 ArchLinux 操作系统, 而 ArchLinux 是一个滚动发行版本, 也就是各个软件包更新很快. 然而, 突然发现, Android 手机的 USB 网络共享功能 BUG 了. 经过一通排查, 发现是 Linux 内核造成的 BUG. 哎, 没办法, 只能自己动手修改内核代码, 修复 BUG 了. 本文…...

编程日记 2025/9/4 18:46:36

程序化广告行业（82/89）：解锁行业术语，开启专业交流之门

程序化广告行业（82/89）：解锁行业术语，开启专业交流之门在程序化广告这个充满活力与挑战的行业里，持续学习是我们不断进步的动力源泉。一直以来，我都期望能和大家一起深入探索这个领域，共同成长…...

编程日记 2025/9/7 3:40:53

Linux的网络配置的资料

目前有两种方式，network和NetworkManager。 network方式是在CentOS 6及更早版本中引入的配置方法，支持使用配置文件的方式管理网卡的配置。 NetworkManager是在CentOS 7及后续的版本中使用的配置方法，支持使用命令行和图形化界面的方式来管理…...

编程日记 2025/9/7 15:47:09

linux: 文件描述符fd

目录 1.C语言文件操作复习 2.底层的系统调用接口 3.文件描述符的分配规则 4.重定向 1.C语言文件操作复习文件内容属性。所有对文件的操作有两部分：a.对内容的操作；b.对属性的操作。内容是数据，属性其实也是数据-存储文件&#xff0c…...

编程日记 2025/9/2 13:46:06

每天学一个 Linux 命令（16）：mkdir

每天学一个 Linux 命令（16）：mkdir 命令简介 mkdir（Make Directory）是 Linux 和类 Unix 系统中用于创建新目录的基础命令。它允许用户快速创建单个目录、多级嵌套目录，并能灵活设置目录权限。主要用途创建单个目录：快速生成新的空目录。递归创建多级目录：自动生成缺…...

编程日记 2025/9/5 1:22:33

Java微服务注册中心深度解析：环境隔离、分级模型与Eureka/Nacos对比

在微服务架构体系中，注册中心如同神经系统般承担着服务发现与健康管理的核心职能。本文将从生产环境实践出发，系统剖析注册中心的环境隔离策略、分级部署模型，并通过Eureka与Nacos两大主流组件的全方位对比，帮助开发者构建高可用服…...

编程日记 2025/9/7 21:25:29

c++：new关键字

目录基本语法使用举例应用场景使用 new 时的注意事项基本语法 Type* ptr new Type;Type 是你要创建的类型（可以是基本类型、结构体、类等） new Type 表示在堆上创建一个 Type 类型的对象 ptr 是一个指针，指向这个对象使用举例 …...

编程日记 2025/9/4 21:56:40

理解 MCP 协议的数据传递：HTTP 之上的一层“壳子

以下是以 CSDN 博客的风格记录你对 MCP 协议数据传递的理解和发现，内容涵盖了 MCP 协议基于 HTTP 的本质、JSON-RPC 的“壳子”作用，以及为什么熟悉 HTTP 协议就足以理解 MCP 的数据传递。文章面向技术社区，结构清晰，适合分享。理…...

编程日记 2025/9/4 17:57:10

word中的mathtype公式编辑时，大（中）括号会存在很大的空白

如下所示，公式编辑的时候发现总会多一个空白，怎么删也删不掉这主要是公式的分隔符问题，选择：“格式”-“分隔符对齐”，选择第三个可以消除下面的空白点击“确认”，效果如下所示：...

编程日记 2025/8/17 19:53:39

【Java】查看当前 Java 使用的垃圾回收器

一、查询 Code import java.lang.management.GarbageCollectorMXBean; import java.lang.management.ManagementFactory; import java.util.Arrays; import java.util.List;public class GCTypeDetector {public static void main(String[] args) {List<GarbageCollectorMX…...

编程日记 2025/9/3 10:44:59

Elasticsearch核心概念

Elasticsearch实现全文检索的原理

Elasticsearch打分规则

常用的查询语法

ES数据同步方案

相关文章：