当前位置：首页 > news >正文

ElasticSearch入门详解

news 来源：原创 2025/7/26 9:34:29

1.ElasticSearch

1.1 ElasticSearch(简称es)

Elasticsearch是用Java开发并且是当前最流行的开源的企业级搜索引擎。
能够达到实时搜索，稳定，可靠，快速，安装使用方便。
客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。
官方网站: https://www.elastic.co/
下载地址：https://www.elastic.co/cn/start

1.2 ElasticSearch与Lucene的关系

Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库（框
架）
但是想要使用Lucene，必须使用Java来作为开发语言并将其直接集成到你的应用
中，并且Lucene的配置及使用非常复杂，你需要深入了解检索的相关知识来理解它
是如何工作的。
Lucene缺点：
1）只能在Java项目中使用,并且要以jar包的方式直接集成项目中.
2）使用非常复杂-创建索引和搜索索引代码繁杂
3）不支持集群环境-索引数据不同步（不支持大型项目）
4）索引数据如果太多就不行，索引库和应用所在同一个服务器,共同占用硬
盘.共用空间少.
上述Lucene框架中的缺点,ES全部都能解决

1.3 哪些公司在使用Elasticsearch

京东
携程
去哪儿
58同城
滴滴
今日头条
小米
哔哩哔哩
等等

1.4 ES vs 关系型数据库

2.Lucene全文检索框架

2.1 什么是全文检索

全文检索是指：

- 通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单

词在文本中的位置、以及出现的次数

- 用户查询时，通过之前建立好的索引来查询，将索引中单词对应的文本位

置、出现的次数返回给用户，因为有了具体文本的位置，所以就可以将具体内

容读取出来了

3.Elasticsearch中的核心概念

3.1 索引 index

一个索引就是一个拥有几分相似特征的文档的集合。比如说，可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字

3.2 映射 mapping

ElasticSearch中的映射（Mapping）用来定义一个文档 mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分词器、是否被索引等等，这些都是映射里面可以设置的

3.3 字段Field

相当于是数据表的字段|列

3.4 字段类型 Type

每一个字段都应该有一个对应的类型，例如：Text、Keyword、Byte等

3.5 文档 document

一个文档是一个可被索引的基础信息单元，类似一条记录。文档以JSON（Javascript Object Notation）格式来表示；

3.6 集群 cluster

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能

3.7 节点 node

一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中这意味着，如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中在一个集群里，可以拥有任意多个节点。而且，如果当前网络中没有运行任何 Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

3.8 分片和副本 shards&replicas

3.8.1 分片

一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10

亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或

者单个节点处理搜索请求，响应太慢
为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些

份就叫做分片
当创建一个索引的时候，可以指定你想要的分片的数量
每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以

被放置到集群中的任何节点上
分片很重要，主要有两方面的原因

允许水平分割/扩展你的内容容量

允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量
至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由

Elasticsearch管理的，对于作为用户来说，这些都是透明的

3.8.2 副本

在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎

么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转

移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分

片的一份或多份拷贝，这些拷贝叫做副本分片，或者直接叫副本
副本之所以重要，有两个主要原因

在分片/节点失败的情况下，提供了高可用性。注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的
扩展搜索量/吞吐量，因为搜索可以在所有的副本上并行运行每个索引可以被分成多个分片。一个索引有0个或多个副本一旦设置了副本，每个索引就有了主分片和副本分片，分片和副本的数量可以在索引创建的时候指定，索引创建之后，可以在任何时候动态地改变副本的数量，但是不能改变分片的数量

4.安装Elasticsearch

4.1 安装Elasticsearch

4.1.1 创建普通用户

**ES不能使用root用户来启动，必须使用普通用户来安装启动。**这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等。创建一个es专门的用户（必须）

使用root用户在服务器执行以下命令

先创建组, 再创建用户:
1）创建 elasticsearch 用户组
[root@localhost ~]# groupadd elasticsearch2）创建用户 tlbaiqi 并设置密码
[root@localhost ~]# useradd aaa
[root@localhost ~]# passwd aaa3）# 创建es文件夹，
并修改owner为aaa用户
mkdir -p /usr/local/es4）用户es 添加到 elasticsearch 用户组
[root@localhost ~]# usermod -G elasticsearch tlbaiqi
[root@localhost ~]# chown -R aaa /usr/local/es/elasticsearch-7.6.15）设置sudo权限
#为了让普通用户有更大的操作权限，我们一般都会给普通用户设置sudo权限，方便普通用户的操作
#三台机器使用root用户执行visudo命令然后为es用户添加权限
[root@localhost ~]# visudo#在root ALL=(ALL) ALL 一行下面
#添加tlbaiqi用户 如下:
aaa ALL=(ALL) ALL#添加成功保存后切换到aaa用户操作[root@localhost ~]# su aaa
[aaa@localhost root]$# 解压Elasticsearch
su tlbaiqi
cd /user/local/
tar -zvxf elasticsearch-7.6.1-linux-x86_64.tar.gz -C /usr/local/es/
#进入服务器使用baiqi用户来修改配置文件cd /usr/local/es/elasticsearch-7.6.1/config
mkdir -p /usr/local/es/elasticsearch-7.6.1/log
mkdir -p /usr/local/es/elasticsearch-7.6.1/data
rm -rf elasticsearch.ymlvim elasticsearch.yml
cluster.name: aaa-es
node.name: node1
path.data: /usr/local/es/elasticsearch-7.6.1/data
path.logs: /usr/local/es/elasticsearch-7.6.1/log
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["服务器IP"]
cluster.initial_master_nodes: ["节点名"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
#修改jvm.option
cd /usr/local/es/elasticsearch-7.6.1/config
vim jvm.options
-Xms2g
-Xmx2g#4.2  修改系统配置，解决启动时候的问题
#由于现在使用普通用户来安装es服务，且es服务对服务器的资源要求比较多，包括内存大小，线程数等。所以我们需要给普#通用户解开资源的束缚
#4.2.1  普通用户打开文件的最大数限制
#问题错误信息描述：
#max file descriptors [4096] for elasticsearch process likely too low, increase to at least #[65536]
#ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限##  #制，不然ES启动就会抛错
sudo vi /etc/security/limits.conf
#添加如下内容: 注意*不要去掉了
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096#普通用户启动线程数限制
#问题错误信息描述
#max number of threads [1024] for user [es] likely too low, increase to at least [4096]
#修改普通用户可以创建的最大线程数
#max number of threads [1024] for user [es] likely too low, increase to at least [4096]原因：#无法创建本地线程问题,用户最大可创建线程数太小解决方案：修改90-nproc.conf 配置文件。
Centos6
sudo vi /etc/security/limits.d/90-nproc.conf
Centos7
sudo vi /etc/security/limits.d/20-nproc.conf* soft nproc 1024#修改为
* soft nproc 4096#4.2.3 普通用户调大虚拟内存
#错误信息描述：
#max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least #[262144]
#调大系统的虚拟内存
#原因：最大虚拟内存太小
#每次启动机器都手动执行下。
#三台机器执行以下命令   
sudo vim /etc/sysctl.conf
#追加以下内容：
vm.max_map_count=262144
sysctl -p#4.3  启动ES服务
#三台机器使用aaa用户执行以下命令启动es服务
nohup /usr/local/es/elasticsearch-7.6.1/bin/elasticsearch 2>&1 &#后台启动ES 进入bin目录  ./elasticsearch  -d
#启动成功之后jsp即可看到es的服务进程，并且访问页面 http://192.168.21.130:9200/?pretty#这个路径下面去查看错误日志
#关闭Linux防火墙
#永久性生效，重启后不会复原
#开启： chkconfig iptables on
#关闭： chkconfig iptables off
#即时生效，重启后复原
#开启： service iptables start
#关闭： service iptables stop

5.ES数据管理

8.1 ES数据管理概述

ES是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。

然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。

在ES中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。

ES使用JSON作为文档序列化格式。

JSON现在已经被大多语言所支持，而且已经成为NoSQL领域的标准格式。

ES存储的一个员工文档的格式示例：

  { "email": "584614151@qq.com", "name": "张三", "age": 30, "interests": [ "篮球", "健身" ] }

8.2 基本操作

创建索引

格式: PUT /索引名称

举例: PUT /es_db

查询索引

格式: GET /索引名称

举例: GET /es_db

删除索引

格式: DELETE /索引名称

举例: DELETE /es_db

添加文档

格式: PUT /索引名称/类型/id

举例: PUT /es_db/doc/1 { "name": "张三", "sex": 1, "age": 25, "address": "广州天河公园", "remark": "java developer" } PUT /es_db/doc/2 { "name": "李四", "sex": 1, "age": 28, "address": "广州荔湾大厦", "remark": "java assistant" } PUT /es_db/doc/3 { "name": "rod", "sex": 0, "age": 26, "address": "广州白云山公园", "remark": "php developer" } PUT /es_db/doc/4 { "name": "admin", "sex": 0, "age": 22, "address": "长沙橘子洲头", "remark": "python assistant" } PUT /es_db/_doc/5 { "name": "小明", "sex": 0, "age": 19, "address": "长沙岳麓山", "remark": "java architect assistant" }

修改文档

格式: PUT /索引名称/类型/id 举例: PUT /es_db/_doc/1 { "name": "白起老师", "sex": 1, "age": 25, "address": "张家界森林公园", "remark": "php developer assistant" }

注意:POST和PUT都能起到创建/更新的作用

1、需要注意的是==PUT==需要对一个具体的资源进行操作也就是要确定id才能进行==更新/创建，而==POST==是可以针对整个资源集合进行操作的，如果不写id就由ES生成一个唯一id进行==创建==新文档，如果填了id那就针对这个id的文档进行创建/更新

2、PUT只会将json数据都进行替换, POST只会更新相同字段的值

3、PUT与DELETE都是幂等性操作, 即不论操作多少次, 结果都一样

查询文档

格式: GET /索引名称/类型/id

举例: GET /es_db/_doc/1

删除文档

格式: DELETE /索引名称/类型/id

举例: DELETE /es_db/_doc/1