【Elasticsearch】入门篇
Elasticsearch 入门
前言
-
官方地址:Elastic — 搜索 AI 公司 | Elastic
-
ES 下载地址:Past Releases of Elastic Stack Software | Elastic
-
文档:什么是 Elasticsearch?|Elasticsearch 指南
简介
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。作为 Elastic Stck 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。
The Elastic Stack,包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为ELK Stack)。
能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。
Elaticsearch,简称为 ES,ES 是一个开源的高扩展的分布式全文搜索引擎,是整个 Elastic Sack 技术栈的核心。它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理 PB 级别的数据。
全文搜索引擎
Google,百度类的网站搜索,它们都是根据网页中的关键字生成索引,我们在搜索的时候输入关键字,它们会将该关键字即索引匹配到的所有网页返回;还有常见的项目中应用日志的搜索等等。对于这些非结构化的数据文本,关系型数据库搜索不是能很好的支持。
一般传统数据库,全文检索都实现的很鸡肋,因为一般也没人用数据库存文本字段。进行全文检索需要扫描整个表,如果数据量大的话即使对 SQL 的语法优化,也收效甚微。建立了索引,但是维护起来也很麻烦,对于 insert 和 update 操作都会重新构建索引。
基于以上原因可以分析得出,在一些生产环境中,使用常规的搜索方式,性能是非常差的:
- 搜索的数据对象是大量的非结构化的文本数据。
- 文件记录量达到数十万或数百万个甚至更多。
- 支持大量基于交互式文本的查询。
- 需求非常灵活的全文搜索查询。
- 对高度相关的搜索结果的有特殊需求,但是没有可用的关系数据库可以满足。
- 对不同记录类型、非文本数据操作或安全事务处理的需求相对较少的情况。
为了解决结构化数据搜索和非结构化数据搜索性能问题,我们就需要专业,健壮,强大的全
文搜索引擎
这里说到的全文搜索引擎指的是目前广泛应用的主流搜索引擎。
它的工作原理是计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,检索程序就根据事先建立的索引进行查找,并将查找的结果反馈给用户的检索方式。
这个过程类似于通过字典中的检索字表查字的过程。
环境准备
Windows 版
Windows 版的 Elasticsearch 压缩包,解压即安装完毕,解压后的 Elasticsearch 的目录结构如下 :
- 解压后,进入
bin
文件目录,点击elasticsearch.bat
文件启动 ES 服务。
目录 | 含义 |
---|---|
bin | 可执行脚本目录 |
config | 配置目录 |
jdk | 内置 JDK 目录 |
lib | 类库 |
logs | 日志目录 |
modules | 模块目录 |
plugins | 插件目录 |
注意:
- 9300 端口为 Elasticsearch 集群间组件的通信端口,
- 9200 端口为浏览器访问的 http 协议 RESTful 端口。
打开浏览器,输入地址:http://localhost:9200,测试返回结果,返回结果如下:
- 正常有返回结果即可
{"name": "CHENMENG","cluster_name": "elasticsearch","cluster_uuid": "kzJynYXKQge03U7WpEu8fg","version": {"number": "7.8.0","build_flavor": "default","build_type": "zip","build_hash": "757314695644ea9a1dc2fecd26d1a43856725e65","build_date": "2020-06-14T19:35:50.234439Z","build_snapshot": false,"lucene_version": "8.5.1","minimum_wire_compatibility_version": "6.8.0","minimum_index_compatibility_version": "6.0.0-beta1"},"tagline": "You Know, for Search"
}
倒排索引
正排索引(传统)
id | content |
---|---|
1001 | my name is zhang san |
1002 | my name is li si |
倒排索引
keyword | id |
---|---|
name | 1001,1002 |
zhang | 1001 |
Elasticsearch vs MySQL
Elasticsearch 是面向文档型数据库,一条数据在这里就是一个文档。
为了方便大家理解,我们将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比:
Elasticsearch | MySQL | 说明 |
---|---|---|
Cluster | 多个数据库实例 | 整个 Elasticsearch 集群(多个节点) |
Index | ✅ 更像 Table | 一个索引相当于一个“表” |
Type(已废弃) | 表(Table) | 旧版本中的 Type 类似于 MySQL 中的表,但 7.x+ 已废弃 |
Document | 行(Row) | 存储的每一条数据 |
Field | 列(Column) | 每个文档中的属性 |
Mapping | 表结构(Schema) | 定义字段类型和结构 |
Shard | 分片机制 | 类似分库分表中的分片概念 |
Replica | 主从复制 | 高可用副本机制 |
DSL 语法
- json 格式,好理解,和 http 请求最兼容,应用最广
- 官方文档:Query DSL | Elasticsearch Guide | Elastic
HTTP 操作
http 调试工具准备,例如:postman、apifox、apipost…
curl 也可
1、索引(表)
官方文档:Index APIs | Elasticsearch Guide | Elastic
创建 PUT
对比关系型数据库,创建【索引】就等同于创建【表】。
- 但在使用上,Elasticsearch 的 Index 更强大、更灵活,比如它是分布式的,可以自带分片、复制、副本等能力,MySQL 表通常没有这些。
向 ES 服务器发 PUT
请求:http://127.0.0.1:9200/shopping
- 请求后,服务器返回响应:
{"acknowledged": true,"shards_acknowledged": true,"index": "shopping"
}
- 如果重复发 PUT 请求:http://127.0.0.1:9200/shopping 添加索引,会返回错误信息:
{"error": {"root_cause": [{"type": "resource_already_exists_exception","reason": "index [shopping/Z3ALzZdnQzGEJNoNSEGlvw] already exists","index_uuid": "Z3ALzZdnQzGEJNoNSEGlvw","index": "shopping"}],"type": "resource_already_exists_exception","reason": "index [shopping/Z3ALzZdnQzGEJNoNSEGlvw] already exists","index_uuid": "Z3ALzZdnQzGEJNoNSEGlvw","index": "shopping"},"status": 400
}
查询 GET
查看所有索引
向 ES 服务器发 GET
请求:http://127.0.0.1:9200/_cat/indices?v
- 这里请求路径中的
_cat
表示查看的意思,indices
表示索引, - 所以整体含义就是查看当前 ES 服务器中的所有索引,就好像 MySQL 中的 show tables 的感觉,
- 服务器响应结果如下:
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open shopping Z3ALzZdnQzGEJNoNSEGlvw 1 1 0 0 208b 208b
响应结果说明:
表头 | 含义 |
---|---|
health | 当前服务器健康状态:green(集群完整)、yellow(单点正常/集群不完整)、red(单点不正常) |
status | 索引打开、关闭状态 |
index | 索引名 |
uuid | 索引统一编号 |
pri | 主分片数量 |
rep | 副本数量 |
docs.count | 可用文档数量 |
docs.deleted | 文档删除状态(逻辑删除) |
store.size | 主分片和副本整体占空间大小 |
pri.store.size | 主分片占空间大小 |
查看单个索引
向 ES 服务器发 GET 请求:http://127.0.0.1:9200/shopping
- url 中
shopping
代表 索引名称
返回结果如下:
{"shopping": {"aliases": {},"mappings": {},"settings": {"index": {"creation_date": "1744101764908","number_of_shards": "1","number_of_replicas": "1","uuid": "Z3ALzZdnQzGEJNoNSEGlvw","version": {"created": "7080099"},"provided_name": "shopping"}}}
}
删除 DELETE
向 ES 服务器发 DELETE
请求:http://127.0.0.1:9200/shopping
返回结果如下:
{"acknowledged": true
}
2、文档(行)
这里的文档可以类比为关系型数据库中的表数据,添加的数据格式为 JSON 格式。
创建 POST
向 ES 服务器发 POST
请求:http://127.0.0.1:9200/shopping/_doc,请求体 JSON 内容为:
{"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00
}
返回结果如下:
{"_index": "shopping", //索引"_type": "_doc", // 类型-文档"_id": "aemnFJYBLUeT2LeerGCL", // 唯一标识,可以类比为 MySQL 中的主键,随机生成"_version": 1, // 版本"result": "created", // 结果,这里的 create 表示创建成功"_shards": {"total": 2, // 分片 - 总数"successful": 1, // 分片 - 总数"failed": 0 // 分片 - 总数},"_seq_no": 0,"_primary_term": 1
}
⚠️注意:
- 上面的数据创建后,由于没有指定数据唯一性标识(ID),默认情况下, ES 服务器会随机生成一个。
如果想要自定义唯一性标识,需要在创建时指定:http://127.0.0.1:9200/shopping/_doc/1,请求体 JSON 内容为:
{"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00
}
返回结果如下:
{"_index": "shopping","_type": "_doc","_id": "1","_version": 1, // 自定义唯一标识"result": "created","_shards": {"total": 2,"successful": 1,"failed": 0},"_seq_no": 1,"_primary_term": 1
}
主键查询 GET
- 查看文档时,需要指明文档的唯一性标识,类似于 MySQL 中数据的主键查询
- 向 ES 服务器发 GET 请求:http://127.0.0.1:9200/shopping/_doc/1
返回结果如下:
{"_index": "shopping","_type": "_doc","_id": "1","_version": 1,"_seq_no": 1,"_primary_term": 1,"found": true,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}
}
查找不存在的内容
- 向 ES 服务器发 GET 请求:http://127.0.0.1:9200/shopping/_doc/1001
返回结果如下:
{"_index": "shopping","_type": "_doc","_id": "1001","found": false
}
查询索引下所有数据 GET
- 相当于查询某张表下的所有数据
- 向 ES 服务器发 GET 请求:http://127.0.0.1:9200/shopping/_search
返回结果如下:
{"took": 384,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 2,"relation": "eq"},"max_score": 1.0,"hits": [{"_index": "shopping","_type": "_doc","_id": "aemnFJYBLUeT2LeerGCL","_score": 1.0,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}},{"_index": "shopping","_type": "_doc","_id": "1","_score": 1.0,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}}]}
}
修改 POST
全量修改
和新增文档一样,输入相同的 URL 地址请求,如果请求体变化,会将原有的数据内容覆盖
- 向 ES 服务器发 POST 请求:http://127.0.0.1:9200/shopping/_doc/1
请求体 JSON 内容为:
{"title": "华为手机","category": "华为","images": "http://www.gulixueyuan.com/hw.jpg","price": 4999.00
}
修改成功后,服务器响应结果:
{"_index": "shopping","_type": "_doc","_id": "1","_version": 2,"result": "updated", // updated 表示数据被更新"_shards": {"total": 2,"successful": 1,"failed": 0},"_seq_no": 4,"_primary_term": 1
}
再次进行主键查询,结果如下:
{"_index": "shopping","_type": "_doc","_id": "1","_version": 2,"_seq_no": 4,"_primary_term": 1,"found": true,"_source": {"title": "华为手机","category": "华为","images": "http://www.gulixueyuan.com/hw.jpg","price": 4999.00}
}
可以看到,修改成功。
局部修改
修改数据时,也可以只修改某一给条数据的局部信息
向 ES 服务器发 POST
请求:http://127.0.0.1:9200/shopping/_update/1
请求体 JSON 内容为:
{"doc": {"title": "小米手机","category": "小米"}
}
删除 DELETE
删除一个文档不会立即从磁盘上移除,它只是被标记成已删除(逻辑删除)。
向 ES 服务器发 DELETE
请求:http://127.0.0.1:9200/shopping/_doc/1
返回结果:
{"_index": "shopping","_type": "_doc","_id": "1", // 对应删除标识"_version": 4,"result": "deleted", // 表示删除成功"_shards": {"total": 2,"successful": 1,"failed": 0},"_seq_no": 6,"_primary_term": 2
}
向 ES 服务器发 GET请求:http://127.0.0.1:9200/shopping/_doc/1,查看是否删除成功:
{"_index": "shopping","_type": "_doc","_id": "1","found": false
}
3、映射操作(表结构)
先创建一个索引:
- 向 ES 服务器发
PUT
请求:http://127.0.0.1:9200/user
创建映射 PUT
- 向 ES 服务器发
PUT
请求:http://127.0.0.1:9200/user/_mapping - 附带 JSON 体如下
{"properties": {"name": {"type": "text","index": true},"sex": {"type": "keyword", // 关键词类型,查询的时候不会分词"index": true},"tel": {"type": "keyword","index": false // 字段不会被索引,不能用来搜索}}
}
映射数据说明:
- 字段名:任意填写,下面指定许多属性,例如:title、subtitle、images、price
type
:类型,Elasticsearch 中支持的数据类型非常丰富,说几个关键的:- String 类型,又分两种:
text
:可分词keyword
:不可分词,数据会作为完整字段进行匹配
- Numerical:数值类型,分两类
- 基本数据类型:
long
、integer
、short
、byte
、double
、float
、half_float
- 浮点数的高精度类型:
scaled_float
- 基本数据类型:
- Date:日期类型
- Array:数组类型
- Object:对象
- String 类型,又分两种:
index
:是否索引,默认为 true,也就是说你不进行任何配置,所有字段都会被索引- true:字段会被索引,则可以用来进行搜索
- false:字段不会被索引,不能用来搜索
store
:是否将数据进行独立存储,默认为 false- 原始的文本会存储在
source
里面,默认情况下其他提取出来的字段都不是独立存储
的,是从source
里面提取出来的 - 当然你也可以独立的存储某个字段,只要设置
"store":true
即可,获取独立存储的字段要比从_source
中解析快得多,但是也会占用更多的空间,所以要根据实际业务需求来设置
- 原始的文本会存储在
analyzer
:分词器,这里的 ik_max_word 即使用 ik 分词器
索引映射关联 PUT
- 创建索引(表)时并创建映射(表结构)
- 向 ES 服务器发
PUT
请求:http://127.0.0.1:9200/student - 附带 JSON 体如下
{"mappings": {"properties": {"name": {"type": "text"},"sex": {"type": "keyword"},"tel": {"type": "long","index": false}}}
}
查询映射 GET
- 向 ES 服务器发
GET
请求:http://127.0.0.1:9200/user/_mapping
4、复杂查询
确保索引下有数据
-
先向索引(表)中新增多条测试数据
-
然后查询所有数据,向 ES 服务器发
GET
请求:http://127.0.0.1:9200/shopping/_search
{"took": 661,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 3,"relation": "eq"},"max_score": 1.0,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 1.0,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}},{"_index": "shopping","_type": "_doc","_id": "p8ZeGZYBs2T-OKTloK3v","_score": 1.0,"_source": {"title": "红米手机","category": "红米","images": "http://www.gulixueyuan.com/xm.jpg","price": 1999.00}},{"_index": "shopping","_type": "_doc","_id": "qMZfGZYBs2T-OKTlDK1W","_score": 1.0,"_source": {"title": "华为手机","category": "华为","images": "http://www.gulixueyuan.com/xm.jpg","price": 5999.00}}]}
}
URL 带参查询
查找 category 为小米的文档,
向 ES 服务器发 GET 请求:http://127.0.0.1:9200/shopping/_search?q=category:小米
,返回结果如下:
- 可以看出来,会自动进行分词查询,即会查出
category
包含小
或米
的所有数据
{"took": 9,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 2,"relation": "eq"},"max_score": 2.5700645,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 2.5700645,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}},{"_index": "shopping","_type": "_doc","_id": "p8ZeGZYBs2T-OKTloK3v","_score": 1.0296195,"_source": {"title": "红米手机","category": "红米","images": "http://www.gulixueyuan.com/xm.jpg","price": 1999.00}}]}
}
请求体带参查询
URL 带参数形式查询,这很容易让不善者心怀恶意,或者参数值出现中文会出现乱码情况。
为了避免这些情况,我们可用使用带 JSON 请求体请求进行查询。
接下带 JSON 请求体,还是查找 category 为小米的文档,
向 ES 服务器发 GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"query": {"match": {"category": "小米"}}
}
返回结果如下:
{"took": 790,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 2,"relation": "eq"},"max_score": 2.5700645,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 2.5700645,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}},{"_index": "shopping","_type": "_doc","_id": "p8ZeGZYBs2T-OKTloK3v","_score": 1.0296195,"_source": {"title": "红米手机","category": "红米","images": "http://www.gulixueyuan.com/xm.jpg","price": 1999.00}}]}
}
查询所有文档(请求体)
查找所有文档内容,也可以这样,
向 ES 服务器发 GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
- 不带也是同样的效果
{"query": {"match_all": {}}
}
查询指定字段
如果你想查询指定字段,
向 ES 服务器发 GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
- 比如,只查询
title
字段
{"query": {"match_all": {}},"_source": ["title"]
}
返回结果如下:
{"took": 53,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 3,"relation": "eq"},"max_score": 1.0,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 1.0,"_source": {"title": "小米手机"}},{"_index": "shopping","_type": "_doc","_id": "p8ZeGZYBs2T-OKTloK3v","_score": 1.0,"_source": {"title": "红米手机"}},{"_index": "shopping","_type": "_doc","_id": "qMZfGZYBs2T-OKTlDK1W","_score": 1.0,"_source": {"title": "华为手机"}}]}
}
分页查询
from
:当前页的起始索引,默认从 0 开始。from = (pageNum - 1) * size
size
:每页显示多少条
向 ES 服务器发 GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"query": {"match_all": {}},"from": 0,"size": 2
}
返回结果如下:
{"took": 113,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 3,"relation": "eq"},"max_score": 1.0,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 1.0,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}},{"_index": "shopping","_type": "_doc","_id": "p8ZeGZYBs2T-OKTloK3v","_score": 1.0,"_source": {"title": "红米手机","category": "红米","images": "http://www.gulixueyuan.com/xm.jpg","price": 1999.00}}]}
}
排序查询
-
根据价格进行降序查询
-
向 ES 服务器发
GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"query": {"match_all": {}},"sort": {"price": {"order": "desc"}}
}
返回结果如下:
{"took": 298,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 3,"relation": "eq"},"max_score": null,"hits": [{"_index": "shopping","_type": "_doc","_id": "qMZfGZYBs2T-OKTlDK1W","_score": null,"_source": {"title": "华为手机","category": "华为","images": "http://www.gulixueyuan.com/xm.jpg","price": 5999.00},"sort": [5999.0]},{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": null,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00},"sort": [3999.0]},{"_index": "shopping","_type": "_doc","_id": "p8ZeGZYBs2T-OKTloK3v","_score": null,"_source": {"title": "红米手机","category": "红米","images": "http://www.gulixueyuan.com/xm.jpg","price": 1999.00},"sort": [1999.0]}]}
}
组合查询
bool
把各种其它查询通过must
(必须)、must not
(必须不)、should
(应该) 的方式进行组合
must 与查询
- 假设想找出小米牌子,价格为 3999 元的。(
must
相当于 sql 的and
) - 向 ES 服务器发
GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"query": {"bool": {"must": [{"match": {"category": "小米"}},{"match": {"price": 3999.00}}]}}
}
返回结果如下:
{"took": 119,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 1,"relation": "eq"},"max_score": 2.89712,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 2.89712,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}}]}
}
should 或查询
- 假设想找出小米和华为牌子。(
should
相当于 sql 的or
) - 向 ES 服务器发
GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"query": {"bool": {"should": [{"match": {"category": "小米"}},{"match": {"category": "华为"}}]}}
}
返回结果如下:
- 字段不是关键词类型,会分词查询
{"took": 13,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 3,"relation": "eq"},"max_score": 1.89712,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 1.89712,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}},{"_index": "shopping","_type": "_doc","_id": "qMZfGZYBs2T-OKTlDK1W","_score": 1.3862942,"_source": {"title": "华为手机","category": "华为","images": "http://www.gulixueyuan.com/xm.jpg","price": 5999.00}},{"_index": "shopping","_type": "_doc","_id": "p8ZeGZYBs2T-OKTloK3v","_score": 0.6931471,"_source": {"title": "红米手机","category": "红米","images": "http://www.gulixueyuan.com/xm.jpg","price": 1999.00}}]}
}
范围查询
range
查询找出那些落在指定区间内的数字或者时间。range
查询允许以下字符
操作符 | 说明 |
---|---|
gt | 大于 > |
gte | 大于等于 >= |
lt | 小于 < |
lte | 小于等于 <= |
-
假设想找出小米和华为的牌子,价格大于 4000 元的手机。
-
向 ES 服务器发
GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"query": {"bool": {"should": [{"match": {"category": "小米"}},{"match": {"category": "华为"}}],"filter": {"range": {"price": {"gt": 4000}}}}}
}
返回结果如下:
{"took": 40,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 1,"relation": "eq"},"max_score": 1.3862942,"hits": [{"_index": "shopping","_type": "_doc","_id": "qMZfGZYBs2T-OKTlDK1W","_score": 1.3862942,"_source": {"title": "华为手机","category": "华为","images": "http://www.gulixueyuan.com/xm.jpg","price": 5999.00}}]}
}
完全匹配
向 ES 服务器发 GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"query": {"match_phrase": {"category": "小米"}}
}
返回结果如下:
- 不会进行分词查询
{"took": 65,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 1,"relation": "eq"},"max_score": 1.89712,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 1.89712,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}}]}
}
高亮查询
向 ES 服务器发 GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"query": {"match_phrase": {"category": "米"}},"highlight": {"fields": {"category": {} // 高亮这字段}}
}
返回结果如下:
{"took": 403,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 2,"relation": "eq"},"max_score": 0.6931471,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 0.6931471,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00},"highlight": {"category": ["小<em>米</em>"]}},{"_index": "shopping","_type": "_doc","_id": "p8ZeGZYBs2T-OKTloK3v","_score": 0.6931471,"_source": {"title": "红米手机","category": "红米","images": "http://www.gulixueyuan.com/xm.jpg","price": 1999.00},"highlight": {"category": ["红<em>米</em>"]}}]}
}
聚合查询
分组查询示例
聚合允许使用者对 es 文档进行统计分析,类似与关系型数据库中的 group by
,当然还有很多其他的聚合,例如取最大值 max、平均值 avg 等等。
接下来按 price
字段进行分组:
-
新增个相同
price
的数据 -
向 ES 服务器发
GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"aggs": { //聚合操作"price_group": { //名称,随意起名"terms": { //分组"field": "price" //分组字段}}}
}
返回结果如下:
{"took": 1309,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 4,"relation": "eq"},"max_score": 1.0,"hits": [{"_index": "shopping","_type": "_doc","_id": "psZeGZYBs2T-OKTlWq1C","_score": 1.0,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}},{"_index": "shopping","_type": "_doc","_id": "p8ZeGZYBs2T-OKTloK3v","_score": 1.0,"_source": {"title": "红米手机","category": "红米","images": "http://www.gulixueyuan.com/xm.jpg","price": 1999.00}},{"_index": "shopping","_type": "_doc","_id": "qMZfGZYBs2T-OKTlDK1W","_score": 1.0,"_source": {"title": "华为手机","category": "华为","images": "http://www.gulixueyuan.com/xm.jpg","price": 5999.00}},{"_index": "shopping","_type": "_doc","_id": "wcbjGZYBs2T-OKTlL62H","_score": 1.0,"_source": {"title": "小米手机","category": "小米","images": "http://www.gulixueyuan.com/xm.jpg","price": 3999.00}}]},"aggregations": {"price_group": {"doc_count_error_upper_bound": 0,"sum_other_doc_count": 0,"buckets": [{"key": 3999.0,"doc_count": 2},{"key": 1999.0,"doc_count": 1},{"key": 5999.0,"doc_count": 1}]}}
}
不返回原始数据写法:
上面返回结果会附带原始数据的。若不想要不附带原始数据的结果,可以加多个 size
筛选属性:
{"aggs": {"price_group": {"terms": {"field": "price"}}},"size": 0
}
返回结果如下:
{"took": 10,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 4,"relation": "eq"},"max_score": null,"hits": []},"aggregations": {"price_group": {"doc_count_error_upper_bound": 0,"sum_other_doc_count": 0,"buckets": [{"key": 3999.0,"doc_count": 2},{"key": 1999.0,"doc_count": 1},{"key": 5999.0,"doc_count": 1}]}}
}
平均值查询示例
- 向 ES 服务器发
GET
请求:http://127.0.0.1:9200/shopping/_search,附带 JSON 体如下:
{"aggs": {"price_avg": { // 名称,随意起名"avg": { // 求平均"field": "price"}}},"size": 0
}
返回结果如下:
{"took": 188,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 4,"relation": "eq"},"max_score": null,"hits": []},"aggregations": {"price_avg": {"value": 3999.0}}
}
学习参考
- 视频地址:【尚硅谷】ElasticSearch教程入门到精通(基于ELK技术栈elasticsearch 7.x+8.x新特性)_bilibili
- 笔记地址:Elasticsearch学习笔记-CSDN博客
- Elasticsearch 基础入门详文
- Elasticsearch 保姆级入门篇
- ElasticSearch在项目中具体怎么用? - 知乎
- https://t.zsxq.com/4K41D
相关文章:
【Elasticsearch】入门篇
Elasticsearch 入门 前言 官方地址:Elastic — 搜索 AI 公司 | Elastic ES 下载地址:Past Releases of Elastic Stack Software | Elastic 文档:什么是 Elasticsearch?|Elasticsearch 指南 简介 Elasticsearch 是一个分布式、…...
Unity 使用 ADB 实时查看手机运行性能
Unity 使用 ADB 实时查看手机运行性能 前言操作步骤ADB工具下载ADB工具配置手机进入开发者模式并开启USB调试使用ADB连接手机Unity打包设置使用Profiler实时查看性能情况优化建议 常见问题 前言 通过 ADB(Android Debug Bridge)连接安卓设备,…...
蓝桥杯 1. 四平方和
四平方和 原题目链接 题目描述 四平方和定理(又称拉格朗日定理)指出: 每个正整数都可以表示为 至多 4 个正整数的平方和。 如果将 0 包括进去,则每个正整数都可以恰好表示为 4 个非负整数的平方和。 例如: 5 0 …...
Nginx 配置参数全解版:Nginx 反向代理与负载均衡;Nginx 配置规范与 Header 透传实践指南;Nginx 配置参数详解
Nginx 配置参数全解版:Nginx 反向代理与负载均衡;Nginx 配置规范与 Header 透传实践指南;Nginx 配置参数详解 Nginx 反向代理与负载均衡配置,Header 透传到后端应用(参数全解版)一、Nginx 反向代理与负载均…...
数据分析之技术干货业务价值 powerquery 分组排序后取TOP
在电商中,我们要对货品进行分析,由于所有的销售数据都在一起,货品信息也在一起,两个表建立了关系之后,要看每个品类的TOP款有哪些,每个品类的TOP款是什么要怎么做呢? 下面是我做数据的思路&…...
windows中kafka4.0集群搭建
参考文献 Apache Kafka windows启动kafka4.0(不再需要zookeeper)_kafka压缩包-CSDN博客 Kafka 4.0 KRaft集群部署_kafka4.0集群部署-CSDN博客 正文 注意jdk需要17版本以上的 修改D:\software\kafka_2.13-4.0.0\node1\config\server.properties配置文…...
数据分析案例:医疗健康数据分析
目录 数据分析案例:医疗健康数据分析1. 项目背景2. 数据加载与预处理2.1 加载数据2.2 数据清洗3. 探索性数据分析(EDA)3.1 再入院率概览3.2 按年龄分组的再入院率3.3 住院时长与再入院4. 特征工程与可视化5. 模型构建与评估5.1 数据划分5.2 训练逻辑回归5.3 模型评估6. 业务…...
数据分析之 商品价格分层之添加价格带
在分析货品数据的时候,我们会对商品的价格进行分层汇总,也叫价格带, 一、价格带的定义 价格带(Price Band):将商品按价格区间划分(如0-50元、50-100元、100-200元等ÿ…...
跨浏览器音频录制:实现兼容的音频捕获与WAV格式生成
在现代Web开发中,音频录制功能越来越受到开发者的关注。无论是在线会议、语音识别还是简单的语音留言,音频录制都是一个重要的功能。然而,实现一个跨浏览器的音频录制功能并非易事,因为不同浏览器对音频录制API的支持存在差异。本…...
JavaScript 的“世界模型”:深入理解对象 (Objects)
引言:超越简单值,构建复杂实体 到目前为止,我们学习的变量大多存储的是单一的值,比如一个数字 (let age 30;)、一个字符串 (let name "Alice";) 或一个布尔值 (let isActive true;)。这对于简单场景足够了&am…...
【国产化之路】VPX-3U :基于D2000 /FT2000的硬件架构到操作系统兼容
在国产化和高性能计算、嵌入式系统领域日益受到重视的今天,VPX3U架构以其标准化和模块化的特性广受关注。本文将从硬件架构、系统软件、接口拓展及典型应用等方面,深入剖析整体设计思路与工程实现,供友友们参考和讨论。 一、总体架构与设计目…...
深入探索RAG(检索增强生成)模型的优化技巧
📌 友情提示: 本文内容由银河易创AI(https://ai.eaigx.com)创作平台的gpt-4o-mini模型生成,旨在提供技术参考与灵感启发。文中观点或代码示例需结合实际情况验证,建议读者通过官方文档或实践进一步确认其准…...
架构-软件架构设计
一、软件架构基础概念 1. 软件架构的定义 通俗理解:软件架构是软件系统的“骨架”,定义了系统的结构、行为和属性,就像盖房子的设计图纸,规划了房间布局、承重结构和功能分区。核心作用: 沟通桥梁:让技术…...
免费的 HTML 网页托管服务
字根云平台最近上线了一项新的服务: HTML 网页托管。 HTML 网页免费托管 免费HTML静态页面文件托管-字根秀秀 www.cuobiezi.net/showshow/ 网页托管主要支持的功能: 1. 托管静态的 HTML 网页(不包含图片,图片请使用专业图床&a…...
Ubuntu服务器上如何监控Oracle数据库
在 Ubuntu 服务器上监控 Oracle 数据库,虽然不像在 Windows 或某些企业 Linux(如 RHEL)那样有现成的 GUI 工具,但你完全可以通过命令行工具、脚本、开源监控平台来实现全面监控,包含: 数据库性能指标&#…...
什么是CMMI认证?CMMI评估内容?CMMI认证能带来哪些好处?
CMMI认证详解:概念、评估内容与核心价值 一、什么是CMMI认证? CMMI(Capability Maturity Model Integration,能力成熟度模型集成)是由美国卡内基梅隆大学软件工程研究所(SEI)开发的一套全球公…...
PySide6 GUI 学习笔记——常用类及控件使用方法(常用类矩阵QRectF)
文章目录 类描述构造方法主要方法1. 基础属性2. 边界操作3. 几何运算4. 坐标调整5. 转换方法6. 状态判断 类特点总结1. 浮点精度:2. 坐标系统:3. 有效性判断:4. 几何运算:5. 类型转换:6. 特殊处理: 典型应用…...
arm64适配系列文章-第五章-arm64环境上redis的部署
ARM64适配系列文章 第一章 arm64环境上kubesphere和k8s的部署 第二章 arm64环境上nfs-subdir-external-provisioner的部署 第三章 arm64环境上mariadb的部署 第四章 arm64环境上nacos的部署 第五章 arm64环境上redis的部署 第六章 arm64环境上rabbitmq-management的部署 第七章…...
Ubuntu / WSL 安装pipx
一、安装pipx 在 Ubuntu / WSL 上可以用两种方式安装,推荐第二种(官方脚本)或第三种(pip 安装最新版本并自动配置 PATH)。 1. apt 安装(最快,但版本往往偏旧) sudo apt update su…...
10天学会嵌入式技术之51单片机-day-6
第十五章 点阵LED 15.1 点阵 LED 概述 15.1.1 实物图 15.1.1 原理图 15.2 点阵 LED 静态显示 15.2.1 需求描述 使用点阵 LED 显示一排由左上到右下的斜线,具体效果如下图所示。 15.2.2 硬件设计 15.2.2.1 硬件原理图 根据内部原理可知,点阵 LED 的…...
【数据可视化-28】2017-2025 年每月产品零售价数据可视化分析
🧑 博主简介:曾任某智慧城市类企业算法总监,目前在美国市场的物流公司从事高级算法工程师一职,深耕人工智能领域,精通python数据挖掘、可视化、机器学习等,发表过AI相关的专利并多次在AI类比赛中获奖。CSDN…...
【JavaScript】`Object` 对象静态方法详解
在 JavaScript 中,Object 对象提供了许多静态方法,用于操作和处理对象。以下是一些常用的 Object.xxx 方法及其用途和示例: 1. 属性相关方法 Object.keys(obj) 返回对象自身的所有可枚举属性的键组成的数组。 const obj = {a: 1, b: 2 }; console.log(Object.keys(obj)); //…...
音视频之H.265/HEVC量化
H.265/HEVC系列文章: 1、音视频之H.265/HEVC编码框架及编码视频格式 2、音视频之H.265码流分析及解析 3、音视频之H.265/HEVC预测编码 4、音视频之H.265/HEVC变换编码 5、音视频之H.265/HEVC量化 量化 (Quantization) 是指将信号的连续取值(或大量可能的离散取…...
Tomcat:从零理解Java Web应用的“心脏”
目录 一、Tomcat是什么?为什么需要它? 二、Tomcat的核心架构(餐厅运营图) 1. 两大核心组件 2. 请求处理全流程(从点餐到上菜) 三、手把手搭建第一个网站(厨房开张实录) 环境准备…...
第七届能源系统与电气电力国际学术会议(ICESEP 2025)
重要信息 时间:2025年6月20-22日 地点:中国-武汉 官网:www.icesep.net 主题 能源系统 节能技术、能源存储技术、可再生能源、热能与动力工程 、能源工程、可再生能源技术和系统、风力发…...
【基础】Node.js 介绍、安装及npm 和 npx功能了解
前言 后面安装n8n要用到,做一点技术储备。主要是它的两个工具:npm 和 npx。 Node.js介绍 Node.js 是一个免费的、开源的、跨平台的 JavaScript 运行时环境,允许开发人员在浏览器之外编写命令行工具和服务器端脚本,是一个基于 C…...
【硬核干货】SonarQube安全功能
原文链接:【硬核干货】SonarQube安全功能 关于晓数神州 晓数神州坚持以“客户为中心”的宗旨,为客户提供专业的解决方案和技术服务,构建多引擎数字化体系。 核心业务1:聚焦DevOps全栈产品,打造需求管理、项目管理、开…...
微信小程序 tabbar底部导航栏
官方文档:https://developers.weixin.qq.com/miniprogram/dev/reference/configuration/app.html#tabBar 一、常规菜单格式 在app.json 文件中配置,其他关键点详见官方文档,后续更新不规则图标的写法...
如何将极狐GitLab 议题导出为 CSV?
极狐GitLab 是 GitLab 在中国的发行版,关于中文参考文档和资料有: 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网 导出议题到 CSV (BASIC ALL) 您可以将问题从极狐GitLab 导出为 CSV 文件,这些文件将作为附件发送到您的默认通知…...
nodejs之Express-介绍、路由
五、Express 1、express 介绍 express 是一个基于 Node.js 平台的极简、灵活的 WEB 应用开发框架,官方网址: https://www.expressjs.com.cn/ 简单来说,express 是一个封装好的工具包,封装了很多功能,便于我们开发 WEB 应用(HTTP 服务) (1)基本使用 第一步:初始化项目并…...
极狐GitLab 如何从 CSV 导入议题?
极狐GitLab 是 GitLab 在中国的发行版,关于中文参考文档和资料有: 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网 从 CSV 导入议题 (BASIC ALL) 您可以通过上传包含以下列的 CSV 文件将议题导入项目: 名称是否必需?…...
JW01三合一传感器详解(STM32)
目录 一、介绍 二、传感器原理 1.原理图 2.引脚描述 三、程序设计 main文件 usart3.h文件 usart3.c文件 四、实验效果 五、资料获取 项目分享 一、介绍 JW01三合一检测模块是一种用于检测空气中二氧化碳浓度的传感器模块。它可以广泛应用于室内空气质量检测、智能家…...
23种设计模式-行为型模式之策略模式(Java版本)
Java 策略模式(Strategy Pattern)详解 🧠 什么是策略模式? 策略模式是一种行为型设计模式,它定义了一系列算法,把它们一个个封装起来,并且使它们可以互相替换。策略模式让算法独立于使用它的客…...
ActiveMQ 快速上手:安装配置与基础通信实践(一)
一、引言 在当今分布式系统和微服务架构盛行的时代,消息通信作为实现系统间解耦、异步处理和可靠传输的关键技术,显得尤为重要。ActiveMQ 作为一款广泛应用的开源消息中间件,凭借其对 JMS 规范的全面支持、丰富的特性以及出色的性能…...
究竟什么是自动化测试?
自动化测试是一种软件测试方法,旨在通过使用自动化工具和脚本来执行测试任务,以减少人工操作,提高测试效率和准确性。 以下是对自动化测试的详细介绍: 一、定义与特点 定义:自动化测试是指利用自动化工具和脚本来执…...
【LLM+Code】Github Copilot Agent/VsCode Agent 模式PromptTools详细解读
一、前言 github copilot agent mode现在和vscode是强绑定的关系, 其实是一个东西: https://github.blog/news-insights/product-news/github-copilot-the-agent-awakens/https://code.visualstudio.com/docs/copilot/chat/chat-agent-mode 二、Syste…...
IDEA将本地的JAR文件手动安装到 Maven的本地仓库
例如这是要导入的依赖: mvn install:install-file -DfileD:\aliyun-java-sdk-ding.jar -DgroupIdcom.aliyun -DartifactIdaliyun-java-sdk-ding -Dversion1.0.0 -Dpackagingjar-DfileD:\aliyun-java-sdk-ding.jar 含义:指定要安装到本地 Maven 仓库的 …...
redis集群的三种部署方式
一、主从同步 redis的主从同步工作原理简单概括为: 1、从服务器(Slave Server)向(主服务器,Master)发送sync(同步)命令 2、master启动后台存盘进程,并收集所有修改数据命令 3、master完成存盘后,传送整个数据文件到slave 4、slave接受数据文件,加载到内存中完成首次…...
【GIT】github中的仓库如何删除?
你可以按照以下步骤删除 GitHub 上的仓库(repository): 🚨 注意事项: ❗️删除仓库是不可恢复的操作,所有代码、issue、pull request、release 等内容都会被永久删除。 🧭 删除 GitHub 仓库步骤…...
CIFAR10图像分类学习笔记(三)---数据加载load_cifar10
新创建一个load_cifar10源文件 需要导入的包 import glob from torchvision import transforms from torch.utils.data import DataLoader ,Dataset import os #读取工具 from PIL import Image import numpy as np 01同样定义10个类别的标签名数组 label_name ["airpl…...
基于Matlab的车牌识别系统
1.程序简介 本模型基于MATLAB,通过编程创建GUI界面,基于Matlab的数字图像处理,对静止的车牌图像进行分割并识别,通过编写matlab程序对图像进行灰度处理、二值化、腐蚀膨胀和边缘化处理等,并定位车牌的文字,实现字符的…...
【农气项目】基于适宜度的产量预报
直接上干货(复制到开发工具即可运行的代码) 1. 适宜度模型及作物適宜度计算方法 2. 产量分离 3. 基于适宜度计算产量预报 1. 适宜度模型及作物適宜度计算方法 // 三基点温度配置private final double tempMin;private final double tempOpt;private f…...
C#中实现JSON解析器
JSON(JavaScript Object Notation)即 JavaScript 对象表示法,是一种轻量级的数据交换格式。 起源与发展 JSON 源于 JavaScript 编程语言,是 JavaScript 对象字面量语法的一个子集。但如今它已经独立于 JavaScript,成…...
Android studio进阶开发(四)--okhttp的网络通信的使用
我们之前学过了socket服务器,这次我们继续来学习网络热门编程http/https的使用与交互 1)什么是Http协议? 答:hypertext transfer protocol(超文本传输协议),TCP/IP协议的一个应用层协议&#x…...
untiy 实现点击按钮切换天空盒子
1.新建材质DaySkybox和NightSkybox 设置 Shader 为 Skybox/6 Sided 2.创建ui 切换按钮,编写天空 盒子的脚本 using UnityEngine; using UnityEngine.UI;public class SkyboxSwitcher : MonoBehaviour {public Material daySkybox; // 拖入白天的天空盒材质publi…...
Docker从0-1搭建个人云盘(支持Android iOS PC)
一、Docker位置配置【遇到再大的事,先备份MYSQL数据库,说了多少遍】 ******************************************************************************************************************************************* docker rm -f $(docker ps -a -q…...
Java Agent 注入 WebSocket 篇
Agent 如果要对其进行Agent注入的编写,需要先理解三个名字premain,agentmain,Instrumentation premain方法在 JVM 启动阶段调用,一般维持权限的时候不会使用 agentmain方法在 JVM 运行时调用 常用的 Instrumentation实例为代理…...
Linux:git和gdb/cgdb
一:在XShell上使用git 步骤1:安装git命令行 sudo yum install git 步骤2:注册git账户和仓库,并点击克隆/下载,把HTTPS复制 步骤3: 在显示屏上输入下面命令,然后按提示输入自己的用户名和邮箱…...
深度对比评测:n8n vs Coze(扣子) vs Dify - 自动化工作流工具全解析
引言 在当今数字化转型的浪潮中,自动化工作流工具已成为企业和个人提升效率的关键利器。n8n、Coze(扣子)和Dify作为三款各具特色的自动化工具,在开发者社区和商业用户中都引起了广泛关注。本文将为您带来这三款工具的深度对比评测…...
如何用国产CAD软件皇冠CAD(CrownCAD)三维建模“橡胶座椅”?
皇冠CAD(CrownCAD)以『橡胶座椅』为例讲解“曲面设计、填充曲面、投影曲线、扫描曲面、放样曲面”等三维CAD操作技巧。 在现有模型边线、草图或曲面所定义的边框内填充一曲面。 点击进入填充曲面命令,其界面如下图所示: 各界面参…...