当前位置：首页 > news >正文

Elasticsearch（ES）中的脚本（Script）

news 来源：原创 2025/7/7 11:58:54

文章目录

一. 脚本是什么？
- 1. `lang`（脚本语言）
- 2. `source`（脚本代码）
- 3. `params`（参数）
- 4. `id`（存储脚本的标识符）
- 5. `stored`（是否为存储脚本）
- 6. `script` 的上下文（Context）
- 7.完整示例
- - 内联脚本（Inline Script）
  - 存储脚本（Stored Script）
- 8.字段总结表
二. 脚本能做什么？
- 1. 脚本查询（Script Query）
- 2. 脚本聚合（Script Aggregation）
- 3. 更新文档（Update By Script）
- 4. 脚本排序（Script Sort）
- 5. 脚本字段（Script Field）
- 6. 索引时脚本（Ingest Pipeline）
- 7. 脚本评分（Script Score Query）
- 8. 数组操作（修改数组字段）
- 关键点总结
三. 为什么很多操作可以用脚本完成？
- 1 灵活性
- 2 避免冗余存储
- 3 批量操作效率
- 4 扩展性
四. 脚本类型与执行方式
- 1 脚本语言
- 2 执行上下文
- 3 脚本存储方式
五. 安全与性能注意事项
- 1 安全性
- 2 性能优化
六. 典型应用场景

一. 脚本是什么？

脚本是 ES 中一段可执行的代码片段，通常用于在查询或数据处理过程中动态计算值、修改文档、实现复杂逻辑。ES 支持多种脚本语言，但默认推荐使用 Painless（ES 专门为性能和安全性设计的脚本语言）。

在 Elasticsearch 中，脚本（Script）的组成通常包括以下几个核心字段，每个字段的作用和含义如下：

1. `lang`（脚本语言）

含义：指定脚本使用的编程语言。
默认值：painless（Elasticsearch 推荐的高性能脚本语言）。
其他选项：expression（简单表达式）、groovy（旧版本支持，需谨慎启用）。

示例：

"script": {"lang": "painless","source": "..."
}

2. `source`（脚本代码）

含义：脚本的具体逻辑代码，用指定的 lang 语言编写。
作用：定义动态计算逻辑，例如字段操作、条件判断、数学运算等。

示例：

"script": {"source": "doc['price'].value * params.discount"
}

3. `params`（参数）

含义：传递给脚本的外部参数，用于动态调整脚本行为。
作用：避免硬编码，提高脚本复用性。

示例：

"script": {"source": "doc['price'].value * params.discount","params": { "discount": 0.8 }
}

4. `id`（存储脚本的标识符）

含义：引用预先存储在 Elasticsearch 中的脚本（通过 _scripts API 存储）。
作用：避免重复编写相同脚本，提升性能（预编译）。
示例：
```
"script": {"id": "calculate_profit"
}
```

5. `stored`（是否为存储脚本）

含义：标识脚本是否已存储（通常与 id 配合使用）。

示例：

"script": {"stored": true,"id": "my_script"
}

6. `script` 的上下文（Context）

虽然不是字段，但脚本的执行上下文决定了其行为，例如：

查询上下文：在 query 或 bool 查询中过滤或评分。
聚合上下文：在 aggs 中生成计算字段。
更新上下文：在 update 或 update_by_query 中修改文档字段。

7.完整示例

内联脚本（Inline Script）

{"query": {"script": {"script": {"lang": "painless","source": "doc['price'].value * params.discount > 100","params": { "discount": 0.8 }}}}
}

字段解释：
- lang: 使用 Painless 语言。
- source: 计算 price 字段乘以折扣后是否大于 100。
- params: 传递折扣参数 0.8。

存储脚本（Stored Script）

存储脚本：

POST _scripts/calculate_profit
{"script": {"lang": "painless","source": "doc['revenue'].value - doc['cost'].value"}
}

调用存储脚本：

{"aggs": {"total_profit": {"sum": {"script": {"id": "calculate_profit"}}}}
}

8.字段总结表

字段	含义	类型	是否必需	默认值
`lang`	脚本语言	String	否	`painless`
`source`	脚本代码逻辑	String	是（或 `id`）	-
`params`	传递给脚本的参数	Object	否	`{}`
`id`	存储脚本的唯一标识符	String	否	-
`stored`	是否引用存储脚本	Boolean	否	`false`

二. 脚本能做什么？

脚本几乎可以覆盖 ES 的所有核心操作，常见用途包括：

以下是一些 Elasticsearch 脚本的常见使用场景示例及其详细说明：

1. 脚本查询（Script Query）

场景：根据动态条件过滤文档（如价格乘以折扣后大于 100）。

{"query": {"bool": {"must": {"script": {"script": {"lang": "painless","source": "doc['price'].value * params.discount > params.threshold","params": {"discount": 0.8,"threshold": 100}}}}}}
}

说明：

使用 params 传递折扣率和阈值，避免硬编码。
doc['price'] 直接访问字段的数值类型（比 _source 更高效）。

2. 脚本聚合（Script Aggregation）

场景：按利润（收入 - 成本）分组统计。

{"aggs": {"profit_groups": {"terms": {"script": {"lang": "painless","source": "doc['revenue'].value - doc['cost'].value"},"size": 10}}}
}

说明：

通过脚本动态计算利润字段，无需预先存储该字段。
使用 terms 聚合对利润分桶统计。

3. 更新文档（Update By Script）

场景：为符合条件的文档增加浏览量（views 字段 +1）。

POST /index/_update_by_query
{"script": {"source": "ctx._source.views += params.increment","params": { "increment": 1 }},"query": { "term": { "user": "alice" } }
}

说明：

ctx._source 访问文档的原始内容。
通过 params.increment 参数化增量值，避免硬编码。

4. 脚本排序（Script Sort）

场景：根据动态权重（如点击量乘以系数）排序。

{"sort": {"_script": {"type": "number","script": {"source": "doc['clicks'].value * params.weight","params": { "weight": 1.5 }},"order": "desc"}}
}

说明：

使用 _script 自定义排序逻辑。
type 指定排序值的类型（如 number 或 string）。

5. 脚本字段（Script Field）

场景：在查询结果中添加一个动态计算的字段（如价格等级）。

{"query": { "match_all": {} },"script_fields": {"price_level": {"script": {"source": """if (doc['price'].value > 1000) {return 'high';} else {return 'low';}"""}}}
}

说明：

script_fields 在返回结果中添加一个临时字段 price_level。
使用条件判断（if-else）动态分类。

6. 索引时脚本（Ingest Pipeline）

场景：在数据写入时自动添加时间戳字段。

PUT _ingest/pipeline/add_timestamp
{"description": "Add timestamp at ingest time","processors": [{"script": {"source": "ctx.timestamp = new Date().getTime()"}}]
}

说明：

通过 Ingest Pipeline 在索引时执行脚本。
ctx 表示当前文档的上下文，直接修改字段。

7. 脚本评分（Script Score Query）

场景：根据自定义逻辑影响文档相关性评分（如按点击量加分）。

{"query": {"script_score": {"query": { "match_all": {} },"script": {"source": "Math.log(1 + doc['clicks'].value) * params.boost","params": { "boost": 2 }}}}
}

说明：

script_score 结合数学函数（如对数）动态调整评分。
params.boost 控制权重参数。

8. 数组操作（修改数组字段）

场景：向文档的 tags 数组中添加新标签。

POST /index/_update/1
{"script": {"source": "ctx._source.tags.add(params.new_tag)","params": { "new_tag": "popular" }}
}

说明：

ctx._source.tags.add() 直接操作数组字段。
使用 params 传递动态参数。

关键点总结

语法规范：
- 使用 doc['field'] 访问数值型字段（高效）。
- 使用 ctx._source 访问文档原始内容（灵活但较慢）。
参数化：
- 通过 params 传递动态值，避免脚本注入风险。
存储脚本：
- 频繁使用的脚本应存储（POST _scripts/<id>）以提升性能。
安全限制：
- 默认启用 Painless 沙箱，禁止文件/网络操作。

三. 为什么很多操作可以用脚本完成？

1 灵活性

动态逻辑：无需提前定义字段或索引结构，直接通过脚本实现复杂计算。
条件处理：根据实时参数或文档内容动态调整行为（如 if-else 判断）。

2 避免冗余存储

按需计算：无需预先存储所有可能的派生字段（如利润、折扣价），在查询时通过脚本实时计算。

3 批量操作效率

原子性更新：通过脚本直接修改文档字段，避免先获取再更新的网络开销（如 update_by_query）。

4 扩展性

自定义评分：在搜索时通过脚本影响文档的相关性得分（如结合地理位置、用户行为）。

四. 脚本类型与执行方式

1 脚本语言

Painless（默认，安全且高性能）
Expression（简单数学表达式）
其他（如 Groovy、JavaScript，但需谨慎启用）

2 执行上下文

查询时脚本：在 query 或 aggs 中实时计算。
索引时脚本：在文档写入时通过 ingest pipeline 处理数据。
更新时脚本：在 update 或 update_by_query 中修改文档。

3 脚本存储方式

内联脚本：直接嵌入到请求中（简单但重复使用时效率低）。

存储脚本：将脚本保存在 ES 中，通过 ID 调用（复用性强，提升性能）：

POST _scripts/calculate_profit
{"script": {"lang": "painless","source": "doc['revenue'].value - doc['cost'].value"}
}

五. 安全与性能注意事项

1 安全性

ES 默认启用脚本沙箱机制，限制敏感操作（如文件读写、网络访问）。

可通过 elasticsearch.yml 配置禁用或限制脚本类型：

script.allowed_types: inline
script.allowed_contexts: search, update

2 性能优化

避免复杂计算：脚本在查询时逐文档执行，复杂逻辑可能导致延迟。
使用存储脚本：预编译存储的脚本减少解析开销。
限制字段访问：通过 doc['field']（快速）而非 _source（慢）获取字段值。

六. 典型应用场景

电商搜索：根据用户位置动态调整运费或显示本地化价格。
日志分析：实时解析日志字段并生成统计信息。
风控系统：根据用户行为实时计算风险评分。
数据清洗：在索引前标准化或丰富数据（如拆分字段、添加时间戳）。

Elasticsearch（ES）中的脚本（Script）

文章目录一. 脚本是什么？1. lang（脚本语言）2. source（脚本代码）3. params（参数）4. id（存储脚本的标识符）5. stored（是否为存储脚本）6. script 的…...

编程日记 2025/7/7 11:58:54

Collection集合，List集合，set集合，Map集合

文章目录集合框架认识集合集合体系结构Collection的功能常用功能三种遍历方式三种遍历方式的区别 List集合List的特点、特有功能ArrayList底层原理LinkedList底层原理LinkedList的应用场list:电影信息管理模块案例 Set集合set集合使用哈希值红黑树HashSet底层原理HashSet集合元…...

编程日记 2025/7/5 3:58:31

Kafka 核心使用机制总结

Kafka 核心使用机制总结 Kafka 核心使用机制总结1. 分区 (Partitions) - 实现伸缩性与并行处理2. 副本 (Replicas) / 复制因子 (Replication Factor) - 实现高可用与容错3. 消费者组 (Consumer Groups) - 控制消息分发与消费进度4. 数据保留策略 (Retention Policies) - 管理存…...

编程日记 2025/7/2 16:48:59

【MCP】第二篇：IDE革命——用MCP构建下一代智能工具链

【MCP】第二篇：IDE革命——用MCP构建下一代智能工具链一、引言二、IDE集成MCP2.1 VSCode2.1.1 安装VSCode2.1.2 安装Cline2.1.3 配置Cline2.1.4 环境准备2.1.5 安装MCP服务器2.1.5.1 自动安装2.1.5.2 手动安装 2.2 Trae CN2.2.1 安装Trae CN2.2.2 Cline使用2.2.3 内…...

编程日记 2025/6/29 10:13:22

WebSocket是h5定义的，双向通信，节省资源，更好的及时通信

浏览器和服务器之间的通信更便利，比http的轮询等效率提高很多， WebSocket并不是权限的协议，而是利用http协议来建立连接 websocket必须由浏览器发起请求，协议是一个标准的http请求，格式如下 GET ws://example.com:3…...

编程日记 2025/6/29 9:25:49

【PostgreSQL教程】PostgreSQL 特别篇之语言接口连接Perl

博主介绍：✌全网粉丝22W+，CSDN博客专家、Java领域优质创作者，掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围：SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物联网、机器学习等设计与开发。感兴趣的可…...

编程日记 2025/7/1 9:49:51

springboot-基于Web企业短信息发送系统(源码+lw+部署文档+讲解)，源码可白嫖!

摘要当今社会已经步入了科学技术进步和经济社会快速发展的新时期，国际信息和学术交流也不断加强，计算机技术对经济社会发展和人民生活改善的影响也日益突出，人类的生存和思考方式也产生了变化。本系统采用B/S架构，数据库是MySQL…...

编程日记 2025/7/2 4:09:34

1. 卸载docker 查看是否安装了docker yum list | grep docker卸载老版本docker，拷贝自官网 sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine卸载新版本…...

编程日记 2025/7/6 20:47:44

MySQL表的操作

MySQL表的操作 1. 创建表在创建表前，需要先进入到某个数据库： use db_name创建表时，最好提前设计好表应该有的所有内容，否则后续添加或删除表的列可能会引发一连串的问题。 create table tb_name (field1 data_type [comment…...

编程日记 2025/6/29 11:10:26

Jmeter中同步定时器使用注意点

1.设置数量不可大于总线程数量，不然会一直等待 2.设置数量必须与总线程数量成整数倍数，不然还是要一直等。 3.当配置的数量小于线程数时，最好把循环打开，避免最后一次未准备好的线程数量达不到并发数。...

编程日记 2025/7/2 19:40:54

从零开始搭建Django博客③--前端界面实现

本文主要在Ubuntu环境上搭建，为便于研究理解，采用SSH连接在虚拟机里的ubuntu-24.04.2-desktop系统搭建，当涉及一些文件操作部分便于通过桌面化进行理解，通过Nginx代理绑定域名，对外发布。此为从零开始搭建Django博客…...

编程日记 2025/7/2 7:19:46

使用Handsontable实现动态表格和下载表格

1.效果 2.实现代码首先要加载Handsontable，在示例中我是cdn的方式引入的，vue的话需要下载插件 let hot null;var exportPlugin null;function showHandsontable(param) {const container document.getElementById("hot-container");// 如果…...

编程日记 2025/6/29 11:23:50

结合地理数据处理

CSV 文件不仅可以存储表格数据，还可以与地理空间数据结合，实现更强大的地理处理功能。例如，你可以将 CSV 文件中的坐标数据转换为点要素类，然后进行空间分析。示例：将 CSV 文件中的坐标数据转换为点要素类假设我们有…...

编程日记 2025/7/1 11:10:25

使用Geotools实现将Shp矢量文件加载SLD并合并图例生成-以湖南省周边城市为例

目录前言一、技术实现简介 1、生成成果说明 2、生成流程图说明二、具体生成实践 1、渲染地图 2、生成图例 3、合并图像及输出三、总结前言在当今数字化时代，地理信息系统（GIS）技术已成为城市管理、资源规划、环境监测等众多领域…...

编程日记 2025/7/7 11:52:31

openGauss数据库：起源、特性与对比分析

openGauss数据库：起源、特性与对比分析一、起源与发展历程 1. 技术背景与开源历程 openGauss是由华为公司主导开发的开源关系型数据库管理系统，其技术根源可追溯至PostgreSQL。2019年，华为在内部整合了多个数据库产品线（如GMDB…...

编程日记 2025/7/6 15:47:39

相机中各个坐标系的转换关系如像素坐标系到世界坐标系以及相机标定的目的

一、背景无论是机器人领域、SLAM还是自动驾驶领域，都会涉及相机标定，但是看了很多博客，都是各种坐标系的变换，没有从上层说明进行坐标变换的目的是什么，以及相机标定完成后，是已知像素坐标求世界坐标&…...

编程日记 2025/7/1 1:18:51

ubuntu24设置拼音输入法，解决chrome不能输入中文

## 推荐方案：使用 Fcitx5 Fcitx5 是当前在 Wayland 环境下兼容性最好的输入法框架。 ### 1. 安装 Fcitx5 bash sudo apt update sudo apt install fcitx5 fcitx5-chinese-addons fcitx5-frontend-gtk3 fcitx5-frontend-gtk4 fcitx5-frontend-qt5 fcitx5-module-c…...

编程日记 2025/7/4 16:08:27

linux内核进程管理(1)——创建，退出

linux源码阅读——进程管理（1） 1. 进程的基本介绍1.1 linux中进程和线程的区别1.2 task_struct中的基本内容1.3 命名空间ns(namespace)命名空间结构图Linux 中的命名空间类型 1.4 进程标识符 2. 创建一个进程的流程2.1 CLONE宏2.2 创建进程系统调用1. do…...

编程日记 2025/6/29 9:25:44

容器修仙传我的灵根是Pod 第8章护山大阵（DaemonSet）

第三卷：上古遗迹元婴篇第8章护山大阵（DaemonSet） 九霄之上，雷云如怒海翻腾。天调度宗的护山大阵「九霄雷光阵」正发出悲鸣，七十二根镇山雷柱已有半数熄灭。每根雷柱底部，本该守护节点的「雷符傀儡」&a…...

编程日记 2025/7/1 1:03:27

使用Python将YOLO的XML标注文件转换为TXT文件格式

使用Python将YOLO的XML标注文件转换为TXT文件格式，并划分数据集 import xml.etree.ElementTree as ET import os from os import listdir, getcwd from os.path import join import random from shutil import copyfile from PIL import Image# 只要改下面的CLASSE…...

编程日记 2025/7/7 11:08:34

在面试中被问到spring是什么？

Spring框架的核心回答 1. 定义与定位 Spring是一个轻量级、开源的企业级应用开发框架，旨在简化Java应用的开发，提供全面的编程和配置模型。它的核心目标是解决企业应用开发的复杂性，通过模块化设计和松耦合架构，帮助开发者更高效…...

编程日记 2025/7/1 14:15:19

MongoDB Ubuntu 安装

MongoDB 安装 https://www.mongodb.com/zh-cn/docs/manual/installation/ https://www.mongodb.com/zh-cn/docs/manual/tutorial/install-mongodb-on-ubuntu/ https://www.mongodb.com/zh-cn/docs/manual/reference/ulimit/ https://www.mongodbmanager.com/download ubun…...

编程日记 2025/7/1 18:34:18