当前位置：首页 > news >正文

Elasticsearch 性能测试工具 Loadgen 之 001——部署及应用详解

news 来源：原创 2025/5/25 11:31:56

在现代软件开发中，性能测试是确保应用程序稳定性和响应速度的关键环节。

今天，我们就来深入了解一款国产化功能强大的 Elasticsearch 负载测试工具——INFINI Loadgen。

一、INFINI Loadgen 简介

Github地址：https://github.com/infinilabs/loadgen

Release 版本下载地址：https://release.infinilabs.com/loadgen/stable/

INFINI Loadgen 是一款专为 Elasticsearch 、EasySearch 设计的轻量级性能测试工具，旨在对 Easysearch 、Elasticsearch 进行压力测试。其主要功能包括支持多种请求类型、动态变量注册、以及对请求返回结果的断言等。——官方描述

二、安装 INFINI Loadgen

INFINI Loadgen的安装方式非常简单，为用户提供了多种选择，方便不同需求的用户进行安装。

2.1 通过脚本安装

使用以下命令，即可一键完成安装：

curl -sSL http://get.infini.cloud | bash -s -- -p loadgen

这条命令的作用是，通过curl工具从指定的URL下载安装脚本，并使用bash执行该脚本，同时传递参数-p loadgen，指定安装的软件包为loadgen。

2.2 手动下载安装

如果不想使用脚本安装，也可以从官方提供的下载地址获取安装包：http://release.infinilabs.com/loadgen/。下载完成后，通过以下命令进行安装：

➜  /tmp mkdir loadgen
➜  /tmp curl -sSL http://get.infini.cloud | bash -s -- -p loadgen -d /tmp/loadgen

或者直接本地下载，拷贝到云服务器也可以。上述命令首先在/tmp目录下创建了一个名为loadgen的文件夹，然后通过curl和bash命令，将安装包下载并解压到该文件夹中。在安装过程中，我们可以看到有趣的字符画和安装进度提示，最后会提示安装完成，表明loadgen已经准备就绪，可以使用了。

安装完成后，进入安装目录，执行可执行文件，即可启动INFINI Loadgen：

cd /tmp/loadgen &&./loadgen-mac-arm64

这里的loadgen-mac-arm64是根据不同系统和架构生成的可执行文件名，在实际使用中，需要根据自己的环境进行调整。

温馨提示：下文中的 loadgen 本质上就是现在的 loadgen-mac-arm64 重命名后的结果。

三、Loadgen 核心配置参数解读

站在咱们开发者角度理解，如果对 Elasticsearch 或 EasySearch 做性能测试，必须先得配置上 ES 的地址、用户名和密码，否则一切无从谈起。因此，如下的配置 loadgen.yml 非常重要。

3.1 宏观看配置文件

我第一眼看有点懵逼，感觉配置都好复杂。实际拆分成树形结构“定睛一看”，实际并不复杂。

loadgen.yml

├── env
│   ├── ES_USERNAME
│   ├── ES_PASSWORD
│   └── ES_ENDPOINT
├── runner
│   ├── no_warm
│   ├── valid_status_codes_during_warmup
│   ├── log_requests
│   ├── log_status_codes
│   ├── assert_invalid
│   ├── assert_error
│   ├── reset_context
│   ├── default_endpoint
│   └── default_basic_auth
├── variables
│   ├── id
│   ├── id64
│   ├── uuid
│   ├── now_local
│   ├── now_utc
│   ├── now_utc_lite
│   ├── now_unix
│   ├── now_with_format
│   ├── suffix
│   ├── bool
│   ├── list
│   ├── id_list
│   └── str_list
└── requests
├── request 1 (POST /_bulk)
│   ├── method
│   ├── runtime_variables
│   ├── runtime_body_line_variables
│   ├── url
│   └── body
└── request 2 (POST /medcl/_search)
├── method
├── runtime_variables
├── runtime_body_line_variables
├── basic_auth
├── url
└── body

3.2 配置文件参数详解（微观看）

在使用Loadgen进行测试之前，我们需要了解其配置文件的结构和用法。Loadgen的配置文件主要由env、runner、variables和requests等部分组成。

示例原因，没有涵盖全部变量。

env：用于定义环境变量，例如：

env:ES_USERNAME: elasticES_PASSWORD: elastic

这里定义了ES_USERNAME和ES_PASSWORD两个环境变量，分别赋值为elastic。咱们在使用的时候要换成自己 Elasticsearch 集群的账号和密码。这些环境变量可以在后续的请求中通过$[[env.ENV_KEY]]的方式进行引用，例如在请求的认证信息中使用。

runner：用于配置测试运行的相关参数，如：

runner:# total_rounds: 1no_warm: falselog_requests: falseassert_invalid: falseassert_error: false

其中，

total_rounds用于指定测试的总轮数，默认情况下注释掉，表示不使用该设置，Loadgen将在指定的持续时间内循环执行测试。
no_warm表示是否跳过预热阶段，默认为false，即不跳过。预热阶段可以让系统在正式测试前达到稳定状态，使测试结果更准确。
log_requests用于控制是否记录每个请求的详细信息。
assert_invalid和assert_error分别用于设置当断言无效或请求出错时的处理方式。

variables：用于定义各种类型的变量，这些变量可以在请求中使用，为请求提供动态参数。Loadgen支持多种变量类型，每种类型都有其特定的用途和配置方式。

file：从文件加载变量，例如：

- name: iptype: filepath: test/ip.txt

这个配置表示定义了一个名为ip的变量，类型为file，其值从test/ip.txt文件中读取。在测试过程中，每次使用该变量时，会随机从文件中读取一行作为变量值。- sequence：自动递增的数值变量，例如：

- name: idtype: sequence

定义了一个名为id的变量，类型为sequence，它会在测试过程中自动递增，从默认的最小值开始，每次增加1。- uuid：生成UUID类型的变量，例如：

- name: uuidtype: uuid

定义了一个名为uuid的变量，每次使用时会生成一个唯一的UUID值。- now_local、now_utc、now_unix：分别表示获取当前本地时间、UTC时间和Unix时间戳，例如：

- name: now_localtype: now_local
- name: now_utctype: now_utc
- name: now_unixtype: now_unix

这些变量在需要记录时间信息的测试场景中非常有用。4. requests：用于定义要发送的请求，这是配置文件的核心部分。Loadgen支持固定参数请求和基于模板的变量参数请求。- 固定参数请求示例：

- request:method: GETbasic_auth:username: elasticpassword: passurl: http://localhost:9200/medcl/_search

注意：medcl 是个索引名，实际使用环节，咱们需要自己创建一下。比如：put medcl 方式就可以创建。这个请求配置表示使用GET方法，通过基本认证（用户名elastic，密码pass），向http://localhost:9200/medcl/_search发送请求。- 基于变量参数的请求示例：

- request:method: GETbasic_auth:username: $[[env.ES_USERNAME]]password: $[[env.ES_PASSWORD]]url: http://localhost:9200/medcl/_search?q=name:$[[user]]

在这个请求中，使用了之前定义的环境变量ES_USERNAME和ES_PASSWORD进行认证，并且在请求URL中使用了变量user，使得每次请求的查询参数name的值都可以动态变化。最后，咱们通过截图说明一下，我改动的配置有哪些，以便大家进行参考：

除了上面标红之外，其他配置都没有动。这样我们可以达到 Loadgen 从0到1效果，先用起来再说。

四、Loadgen 基准测试，先用起来再说！

4.1 基准测试

基准测试：运行Loadgen进行基准测试非常简单，只需在命令行中执行以下命令：

➜  loadgen git:(master) ✗./bin/loadgen -d 30 -c 100 -compress

这条命令中，-d 30表示测试持续时间为30秒，-c 100表示并发线程数为100，-compress表示对请求进行gzip压缩。测试过程中，Loadgen会先执行一次所有请求进行预热，预热结果会输出到终端。

预热完成后，开始正式的基准测试，测试结束后会输出详细的测试结果，包括请求的吞吐量、响应时间分布、流量统计等信息。

如下图所示，代表配置文件的写入 bulk 写入成功了。因为，最初，我们只是创建了索引名。

4.2 核心指标含义解读

最终指标是我们关注的重点，核心指标解读如下：

1.Requests/sec: 29.43：

含义：表示服务器每秒处理的请求数量，即服务器在测试期间平均每秒能够成功接收并处理的请求数为 29.43 个。

作用：该指标反映了服务器的处理能力和吞吐量。数值越高，说明服务器在单位时间内能够处理更多的请求，在高并发场景下表现可能更好。
实际业务场景类比举例：对于一个基于 Elasticsearch 的电商网站搜索服务，较高的请求处理速率意味着在促销活动等流量高峰时，能够更快地响应用户的商品搜索和查询请求，从而提升用户体验。

2.Avg Req Time: 339.804597 ms：

含义：指平均每个请求的处理时间，即从服务器接收到请求到返回响应所花费的平均时间为 339.804597ms 毫秒。
作用：它体现了服务器处理单个请求的效率。这个时间越短，表明服务器处理请求的速度越快，用户等待响应的时间也就越短，体验更好。
实际业务场景类比举例：在一个使用 Elasticsearch 的实时日志分析系统中，较短的平均请求处理时间意味着用户能够更快地获取日志查询结果，从而及时发现和解决问题，提升系统监控的有效性。

3.Transfer/sec: 12.81 KB：

含义：代表服务器每秒的数据传输量，即在测试过程中，服务器每秒传输的数据量平均为 12.81KB 。
作用：该指标反映了服务器与客户端之间的数据交互量，对于评估服务器的网络带宽使用情况和数据传输能力很重要。
实际业务场景类比举例：对于一个基于 Elasticsearch 的数据可视化平台，高的数据传输速率是保证用户能够流畅加载和查看大数据集的关键。如果这个值过低，可能导致数据加载缓慢，从而影响用户体验。

五、小结

通过使用 INFINI Loadgen 进行性能测试，开发者可以有效地评估 Elasticsearch 和 EasySearch 的处理能力和稳定性。该工具不仅支持高并发的请求处理，还能通过灵活的配置选项满足不同的测试需求。安装过程简单，配置文件结构清晰，使得用户能够快速上手并进行基准测试。

【实践好文】提升 Elasticsearch 性能的关键优化技巧，50ms提升到1ms！！

提升 Elasticsearch 索引性能 TOP 10 小技巧，你用到几个？

esrally 如何进行简单的自定义性能测试？

JMeter 如何实现 Elasticsearch 8.X 性能测试？

探索 INFINI Console：提升 Elasticsearch 管理效率的新利器

读者留言：有 Elasticsearch 国产化替代品吗？现在国产化不让用 ES 了......

Elasticsearch 国产化替代方案之一 Easysearch 的介绍与部署指南

更短时间更快习得更多干货！

和全球超2000+ Elastic 爱好者一起精进！

elastic6.cn——ElasticStack进阶助手

抢先一步学习进阶干货！

Elasticsearch 性能测试工具 Loadgen 之 001——部署及应用详解

在现代软件开发中，性能测试是确保应用程序稳定性和响应速度的关键环节。今天，我们就来深入了解一款国产化功能强大的 Elasticsearch 负载测试工具——INFINI Loadgen。一、INFINI Loadgen 简介 Github地址：https://github.com/infinilabs/l…...

编程日记 2025/5/25 11:31:56

Python算法详解：动态规划

动态规划（Dynamic Programming，简称 DP）是计算机科学中一种高效解决问题的算法思想。它通过将复杂问题分解为更小的子问题，记录中间结果，避免重复计算，从而提升效率。本文将从动态规划的基础思想出发&#…...

编程日记 2025/5/19 8:19:57

python3+TensorFlow 2.x（二）回归模型

目录回归算法 1、线性回归 (Linear Regression) 一元线性回归举例 2、非线性回归 3、回归分类回归算法回归算法用于预测连续的数值输出。回归分析的目标是建立一个模型，以便根据输入特征预测目标变量，在使用 TensorFlow 2.x 实现线性回归模型时&…...

编程日记 2025/5/25 6:41:35

lombok 没生效 java: 找不到符号符号: 方法 setName(java.lang.String)

今天使用lombok 添加了 Data注解 set方法却没起效解决方法 1 给lombok 添加版本号再maven刷新下 <dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.18.8</version><optional>…...

编程日记 2025/5/19 14:30:01

uiautomator2教程

一、简介 uiautomator2 是一个 Python 库，用于 Android 的 UI 自动化测试，底层基于 Google uiautomator。二、安装 1、安装adb 2、pip install uiautomator2 3、设备安装 atx - agent，python -m uiautomator2 init 4、安装weditor&…...

编程日记 2025/5/20 22:30:36

旅游风景的代码项目

敦煌莫高窟：用代码打开千年艺术的大门 ——一个零基础也能看懂的神奇项目前言：当古老艺术遇上现代代码想象一下，你坐在电脑前，指尖轻轻一点，就能穿越到敦煌莫高窟——看飞天的衣袂飘飘、听千年的驼铃声声。这不是科…...

编程日记 2025/5/20 8:47:35

【后端开发】字节跳动青训营之性能分析工具pprof

性能分析工具pprof 一、测试程序介绍二、pprof工具安装与使用2.1 pprof工具安装2.2 pprof工具使用资料链接： 项目代码链接实验指南pprof使用指南一、测试程序介绍 package mainimport ("log""net/http"_ "net/http/pprof" // 自…...

编程日记 2025/5/24 10:07:44

【测试】-- 认识测试

1. 软件测试定义软件测试就是验证软件产品特性（功能、性能、界面、易用性等）是否满足用户的需求。 2. 测试的岗位软件测试开发工程师（测开） 开发：开发测试效率工具（自动化、性能测试、覆盖率等&#x…...

编程日记 2025/5/22 13:33:28

浏览器hid 和蓝牙bluetooth技术区别

HID与蓝牙技术区别引言在前端开发中，与外部设备的交互越来越重要，尤其是在移动设备和物联网设备日益普及的今天。HID（Human Interface Device）和蓝牙（Bluetooth）是两种常用的技术，用于实现设备…...

编程日记 2025/5/25 11:10:28

PCIE模式配置

对于VU系列FPGA，当DMA/Bridge Subsystem for PCI Express IP配置为Bridge模式时，等同于K7系列中的AXI Memory Mapped To PCI Express IP。...

编程日记 2025/5/8 8:32:49

mysql 学习3 SQL语句--整体概述。SQL通用语法；DDL创建数据库，查看数据库，删除数据库，使用数据库；

SQL通用语法 SQL语句分类 DDL data definition language : 用来创建数据库，创建表，创建表中的字段，创建索引。因此成为数据定义语言 DML data manipulation language 有了数据库和表以及字段后，那么我们就需要给这个表中添加数…...

编程日记 2025/5/22 10:13:24

Swing使用MVC模型架构

什么是MVC模式？ MVC是一组英文的缩写，其全名是Model-View-Controller，也就是“模型-视图-控制器”这三个部分组成。这三个部分任意一个部分发生变化都会引起另外两个发生变化。三者之间的关系示意图如下所示： MVC分为三个部分，所以在MVC模型中将按照此三部分分成三…...

编程日记 2025/5/16 14:55:41

Java定时任务实现方案(二)——ScheduledExecutorService

这篇笔记，我们要来介绍实现Java定时任务的第二个方案，使用ScheduledExecutorService，以及该方案的优点和缺点。 ScheduledExecutorService是Java并发包java.util.concurrent中用于执行定时任务和周期性任务的接口，它拓展了Executo…...

编程日记 2025/5/20 4:40:25

Agent群舞，在亚马逊云科技搭建数字营销多代理(Multi-Agent)（下篇）

在本系列的上篇中，小李哥为大家介绍了如何在亚马逊云科技上给社交数字营销场景创建AI代理的方案，用于社交动态的生成和对文章进行推广曝光。在本篇中小李哥将继续本系列的介绍，为大家介绍如何创建主代理，将多个子代理挂载到主代理…...

编程日记 2025/5/20 20:40:12

执行结果:通过执行用时和内存消耗如下： int dfs(int node, int parent, int f, int* coins, int k, int **children, int *childCount, int **memo) {if (memo[node][f] ! -1) {return memo[node][f];}int res0 (coins[node] >> f) - k;int res1 coins[no…...

编程日记 2025/5/24 10:29:14

STM32_SD卡的SDIO通信_基础读写

本篇将使用CubeMXKeil, 创建一个SD卡读写的工程。目录一、SD卡要点速读二、SDIO要点速读三、SD卡座接线原理图四、CubeMX新建工程五、CubeMX 生成 SD卡的SDIO通信部分六、Keil 编辑工程代码七、实验效果实现效果，如下图： 一、SD卡速读…...

编程日记 2025/5/24 2:43:11

新手理解：Android 中 Handler 和 Thread.sleep 的区别及应用场景

新手理解：Android 中 Handler 和 Thread.sleep 的区别及应用场景 Handler 是啥？Handler 的几个核心功能： Thread.sleep 是啥？Thread.sleep 的核心特点： 两者的区别它们的应用场景1. Handler 的应用场景2. Thread.sleep…...

编程日记 2025/5/23 10:36:13

C语言-----扫雷游戏

扫雷游戏的功能说明 ： • 使⽤控制台实现经典的扫雷游戏 • 游戏可以通过菜单实现继续玩或者退出游戏 • 扫雷的棋盘是9*9的格⼦ • 默认随机布置10个雷 • 可以排查雷： ◦ 如果位置不是雷，就显⽰周围有⼏个雷 ◦ 如果位置是雷，就…...

编程日记 2025/5/21 5:58:20

监控与调试：性能优化的利器 — ShardingSphere

在分布式数据库系统中，监控和调试是确保系统高效运行的关键。ShardingSphere 提供了多种监控和调试工具，帮助开发者实时跟踪和优化性能，识别瓶颈，进行故障排查，从而提升系统的稳定性和响应速度。本文将介绍如何使用 Sh…...

编程日记 2025/5/22 23:59:04

Kubernetes相关知识入门详解

一、Pod的滚动升级 1.服务升级的一般思路：停止与该服务相关的所有服务pod，重新拉去更新后的镜像并启动。这种方法存在一个比较现实的问题是逐步升级导致较长时间的服务不可用。 2.Kubernetes滚动升级的思路：通过滚动升级的命令创建新的rc&…...

编程日记 2025/5/21 16:56:44

多层 RNN原理以及实现

数学原理多层 RNN 的核心思想是堆叠多个 RNN 层，每一层的输出作为下一层的输入，从而逐层提取更高层次的抽象特征。 1. 单层 RNN 的数学表示首先，单层 RNN 的计算过程如下。对于一个时间步 t t t，单层 RNN 的隐藏状态 h t h_t…...

编程日记 2025/5/21 23:33:36

Unity阿里云OpenAPI 获取 Token的C#【记录】

获取Token using UnityEngine; using System; using System.Text; using System.Linq; using Newtonsoft.Json.Linq; using System.Security.Cryptography; using UnityEngine.Networking; using System.Collections.Generic; using System.Globalization; using Cysharp.Thr…...

编程日记 2025/5/25 10:13:01