当前位置：首页 > news >正文

使用 esrally race 测试 Elasticsearch 性能：实践指南

news 来源：原创 2025/6/8 1:57:04

在 Elasticsearch 性能优化和容量规划中，使用 esrally 进行基准测试是官方推荐的方式。通过 esrally race 命令，您可以针对不同的数据集与挑战类型，对 Elasticsearch 集群进行精确的性能评估。本文将简要介绍常用的数据集与挑战类型，并详细解析命令参数，然后展示测试结果分析和最终总结。

一、不同数据集与挑战类型简介

数据集（Tracks）：

geonames：
- 数据特性：地理位置相关信息（城市名、坐标、国家代码等），字段较为复杂。
- 场景适用：地理查询、基于位置的检索和分析。
http_logs：
- 数据特性：仿真 HTTP 访问日志的半结构化数据，字段较少、文本为主。
- 场景适用：日志分析、全文搜索、可视化检索。

挑战类型（Challenges）：

append-no-conflicts-index-only：
- 特点：仅对集群进行数据写入（索引）操作，无查询。
- 场景：高写入吞吐场景，如日志持续入库。
append-no-conflicts：
- 特点：同时进行数据写入和查询操作。
- 场景：读写混合场景，如搜索引擎、实时分析系统。

通过结合不同的数据集与挑战类型，您可以模拟多种现实场景。例如，使用 geonames + append-no-conflicts 来测试地理数据的读写混合性能，或使用 http_logs + append-no-conflicts-index-only 来评估日志高写入场景的吞吐量。

二、测试命令与参数解析

以下为一条典型的 esrally race 命令示例。请根据实际环境替换 <ES_CLUSTER_IP>, <USERNAME>, <PASSWORD> 与所需的数据集、挑战类型参数。

esrally race --pipeline=benchmark-only \--target-hosts=<ES_CLUSTER_IP>:9200 \--track-path=~/.rally/benchmarks/tracks/default/http_logs \--client-options="basic_auth_user:<USERNAME>,basic_auth_password:<PASSWORD>" \--challenge=append-no-conflicts \--report-file=~/result.csv \--report-format=csv

参数解析：

--pipeline=benchmark-only
使用已存在的 Elasticsearch 集群进行测试，不启动新的测试集群。
--target-hosts=<ES_CLUSTER_IP>:9200
指定目标集群的地址与端口。可使用内网 IP 或公网 IP，需根据实际情况替换。
--track-path=~/.rally/benchmarks/tracks/default/<DATASET>
指定数据集（如 geonames 或 http_logs）的轨迹路径。
--client-options="basic_auth_user:<USERNAME>,basic_auth_password:<PASSWORD>"
配置客户端认证信息。如果 Elasticsearch 开启了安全认证，请替换为真实用户名与密码；未开启则可忽略此参数。
--challenge=<CHALLENGE_TYPE>
选择测试挑战类型，如 append-no-conflicts-index-only 或 append-no-conflicts。
--report-file=~/result.csv 与 --report-format=csv
将测试结果保存为 CSV 文件，便于后续数据分析、比对和存档。

三、测试结果分析

执行上述命令后，esrally 会产生一份 CSV 格式的报告文件（如 http_logs_result.csv）。报告中常见的指标包括：

索引吞吐量 (Indexing Throughput)：每秒成功写入的文档数。
查询吞吐量 (Query Throughput)：每秒完成的查询请求数（仅在 append-no-conflicts 场景下有意义）。
延迟 (Latency)：请求操作（索引或查询）从发出到响应的时间分布（如 50th 百分位、90th 百分位）。
错误率 (Error Rate)：测试过程中操作失败的比例。

举例分析（示例数据并非真实测试结果）：

数据集	挑战类型	索引吞吐量 (ops/s)	查询吞吐量 (ops/s)	延迟50th (ms)	延迟90th (ms)
`geonames`	`append-no-conflicts-index-only`	5,000	-	10	15
`geonames`	`append-no-conflicts`	4,000	1,500	12 (索引)	20 (查询)
`http_logs`	`append-no-conflicts-index-only`	8,000	-	8	12
`http_logs`	`append-no-conflicts`	6,500	2,000	10 (索引)	18 (查询)

从上表可见：

对于高写入场景（index-only），http_logs 数据集因数据结构简单而获得更高的写入吞吐量。
对于混合场景（append-no-conflicts），http_logs 也表现出较高的查询吞吐量和较低的延迟，适合日志分析类场景。
geonames 数据集在复杂查询下的吞吐量与延迟表现稍逊于 http_logs，但更能模拟地理复杂查询的真实情况，对于地理搜索场景更具参考价值。

四、总结

通过合理搭配数据集（如 geonames 与 http_logs）和挑战类型（如 append-no-conflicts 与 append-no-conflicts-index-only），您可以全面评估 Elasticsearch 集群在不同业务场景下的性能表现。生成的测试报告（如 CSV 格式）有助于直观了解吞吐量、延迟和错误率，并为后续集群优化提供指导。

在实际生产中，您可根据业务需求选择最符合场景的数据集与挑战类型，不断迭代测试与优化，最终提升 Elasticsearch 的服务质量与用户体验。

如有进一步问题或建议，欢迎留言讨论！

使用 esrally race 测试 Elasticsearch 性能：实践指南

在 Elasticsearch 性能优化和容量规划中，使用 esrally 进行基准测试是官方推荐的方式。通过 esrally race 命令，您可以针对不同的数据集与挑战类型，对 Elasticsearch 集群进行精确的性能评估。本文将简要介绍常用的数据集与挑战类型&#xff…...

编程日记 2025/6/3 13:11:41

对象、函数、原型之间的关系

在 JavaScript 中，对象、函数和原型是三者紧密联系的核心概念。它们共同构成了 JavaScript 中面向对象编程的基石，并通过原型链实现了继承与代码复用。本文将从对象、函数、原型的基础概念到它们之间的关系进行详细的讲解，帮助你理解 Java…...

编程日记 2025/5/28 19:55:00

Showrunner AI技术浅析（二）：大型语言模型

1. GPT-3模型架构详解 GPT-3是基于Transformer架构的预训练语言模型，由OpenAI开发。其核心思想是通过自注意力机制（Self-Attention）处理输入序列，并生成自然语言文本。 1.1 Transformer架构基础 Transformer架构由Vaswani等人在…...

编程日记 2025/6/4 2:43:15

Web安全攻防入门教程——hvv行动详解

Web安全攻防入门教程 Web安全攻防是指在Web应用程序的开发、部署和运行过程中，保护Web应用免受攻击和恶意行为的技术与策略。这个领域不仅涉及防御措施的实现，还包括通过渗透测试、漏洞挖掘和模拟攻击来识别潜在的安全问题。本教程将带你入门Web安全攻防…...

编程日记 2025/6/3 13:26:11

************* C 买卖股票问题合集 ************* Since I have finished some stocks problems. I wanna make a list of the stocks to figure out the similarities. Here is the storks topucs list, from easy to hard: 121. 买卖股票的最佳时机 - 力扣（L…...

编程日记 2025/6/1 3:57:57

gitlab window如何设置ssh

在GitLab中设置SSH需要以下步骤： 在GitLab账户中，导航到“用户设置”下的“SSH密钥”部分。生成SSH密钥对（如果你还没有的话）。在Windows上，你可以使用ssh-keygen命令来生成密钥。在命令提示符或PowerShell中运行以…...

编程日记 2025/5/29 6:09:49

go配置文件

https://github.com/spf13/viper viper golang中常用的配置文件工具为viper库，是一个第三方库。viper功能： 解析JSON、TOML、YAML、HCL等格式的配置文件。监听配置文件的变化(WatchConfig)，不需要重启程序就可以读到最新的值。...

编程日记 2025/6/4 1:58:10

深度学习之超分辨率算法——SRGAN

更新版本实现了生成对抗网络在超分辨率上的使用更新了损失函数，增加先验函数 SRresnet实现 import torch import torchvision from torch import nnclass ConvBlock(nn.Module):def __init__(self, kernel_size3, stride1, n_inchannels64):super(ConvBlock…...

编程日记 2025/6/4 16:30:57

GIT命令使用手册（详细实用版）

一、git常用操作参考第一次提交完整步骤： 1.git init; 2.git add . 3.git commit -m "初始化" 4.git remote add origin https://github.com/githubusername/demo.git 5.git pull origin master 6.git push -u origin master（使用-u选项可以将…...

编程日记 2025/5/30 13:51:33

数据分析实战—IMDB电影数据分析

1.实战内容 1.加载数据到movies_df，输出前5行，输出movies_df.info(),movies_df.describe() # （1）加载数据集，输出前5行 #导入库 import pandas as pd import numpy as np import matplotlib import matplotlib.pyplo…...

编程日记 2025/6/2 18:00:12

【SQL/MySQL 如何使用三种触发器】SQL语句实例演示

触发器介绍 – 触发器是与表有关的数据库对象，指在insert/update/delete之前(BEFORE)或之后(AFTER)，触发并执行触发器中定义的SQL语句集合。 – 使用别名OLD和NEW来引用触发器中发生变化的记录内容，这与其他的数据库是相似的。现在触发器还只…...

编程日记 2025/5/30 3:12:02

社区团购管理系统（源码+数据库）

355.基于SpringBoot的社区团购管理系统，系统包含两种角色：管理员、用户,系统分为前台和后台两大模块，主要功能如下二、项目技术编程语言：Java 数据库：MySQL 项目管理工具：Maven 前端技术：Vue …...

编程日记 2025/6/3 23:36:03

时钟分频模块

实现时钟的二分频，四分频 1.时钟分频模块： module clk_div(input clk, //50Mhzinput rst_n,input [15:0] lcd_id,output reg lcd_pclk);reg clk_25m; reg clk_12_5m; reg …...

编程日记 2025/6/3 1:32:03

linux ipmitool配置机器的BMC（服务器管理后台）

前置：mgnt口和网卡1连接入内网，并分配静态ip 1. 安装 ipmitool Debian/Ubuntu: sudo apt-get update sudo apt-get install ipmitool CentOS/RHEL: sudo yum install ipmitool2. 配置 BMC 的 IP 地址 #打印当前ipmi 地址配置信息。 ipmitool lan p…...

编程日记 2025/6/2 19:21:34

【Springboot知识】Redis基础-springboot集成redis相关配置

文章目录 1. 添加依赖2. 配置Redis连接3. 配置RedisTemplate（可选）4. 使用RedisTemplate或StringRedisTemplate5. 测试和验证集群配置在application.properties中配置在application.yml中配置主从配置1. 配置Redis服务器使用配置文件使用命令行 2. 配置…...

编程日记 2025/6/4 6:49:59

【数据结构】八大排序

目录一、直接插入排序二、希尔排序三、选择排序四、堆排序五、冒泡排序六、快速排序七、归并排序八、计数排序稳定性结论稳定性：排序后相同元素之间的相对顺序是否保持不变。一、直接插入排序基本思想：通过构建有序序列&#xff…...

编程日记 2025/6/2 21:11:05

mmdetection：图片推理以及将预测标签转换为YOLO格式标签

本文记录了使用 mmdetection 进行图片推理，并将推理结果坐标格式转换为yolo格式保存在txt中的代码。文章目录一、图片推理二、批量处理一、图片推理一个图片推理的demo。 import os import mmcv from mmdet.apis import init_detector, inference_detector fr…...

编程日记 2025/5/31 10:33:56

CV-OCR经典论文解读|An Empirical Study of Scaling Law for OCR/OCR 缩放定律的实证研究

论文标题 An Empirical Study of Scaling Law for OCR OCR 缩放定律的实证研究论文链接： An Empirical Study of Scaling Law for OCR论文下载论文作者 Miao Rang, Zhenni Bi, Chuanjian Liu, Yunhe Wang, Kai Han 内容简介本论文在光学字符识别&#xf…...

编程日记 2025/6/3 0:06:47

从混沌到秩序：Python的依赖管理工具分析

Python 的依赖管理工具一直没有标准化，原因主要包括： 历史发展的随意性：Python发展早期对于依赖管理的重视程度不足，缺乏从一开始就进行统一规划和设计的意识社区的分散性：Python社区庞大且分散，众多开发…...

编程日记 2025/6/2 14:11:45

【系统】Windows11更新解决办法，一键暂停

最近的windows更新整的我是措不及防，干啥都要关注一下更新的问题，有的时候还关不掉，我的强迫症就来了，非得关了你不可！ 经过了九九八十一难的研究之后，终于找到了一个算是比较靠谱的暂停更新的方法&#x…...

编程日记 2025/6/4 7:18:08

小红书关键词搜索采集 | AI改写 | 无水印下载 | 多维表格 | 采集同步飞书

小红书关键词搜索采集 | AI改写 | 无水印下载 | 多维表格 | 采集同步飞书一、下载影刀： https://www.winrobot360.com/share/activity?inviteUserUuid595634970300317698 二、加入应用市场 https://www.yingdao.com/share/accede/?inviteKeyb2d3f22a-fd6c-4a…...

编程日记 2025/5/31 6:34:39

【原生js案例】前端封装ajax请求及node连接 MySQL获取真实数据

上篇文章，我们封装了ajax方法来请求后端数据，这篇文章将介绍如何使用 Node.js 来连接 MySQL，并对数据库进行操作。实现效果代码实现后端接口处理 const express require("express"); const connection require("../da…...

编程日记 2025/6/3 4:59:26

Ubuntu将深度学习环境配置移植到新电脑

这里默认新电脑已经安装好了conda、CUDA这些，可以直接创建新的虚拟环境。参考链接： https://blog.csdn.net/Chujun123528/article/details/143788565https://blog.csdn.net/qq_41779275/article/details/122868946https://blog.csdn.net/YajunLin/art…...

编程日记 2025/6/2 23:26:17

vue基础作业实验十

vue基础作业实验十实验要求案例要点：代码以及思考style部分Vue.js 部分Vue 实例部分这段代码是一个基于 Vue.js 的静态页面，功能包括商品品牌的添加、删除和搜索。实验要求一、实验的基本内容 （1）Vue模板语法。 &#xff08…...

编程日记 2025/6/4 6:02:21

冒泡排序（JAVA）

package com.guangyunl.f_array;import java.util.Random; import java.util.Scanner;// 数组的冒泡排序 // 冒泡排序法是采用数组中相邻元素进行比较换位 public class Demo02Bubble {public static void main(String[] args) {Demo02Bubble demo02Bubble new Demo02Bubble()…...

编程日记 2025/6/1 5:55:16

如何测量分辨率

一、什么是分辨率？ 分辨率指的是分清物体细节的能力。分辨率是一个成像系统还原空间频率的能力。一些人只是简单的用分辨率去描述极限分辨率，但是相机在在不同的对比度的情况下还原低，中和高频率的能力，也可以显示全面综合的信息。…...

编程日记 2025/6/1 15:46:46

【Mysql索引优化】索引优化的最佳实现

文章目录【Mysql优化】索引优化的最佳实现1. 全值匹配：索引的最佳使用方式2. 最左前缀法则3. 尽量使用覆盖索引：优化查询性能。减少 select \* 语句4. 范围查询优化5. 不在索引列上做任何操作（计算、函数、（自动or手动&#xff0…...

编程日记 2025/6/3 1:48:39

centos使用mkisofs构建无人值守镜像（附官方学习文档）

安装mkisofs yum install -y mkisofs 挂载镜像并确认并拷贝文件(/mnt 为我们的工作目录) 1.3 准备自动应答文件(保存为 ins.ks) 修改系统引导实际上就是添加inst.ks 这个引导参数传递应答文件传统模式引导 UEFI模式引导打包镜像通用选项 -v：启用详细模式&a…...

编程日记 2025/6/3 0:21:51

Python获取当前系统中可用的串口设备

import serial.tools.list_portsdef checkDevice(self):port_data []for port in serial.tools.list_ports.comports():port_data.append(port.description)if port_data:for devInfo in port_data:self.toolLogPrinting(可用设备 devInfo)RET Trueelse:self.toolLogPrinti…...

编程日记 2025/6/1 1:00:21

一、不同数据集与挑战类型简介

二、测试命令与参数解析

三、测试结果分析

四、总结

相关文章：