当前位置：首页 > news >正文

Linux下部署ElasticSearch集群

news 来源：原创 2025/5/18 6:32:53

Elasticsearch7.17.8集群的搭建

节点host名称	节点ip	节点部署内容
k8s-m	192.168.40.142	主节点数据节点
k8s-w1	192.168.40.141	主节点数据节点
k8s-w2	192.168.40.140	数据节点

一、准备安装环境

1.下载安装包官网 www.elastic.co 下载所有版本地址点击跳转下载elasticsearch-7.17.8版本

2.创建安装环境

安装jdk并配置环境变量

3.上传压缩包

4.解压Elasticsearch压缩包

tar -xzf elasticsearch-7.17.8-linux-x86_64.tar.gz

5.移动至安装目录

mv elasticsearch-7.17.8 /usr/local

6.创建目录

cd /usr/local/elasticsearch-7.17.8
mkdir data
mkdir logs

二、修改配置文件

1.修改Elasticsearch的配置文件elasticsearch.yml

vim config/elasticsearch.yml

#为集群设置名称,集群内所有节点配置的名称必须一致
cluster.name: elastic
#当前节点取名，集群内节点名称必须唯一
node.name: k8s-m
#数据存储目录(用逗号分隔多个位置) 这个目录默认不存在,自行创建
path.data: /usr/local/elasticsearch-7.17.8/data
#日志文件路径
path.logs: /usr/local/elasticsearch-7.17.8/logs
#TCP的默认监听端口，默认 9300
transport.tcp.port: 9300
#启动时是否有锁定内存,生产环境需要true(可用内存一般设置可用内存的一半左右)
bootstrap.memory_lock: true
#当前节点地址
network.host: 0.0.0.0
#es对外提供的http端口，默认 9200
http.port: 9200
#写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["k8s-m", "k8s-w1", "k8s-w2"]
#始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["k8s-m", "k8s-w1"]
#配置跨域，以便es-head可视化工具连接
http.cors.enabled: true
http.cors.allow-origin: "*"

2.修改Elasticsearch的配置文件jvm.options

vim config/jvm.options

内存大的可以配置成1g或者更大

-Xms512m
-Xmx512m

三、分发配置修改过的安装包到节点2与节点3

scp /usr/local/elasticsearch-7.17.8 root@192.168.40.141:/usr/local/
scp /usr/local/elasticsearch-7.17.8 root@192.168.40.140:/usr/local/

四、修改节点2与节点3的配置文件

只修改当前节点名称，其余配置和主节点一样

vim /usr/local/elasticsearch-7.17.8/config/elasticsearch.yml

#当前节点取名，集群内节点名称必须唯一
node.name: k8s-w1

==================================================

#当前节点取名，集群内节点名称必须唯一
node.name: k8s-w2

五、修改配置

1.系统配置

修改进程的最大文件数，添加最大创建文件数(*不能去掉)，配置/etc/security/limits.conf文件，在底部添加

vim /etc/security/limits.conf

* soft nofile 1048576
* hard nofile 1048576

在这里插入图片描述
配置 /etc/sysctl.conf文件，修改vm.max_map_count参数，该参数设置进程可以适用的的VMA（虚拟内存区域）数量。修改完成后，执行“sysctl -p”命令，使修改的配置生效

vim  /etc/sysctl.conf

vm.max_map_count = 655360

sysctl -p

在这里插入图片描述

六、启动集群

启动集群不能使用root用户需要使用普通用户这里创建elastic用户(每个节点都需要创建赋权限)

useradd elastic -m

设置密码

passwd elastic

赋予安装包的使用权限(注意如果数据目录不在安装包下需要再赋予一次数据目录权限)

chown -R elastic:elastic /usr/local/elasticsearch-7.17.8

启动 :

su elastic
cd /usr/local/elasticsearch-7.17.8/bin
./elasticsearch

后台启动

./elasticsearch -d

配置完成

七、设置开机自启

自定义启动脚本需要在es账户之间配置免密登录

先查看当前的开机启动服务

chkconfig --list

创建es 的系统启动服务文件，进入到 cd /etc/init.d 目录，编写elasticsearch脚本

#!/bin/sh
# chkconfig: - 85 15
#description: elasticsearch
export ES_HOME=/usr/local/elasticsearch-7.17.8case "$1" in
start)su elastic<<!cd $ES_HOME./bin/elasticsearch -d -p pid
!echo "elasticsearch startup";;
stop)kill -9 `cat $ES_HOME/pid`echo "elasticsearch stopped";;
restart)kill -9 `cat $ES_HOME/pid`echo "elasticsearch stopped"su elastic<<!cd $ES_HOME./bin/elasticsearch -d -p pid
!echo "elasticsearch startup";;
*)echo "start|stop|restart";;
esac
exit $?

chmod 777 elasticsearch

添加和删除服务并设置启动方式；

chkconfig --add elasticsearch　　　　# 【添加系统服务】
chkconfig --del elasticsearch　　　　# 【删除系统服务】

关闭和启动服务；

systemctl start elasticsearch   　　　# 【启动服务】
systemctl stop elasticsearch 　　　　　 # 【停止服务】
systemctl restart elasticsearch       # 【重启服务】

设置服务是否开机启动；

#【开启服务】
chkconfig elasticsearch on　　　　　
systemctl enable elasticsearch # 【关闭服务】
chkconfig elasticsearch off　　   　
systemctl disable elasticsearch

测试集群
查看集群信息:
http://192.168.40.142:9200/_cat/nodes
成功后连接es
在这里插入图片描述

节点规模扩展

新添加的节点需要配置cluster.initial_master_nodes,旧节点如果不重启不用修改,如果要重启旧节点,需要修改cluster.initial_master_nodes写入所有节点

Linux下部署ElasticSearch集群

Elasticsearch7.17.8集群的搭建节点host名称节点ip节点部署内容k8s-m192.168.40.142主节点数据节点k8s-w1192.168.40.141主节点数据节点k8s-w2192.168.40.140数据节点一、准备安装环境 1.下载安装包官网 www.elastic.co 下载所有版本地址点击跳转下载elasticsearch-7.…...

编程日记 2025/5/18 6:32:53

杰盛微 JSM4056 1000mA单节锂电池充电器芯片 ESOP8封装

JSM4056 1000mA单节锂电池充电器芯片 JSM4056是一款单节锂离子电池恒流/恒压线性充电器，简单的外部应用电路非常适合便携式设备应用，适合USB电源和适配器电源工作，内部采用防倒充电路，不需要外部隔离二极管。热反馈可对充电电流进…...

编程日记 2025/5/18 6:16:40

kubernetes学习-kubectl命令、探针（二）

一、在任意节点使用 kubectl # 在master节点获取节点信息 [rootk8s-master k8s]# kubectl get nodes NAME STATUS ROLES AGE VERSION k8s-master Ready control-plane,master 16h v1.23.6 k8s-node1 Ready <none> …...

编程日记 2025/5/18 5:53:55

多组学破解雪域雄鸡的高原缺氧适应机制

藏鸡‌是一种原产于中国青藏高原的鸡种，主要分布在海拔2200-4100米的河谷区和高山峡谷区。它们适应高海拔和寒冷的气候条件，能够在恶劣的环境中生存和繁殖‌。本研究主要关注高原藏鸡适应高原缺氧环境的机制，通过宏转录组测序和代谢组结果的联…...

编程日记 2025/5/18 6:27:04

Kubernetes Gateway API-3-TLS配置

1 简介 Gateway API 允许使用多种方式配置 TLS。本文档列出了各种TLS设置，并给出了如何有效使用它们的一般指南。尽管本文档涵盖了 Gateway API 最常见的TLS配置形式，但某些实现也可能提供特定于实现的扩展，允许不同或更高级形式的TLS配置。除此文档外，值得阅读你所使用…...

编程日记 2025/5/10 22:30:31

C++ 中如何优雅地返回一个递归闭包函数？

在刷Leetcode时，我遇到了一道题目（详见Leetcode 第426场周赛分析总结Q3），需要对两棵树建图，然后以每个节点作为根节点进行DFS遍历。一般的实现方法是将重复的逻辑封装起来，写两个函数，一个负责建…...

编程日记 2025/5/13 4:38:39

dockerignore文件怎么写

.dockerignore 文件是一个文本文件，告诉 Docker 在构建镜像时应该忽略哪些文件或目录。这个文件的作用类似于 .gitignore，用于排除不需要包含在 Docker 镜像中的文件或目录，以减少镜像的大小和提高构建速度。 .dockerignore 文件的格式每行…...

编程日记 2025/5/18 6:02:01

利用 AI 高效生成思维导图的简单实用方法

#工作记录适用于不支持直接生成思维导图的AI工具；适用于AI生成后不能再次编辑的思维导图。在日常的学习、工作以及知识整理过程中，思维导图是一种非常实用的工具，能够帮助我们清晰地梳理思路、归纳要点。而借助 AI 的强大能力&#xff0c…...

编程日记 2025/5/18 6:12:16

SpringMVC（一）配置

目录引入第一章：Java web的发展历史一、Model I和Model II 1.Model I开发模式 2.Model II开发模式二. MVC模式第二章：SpringMVC的入门案例搭建SpringMVC的入门程序 1.创建新项目 2.等待加载导入坐标 3.处理xml文件和其他导入tomcat 运…...

编程日记 2025/5/18 5:49:25

Vue3苦逼的学习之路

从一名测试转战到全栈是否可以自学做到，很多朋友肯定会说不可能，或就算转了也是个一般水平，我很认同，毕竟没有经过各种项目的摧残，但是还是得踏足一下这个领域。所以今天和大家分享vue3中的相关内容，大佬勿…...

编程日记 2025/5/17 17:44:50

github提交不上去，网络超时问题解决

问题出现的原因： DNS服务器数据不同步，github的服务器发送迁移，在本地缓存的ip地址现在无效了。解决方案： 1）点击这里，查询github.com最新的ip地址 2.0）编辑linux系统地址缓存文件&#x…...

编程日记 2025/5/18 6:22:49

SAP物料主数据界面增加客制化字段、客制化页签的方式

文章目录前言一、不增加页签，只增加客制化字段二、增加物料主数据页签前言【SAP系统MM模块研究】 #SAP #MM #物料 #客制化 #物料主数据项目上难免会遇到客户要在物料主数据的界面上，增加新字段的需求。实现方式有： （1&…...

编程日记 2025/5/18 6:18:00

56.在 Vue 3 中使用 OpenLayers 通过 moveend 事件获取地图左上和右下的坐标信息

前言在现代 Web 开发中，地图应用越来越成为重要的组成部分。OpenLayers 是一个功能强大的 JavaScript 地图库，它提供了丰富的地图交互和操作功能，而 Vue 3 是当前流行的前端框架之一。在本篇文章中，我们将介绍如何在 Vue 3 中集…...

编程日记 2025/5/17 22:38:22

DDoS攻击防御方案大全

1. 引言随着互联网的迅猛发展，DDoS（分布式拒绝服务）攻击成为了网络安全领域中最常见且危害严重的攻击方式之一。DDoS攻击通过向目标网络或服务发送大量流量，导致服务器过载，最终使其无法响应合法用户的请求。本文将深…...

编程日记 2025/5/17 21:20:03

OLED的显示

一、I2C I2C时序：时钟线SCL高电平下：SDA由高变低代表启动信号，开始发送数据；SCL高电平时，数据稳定，数据可以被读走，开始进行读操作，SCL低电平时，数据发生改变&#xff1…...

编程日记 2025/5/11 23:06:34

BP神经网络的反向传播算法

BP神经网络（Backpropagation Neural Network）是一种常用的多层前馈神经网络，通过反向传播算法进行训练。反向传播算法的核心思想是通过计算损失函数对每个权重的偏导数，从而调整权重，使得网络的预测输出与真实输出之间…...

编程日记 2025/5/15 17:53:25

CS·GO搬砖流程详细版

说简单点，就是Steam买了然后BUFF上卖，或许大家都知道这点，但就是一些操作和细节问题没那么明白。我相信，你看完这篇文章以后，至少会有新的认知。好吧，废话少说，直接上实操！ 首先准…...

编程日记 2025/5/16 21:24:18

ElasticSearch系列（一）

一.了解ES、倒排索引、es的一些概念、安装es、kibana 二.DSL；索引库操作三.Java RestClient：索引库操作一、了解ES、倒排索引、es的一些概念、安装es、kibana kibana、logstash、beats Elasticserach 存储，计算 ，搜索数据 –…...

编程日记 2025/5/18 6:02:01

vue字符串的数字比较大小有问题

问题代码 this.money 9999 //支付金额this.balance 678 //余额if (this.money > this.balance) {this.$message(余额不足，请更换支付方式);}问题原因 this.money和 this.balance不是数值类型而是字符串类型解决方案使用parseFloat将变量转换成统一的类…...

编程日记 2025/5/18 6:30:06

Java：缓存：LinkedHashMap实现Lru

文章目录 Lru源码分析 LinkedHashMap维护一个LinkedHashMapEntry<K,V>的双向链表对LinkedHashMap的增删查操作，也会对链表进行相同的操作并改变链表的链接顺序小结使用方法应用总结Lru Least Recently Used，…...

编程日记 2025/5/18 5:49:25

Jetpack Compose 学习笔记（一）—— 快速上手

本篇主要是对 Jetpack Compose 有一个宏观上的了解。 1、Jetpack Compose 是什么与优势 Jetpack Compose 是用于构建原生 Android 界面的新工具包。它使用更少的代码、强大的工具和直观的 Kotlin API，可以帮助您简化并加快 Android 界面开发。 Compose 的优势&am…...

编程日记 2025/5/17 6:56:12

【大模型】7 天 AI 大模型学习

7 天 AI 大模型学习 Day 2 今天是 7 天AI 大模型学习的第二天 😄，今天我将会学习 Transformer 、Encoder-based and Decoder-Based LLMs 等。如果有感兴趣的，就和我一起开始吧 ～ 课程链接 ：2025年快速吃透AI大模型&am…...

编程日记 2025/5/17 17:21:19

JVM对象创建过程

1 类加载检查 jvm通过new指令开始创建对象jvm执行new指令时，首先通过指令参数从常量池中取到需要创建的类名检查该类是否被加载，解析，和初始化过如果没有，则执行类的加载过程new指令对应到java语言具体的操作为 new 关键字创建对象…...

编程日记 2025/5/17 1:43:07

OSPF - SPF算法简述

SPF全称最短路径树算法，相信学过数据结构朋友应该看起来很熟悉在一个区域内的路由器都会产生描述自己网络连接信息的LSA，包括两种信息，有路由信息和拓扑信息，简单的来说拓扑信息就是我连着谁，路由信息就是链路的地址…...

编程日记 2025/5/15 6:14:14

[实用指南]如何将视频从iPhone传输到iPad

概括将视频从 iPhone 传输到 iPad 时遇到问题？您可能知道一种方法，但不知道如何操作。此外，您要传输的视频越大，完成任务就越困难。那么如何将视频从 iPhone 传输到 iPad，特别是当您需要发送大视频文件时&#xff1f…...

编程日记 2025/5/14 21:10:51

如何二次封装组件(vue3版本)

在开发 Vue 项目中我们一般使用第三方组件库进行开发，如 Element-Plus, 但是这些组件库提供的组件并不一定满足我们的需求，这时我们可以通过对组件库的组件进行二次封装，来满足我们特殊的需求。对于封装组件有一个大原则就是我们应该尽量保…...

编程日记 2025/5/16 3:50:44

基于XGBoost算法的集成学习

目录一、XGBoost原理1.1 提升方法（Boosting）1.2 提升决策树 （BDT）1.3 梯度提升决策树 （GBDT）1.4 极限梯度提升（XGBoost）1.4.1 XGBoost改进1.4.2 XGBoostcsklearn实现1.4.3 XGBoost回…...

编程日记 2025/5/14 9:11:24

数据库系列之分布式数据库下误删表怎么恢复？

数据的完整性是数据库可用性的基本功能，在实际应用数据库变更操作过程中可能因为误操作导致误删表或者truncate操作影响业务的正常访问。本文介绍了分布式数据库中在误删表场景下的数据恢复方案，并进行了对比。 1、数据库误删表恢复方案应用数据的完整…...

编程日记 2025/5/13 13:43:32

Beamer-LaTeX学习（教程批注版）【1】

该文档总体由beamer-latex的教程而来，由耳东小白以自身学习路径整理。因其中要点基本按照教程的顺序和结构整理，故而不能称之为完全原创，但也不是翻译，更不是抄袭，是个人自学笔记和批注，其中添加了小白个人…...

编程日记 2025/5/17 20:54:44

数据挖掘——关联规则挖掘

数据挖掘——关联数据挖掘关联数据挖掘关联规则关联规则挖掘问题：具体挖掘过程Apriori 产生关联规则关联数据挖掘关联分析用于发现隐藏在大型数据集中的令人感兴趣的联系，所发现的模式通常用关联规则或频繁项集的形式表示。关联规则反映一个事物与…...

编程日记 2025/5/18 6:00:31

六种主流服务器的选择与使用

网络的运行离不开各种服务器，它们各司其职，为我们提供稳定的网络服务。本文带大家了解6种常见服务器类型。服务器的六大种类第一种：Web服务器 Web服务器是互联网的核心。当你打开一个网站，比如百度或淘宝，浏览器会…...

编程日记 2025/5/18 5:42:41

springboot3 redis 常用操作工具类

在 Spring Boot 3 中，操作 Redis 通常使用 Spring Data Redis 提供的工具类，如 RedisTemplate 和 StringRedisTemplate。以下是一个详细的 Redis 操作工具类的实现，涵盖了常用功能。完整的 Redis 工具类以下工具类可以实现基本的 Redis 操…...

编程日记 2025/5/13 8:15:08

OJ随机链表的复制题目分析

题目内容： 138. 随机链表的复制 - 力扣（LeetCode） 分析： 这道题目，第一眼感觉非常乱，这是正常的，但是我们经过仔细分析示例明白后，其实也并不是那么难。现在让我们一起来分析分析…...

编程日记 2025/5/18 6:04:47

如何不修改模型参数来强化大语言模型 (LLM) 能力？

前言如果你对这篇文章感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。大语言模型 (Large Language Model, LLM, e.g. ChatGPT) 的参数量少则几十亿，多则上千亿，对其的训…...

编程日记 2025/5/17 20:17:21

Win11+WLS Ubuntu 鸿蒙开发环境搭建（二）

参考文章 penHarmony南向开发笔记（一）开发环境搭建 OpenHarmony（鸿蒙南向开发）——标准系统移植指南（一） OpenHarmony（鸿蒙南向开发）——小型系统芯片移植指南（二&…...

编程日记 2025/5/18 6:28:35

Qemu配置QXL显卡支持分辨率

默认情况下，创建的vm的视频RAM限制为16MB。在win操作系统中分辨率最高就只能调到1024x768。 <video><model typecirrus vram16384 heads1 primaryyes/><address typepci domain0x0000 bus0x00 slot0x02 function0x0/> </video>单单修改ram…...

编程日记 2025/5/18 6:30:06

Hack The Box-Starting Point系列Three

答案 How many TCP ports are open?（靶机开了几个TCP端口） 2What is the domain of the email address provided in the “Contact” section of the website?（网站的“CONTACT”部分提供的电子邮件地址的域是什么？&#xff09…...

编程日记 2025/5/11 17:36:10

人工智能-Python多任务编程-进程、线程

多任务的实现方式多进程多线程 1 多任务的两种表现形式并发: 在一段时间内交替去执行多个任务（任务数大于CPU核心数）并行: 在一段时间内真正的同时一起执行多个任务（任务数小于等于CPU核心数） 2 进程进程（Proc…...

编程日记 2025/5/16 22:41:45

智能工厂的设计软件应用场景的一个例子：为AI聊天工具添加一个知识系统之9 重新开始之2

本文要点对程序设计而言：前者基于一个自上而下的分类体系--（生物遗传基因），后者者需要一个收集差异的自下而上的差异继承路径--（系统继承源流） 就是广义和狭义分类学。共性对齐和差异收集正是两者…...

编程日记 2025/5/15 21:48:39

Postman[7] 内置动态参数及自定义的动态参数

postman 内置动态参数和自定义的动态参数 1.内置动态参数格式：{{$参数名}} 1.1时间戳 {{$timestamp}} //生成当前时间的时间戳 1.2随机整数 {{$randomint}} //生成0-1000之间的随机数 1.3GUID字符串 {{$guid}} //生成随机GUID字符串 2.自定义动态参数格式…...

编程日记 2025/5/15 21:07:16

04-c++类和对象（下）

一、友元前面学习的类中，只能通过该类的公共方法访问私有数据。而如果将某个函数设置为类的友元，那么这个函数就可以直接访问该类的私有数据，破坏了类的封装性，只在某些特定的情况下使用。友元的分类：普通全局函数…...

编程日记 2025/5/16 19:00:03

《解密奖励函数：引导智能体走向最优策略》

在强化学习领域，奖励函数是核心要素，它决定了智能体如何学习和决策。设计一个恰当的奖励函数，能让智能体在复杂环境中不断探索、优化，最终实现最优策略。奖励函数的重要性奖励函数就像是一个引导者，它告诉智能体什…...

编程日记 2025/5/16 1:38:37

AF3 AtomAttentionEncoder类的init_pair_repr方法解读

AlphaFold3 的 AtomAttentionEncoder 类中，init_pair_repr 方法方法负责为原子之间的关系计算成对表示（pair representation），这是原子转变器（atom transformer）模型的关键组成部分，直接影响对蛋白质/分子相互作用的建模。 init_pair_repr源代码： def init_pair_repr(…...

编程日记 2025/5/17 2:14:51

VScode 格式化代码空格记录

点击 -> “文件” -> “首选项" -> “设置” -> 按下图操作： 怎么格式化代码空格，先看下： 保存代码后，这代码自动格式化发，如下图： 你可以试试看就即可...

编程日记 2025/4/29 4:01:33

28.Marshal.PtrToStringAnsi C#例子

//怎么说呢，这个代码Marshal的英文意思有将军，控制等等， //我的理解是类似于console控制台。 //然后后面这个Ansi是一种ASCII的扩展，还有其他编码方式可选就是一个把后面的指针转化为字符串的一个代码这是用法…...

编程日记 2025/5/16 6:50:36

Git的使用流程（详细教程）

目录 01.Git是什么？ 1.1 Git简介 1.2 SVN与Git的最主要的区别 1.3 GIt主要特点 02.Git是干什么的？ 2.1.Git概念汇总 2.2 工作区/暂存区/仓库 2.3 Git使用流程 03.Git的安装配置 3.1 Git的配置文件 3.2 配置-初始化用户 3.3 Git可视化…...

编程日记 2025/5/15 3:25:30

第R3周：RNN-心脏病预测

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊文章目录一、前言二、代码流程1、导入包，设置GPU2、导入数据3、数据处理4、构建RNN模型5、编译模型6、模型训练7、模型评估电脑环境：…...

编程日记 2025/5/12 4:35:52

clickhouse Cannot execute replicated DDL query, maximum retries exceeded报错解决

报错信息在clickhouse中执行DDL命令对表进行改动时，出现报错Cannot execute replicated DDL query, maximum retries exceeded 解决方案一、官方解决方案官方说这是一个特定版本的bug，但是实际我自己用的22.9.34版本，也存在这个问题&a…...

编程日记 2025/5/14 22:10:47