当前位置：首页 > news >正文

elasticsearch7.15节点磁盘空间满了迁移数据到新磁盘

news 来源：原创 2025/7/24 2:37:13

一.数据安全迁移

在 Elasticsearch 中设置某个节点临时不可用（例如进行维护或升级），可以通过以下步骤安全地操作，避免数据丢失或集群状态异常

1: 排除节点分片分配，触发分片迁移到其他节点

PUT /_cluster/settings
{"transient": {#"cluster.routing.allocation.exclude._ip": "目标节点的IP",# 或使用节点名称"cluster.routing.allocation.exclude._name": "节点名称"# 或使用节点ID# "cluster.routing.allocation.exclude._id": "节点ID"}
}

执行后，Elasticsearch 会开始将此节点上的分片迁移到其他节点。

使用 GET /_cluster/settings 检查设置是否生效。

2: 等待分片迁移完成

检查分片分配状态，直到目标节点的分片数为 0：
```
GET /_cat/shards?h=index,shard,prirep,state,node&format=json
```

3.停止节点服务

#切换到es用户，查询elasticsearch进程
ps aux|grep elasticsearch
#停止es
kill -9 pid

4.修改配置文件

修改安装目录/config/elasticsearch.yml文件
```
path.data: /es/data
```

5.维护完成后恢复节点
启动节点服务，进入安装目录，执行命令:

bin/elasticsearch -d

移除分片分配排除规则:

PUT /_cluster/settings
{"transient": {"cluster.routing.allocation.exclude._name": null}
}

注意事项
主节点（Master Node）：如果目标节点是主节点，确保集群中还有其他可用主节点。
强制停机风险：直接关闭节点而不迁移分片可能导致集群变黄/红（部分数据不可用）。
大集群耗时：分片迁移可能较慢，取决于数据量和网络。

二. 数据不安全方式迁移

2.1 设置集群不自动恢复分片

查询集群设置：
```
GET _cluster/settings
```

设置集群不自动恢复分片:

PUT _cluster/settings
{"persistent": {"cluster.routing.allocation.enable": "none"}
}

说明：禁用分片自动分配，避免节点下线时触发数据迁移。

2.2. 停止当前节点服务

    #切换到es用户，查询elasticsearch进程ps aux|grep elasticsearch#停止eskill -9 pid

2.3 复制数据并修改配置

复制数据：

sudo cp -rp /原数据目录/* /新数据目录/

确保 Elasticsearch 配置中 path.data 已指向新目录，否则需修改 elasticsearch.yml：

path.data: /es/data

2.4 维护完成后恢复节点：

启动节点服务，进入安装目录，执行命令:

bin/elasticsearch -d

设置集群自动恢复分片：

PUT _cluster/settings
{"persistent": {"cluster.routing.allocation.enable": null}
}

说明：恢复分片自动分配，允许集群重新平衡数据。

elasticsearch7.15节点磁盘空间满了迁移数据到新磁盘

一.数据安全迁移在 Elasticsearch 中设置某个节点临时不可用（例如进行维护或升级），可以通过以下步骤安全地操作，避免数据丢失或集群状态异常 1: 排除节点分片分配，触发分片迁移到其他节点 PUT /_cluster/settings {&…...

编程日记 2025/7/24 2:37:13

MCP案例—客户端和服务端

MCP简介 Model Context Protocol (模型上下文协议)，简称MCP，MCP是一种协议，用于LLM与外部拓展资源交互的协议。想了解具体细节可参考作者本篇文章MCP理论指南准备本篇文章将带你通过python创建MCP客户端及服务端，并连接到本…...

编程日记 2025/7/19 12:14:54

排序模型（Learning to Rank）

排序模型（Learning to Rank） 要解决的问题排序模型旨在解决信息检索中的排序优化问题。例如： 搜索引擎中对候选网页的排序推荐系统中物品的展示顺序广告系统中广告位的分配核心挑战：根据上下文特征，将最相关/最有…...

编程日记 2025/7/24 9:29:53

L1-1、Prompt 是什么？为什么它能“控制 AI”？

*Prompt 入门 L1-1 想象一下，你只需输入一句话，AI 就能自动为你写一篇文案、生成一份报告、甚至规划你的创业计划。这种“对话即编程”的背后魔法，就是 Prompt 的力量。 🔍 一、Prompt 的定义与由来 Prompt（提示词&am…...

编程日记 2025/7/24 9:05:45

RolmOCR重磅开源：基于Qwen2.5-VL，速度提升40%，手写/倾斜文档识别准确率超92%

向大家介绍一款全新的开源OCR模型——RolmOCR！这款由Reducto AI团队基于阿里巴巴强大的Qwen2.5-VL-7B-Instruct视觉语言模型微调而来的利器，不仅在速度和效率上实现了显著提升（据称处理速度相比其前身olmOCR提升了约40%）&#xff…...

编程日记 2025/7/24 1:09:28

系统架构设计（二）：基于架构的软件设计方法ABSD

“基于架构的软件设计方法”（Architecture-Based Software Design, ABSD）是一种通过从软件架构层面出发指导详细设计的系统化方法。它旨在桥接架构设计与详细设计之间的鸿沟，确保系统的高层结构能够有效指导后续开发。 ABSD 的核心思想 ABS…...

编程日记 2025/7/24 9:07:47

[langchain教程]langchain03——用langchain构建RAG应用

RAG RAG过程离线过程： 加载文档将文档按一定条件切割成片段将切割的文本片段转为向量，存入检索引擎（向量库） 在线过程： 用户输入Query，将Query转为向量从向量库检索，获得相似度TopN信息将…...

编程日记 2025/7/24 9:07:08

一、简单使用 1、加载图片导入依赖 implementation("com.github.bumptech.glide:glide:4.16.0")编写代码 private static final String url = "http://cn.bing.com/az/hprichbg/rb/Dongdaemun_ZH-CN10736487148_1920x1080.jpg";btnPic.setOnClickList…...

编程日记 2025/7/24 9:31:14

vue2解析html中的公式，使用vue-katex

文本是markdown格式，需要解析markdown <p v-html"md.render(text)"></p>import MarkdownIt from markdown-it ...const mdRender MarkdownIt(); ...data中md: new MarkdownIt(),现在文本中会出现数学公式，解析使用vue-katex 1.…...

编程日记 2025/7/24 9:22:46

使用Unity Cache Server提高效率

2021年1月20日19:04:28 1 简介 Unity Cache Server，翻译过来就是Unity缓存服务器 1.1 缓存服务器の官方介绍 Unity 有一个完全自动的资源管线。每当修改 .psd 或 .fbx 文件等源资源时，Unity 都会检测到更改并自动将其重新导入。随后，Unity 以内部格式存储从文件导入的数…...

编程日记 2025/7/24 9:07:07

【C++】模板2.0

最近学习了一些模板的知识，速写本博客作为学习笔记，若有兴趣，欢迎垂阅读！ 1.非类型模板参数模板参数分类类型形参与非类型形参。类型形参即：出现在模板参数列表中，跟在class或者typename之类的参数类型名…...

编程日记 2025/7/24 9:25:14

深入解析 Linux 文件系统中的软硬链接：从原理到实践

引言在 Linux 系统中，软链接（Symbolic Link） 和硬链接（Hard Link） 是文件管理的两大核心机制。它们如同文件系统的“快捷方式”与“分身术”，既能节省存储空间，又能实现灵活的文件管理。但两…...

编程日记 2025/7/22 1:14:27

JumpServer多用户VNC桌面配置指南：实现多端口远程访问

在当今的云计算和远程工作环境中，高效且安全地管理多用户远程桌面访问变得越来越重要。本文将详细介绍如何在JumpServer中配置多个VNC桌面，以满足不同用户的远程访问需求。我们将以创建第二个桌面为例，为用户user2配置VNC访问。一、背景说明 JumpServer作为一款优秀的开源…...

编程日记 2025/7/20 7:52:48

【数据结构入门训练DAY-19】总结数据结构中的栈

文章目录前言一、栈的思想二、栈的解题思路结语前言本次训练内容： 栈的复习。总结栈的基本操作一、栈的思想在数据结构中，栈是一种很常见的算法。栈——就像你往桶里放东西似的，要取出桶内的物体就得先把桶顶的物品取出来&#xff…...

编程日记 2025/7/17 8:46:44

MyBatis-Plus 防止 SQL 注入最佳实践指南

🚫 MyBatis-Plus 防止 SQL 注入最佳实践指南作者：William Dawson 标签：Java、MyBatis-Plus、安全、SQL 注入、防护 💥 什么是 SQL 注入？ SQL 注入是一种常见的安全漏洞，攻击者通过恶意构造 SQL 输入参数&…...

编程日记 2025/7/21 1:31:38

AI之pdf解析：Tesseract、PaddleOCR、RapidPaddle（可能为 RapidOCR）和 plumberpdf 的对比分析及使用建议

目录标题 Tesseract、PaddleOCR、RapidPaddle（可能为 RapidOCR）和 plumberpdf 的对比分析1. Tesseract类型: 开源 OCR 引擎特点:缺点:适用场景: 2. PaddleOCR (推荐)类型:特点:缺点:适用场景: 复杂版式文档、多语言混合文本、需要高精度识别的场景&#…...

编程日记 2025/7/20 23:19:01

经典文献阅读之--Kinematic-ICP(动态优化激光雷达与轮式里程计融合)

0. 简介传统的激光雷达里程计系统通过点云配准来计算移动机器人的自运动（ego-motion），但它们通常没有考虑机器人的运动学特性，这可能导致不准确的运动估计，特别是在机器人不可能发生某些运动（如沿z轴的小…...

编程日记 2025/7/10 5:19:29

【显卡占用】kill程序后，显卡仍被占用

如果 kill 程序执行了，但显卡仍然显示被占用，咋个办？ 如图所示，GPU-Util占用为0%，但显示占用48G，且无法再上程序： 执行命令： fuser -v /dev/nvidia* kill pid若上述方法无法解决&am…...

编程日记 2025/7/23 11:39:38

在 macOS 上合并 IntelliJ IDEA 的项目窗口

在使用 IntelliJ IDEA 开发时，可能会打开多个项目窗口，这可能会导致界面变得混乱。为了提高工作效率，可以通过合并项目窗口来简化界面。本文将介绍如何在 macOS 上合并 IntelliJ IDEA 的项目窗口。操作步骤打开 IntelliJ IDEA: 启动你的 I…...

编程日记 2025/7/15 6:00:36

IO流--字节流详解

IO流用于读写数据的（可以读写文件，或网络中的数据） 概述： I指 Input，称为输入流：负责从磁盘或网络上将数据读到内存中去 O指Output，称为输出流，负责写数据出去到网络或磁盘上因…...

编程日记 2025/7/19 4:37:09

6N60-ASEMI机器人功率器件专用6N60

编辑：ll 6N60-ASEMI机器人功率器件专用6N60 型号：6N60 品牌：ASEMI 封装：TO-220F 批号：最新最大漏源电流：6A 漏源击穿电压：600V RDS（ON）Max：1.20Ω …...

编程日记 2025/7/23 5:16:19

实现侧边栏点击标题列表，和中间列表区域联动效果

左侧边栏标题列表实现： -------------------html-----------------------<divclass"uav":class"{ hidden: !isVisible, visible: isVisible }"><ul id"toc"><liv-for"(item, index) in HotList":key"…...

编程日记 2025/7/21 5:27:25

基于MuJoCo物理引擎的机器人学习仿真框架robosuite

Robosuite 基于 MuJoCo 物理引擎，能支持多种机器人模型，提供丰富多样的任务场景，像基础的抓取、推物，精细的开门、拧瓶盖等操作。它可灵活配置多种传感器，提供本体、视觉、力 / 触觉等感知数据。因其对强化学习友好&am…...

编程日记 2025/7/23 15:54:12

kafka监控kafka manager（CMAK）部署配置

一、准备工作 1.1、服务器信息梳理角色IP操作系统安装服务监控机10.45.19.20Linux CentOS 7.9CMAK3.0.0.5、ZooKeeper3.9.0、JDK11、JDK1.8被监控机 Kafka broker.id 050.50.50.101Linux CentOS 7.9Kafka、ZooKeeper（任意版本）被监控机 Kafka broker.…...

编程日记 2025/7/18 15:54:35

线程池的介绍

目录一、什么是线程池二、线程池的详细内容三、线程池的简化一、什么是线程池提到线程池，我们可能想到常量池，可以先来说说常量池： 像是字符串常量，在Java程序最初构建的时候，就已经准备好了，等程…...

编程日记 2025/7/19 5:19:09

day33和day34图像处理OpenCV

文章目录一、图像预处理12 图像梯度处理12.3 Sobel算子12.4 Laplacian算子1.原理：2.语法： 13 图像边缘检测思路13.1 高斯滤波去噪点13.2 计算图像的梯度与方向13.3 非极大值抑制13.4 双阈值筛选13.5 Canny方法和使用 14 绘制图像轮廓14.1 什么是轮廓14.…...

编程日记 2025/7/22 2:13:59

电脑硬盘常见的几种接口类型

一、传统接口（机械硬盘为主） 1. SATA 接口（Serial ATA） 特点： 最主流的机械硬盘（HDD）接口，广泛用于台式机和笔记本电脑。传输速度较慢，理论最大带宽为 6 Gbps&#xff…...

编程日记 2025/7/22 2:29:20

Windows网络及服务：制作系统盘

今天我要介绍的是一个比较有意思且好玩的一个小玩意儿：关于系统盘的制作； 注明：对于系统盘的制作，以及接下来的课程，基本是作为动手课业来进行的，这也是作为程序员的必要进行的一项活动。对于系统盘&…...

编程日记 2025/7/22 1:22:05

Docker Compose 使用实例

文章目录一、Docker Compose 简介二、安装 Docker Compose三、基础配置文件示例（docker-compose.yml）四、关键配置解析五、常用命令六、完整项目示例（Node.js MySQL Nginx）七、高级功能八、最佳实践九、调试技巧一、Docker Co…...

编程日记 2025/7/22 2:07:48

系统架构师2025年论文《论基于UML的需求分析》

论基于 UML 的需求分析摘要： 2018 年 3 月 1 日至 12 月 20 日，我参加了 “某市医院预约挂号系统” 项目的开发，担任系统架构师的工作。该项目是某市医院信息化建设的重要组成部分，目标是：优化医院挂号流程，提高患者就医体验，规范医院号源管理，实现患者预约挂号、医…...

编程日记 2025/7/23 22:24:37

Uniapp 自定义TabBar + 动态菜单实现教程（Vuex状态管理详解）

大家好，我是一诺。今天跟大家分享一下uniapp 封装自定义底部导航栏（TabBar） 过程中的思考和实践。通过本文，你将学会如何打造一个功能完善、可自由定制的TabBar组件！ 先看效果： 支持自定义图标和样式动态…...

编程日记 2025/7/23 15:49:20

4月21日日记

新的一周开始了，好消息是未来这两周都每周只用上3天课，因为这周四五是运动会，下周四五是五一！ 非常好的周一！收到了wxx和san还有小林的礼物！！ wxx的是一个定制的有小排球的蓝牙影响&#xff0…...

编程日记 2025/7/20 6:35:10

2025高频面试算法总结篇【其他】

文章目录直接刷题链接直达LRU Cache买卖股票的最佳时机系列实现一个HashMap环形链表寻找重复数缺失的第一个正数螺旋矩阵字符串相乘分发糖果直接刷题链接直达 LRU Cache 头尾两个伪节点（避免判断） 双向链表146. LRU 缓存买卖股票的最佳时机系列 121…...

编程日记 2025/7/18 12:20:17

vue项目中使用antvX6（可拖拽，vue3）

参考先知demons 这位大佬的这篇文章：https://blog.csdn.net/wzy_PROTEIN/article/details/136305034?utm_mediumdistribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-0-136305034-blog-136032209.235v43pc_blog_bottom_relevance_ba…...

编程日记 2025/7/19 5:45:27

文档处理控件Aspose.Words 教程：在 Word 中删除空白页完整指南

Word 文档中的空白页总是令人烦恼。如果您想从 Word 文档中删除空白页，以获得更清晰的演示文稿或整理文件，那么您来对地方了。本指南涵盖了使用 Aspose.Words编码解决方案和在 Microsoft Word 中手动删除方案，让您可以灵活地选择最适合自己的…...

编程日记 2025/7/23 5:28:49

自动驾驶最新算法进展

自动驾驶技术的算法进展迅速，涵盖感知、预测、规划、端到端学习等多个领域。以下是2023年至2024年的关键进展及实例： 1. ‌感知与融合‌ ‌BEVTransformer的进化‌：特斯拉的Occupancy Networks升级至支持动态场景建模，结合NeRF技术…...

编程日记 2025/7/15 19:30:46

OpenCV训练题

一、创建一个 PyQt 应用程序，该应用程序能够： 使用 OpenCV 加载一张图像。在 PyQt 的窗口中显示这张图像。提供四个按钮（QPushButton）： 一个用于将图像转换为灰度图一个用于将图像恢复为原始彩色图一个用于将图像进行…...

编程日记 2025/7/22 11:11:16

34、Spark实现读取XLS文件

需求背景： 有一些xls大文件数据。使用spark-excel（spark-excel）来读取时，文件太大会oom；工具提供的流式读取参数：maxRowsInMemory 也只支持xlsx类型文件。搜索了poi流式读取xls的方案，HSSFEvent…...

编程日记 2025/7/19 13:58:39

为什么RPN生成的候选框，要使用rcnn来进行分类和回归操作?

一句大白话总结：RPN是广撒网捕鱼，RCNN是细化鱼的分类和具体尺寸在目标检测任务中，RPN（区域提议网络） 生成的候选框需要经过 RCNN（如 Fast R-CNN、Faster R-CNN） 进行分类和回归，这…...

编程日记 2025/7/14 20:47:58

固定总价合同工程范围变更，如果规避风险

一、合同签订阶段工程范围的锁定清单式列举兜底条款：在合同附件中以 “正负零以上主体结构”“XX 型号设备采够” 等具体描述界定承包范围，同时约定 “超出本附件描述的工程内容视为变更”111。设计深度要求：对于 EPC 项目，需…...

编程日记 2025/7/19 22:27:53

windows传文件给mac, linux或者其他windows

如果你想把你本地windows的文件传递给mac, linux或者其他windows电脑, 你会使用什么方法呢? 方法一经常写python的朋友, 肯定会说, 我会用 SimpleHTTPServer python -m SimpleHTTPServer 8000生成一个超链接, 然后在其他机器上直接下载这个链接. 方法二 scp命令 Use SC…...

编程日记 2025/7/23 19:51:53

AI音乐解决方案：1分钟可切换suno、udio、luno、kuka等多种模型，suno风控秒切换 | AI Music API

你有没有觉得，suno风控来了，就要停服了？ 你有没有觉得，对接多种音乐模型，让你很疲乏？ 你有没有觉得，音乐模型，中文咬字不清楚，让你很苦恼？ 别怕&#xff0…...

编程日记 2025/7/17 19:22:59

LeetCode 热题100题解（Java版本）

一、哈希 1、两数之和 https://leetcode.cn/problems/two-sum/?envType=study-plan-v2&envId=top-100-liked使用HashMap，遍历数组，判断当前元素的“补数”是否存在，如果存在直接返回结果，否则在Map中记录当前元素及其下标。时间复杂度 O(n) 空间复杂度 O(n) class …...

编程日记 2025/7/23 23:13:40

突破传统！SEARCH-R1如何让LLM与搜索引擎协同推理？

大语言模型（LLMs）虽强大，但在复杂推理和获取最新信息方面存在局限。本文介绍的SEARCH-R1框架，通过强化学习让LLMs能自主与搜索引擎交互，在多个问答数据集上性能大幅提升。想知道它是如何做到的吗？快来一探究…...

编程日记 2025/7/19 8:59:46

C语言复习笔记--字符函数和字符串函数(下)

在上篇我们了解了部分字符函数及字符串函数,下面我们来看剩下的字符串函数. strstr 的使用和模拟实现老规矩,我们先了解一下strstr这个函数,下面看下这个函数的函数原型. char * strstr ( const char * str1, const char * str2); 如果没找到就返回NULL指针. 下面我们看下它的…...

编程日记 2025/7/24 4:56:59

Git SSH 密钥多个 Git 来源

1. 生成 SSH 密钥 ssh-keygen -t rsa -b 4096 -C "997959066qq.com" 2. 输入指定路径 3. 增加 config文件在.ssh文件下 # GitHub 主账户 Host github.dis.comHostName github.disney.comUser gitIdentityFile ~/.ssh/id_rsa# 其他 Git 服务器 Host github.comHost…...

编程日记 2025/7/22 13:09:14

华为盒式交换机堆叠配置

1. 堆叠线缆连线图（如下图） 2. 配置Swtich1： [HUAWEI] sysname Switch1 [Switch1] interface stack-port 0/1 [Switch1-stack-port0/1] port interface xgigabitethernet 0/0/3 xgigabitethernet 0/0/4 enable Warning: Enabling stack function may cause configuration l…...

编程日记 2025/7/23 15:37:56

map和set的使用

序列式容器和关联式容器 c标准库为我们提供了多种容器类型，可以大体分为两类：序列式容器和关联式容器。序列式容器按照线性顺序储存数据，元素的位置取决与插入的时间和地点。关联式容器基于键值对存储元素，提供高效的键查找能力…...

编程日记 2025/7/20 22:12:10

VMware制作Windows虚拟机模板注意点

1 、删除右下角的热删除这个是必须的！虚拟机的高级参照中添加devices.hotplug “FALSE”，关闭USB设备热插拔，防止用户把虚拟桌面的网卡删除掉。 2、移除CD/DVD驱动器这个建议！移除CD/DVD驱动器，此项操作…...

编程日记 2025/7/9 22:57:17

公有云攻防5（云函数）

Serverless概述无服务器（Serverless）不是表示没有服务器，而是表示当您在使用Serverless时，您无需关心底层的资源，也无需登录服务器和优化服务器，只需关注最核心的代码片段，即可跳过复杂的、繁琐的基本工作。 Serverless 拥有近乎无限的扩容能力，空闲时，不运行任何资…...

编程日记 2025/7/24 5:07:18