当前位置：首页 > news >正文

kettle从入门到精通第九十六课 ETL之kettle Elasticsearch 增删改查彻底掌握

news 来源：原创 2025/8/18 12:12:59

场景：

群里有小伙伴咨询kettle从Elasticsearch中抽取数据，群里老师们纷纷响应，vip小伙伴是不是有中受宠若惊的感觉。

今天我们使用kettle通过es的原生rest接口来进行操作es，开整。

前提：本篇文章基于elasticsearch:7.17.9版本进行测试，在 Elasticsearch 7.x 及以上版本中，_doc 不能自定义。在 Elasticsearch 6.x 及之前的版本中，一个索引里可以有多个文档类型（类似于 MySQL 中一个数据库里有多个表），文档类型可以自定义。

1、创建es索引

创建一个索引，名字为xiaojingang，如下所示

PUT http://127.0.0.1:9200/xiaojingang
{"settings": {"number_of_shards": 1,"number_of_replicas": 0}
}

2、删除es索引

删除es索引xiaojingang，如下图所示：

DELETE http://127.0.0.1:9200/xiaojingang

3、写入文档

POST http://localhost:9200/xiaojingang/_doc/1
{"name": "Java小金刚","content": "一个专门用来学习和交流kettle的公众号"
}

4、查询文档

GET http://localhost:9200/xiaojingang/_search
{"query": {"match": {"name": "小金刚"}}
}

5、更新文档

POST http://localhost:9200/xiaojingang/_update/1
{"doc": {"name": "Java大金刚","content": "这是更新后的示例文章内容。"}
}

重新读取

6、删除文档

DELETE http://localhost:9200/xiaojingang/_doc/1

重新读取

7、分页读取，使用 Scroll API

Scroll API 适用于需要处理大量数据的场景，它通过创建一个快照来避免每次请求都进行排序和合并操作。

请求示例：

# 初始化 scroll 请求
curl -X GET "localhost:9200/my_index/_search?scroll=1m" -H 'Content-Type: application/json' -d'
{"query": {"match_all": {}},"size": 10
}
'

上述请求中，scroll=1m 表示这个快照的有效期为 1 分钟，size=10 表示每次返回 10 个文档。响应中会包含一个 _scroll_id，用于后续的滚动请求。

# 后续的滚动请求
curl -X GET "localhost:9200/_search/scroll" -H 'Content-Type: application/json' -d'
{"scroll": "1m","scroll_id": "your_scroll_id"
}
'

kettle从入门到精通第九十六课 ETL之kettle Elasticsearch 增删改查彻底掌握

场景： 群里有小伙伴咨询kettle从Elasticsearch中抽取数据，群里老师们纷纷响应，vip小伙伴是不是有中受宠若惊的感觉。今天我们使用kettle通过es的原生rest接口来进行操作es，开整。前提：本篇文章基于elasticsearch:7.…...

编程日记 2025/8/18 12:12:59

Kafka的核心组件有哪些？简要说明其作用。（Producer、Consumer、Broker、Topic、Partition、ZooKeeper）

Kafka 核心组件解析 1. 基础架构图解 ┌─────────┐ ┌─────────┐ ┌─────────┐ │Producer │───▶ │ Broker │ ◀─── │Consumer │ └─────────┘ └─────────┘ └────────…...

编程日记 2025/8/18 6:39:18

Missashe考研日记-day34

Missashe考研日记-day34 1 专业课408 学习时间：3h学习内容： 今天是学习I/O管理第二小节的内容，听了课也做了题，这是操作系统倒数第二节知识了，还差最后一节就完结了。知识点回顾： 1.I/O核心子系统&#x…...

编程日记 2025/8/16 21:20:26

机器人跑拉松是商业噱头还是技术进步的必然体现

一、机器人跑拉松是商业噱头还是技术进步的必然体现机器人参与马拉松赛事究竟是营销噱头还是技术进步的必然要求，需要从技术验证、行业推动、公众认知以及争议焦点等多个维度综合分析。基于全球首场人形机器人半程马拉松（2025年北京亦庄赛事&#xff0…...

编程日记 2025/8/18 12:11:32

传输层协议 1.TCP 2.UDP

传输层协议 1.TCP 2.UDP TCP协议回顾内容传输层功能：定义应用层协议数据报文的端口号，流量控制对原始数据进行分段处理传输层所提供服务传输连接服务数据传输服务：流量控制、差错控制、序列控制一、传输层的TCP协议 1.面向连接的…...

编程日记 2025/8/18 12:11:30

LLM ：Function Call、MCP协议与A2A协议

LLM 的函数调用、模型上下文协议 (MCP) 和 Agent to Agent (A2A) 协议：概念、区别与实例对比引言：LLM 不断演进的格局大型语言模型 (LLM) 的日益精进，使其能力已超越简单的文本生成，迈向与现实世界进行复杂交互的新阶段。为了…...

编程日记 2025/8/16 21:20:21

当当狸智能天文望远镜 TW2 | 用科技触摸星辰，让探索触手可及

当科技邂逅星空，每个普通人都能成为宇宙的追光者伽利略用望远镜揭开宇宙面纱的 400 年后，当当狸以颠覆传统的设计，让天文观测从专业领域走入千家万户。当当狸智能天文望远镜 TW2，重新定义「观星自由」—— 无需专业知识&#xff…...

编程日记 2025/8/16 17:33:23

白杨SEO：如何查看百度、抖音、微信、微博、小红书、知乎、B站、视频号、快手等7天内最热门话题及流量关键词有哪些？使用方法和免费工具推荐以及注意事项【干货】

大家好，我是白杨SEO，专注SEO十年以上，全网SEO流量实战派，AI搜索优化研究者。 （温馨提醒：本文有点长，看不完建议先收藏或星标，后面慢慢看哈） 最近，不管是在白…...

编程日记 2025/8/18 12:11:30

Spring AI 之 AI核心概念

模型人工智能（AI）模型是用于处理和生成信息的算法，通常旨在模拟人类的认知功能。这些模型通过从大规模数据集中学习模式和规律，能够生成预测结果、文本、图像或其他形式的输出，从而增强各行业应用的效能。 AI 模型种类繁多，每种模型都适用于特定的应用场景。虽然以 Ch…...

编程日记 2025/8/16 21:20:19

微软输入法常用快捷键介绍以及调教技巧

微软输入法（Microsoft Pinyin Input Method）是 Windows 系统内置的中文输入工具，以其高效、智能化的特点广受用户喜爱。掌握其常用快捷键和特殊模式可以显著提升输入效率。本文将介绍微软输入法在 Windows 10/11 环境下的常用快捷键及 U 模式…...

编程日记 2025/8/16 21:20:17

基于大模型的输卵管妊娠全流程预测与治疗方案研究报告

一、引言 1.1 研究背景与意义输卵管妊娠作为异位妊娠中最为常见的类型，严重威胁着女性的生殖健康和生命安全。受精卵在输卵管内着床发育，随着胚胎的生长，输卵管无法提供足够的空间和营养支持，极易引发输卵管破裂、大出血等严重并发症，若救治不及时，甚至会导致孕产妇死…...

编程日记 2025/8/18 12:11:32

16.Excel：打印技巧

一区域打印不用打印整个表格，比如只想打印框选出来的信息。选中区域调整列宽。二整表打印选中整个工作表， 如果调完边距后仍然打印不完全，就用缩放功能。三居中打印打印部分区域的时候，预览图不在居中。四行号打印五 …...

编程日记 2025/8/16 13:40:59

AI驱动的Kubernetes管理：kubectl-ai 如何简化你的云原生运维

AI驱动的Kubernetes管理：kubectl-ai 如何简化你的云原生运维 kubectl-ai 项目概览核心能力：AI 如何赋能 kubectl自然语言的魔力：从繁琐命令到简单对话智能的命令生成与执行不仅仅是执行：结果的可解释性广泛的 AI 模型支持&#xf…...

编程日记 2025/8/18 12:11:32

maven基本介绍

Maven是一个常用的项目构建工具，用于管理Java项目的构建、依赖管理和项目信息管理。它可以帮助开发人员自动化构建过程，统一项目结构和构建规范，并管理项目所需的外部依赖库。 Maven通过一个项目对象模型（Project Object Model&a…...

编程日记 2025/8/16 21:20:12

SPL量化 BBIC（多空指标）

BBIC 是一种将不同天数移动平均线加权平均之后的综合指标，属于均线型指标，一般选用 3 日、6 日、12 日、24 日等 4 条平均线。BBIC 越小股价越强势，BBIC < 1 为多头行情， BBIC>1 为空头行情。计算公式： 1. 3 日…...

编程日记 2025/8/16 21:20:11

【ArcGIS Pro微课1000例】0068：Pro原来可以制作演示文稿（PPT）

文章目录一、新建演示文稿二、插入页面1. 插入地图2. 插入空白文档3. 插入图像4. 插入视频三、播放与保存一、新建演示文稿打开软件，新建一个地图文档，再点击【新建演示文稿】：创建的演示文档会默认保存在目录中的演示文稿文件夹下。然后可以对文档进行简单的设计，例如…...

编程日记 2025/8/16 12:53:17

【论文阅读】Reconstructive Neuron Pruning for Backdoor Defense

我们的主要贡献包括： 我们引入了在相同样本集上进行神经元“遗忘”和“恢复”的新技术，并揭示了这种简单的基于重构的学习过程可以帮助暴露DNNs中的后门神经元。我们提出了一个新的防御方法——重构神经元剪枝（RNP），它…...

编程日记 2025/8/18 3:37:41

[数据处理] 3. 数据集读取

👋 你好！这里有实用干货与深度分享✨✨ 若有帮助，欢迎： 👍 点赞 | ⭐ 收藏 | 💬 评论 | ➕ 关注 ，解锁更多精彩！ 📁 收藏专栏即可第一时间获取最新推送🔔…...

编程日记 2025/8/17 8:27:32

Ceph 原理与集群配置

一、Ceph 工作原理 1.1.为什么学习 Ceph？ 在学习了 NFS 存储之后，我们仍然需要学习 Ceph 存储。这主要是因为不同的存储系统适用于不同的场景，NFS 虽然有其适用之处，但也存在一定的局限性。而 Ceph 能够满足现代分布式、大规模、…...

编程日记 2025/8/16 22:51:35

【C++】类和对象

文章目录 1. 为什么引入类？1.1 C类的设计目标1.2 类的核心特性1.3 类与结构体的区别 2. 类的定义2.1 类定义格式2.2 访问限定符2.3 类域 3. 实例化3.1 实例化概念3.2 对象大小 4. this指针5. 类的默认成员函数6. 构造函数7. 析构函数8. 拷贝构造函数9. 赋值运算符重…...

编程日记 2025/8/16 22:51:32

【计算机视觉】OpenCV项目实战：OpenCV_Position 项目深度解析：基于 OpenCV 的相机定位技术

OpenCV_Position 项目深度解析：基于 OpenCV 的相机定位技术一、项目概述二、技术原理（一）单应性矩阵（Homography）（二）算法步骤（三）相机内参矩阵三、项目实战运行&#…...

编程日记 2025/8/16 22:51:30

【Linux系列】如何区分 SSD 和机械硬盘

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan 的首页,持续学…...

编程日记 2025/8/16 22:51:27

【AI提示词】双系统理论专家

提示说明专注于认知心理学领域的专家，研究快思考（直觉）与慢思考（理性）的切换机制及其在认知科学中的应用。提示词 # Role: 双系统理论专家## Profile - language: 中文 - description: 专注于认知心理学领域的专家…...

编程日记 2025/8/16 22:51:25

CI/CD与DevOps流程流程简述（给小白运维提供思路）

一 CI/CD流程详解：代码集成、测试与发布部署引言在软件开发的世界里，CI/CD（持续集成/持续交付）就像是一套精密的流水线，确保代码从开发到上线的整个过程高效、稳定。我作为一名资深的软件工程师，接下来…...

编程日记 2025/8/16 22:51:22

python调用国税乐企直连接口开数电票之查询税收分类编码信息

背景通过国税官方开放乐企平台接口, 实现了在EPR系统内直接开票. 无需通过任何第三方系统.逐步更新到CSDN专栏分享大家参考. 接口说明定时获取可用税收分类编码，绑定ERP内部的编码, 使开票时能根据商品匹配到对应的税收分类编码…针对不同编码维护了 18 类增值…...

编程日记 2025/8/16 14:38:51

国标GB28181视频平台EasyGBS打造电力行业变电站高效智能视频监控解决方案

一、方案背景在数字化浪潮席卷电力行业的当下，变电站作为电力输送与分配的核心枢纽，其运行的安全性与稳定性直接关乎社会生产生活的正常运转。然而，传统变电站监控模式设备存在兼容性差、数据处理滞后、管理效率低下等问题，无…...

编程日记 2025/8/16 22:51:18

快速上手 Docker：从入门到安装的简易指南（Mac、Windows、Ubuntu）

PS：笔者在五一刚回来一直搞Docker部署AI项目，发现从开发环境迁移到生成环境时，Docker非常好用。但真的有一定上手难度，推荐读者多自己尝试踩踩坑。本篇幅有限，使用与修改另起篇幅。一、Docker是什么 #1. Docker是什…...

编程日记 2025/8/16 22:51:16

Kubernetes(k8s)学习笔记(九)--搭建多租户系统

K8s 多租户管理多租户是指在同一集群中隔离多个用户或团队，以避免他们之间的资源冲突和误操作。在K8s中，多租户管理的核心目标是在保证安全性的同时，提高资源利用率和运营效率。在K8s中，该操作可以通过命名空间（Nam…...

编程日记 2025/8/16 22:51:13

后端项目进度汇报

项目概述本项目致力于构建一个先进的智能任务自动化平台。其核心技术是一套由大型语言模型（LLM）驱动的后端系统。该系统能够模拟一个多角色协作的团队，通过一系列精心设计或动态生成的处理阶段，来高效完成各种复杂任务&#xff…...

编程日记 2025/8/16 12:23:01

掌握 Kubernetes 和 AKS：热门面试问题和专家解答

1. 在 AKS（Azure Kubernetes 服务）中，集群、节点、Pod 和容器之间的关系和顺序是什么？ 在 AKS（Azure Kubernetes 服务）中，集群、节点、Pod 和容器之间的关系和顺序如下： 集群&#…...

编程日记 2025/8/16 22:51:09

C++面向对象设计类的核心知识详解总述（1）

C 中的类是面向对象编程（OOP）的核心，用于封装数据和操作这些数据的函数。下面将系统讲解 C 中类的核心知识点（包含语法概念示例）： 一、类的基本结构 class MyClass { public:// 构造函数MyClass();//…...

编程日记 2025/8/16 22:51:06

【大模型系列篇】Qwen3思考预算及思考模式切换实现原理探索

我们之前一期有介绍过阿里发布并开源的Qwen3大语言模型，无缝集成思考模式、多语言和MCP智能体：《Qwen3开源全新一代大语言模型来了，深入思考，更快行动》，感兴趣的小伙伴可以跳转阅读。而在本次开源的 Qwen3 的更新中…...

编程日记 2025/8/16 22:51:04

PPT 制作难题迎刃而解，影刀 RPA 开启自动化创作时代

前言影刀cto说过这么一句话：不迷信AI，也不忽视AI，我们要打造以AI驱动的RPA，AI对当前社会的影响真的不亚于一场战争的爆发 RPA（机器人流程自动化）作为一种已被广泛应用的技术，能基于预设规则自…...

编程日记 2025/8/16 15:13:21

Node.js面试题

一、什么是Node.js？ Node.js 是一个开源的跨平台 JavaScript 运行时环境，允许开发者在服务器端运行 JavaScript 代码。它基于 Chrome 的 V8 JavaScript 引擎构建，能够高效地处理 I/O 操作，适合构建高性能的网络应用。异步非阻塞&…...

编程日记 2025/8/16 22:50:58

C# NX二次开发：投影曲线和偏置曲线UFUN函数详解

大家好，今天要讲的是关于投影曲线和偏置曲线相关的函数。 （1）UF_CURVE_create_proj_curves1：这个函数的定义为创建投影曲线。 Defined in: uf_curve.h Overview Creates projection curves. Objects to project may be poi…...

编程日记 2025/8/16 22:50:56

从明文裸奔到密钥长城：HTTPS加密全链路攻防与CA信任锚点构建

前言：本文将从HTTP的隐患出发，深入剖析HTTPS如何通过加密算法、数字证书与信任链机制重塑网络通信的安全边界。我们将探讨协议的证书颁发机构（CA）的信任逻辑，以及HTTPS在性能与安全之间的平衡艺术。将帮助您更从容地应…...

编程日记 2025/8/16 22:20:53

C# WPF 颜色拾取器

x:Name=Color Picker 语言：C# WPF 下载：https://download.csdn.net/download/polloo2012/90780640 主界面颜色库关于我们颜色拾取器是一种能够帮助用户获取颜色信息，并进行颜色选择、识别和调整的工具，以下将从其常见类型、使用场景及部分软件工具这几个维度展开介绍…...

编程日记 2025/8/16 15:39:28

MySQL关于锁的面试题

目录 1.了解过 MySQL 死锁问题吗？ 2.什么是线程死锁？死锁相关面试题 2.1 什么是死锁： 2.2 形成死锁的四个必要条件是什么？ 2.3 如何避免线程死锁？ 3. MySQL 怎么排查死锁问题？ 4.Java线上死锁问题如…...

编程日记 2025/8/16 22:50:46

亚远景-ASPICE vs ISO 21434：汽车软件开发标准的深度对比

ASPICE（Automotive SPICE）和ISO 21434是汽车软件开发领域的两大核心标准，分别聚焦于过程质量与网络安全。以下从核心目标、覆盖范围、实施重点、协同关系及行业价值五个维度进行深度对比分析： 一、核心目标对比 ASPICE&#xff1…...

编程日记 2025/8/17 8:26:57

第5讲、Transformer 编码器（Encoder）处理过程详解

🔍 Transformer 编码器（Encoder）处理过程详解 Transformer Encoder 是一个由 N 层（一般为 6 层）堆叠而成的模块结构。每一层的本质是两个核心子模块： 多头自注意力（Multi-Head Self-Attention…...

编程日记 2025/8/16 16:49:11

Flutter Drawer 详解

目录一、引言二、Drawer 的基本用法三、主要属性四、常见问题与解决方案 4.1 手势冲突处理 4.2 多级导航管理 4.3 响应式布局适配五、最佳实践建议 5.1 性能优化 5.2 无障碍支持 5.3 跨平台适配六、结论相关推荐一、引言在移动应用开发中，侧边…...

编程日记 2025/8/16 22:50:37

游戏引擎学习第263天:添加调试帧滑块

运行游戏，开始今天的开发工作。我们继续游戏代码基础上进行重构，目标是实现更多的性能分析界面功能，尤其是调试用的用户界面。目前运行游戏并打开性能分析窗口后，发现界面功能上还有不少缺陷。现在的界面可以向下钻取查看具体…...

编程日记 2025/8/16 22:50:34

Hadoop客户端环境准备

hadoop集群我们配置好了，要与它进行交互，我们还需要准备hadoop的客户端。要分成两步：下载hadoop包、配置环境变量。 1. 找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\hadoop-3.1.0&#…...

编程日记 2025/8/17 8:58:22

当“信任”遇上“安全”：如何用Curtain Logtrace记录文件操作活动守护团队与数据的双重底线？

你是否也有过这样的担忧？ 团队成员在处理敏感数据时是否遵守了公司规范？ 某份被篡改或外泄的文档，到底发生了什么？ 为了数据安全而频繁加密、限制下载，却反过来打击了员工的工作积极性…… 如何在不伤害团队信任的…...

编程日记 2025/8/16 9:39:49

如何进行室内VR全景拍摄？

如何进行室内VR全景拍摄？ 室内VR全景拍摄作为先进的视觉技术，能够为用户提供沉浸式的空间体验。本文介绍如何进行室内VR全景拍摄，并阐述众趣科技在这一领域的技术支持和服务优势。室内VR全景拍摄基础 1. 室内VR全景拍摄概述室内VR全景拍…...

编程日记 2025/8/16 22:50:26

一文走进GpuGeek | conda常用命令

conda 常用命令查看conda版本 conda --version 查看conda信息 conda info 更新conda自身到最新版本，同时也会更新其它包 conda update conda conda更新指定包，这里更新通过conda安装的zlib包 conda update zlib 列出所有虚拟环境 conda env li…...

编程日记 2025/8/16 22:50:23

Consumer Group的作用是什么？Rebalance的触发条件有哪些？（实现消费者负载均衡；消费者加入/离开、订阅Topic变化等）

好的，我现在需要回答用户关于Kafka Consumer Group和Rebalance的问题。首先，用户问的是Consumer Group的作用以及Rebalance的触发条件。根据之前的对话历史，用户已经了解了Kafka的基本组件、消息保留策略、顺序性保证等，现在的问题…...

编程日记 2025/8/16 22:26:10

【计算机视觉】OpenCV实战项目：Long-Exposure：基于深度学习的长时间曝光合成技术

Long-Exposure：基于深度学习的长时间曝光合成技术项目概述与技术背景项目核心功能技术原理环境配置与安装硬件要求建议详细安装步骤可选组件安装实战应用指南1. 基础使用：视频转长曝光2. 高级模式：自定义光轨合成3. 批量处理模式技术实现…...

编程日记 2025/8/16 22:50:18

CentOS 7 安装OpenJDK 17 JRE

CentOS 7 自带的java 版本为：java version "1.8.0_311"， 有些软件的运行需要更高的java版本。CentOS 7 自带的默认仓库里没有 OpenJDK 17，但是 Adoptium 项目（前身 AdoptOpenJDK）提供了稳定的 OpenJDK 17 版…...

编程日记 2025/8/16 22:50:15

C++从入门到实战（十三）C++函数模板与类模板初阶讲解

C从入门到实战（十三）C函数模板与类模板初阶讲解前言一、为什么需要模板1. 函数重载的问题2. 泛型编程和模板的作用二、函数模板2.1 函数模板格式2.2 函数模板的原理2.3 函数模板的实例化（1）隐式实例化：（2…...

编程日记 2025/8/18 6:25:58

相关文章：