当前位置：首页 > news >正文

python查询elasticsearch 获取指定字段的值的list

news 来源：原创 2025/7/1 11:06:41

from elasticsearch import Elasticsearch
from datetime import datetime, timedelta# 1.connect to Elasticsearch------------------------------------------------------------------------------------------------------
# prod连接到 Elasticsearch
es_of_prod = Elasticsearch('http://host:port', http_auth=("username", "pwd"), verify_certs=False, timeout=60)# 2.构建KQL-----------------------------------------------------------------------------------------------------------------------
# 查询index
index_of_query = "index-name"
# 获取当前时间并减去1小时
current_time = datetime.now()
previous_hour_time = current_time - timedelta(hours=1)
# 格式化为 "年-月-日 时"
previous_hour_time_formatted = previous_hour_time.strftime("%Y-%m-%d %H")
# 格式化为 "年-月-日 时:分"
previous_hourAndMin_time_formatted = previous_hour_time.strftime("%Y-%m-%d %H:%M")
# 构建 KQL 查询字符串
kql_query_xxx_prod = 'context:"*{query String}*" AND ext.time:"*'+previous_hour_time_formatted+'*"'
# 构建 KQL 查询字符串
kql_query_xxx_prod_hourAndMin = 'context:"*{query String}*" AND ext.time:"*'+previous_hourAndMin_time_formatted+'*"'
print(f"query condition: {kql_query_xxx_prod_hourAndMin}")# 3.构建KQL JSON------------------------------------------------------------------------------------------------------
# 当天 0 点
zero_today = current_time.replace(hour=0, minute=0, second=0, microsecond=0)
# 当天 24 点（直接取次日 0 点）
midnight_24 = zero_today + timedelta(days=1)
#环境情况：sit env:es version7.5.1，prd env:es version7.15.1,下面query_json在sit环境可以使用，在prd环境不能使用
kql_query_xxx_json = {"query": {"bool": {"must": [{"query_string": {"query":kql_query_xxx_prod_hourAndMin,"default_field": "*"  # 搜索所有字段}},{"range": {"@timestamp": {"gte": zero_today,  # 当天00:00:00"lt": midnight_24,   # 第二天00:00:00"time_zone": "+08:00"  # 指定时区（如北京时间）}}}]}}
}
# 4.es执行查询获得hits count大小---------------------------------------------------------------------------------------------------
previous_hour_xxx_count = es_of_prod.count(index = index_of_query,body = kql_query_xxx_json
)
print(f"previous_hour_xxx_count: {previous_hour_xxx_count['count']}")# 5.执行查询，获取某个字段的value的list----------------------------------------------------------------------------------------------
query_body = {"query_string": {"query": kql_query_xxx_prod_hourAndMin,"default_field": "*","analyze_wildcard": True,"lenient": True}
}
#size=10000，如果不设置size，默认只返回前10条数据
try:response = es_of_prod.search(index = index_of_query,query = query_body,size=10000)total = response['hits']['total']['value']print(f"获取到total:{total}")traceids = [hit['_source']['ext.traceId'] for hit in response['hits']['hits']]print(f"获取到{len(traceids)}条traceid记录")#可以遍历traceids，做后续的业务处理
except Exception as e:print(f"查询异常: {str(e)}")traceids = []

python查询elasticsearch 获取指定字段的值的list

from elasticsearch import Elasticsearch from datetime import datetime, timedelta# 1.connect to Elasticsearch------------------------------------------------------------------------------------------------------ # prod连接到 Elasticsearch es_of_prod Elasti…...

编程日记 2025/7/1 11:06:41

百度Q1财报：总营收325亿元超预期智能云同比增速达42%

发布 | 大力财经 5月21日晚，百度发布2025年第一季度财报，显示一季度总营收达325亿元，百度核心营收255亿元，同比增长7%，均超市场预期。一季度，百度核心净利润同比增48%至76.3亿元，智能云持续强劲…...

编程日记 2025/7/1 11:03:09

BurpSuite Montoya API 详解

文章目录前言1. API 结构1.1 概述1.2 API文件源码解析 2. BurpExtension 接口3. MontoyaApi接口4. package burp.api.montoya.proxy4.1 Proxy 接口4.2 ProxyRequestHandler接口4.3 Demo 5. BurpSuite burpSuite()6. Extension extension()7. Http http()参考前言我们已经学…...

编程日记 2025/7/1 11:03:12

oracle使用SPM控制执行计划

一 SPM介绍 Oracle在11G中推出了SPM（SQL Plan management）,SPM是一种主动的稳定执行计划的手段，能够保证只有被验证过的执行计划才会被启用，当由于种种原因（比如统计信息的变更）而导致目标SQL产生了新的执…...

编程日记 2025/6/27 22:51:36

YCKC【二分查找专题】题解

数的范围题解点击跳转题目链接：数的范围比较经典的二分查找例题，不做过多赘述。注意看二分的对象以及最终想求什么：想求尽可能大 ，那么就是最大值类型的二分；想求尽可能小，就是最小值类型的二分。注意二分…...

编程日记 2025/7/1 11:04:44

【Java高阶面经：微服务篇】8.高可用全链路治理：第三方接口不稳定的全场景解决方案

一、第三方接口治理的核心挑战与架构设计 1.1 不稳定接口的典型特征维度表现影响范围响应时间P99超过2秒，波动幅度大（如100ms~5s）导致前端超时，用户体验恶化错误率随机返回5xx/429，日均故障3次以上核心业务流程中断，交易失败率上升协议不一致多版本API共存，字段定义不…...

编程日记 2025/6/27 23:40:03

关于FPGA 和 ASIC设计选择方向的讨论

FPGA 和 IC 设计怎么选？哪个发展更好？ 一句话总结： 如果你学历极高，追求高薪资、愿意投入长期学习，目标是进入大型芯片公司，建议走 IC（ASIC）设计；如果你更看重灵活性、创…...

编程日记 2025/6/29 2:11:09

项目中常用的docker指令

1. docker ps 查看当前正在运行的容器。 docker ps -a 这将列出所有容器，包括停止运行的。 2. docker exec 在已经运行的容器中执行命令的工具启动一个交互式 Bash 会话 docker exec -it my-container bash介绍 docker exec 命令 docker exec 是 Docker 提供的…...

编程日记 2025/6/27 23:13:01

以加减法计算器为例，了解C++命名作用域与函数调用

************* C topic: 命名作用域与函数调用 ************* The concept is fully introducted in the last artical. Please refer to 抽象：C命名作用域与函数调用-CSDN博客 And lets make a calculator to review the basic structure in c. 1、全局函数 A…...

编程日记 2025/6/30 2:07:41

MySQL EXPLAIN 使用详解与执行计划分析优化

MySQL EXPLAIN 使用详解与执行计划分析优化一、什么是 EXPLAIN？ EXPLAIN 是 MySQL 提供的 SQL 语句分析工具，可以显示 SQL 语句在执行时的执行计划，包括表的访问顺序、使用的索引、连接类型、扫描行数等。通过分析 EXPLAIN 的输出结果&…...

编程日记 2025/7/1 11:04:05

Arthas：Java诊断利器实战指南

在Java应用开发和运维中，线上问题排查往往是一场与时间的赛跑。传统的日志分析、重启大法或JVM工具（如jstack、jmap）虽然有效，但存在操作复杂、无法实时追踪等问题。Arthas作为阿里巴巴开源的Java诊断工具，凭借无需重启…...

编程日记 2025/6/27 5:56:08

一文读懂迁移学习：从理论到实践

在机器学习和深度学习的快速发展历程中，数据和计算资源成为了制约模型训练的关键因素。当我们面对新的任务时，重新训练一个从头开始的模型往往耗时耗力，而且在数据量不足的情况下，模型的性能也难以达到理想状态。这时，…...

编程日记 2025/6/27 23:30:56

ElasticSearch安装

ElasticSearch 脑图知识图谱地址：ProcessOn Mindmap|思维导图简介 ES是一个开源的分布式搜索和分析引擎，基于 Apache Lucene 构建，专为处理海量数据设计，支持实时搜索、分析和可视化。排行第一的搜索引擎官网地址&#xff1…...

编程日记 2025/6/27 22:51:29

c#中添加visionpro控件(联合编程)

vs添加vp控件创建窗体应用右键选择项点击确定加载CogAcqfifoTool工具拍照设置参数保存.vpp 保存为QuickBuild或者job, ToolBlock 加载保存的acq工具实例化相机工具类 //引入命名空间 using Cognex.VisionPro; //实例化一个相机工具类 CogAcqFifoTool cogAcqFifoTool n…...

编程日记 2025/6/30 20:04:58

MySQL主键与外键详解：数据关系的基石与守护者

引言在数据库设计中，主键（Primary Key）和外键（Foreign Key）是构建数据关系模型的核心工具。它们不仅保障了数据的唯一性和完整性，还实现了跨表数据关联的逻辑闭环。本文将通过实例解析这两大关键概念&…...

编程日记 2025/7/1 11:01:45

Go语言打造：超高性能分布式唯一ID生成工具

一、简介这是一个超高性能唯一ID生成工具，支持docker一键部署，提供API接入功能支持高性能生成Snowflake ID、Sonyflake ID、UUID v1、UUID v4、XID、KSUID以及自定义ID的服务可以用来生成订单编号、学号、高标准唯一标识、有序ID等等开源地址参考&#…...

编程日记 2025/7/1 4:19:21

列表计量单位显示

列表计量单位显示 E:\javaDev\tender-project-vben5\apps\web-antd\src\views\tender\material\data.ts import type { FormSchemaGetter } from #/adapter/form; import type { VxeGridProps } from #/adapter/vxe-table;import { getDictOptions } from #/utils/dict; impor…...

编程日记 2025/6/27 2:39:53

RAG系统的现实困境与突破：数据泥潭到知识自由

一、当前RAG系统的核心痛点 1. 数据处理的阿喀琉斯之踵知识形态的暴力归一化：将PDF、视频、数据库等异构数据强行转化为统一文本，导致： 纸质文献中的数学公式OCR错误率高达37%（ICDAR2023数据）流程图/思维导图等非连续…...

编程日记 2025/6/29 8:28:05

项目执行中缺乏问题记录和总结，如何改进？

要有效改进项目执行中的问题记录与总结机制，应采取建立标准化问题记录流程、引入专业管理工具、定期开展问题复盘、设立知识库系统、强化团队总结意识等措施。其中，建立标准化问题记录流程是核心。没有统一流程，问题易被忽视、重复发生&#…...

编程日记 2025/7/1 11:01:44

docker中使用openresty

1.为什么要使用openresty 我这边是因为要使用1Panel，第一个最大的原因，就是图方便，比较可以一键安装。但以前一直都是直接安装nginx。所以需要一个过度。 2.如何查看openResty使用了nginx哪个版本 /usr/local/openresty/nginx/sbin/nginx …...

编程日记 2025/6/29 13:01:11

红杉资本2025 AI 峰会之Cybersecurity

红杉资本2025年AI峰会中，三位合伙人分享中与security相关的观点。 1、Pat Grady认为需要在AI 时代的价值累积将主要发生在应用层，在举例当前的空白领域时，展示了在security领域目前还没产生巨头； 2、Sonia 认为垂直领域agent将是创业者的重大机遇，通过强化学习、合成数据…...

编程日记 2025/6/27 23:33:31

高并发架构设计之限流

一、引言再强大的系统，也怕流量短事件内集中爆发，就像银行怕挤兑一样，所以，高并发另一个必不可少的模块就是限流。限流是一种通过控制请求的速率或数量来保护系统免受过载的技术。流控的精髓是限制单位时间内的请求量&#xff0…...

编程日记 2025/6/27 23:22:55

PostgreSQL中通过查询数据插入到表的几种方法( SELECT INTO和INSERT INTO ... SELECT)

使用 SELECT INTO 创建新表在PostgreSQL中，SELECT INTO语法有两种主要用途：创建新表和将查询结果存储到变量中（在PL/pgSQL函数或存储过程中）。以下是详细介绍： 1. 创建新表并复制数据（类似SQL标准） SELECT * INTO new_table FROM existing_table WHERE condition;说…...

编程日记 2025/6/30 6:18:18

大语言模型 16 - Manus 超强智能体 Prompt分析原理分析包含工具列表分析

写在前面 Manus 是由中国初创公司 Monica.im 于 2025 年 3 月推出的全球首款通用型 AI 智能体（AI Agent），旨在实现“知行合一”，即不仅具备强大的语言理解和推理能力，还能自主执行复杂任务，直接交付完整成…...

编程日记 2025/6/30 12:30:13

Windows逆向工程提升之IMAGE_FILE_HEADER

公开视频 -> 链接点击跳转公开课程博客首页 -> 链接点击跳转博客主页目录 IMAGE_FILE_HEADER 介绍 IMAGE_FILE_HEADER 结构核心字段解析 Machine（目标平台架构） NumberOfSections（节数目） TimeDateStamp&…...

编程日记 2025/7/1 11:02:26

基于Matlab建立不同信道模型

在MATLAB中建立不同的信道模型是无线通信系统仿真的重要组成部分。信道模型用于模拟信号在传输过程中受到的各种影响，如衰减、多径效应、噪声等。以下是一些常见的信道模型及其在MATLAB中的实现方法： 1. 理想信道模型理想信道假设信号在传输过程中不受…...

编程日记 2025/6/27 23:11:20

苍穹外卖05 Redis常用命令在Java中操作Redis_Spring Data Redis使用方式店铺营业状态设置

2-8 Redis常用命令 02 02-Redis入门 ctrlc :快捷结束进程配置密码： 以后再启动客户端的时候就需要进行密码的配置了。使用-a 在图形化界面中创建链接： 启动成功了。 03 03-Redis常用数据类型 04 04-Redis常用命令_字符串操作命令 05 05-Redis常用命令…...

编程日记 2025/7/1 11:03:52

JS 应用安全案例泄漏云配置接口调试代码逻辑框架漏洞自检

在 Javascript 中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞。 JS 开发应用和 PHP ， JAVA 等区别在于即没源代码，也可通过浏览器查看源代码。获取 URL ，获取 JS 敏感信息，获取代码传参等&…...

编程日记 2025/6/27 23:31:51

嵌入式八股，空闲任务

空闲任务是FreeRTOS内核创建的一个默认任务，其优先级是系统中最低的。它在系统初始化时自动创建，并且始终处于就绪状态。当系统中没有任何其他任务可以运行时，调度器会选择空闲任务运行。一句话总结，为了让系统不重启&#xff0…...

编程日记 2025/7/1 11:00:21

wd软件安装

* wd软件安装 * 磁盘读取数据的基本原理 * 分区软件使用 * 磁盘格式化/挂载的方式任务背景某天接到短信报警提示，显示某主机的根分区空间使用率超过85%，该主机用于影评（MySQL）和报表数据库（Oracle）。经查看…...

编程日记 2025/6/29 17:23:11

Redis数据库-消息队列

一、消息队列介绍二、基于List结构模拟消息队列总结： 三、基于PubSub实现消息队列 (1)PubSub介绍 PubSub是publish与subscribe两个单词的缩写，见明知意，PubSub就是发布与订阅的意思。可以到Redis官网查看通配符的书写规则： …...

编程日记 2025/6/27 23:10:10

使用脚本备份和还原Windows环境变量

使用脚本备份和还原Windows环境变量你是否遇到过这样的场景？为什么环境变量如此脆弱？全量备份及还原全量备份系统环境变量全量恢复系统环境变量PATH变量份及还原备份PATH变量精准还原PATH变量环境变量实时刷新器必看注意事项Windows环境变量误删别抓狂！用好脚本免重启「时…...

编程日记 2025/7/1 10:59:24

卫星互联网：构建全球无缝通信网络的未来

随着全球数字化进程的加速，人们对通信网络的需求越来越高。传统的地面通信网络虽然在城市和发达地区表现良好，但在偏远地区、海洋和空中等场景中仍存在覆盖不足的问题。卫星互联网作为一种新兴的通信技术，正在逐渐成为解决全球通信覆盖问题的…...

编程日记 2025/6/27 22:51:43

VS2022离线安装包

这是VS2022离线安装包下载链接 ▶ 夸克网盘下载解压后，双击vs_setup.exe即可安装...

编程日记 2025/6/27 22:51:41

PDF 文档结构化工具对比：Marker 与 MinerU

模型训练数据-MinerU一款Pdf转Markdown软件 https://codeyuan.blog.csdn.net/article/details/144315141 在当前大模型（LLM）和自然语言处理（NLP）应用快速发展的背景下，如何高效地将 PDF 等非结构化文档转换为结构化数…...

编程日记 2025/6/30 12:52:18

【优秀三方库研读】在 quill 开源库 LogMarcos.h 中知识点汇总及讲解

以下是LogMarcos.h中的主要知识点汇总及详细讲解：大纲目录编译时日志级别过滤预处理宏与条件编译可变参数处理技巧格式化字符串生成日志宏的分发机制线程本地存储（TLS）零成本抽象设计动态日志级别支持结构化日志标签日志频率限制机制1. 编译时日志级别过滤核心宏：QUILL…...

编程日记 2025/7/1 8:51:44

第14天-Matplotlib实现数据可视化

一、Matplotlib简介 Matplotlib是Python最基础的数据可视化库，提供类似MATLAB的绘图接口，支持2D/3D图形绘制。其核心特点：丰富的图表类型（折线图/柱状图/饼图/散点图等）高度可定制化（颜色/字体/刻度/标注）矢量图输出（PDF/SVG）支持与Jupyter无缝集成二、环境准备…...

编程日记 2025/6/27 22:53:26

快速刷机Android10+Root

说明：仅供学习使用，请勿用于非法用途，若有侵权，请联系博主删除作者：zhu6201976 一、下载android10源码 1.确认手机可刷机范围比如我的Piexel3机型，支持刷android9-android12 Android源码。 https://de…...

编程日记 2025/6/30 9:56:23

文章相似度对比

from transformers import AutoTokenizer, AutoModel import torch import torch.nn.functional as F # 加载中文句向量模型（BGE） model_name "BAAI/bge-large-zh-v1.5" tokenizer AutoTokenizer.from_pretrained(model_name) model AutoM…...

编程日记 2025/6/27 22:51:51

认知计算：迈向人类级智能的 AI 新范式

一、认知计算：定义与核心技术架构 1.1 超越传统 AI 的 “类人智能” 新维度认知计算的本质是构建具备感知、推理、学习和交互能力的智能系统，其核心特征包括： 多模态理解：处理文本、图像、语音等非结构化数据（如分…...

编程日记 2025/6/30 20:16:54

数据被泄露了怎么办？

数据泄露是严重的网络安全事件，需立即采取行动以降低风险。以下是关键应对步骤： 1. 确认泄露范围核实泄露内容：确定泄露的是密码、财务信息、身份证号还是其他敏感数据。评估来源：检查是个人设备被入侵、某平台漏洞&#xff0c…...

编程日记 2025/6/29 10:07:56

从 CANopen到 PROFINET：网关助力物流中心实现复杂的自动化升级

使用 CANopen PLC 扩展改造物流中心的传送带倍讯科技profinet转CANopen网关BX-601-EIP将新的 PROFINET PLC 系统与旧的基于 CANopen 的传送带连接起来，简化了物流中心的自动化升级。新建还是升级？这些问题通常出现在复杂的内部物流设施中，…...

编程日记 2025/7/1 11:00:22

关于收集 Android Telephony 网络信息的设计思考2

需求：目标1: Android Telephony data（数据模块）侧收集多源（ServiceStateTracker/ImsService/其他）网络状态信息。目标2: 收集的数据需统一上报/存储到外部App的Provider。字段分散，不方便只在ServiceStateTracker中收集和插入。多触发点/多场景，需要统一插入。一、架构…...

编程日记 2025/6/27 7:57:42

android RecyclerView列表DiffCallback说明

一代码 private class DiffCallback : DiffUtil.ItemCallback<xxxVolumeInfo>() {override fun areItemsTheSame(oldItem: xxxVolumeInfo,newItem: xxxVolumeInfo): Boolean {return oldItem.uuid newItem.uuid}override fun areContentsTheSame(oldItem: xxxVolumeIn…...

编程日记 2025/6/27 12:56:33

Day123 | 灵神 | 二叉树 | 找树左下角的值

Day123 | 灵神 | 二叉树 | 找树左下角的值 513.找树左下角的值 513. 找树左下角的值 - 力扣（LeetCode） 思路： 初学者可以看灵神视频二叉树的层序遍历【基础算法精讲 13】_哔哩哔哩_bilibili 我的思路就是在每层的循环前加个判断&#xf…...

编程日记 2025/6/30 16:11:46

流式优先架构：彻底改变实时数据处理

近年来，随着现代组织的数据环境日趋复杂且高速流动，传统数据库系统已难以满足实时分析、物联网应用以及即时决策的需求。围绕批处理和静态数据模型设计的 RDBMS（关系型数据库管理系统）在架构层面缺乏实时处理能力，而流…...

编程日记 2025/6/27 22:51:47

5月21日星期三今日早报简报微语报早读

5月21日星期三，农历四月廿四，早报#微语早读。 1、中国首次当选联合国教科文组织1970年《公约》缔约国大会主席国； 2、上海普陀：探索1岁以下托育服务的保育内容、人员配备等关键要素； 3、浙江：将智能家居…...

编程日记 2025/6/27 23:03:15

一文详解并查集:从基础原理到高级应用

一文详解并查集:从基础原理到高级应用前言一、基本概念1.1 定义与作用1.2 直观理解二、并查集的基本实现2.1 数据结构定义2.2 查找操作实现2.3 合并操作实现三、经典优化策略3.1 路径压缩（Path Compression）3.2 按秩合并（Union by Rank&am…...

编程日记 2025/6/27 23:10:35

二叉树的半线性

二叉树的半线性结构体现在以下方面： 非线性拓扑与线性次序的结合二叉树的节点通过父子关系形成分叉结构（非线性），但通过遍历规则（如先序、中序、后序、层次遍历）可将其映射为线性序列。例如：…...

编程日记 2025/6/27 23:30:44

深入浅出理解时间复杂度和空间复杂度

目录一、基本概念时间复杂度空间复杂度二、常见复杂度分类时间复杂度常见情况空间复杂度常见情况三、如何分析复杂度时间复杂度分析步骤空间复杂度分析步骤四、复杂度对比图表时间复杂度增长趋势常见算法复杂度汇总五、实际应用中的注意事项一、基本…...

编程日记 2025/7/1 8:36:22

相关文章：