当前位置：首页 > news >正文

ES常识8：ES8.X如何实现热词统计

news 来源：原创 2025/6/24 23:11:39

文章目录

- - 一、数据采集与存储设计
  - - 1. 确定需记录的字段
    - 2. 设计搜索日志索引
  - 二、数据写入与采集
  - 三、热门搜索词统计（核心逻辑）
  - - 1. 基础版：近 7 天热门搜索词（按出现次数排序）
    - 2. 进阶版：加权热门词（结合点击量与搜索时长）
    - 3. 高基数优化：避免内存溢出
  - 四、缓存与实时性优化
  - - 1. 定时预计算（推荐方案）
    - 2. 实时查询（轻量场景）
  - 五、推荐接口实现
  - 六、监控与调优
  - - 1. 监控聚合性能
    - 2. 调整索引配置
    - 3. 处理异常词
  - 总结

基于 Elasticsearch 8.x 实现热门搜索词推荐，需结合 数据采集、索引设计、聚合统计、缓存优化 等环节。以下是分步骤的详细实现方案：

一、数据采集与存储设计

1. 确定需记录的字段

为了统计热门搜索词，需采集用户搜索行为的基础信息。推荐记录以下字段：

字段名	类型	说明
`search_keyword`	`keyword`	用户输入的搜索词（必须使用 `keyword` 类型，避免分词影响统计）。
`timestamp`	`date`	搜索时间（用于时间窗口统计，如“近 7 天热门词”）。
`user_id`	`keyword`	用户唯一标识（可选，用于去重统计独立用户搜索量）。
`is_clicked`	`boolean`	是否点击搜索结果（可选，作为热门度的加权指标）。
`search_duration`	`integer`	搜索耗时（毫秒，可选，用于评估搜索质量）。

2. 设计搜索日志索引

在 ES 中创建索引 search_logs，存储用户搜索行为数据。索引配置示例：

PUT /search_logs
{"settings": {"index": {"number_of_shards": 3,       // 根据数据量调整分片数（建议单分片 10-50GB）"number_of_replicas": 1,     // 1 副本保证高可用"refresh_interval": "1s"    // 近实时搜索（可调整为 5s 平衡写入性能）}},"mappings": {"properties": {"search_keyword": { "type": "keyword", "doc_values": true },  // 启用 doc_values 加速聚合"timestamp": { "type": "date", "format": "epoch_millis" },"user_id": { "type": "keyword", "index": false },             // 不参与搜索，仅用于聚合"is_clicked": { "type": "boolean" },"search_duration": { "type": "integer" }}}
}

二、数据写入与采集

用户每次搜索时，将搜索行为数据写入 search_logs 索引。示例（使用 ES 客户端）：

from elasticsearch import Elasticsearch
from datetime import datetimees = Elasticsearch(["http://es-node-1:9200"])def log_search(keyword: str, user_id: str, is_clicked: bool, duration: int):doc = {"search_keyword": keyword,"timestamp": int(datetime.now().timestamp() * 1000),  # 毫秒级时间戳"user_id": user_id,"is_clicked": is_clicked,"search_duration": duration}es.index(index="search_logs", document=doc)# 模拟用户搜索行为（调用示例）
log_search("机器学习教程", "user_123", is_clicked=True, duration=850)

三、热门搜索词统计（核心逻辑）

使用 ES 的 terms 聚合统计搜索词的频率，并结合时间窗口、加权指标优化结果。

1. 基础版：近 7 天热门搜索词（按出现次数排序）

统计近 7 天搜索次数最多的前 10 个关键词：

GET /search_logs/_search
{"size": 0,  // 不返回原始文档"query": {"range": {"timestamp": {"gte": "now-7d",  // 近 7 天"lte": "now"}}},"aggs": {"top_keywords": {"terms": {"field": "search_keyword","size": 10,          // 返回前 10 个词"order": { "_count": "desc" },  // 按次数降序"min_doc_count": 3   // 过滤出现次数少于 3 次的词（避免长尾词）}}}
}

2. 进阶版：加权热门词（结合点击量与搜索时长）

若需考虑搜索词的“质量”（如用户点击了结果或搜索耗时较短），可通过 sum 聚合加权：

GET /search_logs/_search
{"size": 0,"query": { "range": { "timestamp": { "gte": "now-7d" } } },"aggs": {"top_weighted_keywords": {"terms": {"field": "search_keyword","size": 10,"order": { "score": "desc" }  // 按自定义分数排序},"aggs": {"click_count": { "sum": { "field": "is_clicked" } },  // 点击次数（true=1，false=0）"avg_duration": { "avg": { "field": "search_duration" } },  // 平均耗时"score": {"script": {"source": "params.click_count * 2 + (1000 - params.avg_duration) * 0.1",  // 自定义分数公式（点击权重更高，耗时越短得分越高）"params": {"click_count": "sum(is_clicked)","avg_duration": "avg(search_duration)"}}}}}}
}

3. 高基数优化：避免内存溢出

当搜索词数量极大（如每天百万级不同词），terms 聚合可能消耗大量内存。此时可通过 shard_size 参数优化：

{"aggs": {"top_keywords": {"terms": {"field": "search_keyword","size": 10,          // 最终返回 10 个词"shard_size": 100,   // 每个分片预取 100 个词（提升准确性）"min_doc_count": 5   // 过滤低频词}}}
}

四、缓存与实时性优化

直接调用 ES 聚合接口可能因计算耗时影响推荐接口性能（尤其在高并发时）。推荐结合 缓存机制 优化：

1. 定时预计算（推荐方案）

逻辑：定期（如每分钟）执行聚合查询，将结果缓存到 Redis 或 ES 的 hot_keywords 索引中。
优势：减少实时聚合的计算压力，保证推荐接口的低延迟。

示例（Python 定时任务）：

import redis
from elasticsearch import Elasticsearches = Elasticsearch(["http://es-node-1:9200"])
redis_client = redis.Redis(host="redis-host", port=6379)def update_hot_keywords():# 执行 ES 聚合查询response = es.search(index="search_logs",body={"size": 0,"query": {"range": {"timestamp": {"gte": "now-7d"}}},"aggs": {"top_keywords": {"terms": {"field": "search_keyword", "size": 10, "order": {"_count": "desc"}}}}})# 提取结果并缓存到 Redishot_keywords = [bucket["key"] for bucket in response["aggregations"]["top_keywords"]["buckets"]]redis_client.set("hot_keywords", str(hot_keywords), ex=60)  # 缓存 60 秒# 每 60 秒执行一次预计算
update_hot_keywords()

2. 实时查询（轻量场景）

若数据量较小或实时性要求极高（如秒级更新），可直接调用 ES 聚合接口，但需限制 size 和 shard_size 以降低计算量。

五、推荐接口实现

提供一个 HTTP 接口，从缓存或 ES 读取热门词并返回。示例（使用 Flask）：

from flask import Flask, jsonify
import redisapp = Flask(__name__)
redis_client = redis.Redis(host="redis-host", port=6379)@app.route("/hot_keywords")
def get_hot_keywords():# 从 Redis 读取缓存（若存在）hot_keywords = redis_client.get("hot_keywords")if hot_keywords:return jsonify(eval(hot_keywords.decode()))# 若缓存失效，直接查询 ES（备用逻辑）# （此处省略 ES 查询代码，实际应避免高频调用）return jsonify(["机器学习", "Python教程", "大数据分析"])  # 默认值if __name__ == "__main__":app.run(host="0.0.0.0", port=5000)

六、监控与调优

1. 监控聚合性能

通过 ES 的 _nodes/stats/indices/aggregations 监控聚合耗时，确保 top_keywords 聚合的执行时间在合理范围（如 < 500ms）。

2. 调整索引配置

refresh_interval：若写入量极大，可调整为 30s 减少段合并开销，但会降低实时性。
index.codec：使用 best_compression 压缩存储，减少磁盘占用（适合日志类数据）。

3. 处理异常词

通过 exclude 参数过滤无意义词（如“测试”“null”）：

{"terms": {"field": "search_keyword","exclude": ["测试", "null", "undefined"]}
}

总结

基于 ES8 实现热门搜索词推荐的核心步骤为：

数据采集：记录搜索词及关联信息（时间、用户、点击等）。
索引设计：使用 keyword 类型存储搜索词，优化聚合性能。
聚合统计：通过 terms 聚合计算词频，结合时间窗口和加权指标。
缓存优化：定时预计算结果并缓存，降低实时查询压力。
接口实现：提供 HTTP 接口返回缓存或实时聚合结果。

通过以上步骤，可高效实现一个兼顾实时性与性能的热门搜索词推荐系统。

ES常识8：ES8.X如何实现热词统计

文章目录一、数据采集与存储设计1. 确定需记录的字段2. 设计搜索日志索引二、数据写入与采集三、热门搜索词统计（核心逻辑）1. 基础版：近 7 天热门搜索词（按出现次数排序）2. 进阶版：加权热门词&#xff08…...

编程日记 2025/6/24 23:11:39

可解释性AI 综述《Explainable AI for Industrial Fault Diagnosis: A Systematic Review》

一、研究背景与动因（Background & Motivation） 随着工业4.0与工业5.0的发展，工业生产越来越依赖自动化与智能化手段，以实现高效、预测性维护与运行优化。在这一背景下，人工智能（AI）与机器学…...

编程日记 2025/6/25 13:38:56

数据可视化-----子图的绘制及坐标轴的共享

目录绘制固定区域的子图 （一）、绘制单子图 subplot()函数 Jupyter Notebook的绘图模式 （二）、多子图 subplots()--可以在规划好的所有区域中一次绘制多个子图 （三）、跨行跨列 subplot2grid()---将整…...

编程日记 2025/6/23 1:30:59

nginx 配置

proxy_pass 结尾斜杠规则不带斜杠‌：保留原始请求路径。 location /api {proxy_pass http://backend; # 转发到 http://backend/api }带斜杠‌：剥离 location 匹配的路径前缀。 location /api/ {proxy_pass http://backend/; # 转发到 http://back…...

编程日记 2025/6/24 22:41:04

《从零开始入门递归算法：搜索与回溯的核心思想 + 剑指Offer+leetcode高频面试题实战（含可视化图解）》

一.递归 1.汉诺塔题目链接：面试题 08.06. 汉诺塔问题 - 力扣（LeetCode） 题目解析：将A柱子上的盘子借助B柱子全部移动到C柱子上。算法原理：递归当A柱子上的盘子只有1个时，我们可以直接将A上的盘子直…...

编程日记 2025/6/25 22:19:38

船舶制造业数字化转型：驶向智能海洋新航道

在全球海洋经济蓬勃发展的当下，船舶制造业作为海洋产业的重要支柱，正面临着前所未有的机遇与挑战。船舶制造周期长、技术复杂，从设计图纸到最终交付，涉及成千上万的零部件和复杂的工艺流程，传统制造模式已难以满足市场…...

编程日记 2025/6/25 5:18:10

SpringBoot 自动装配流程

Spring Boot 的自动装配（Auto Configuration）是其最核心的特性之一，它让你能“开箱即用”，极大简化了配置。下面是 Spring Boot 自动装配的整体流程（从启动到生效） 的详细解析： ✅ 一、整体流程…...

编程日记 2025/6/25 22:22:30

Vue 3 实现后端 Excel 文件流导出功能（Blob 下载详解）

💡 本文以告警信息导出为例，介绍 Vue 3 中如何通过 Axios 调用后端接口并处理文件流，实现 Excel 自动下载功能。 📑 目录一、前言二、后端接口说明三、前端实现思路四、导出功能完整代码五、常见问题处理六、效果展示 …...

编程日记 2025/6/25 22:23:34

基于IBM BAW的Case Management进行项目管理示例

说明：使用IBM BAW的难点是如何充分利用其现有功能根据实际业务需要进行设计，本文是示例教程，因CASE Manager使用非常简单，这里重点是说明如何基于CASE Manager进行项目管理，重点在方案设计思路上，其中涉及的…...

编程日记 2025/6/25 22:06:11

《Python星球日记》第78天：CV 基础与图像处理

名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）目录一、计算机视觉（CV）简介1. 什么是计算机视觉？2. 计算机视觉的应用场景3. 图像的基本属性a》像素（Pixel）b》通道（Channel）c》分辨率（Res…...

编程日记 2025/6/25 22:19:39

Google DeepMind 推出AlphaEvolve

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/6/23 23:43:22

Flink 1.13.2 日志配置优化：保留最近 7 天日志文件

Flink 1.13.2 日志配置优化：保留最近 7 天日志文件在使用 Apache Flink 1.13.2 进行流处理任务时，合理的日志配置对于作业的监控、调试和故障排查至关重要。本文将介绍如何通过修改log4j.properties文件，将 Flink 的默认日志配置升级为保留最近 7 天的日志文件配置，并解决…...

编程日记 2025/6/25 22:21:10

【优化算法】协方差矩阵自适应进化策略（Covariance Matrix Adaptation Evolution Strategy，CMA-ES）

CMA-ES（Covariance Matrix Adaptation Evolution Strategy）算法是一种无导数、基于多元正态分布的迭代优化方法，通过自适应地调整搜索分布的均值、协方差矩阵和步长，能够高效地解决非线性、非凸的连续优化问题。算法以最大似然和…...

编程日记 2025/6/20 15:46:07

基于Leaflet和天地图的免费运动场所WebGIS可视化-以长沙市为例

目录前言一、免费运动场所数据整理 1、本地宝数据简介 2、Java后台数据解析二、Leaflet前端地图展示 1、基础数据准备 2、具体位置及属性标记三、成果展示 1、空间位置分布 2、东风路立交桥运动公园 3、芙蓉区花侯路浏阳河大桥下方 4、梅岭国际小区 5、湖南大学…...

编程日记 2025/6/22 18:03:50

399. 除法求值

https://leetcode.cn/problems/evaluate-division/description/?envTypestudy-plan-v2&envIdtop-interview-150思路：读完题后我们可以发现这题的考察已经很明确了就是考我们矩阵，我们将矩阵构建出来后，这题就变成可达性分析题了。所以解…...

编程日记 2025/6/23 22:38:21

QMK固件OLED显示屏配置教程：从零开始实现个性化键盘显示（实操部分）

QMK固件OLED显示屏配置教程：从零开始实现个性化键盘显示 📢 前言：作为一名键盘爱好者，近期研究了QMK固件的OLED显示屏配置，发现网上的教程要么太过复杂，要么过于简单无法实际操作。因此决定写下这篇教程，从零基础出发，带大家一步步实现键盘OLED屏幕的配置与个性化显示…...

编程日记 2025/6/20 21:43:11

深度解析 Meta 开源 MR 项目《North Star》：从交互到渲染的沉浸式体验设计

🌌 一、项目概览：什么是 North Star？ North Star 是由 Meta 官方推出并开源的一款面向 Meta Quest 平台的混合现实（MR）视觉演示项目。它不仅上线了 Horizon Store，更以完整的技术栈与高质量内容向开发者展示了如何在 VR/MR 设备上实现“视觉上限”和“交互潜力”的结…...

编程日记 2025/6/25 16:16:25

使用VS Code通过SSH编译Linux上的C++程序

引言在软件开发领域，跨平台开发是一项常见需求。特别是对于C开发者来说，有时需要在Windows环境下编写代码，但却需要在Linux环境中编译和运行。这种情况在系统编程、嵌入式开发或高性能计算领域尤为常见。 Visual Studio Code (VS Code) 提…...

编程日记 2025/6/23 7:04:44

Datawhale 5月llm-universe 第2次笔记

第二章使用 LLM API 开发应用名词解释 Temperature 参数/场景低 Temperature（0 ~ 0.3）高 Temperature（0.7 ~ 1.0）输出特点保守、稳定、可预测创造性强、多样化、不可预测语言模型行为更少的随机性，倾向于选择高概…...

编程日记 2025/6/25 22:41:43

【Vue】CSS3实现关键帧动画

关键帧动画两个重点keyframesanimation子属性实现案例效果展示： 两个重点 keyframes 和 animation 作用：通过定义关键帧（keyframes）和动画(animation)规则，实现复杂的关键帧动画。 keyframes 定义动画的关键帧序列…...

编程日记 2025/6/24 17:36:38

Spring 模拟转账开发实战

一、转账业务场景分析转账是金融类应用的核心场景之一，涉及付款方扣减金额和收款方增加金额两个关键操作。在开发中需解决以下问题： 业务层与数据层解耦：通过分层架构（Service 层调用 Dao 层）实现逻辑分离。数据库事…...

编程日记 2025/6/20 21:00:58

Baklib内容中台赋能资源管理升级

内容中台驱动管理升级在数字化转型进程中，企业级内容管理工具的效能直接影响资源协同效率。以全渠道资源整合为核心的内容中台，通过集中化处理文档、FAQ及社区论坛等非结构化数据，有效解决信息孤岛问题。例如，某金融集团通过部署…...

编程日记 2025/6/22 17:48:28

数据结构（九）——排序

一、排序的基本概念 1.排序：重新排列表中的元素，使表中的元素满足按关键字有序 2.稳定性：Ri和Rj相对位置保持不变 3.内部排序：指在排序期间元素全部存在内存中的排序（比较和移动），如插入排序…...

编程日记 2025/6/25 5:49:10

MinerU安装(pdf转markdown、json)

在Windows上安装MinerU，参考以下几个文章，可以成功安装，并使用GPU解析。整体安装教程： MinerU本地化部署教程——一款AI知识库建站的必备工具其中安装conda的教程： 一步步教你在 Windows 上轻松安装 Anaconda以及使…...

编程日记 2025/6/22 17:00:23

Spring框架核心技术深度解析：JDBC模板、模拟转账与事务管理

一、JDBC模板技术：简化数据库操作在传统JDBC开发中，繁琐的资源管理和重复代码一直是开发者的痛点。Spring框架提供的 JDBC模板（JdbcTemplate) 彻底改变了这一现状，它通过封装底层JDBC操作，让开发者仅需关注SQL逻辑&a…...

编程日记 2025/6/20 5:28:48

LCD电视LED背光全解析：直下式 vs 侧光式、全局调光 vs 局部调光与HDR体验

Abstract: This article explores the various types of LED backlighting used in televisions and monitors. It categorizes backlight systems based on structural design—direct-lit and edge-lit—as well as by dimming technology—global dimming and local dimmin…...

编程日记 2025/6/20 15:46:40