【实战 ES】实战 Elasticsearch:快速上手与深度实践-2.3.1 避免频繁更新(Update by Query的代价)
👉 点击关注不迷路
👉 点击关注不迷路
👉 点击关注不迷路
文章大纲
- Elasticsearch数据更新与删除深度解析:2.3.1 避免频繁更新(Update by Query的代价)
- 案例背景
- 1. `Update by Query`的内部机制解析
- 1.1 文档更新底层实现原理
- 1.2 更新操作资源消耗模型
- 2. 频繁更新引发的性能问题
- 2.1 分段(`Segment`)爆炸效应
- 2.2 版本控制开销
- 2.3 真实问题诊断数据
- 3. 真实场景压力测试数据
- 3.1 测试环境
- 3.2 不同更新频率对比(更新频率与性能衰减关系)
- 3.3 性能衰减曲线
- 4. 优化方案与替代策略
- 4.1 数据结构优化
- 4.2 写入模式改造
- 4.3 版本控制优化配置
- 5. 生产环境故障恢复实践
- 5.1 紧急止血方案
- 5.2 长期治理措施
- 5.3 效果验证
- 关键结论与最佳实践
- 避坑指南
- 终极解决方案
Elasticsearch数据更新与删除深度解析:2.3.1 避免频繁更新(Update by Query的代价)
案例背景
某物流追踪平台在业务升级后出现集群性能断崖式下降
:
- 数据规模:每日处理5亿条物流状态更新
- 更新模式:使用
_update_by_query
实时修改运单状态 - 问题表现:
- 写入吞吐量从12万ops/s暴跌至2.3万ops/s
- 查询延迟
P99
从180ms上升到2100ms - 磁盘
IOPS
持续保持98%以上
1. Update by Query
的内部机制解析
1.1 文档更新底层实现原理
- 关键特性对比(不同写操作资源消耗对比):
操作类型 | 写入放大系数 | 磁盘IO类型 | 是否触发Merge |
---|---|---|---|
Index (新建) | 1x | 顺序写入 | 低概率 |
Update (更新) | 3-5x | 随机读写混合 | 必然触发 |
Delete (删除) | 2-3x | 随机读+顺序写 | 中等概率 |
1.2 更新操作资源消耗模型
- 单次更新成本公式:
总消耗 = 读操作(获取原文) + 写操作(新文档) + 删除标记 + 版本更新≈ 2.5 × 文档大小 × 副本数
- 典型资源消耗比例:
- CPU消耗:比新建操作高
40-60%
- 磁盘IO:比新建操作高
300-500%
- 内存压力:需要维护版本映射表
- CPU消耗:比新建操作高
2. 频繁更新引发的性能问题
2.1 分段(Segment
)爆炸效应
- 更新操作对Lucene段的影响:
# 查看分段状态
GET /_cat/segments?v# 问题集群输出示例:
index shard prirep segment generation docs.count size.mb
logs-2023 0 p _6 1500000 350
logs-2023 0 p _7 800000 180 # 更新产生的分段
logs-2023 0 p _8 750000 170
- 分段异常特征:
- 小分段(<100MB)数量超过50个
- 单个分片分段总数超过100
- 存在大量
docs.deleted>30%
的分段
2.2 版本控制开销
- 版本号映射表内存消耗:
总内存消耗 ≈ 文档数 × 16 bytes × 副本数
- 对于1亿文档的索引:
16B × 100,000,000 × 2 = 3.2GB
2.3 真实问题诊断数据
// 节点性能分析
{// "io" 部分包含了与磁盘输入输出(I/O)操作相关的性能指标"io": {// "write_throughput" 表示磁盘的写入吞吐量,即单位时间内磁盘能够写入的数据量// 这里显示为 "450MB/s",但注释提示正常值应小于 200MB/s// 较高的写入吞吐量可能意味着系统正在进行大量的数据写入操作,可能会对磁盘性能造成较大压力"write_throughput": "450MB/s", // 正常值<200MB/s// "iowait_percent" 表示 CPU 等待磁盘 I/O 操作完成的时间占比// 这里的值为 98.7,意味着 CPU 大部分时间都在等待磁盘 I/O 操作,磁盘 I/O 可能成为系统的性能瓶颈// 高 iowait 可能会导致系统响应变慢,影响应用程序的性能"iowait_percent": 98.7},// "jvm" 部分包含了与 Java 虚拟机(JVM)相关的性能指标"jvm": {// "old_gc_count" 表示老年代垃圾回收(Old GC)的次数// 注释提示正常情况下老年代垃圾回收次数应小于 5 次/分钟// 这里显示为 35,说明老年代垃圾回收过于频繁// 频繁的老年代垃圾回收会导致系统停顿,影响应用程序的响应时间和吞吐量"old_gc_count": 35, // 正常<5次/分钟// "buffer_pools" 表示 JVM 中的缓冲区池信息"buffer_pools": {// "direct" 表示直接缓冲区池的使用情况// "4.2GB/5GB" 表示当前直接缓冲区池已使用 4.2GB 的内存,总容量为 5GB// 这反映了堆外内存的使用情况,较高的使用比例可能会导致堆外内存压力增大,甚至可能引发内存溢出错误"direct": "4.2GB/5GB" // 堆外内存压力}}
}
3. 真实场景压力测试数据
3.1 测试环境
组件 | 配置详情 |
---|---|
ES集群 | 3节点(16C64G NVMe SSD) |
测试数据集 | 1亿条物流数据(含15个字段) |
测试模式 | 持续30分钟混合负载(更新+查询) |
3.2 不同更新频率对比(更新频率与性能衰减关系)
更新频率 | 吞吐量(ops/s) | 磁盘IOPS | 段数量/分片 | GC停顿(s/min) |
---|---|---|---|---|
100次/秒 | 82,000 | 18,000 | 12 | 0.8 |
500次/秒 | 47,000 | 53,000 | 38 | 3.2 |
1000次/秒 | 19,000 | 89,000 | 71 | 6.5 |
2000次/秒 | 服务不可用 | 100% | 120+ | Full GC卡死 |
3.3 性能衰减曲线
Throughput (k ops/s)
100 ┤■■■■■■■■■■■■■■■■■■■■80 ┤■■■■■■■■■■■□□□□□□□□60 ┤■■■■■■■□□□□□□□□□□□□40 ┤■■■□□□□□□□□□□□□□□□□20 ┤□□□□□□□□□□□□□□□□□□□└───────────────────原始负载 更新+10% 更新+30% 更新+50%
- 吞吐量的单位是千操作每秒(k ops/s)
- 原始负载:对应柱状图高度达到 100 k ops/s 的柱子。这表明在原始负载的情况下,系统的吞吐量能够达到 100 千操作每秒,此时系统处于一个相对稳定且高效的处理状态。
- 更新 +10%:柱状图高度约为 80 k ops/s。当负载在原始基础上增加 10% 时,系统的吞吐量下降到了 80 千操作每秒。这可能是因为系统开始受到额外负载的影响,资源逐渐变得紧张,但仍能保持较高的处理能力。
- 更新 +50%:柱状图高度约为 40 k ops/s。当负载增加到原始负载的 50% 时,系统的吞吐量大幅下降到 40 千操作每秒。
这显示出系统在高负载下已经难以维持高效的处理能力,可能出现了性能瓶颈
,如 CPU 使用率过高、内存不足、磁盘 I/O 瓶颈等问题。
4. 优化方案与替代策略
4.1 数据结构优化
- 不可变数据模型设计:
- 在不可变数据模型里,一旦数据被写入 Elasticsearch,就不会再被修改。
- 若要更新数据,不会直接在原数据上操作,而是创建一条新的数据记录来替换旧的,旧数据仍然保留在系统中。
// 原始结构(可修改)
{"order_no": "20230809123456","status": "shipped","update_time": "2023-08-09T12:00:00"
}// 优化结构(不可变)
{"order_no": "20230809123456","status_history": [{"status": "created","time": "2023-08-09T10:00:00"},{"status": "shipped","time": "2023-08-09T12:00:00" }]
}
4.2 写入模式改造
- 事件溯源模式:
4.3 版本控制优化配置
# 调整索引配置
# 此操作是对名为 "orders" 的 Elasticsearch 索引进行配置调整,目的是优化索引的性能和功能,以适应特定的业务需求。
# PUT 请求用于更新资源,这里是更新 "orders" 索引的设置。PUT /orders/_settings
{"index": {# "refresh_interval" 用于设置索引的刷新间隔。# 索引刷新操作会将内存中的数据刷新到磁盘上,使其可以被搜索到。# 这里将刷新间隔设置为 "30s",即每隔 30 秒进行一次刷新操作。# 降低刷新频率可以减少磁盘 I/O 操作,提高索引性能,但会增加数据的可见延迟,即新写入的数据可能需要更长时间才能被搜索到。"refresh_interval": "30s", # 降低刷新频率# "number_of_replicas" 表示索引的副本数量。# 副本用于提高数据的可用性和可靠性,当主分片出现故障时,副本分片可以替代主分片继续提供服务。# 这里将副本数量设置为 0,意味着在写入数据时关闭副本。# 关闭副本可以减少写入时的同步开销,提高写入性能,但会降低数据的冗余性和可用性。在数据写入完成后,可以根据需要再将副本数量调整回来。"number_of_replicas": 0, # 写入时关闭副本# "soft_deletes" 用于配置软删除功能。# 软删除是指在删除文档时,并不立即从磁盘上物理删除文档,而是标记为已删除,以便后续可以恢复。"soft_deletes": {# "enabled": true 表示启用软删除功能。# 此功能从 Elasticsearch 7.0 版本开始支持,启用后可以在删除文档时保留文档的元数据,方便进行数据恢复和审计。"enabled": true, # 7.0+ 启用软删除# "retention_leases" 用于控制软删除文档的保留策略。"retention_leases": {# "enabled": true 表示启用保留租约控制。# 保留租约控制可以确保在指定的时间内,软删除的文档不会被物理删除,以便在需要时可以恢复这些文档。"enabled": true # 保留租约控制}}}
}
5. 生产环境故障恢复实践
5.1 紧急止血方案
# 第一步:限制更新速率# 此步骤的目的是对整个 Elasticsearch 集群的索引存储更新速率进行限制,避免因过高的写入速率导致磁盘 I/O 压力过大,影响集群的稳定性和性能。# PUT 请求用于更新集群的设置,这里更新的是集群的持久化设置,持久化设置会在集群重启后依然生效。PUT _cluster/settings
{"persistent": {# "indices.store.throttle.max_bytes_per_sec" 是一个集群级别的设置参数,用于限制索引存储时每秒允许的最大字节数。# 这里将其设置为 "50mb",意味着集群中所有索引在存储数据时,每秒写入磁盘的数据量不能超过 50 兆字节。"indices.store.throttle.max_bytes_per_sec": "50mb" }
}# 第二步:关闭副本加快 merge# 此步骤是为了在进行某些操作(如强制合并分段)时,提高操作的速度。因为副本的存在会增加数据同步和处理的开销,关闭副本可以减少这些额外的操作。# PUT 请求用于更新索引的设置,这里使用 /_all 表示对集群中的所有索引进行设置更新。
PUT /_all/_settings
{# "index.number_of_replicas" 用于设置索引的副本数量。# 这里将其设置为 0,即关闭所有索引的副本。这样在后续的强制合并分段操作中,就不需要考虑副本数据的同步问题,从而加快合并的速度。# 但需要注意的是,关闭副本会降低数据的冗余性和可用性,在操作完成后,建议根据实际需求恢复副本数量。"index.number_of_replicas": 0
}# 第三步:强制合并分段# 此步骤的主要目的是对名为 "orders" 的索引进行分段合并操作,以减少索引中的分段数量,提高查询性能。# 在 Elasticsearch 中,数据是以分段(Segment)的形式存储的,随着数据的不断写入和删除,分段数量会逐渐增多,这会增加查询的开销。# 通过强制合并分段,可以将多个小分段合并成较少的大分段,从而提高查询效率。# POST 请求用于触发强制合并操作。# /orders/_forcemerge 表示对 "orders" 索引执行强制合并操作。#?max_num_segments=10 是一个查询参数,指定合并后索引中分段的最大数量为 10。POST /orders/_forcemerge?max_num_segments=10
5.2 长期治理措施
- 三级更新策略:
更新类型 | 频率要求 | 实现方式 | 目标延迟 |
---|---|---|---|
实时型 | <1秒 | 应用层直接更新 | 500ms |
准实时型 | 1-5分钟 | Kafka +批量更新 | 3分钟 |
延迟型 | >30分钟 | Logstash 聚合更新 | 1小时 |
5.3 效果验证
- 优化前后核心指标对比:
指标 | 优化前 | 优化后 | 改善幅度 |
---|---|---|---|
写入吞吐量 | 19,000/s | 68,000/s | 258% |
段数量/分片 | 71 | 9 | 87% |
磁盘IOPS | 89,000 | 22,000 | 75% |
GC 停顿时间 | 6.5s/min | 1.2s/min | 81% |
关键结论与最佳实践
避坑指南
-
-
- 更新频率红线:单个分片每秒更新不超过50次
-
- 版本数监控:定期检查
_version
字段的统计分布
- 版本数监控:定期检查
-
- 分段健康度:控制每个分片分段数<50,单个分段>100MB
-
- 更新模式选择:
- 单字段更新 → 使用
Painless
脚本 - 多字段更新 → 整文档替换
状态变更 → 采用追加模式
-
终极解决方案
Lambda
架构实现:
相关文章:
【实战 ES】实战 Elasticsearch:快速上手与深度实践-2.3.1 避免频繁更新(Update by Query的代价)
👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 Elasticsearch数据更新与删除深度解析:2.3.1 避免频繁更新(Update by Query的代价)案例背景1. Update by Query的内部机制解析1.1 文档更…...
stable-diffusion-webui 加载模型文件
背景 stable-diffusion-webui 安装完毕后,默认的模型生成的效果图并不理想,可以根据具体需求加载指定的模型文件。国内 modelscope 下载速度较快,以该站为例进行介绍 操作步骤 找到指定的模型文件 在 https://modelscope.cn/models 中查找…...
BKA-CNN基于黑翅鸢算法优化卷积神经网络的数据多特征分类预测Matlab
BKA-CNN基于黑翅鸢算法优化卷积神经网络的数据多特征分类预测Matlab 目录 BKA-CNN基于黑翅鸢算法优化卷积神经网络的数据多特征分类预测Matlab分类效果基本介绍BKA-CNN基于黑翅鸢算法优化卷积神经网络的数据多特征分类预测一、引言1.1、研究背景和意义1.2、研究现状1.3、研究目…...
SparkStreaming之04:调优
SparkStreaming调优 一 、要点 4.1 SparkStreaming运行原理 深入理解 4.2 调优策略 4.2.1 调整BlockReceiver的数量 案例演示: object MultiReceiverNetworkWordCount {def main(args: Array[String]) {val sparkConf new SparkConf().setAppName("Networ…...
maven高级-05.私服
一.私服...
FFmpeg-chapter2-C++中的线程
1 常规的线程 一般常规的线程如下所示 // CMakeProject1.cpp: 定义应用程序的入口点。 //#include "CMakeProject1.h" #include <thread> using namespace std;void threadFunction(int index) {for (int i 0; i < 1000; i){std::cout << "Th…...
【前端】简单原生实例合集html,css,js
长期补充,建议关注收藏点赞。 目录 a标签设置不一样的花样(图片但不用img)侧边固定box分栏input各种类型iframe表单拖拽 a标签设置不一样的花样(图片但不用img) a标签里面不用嵌套img,直接设置为其bg-img即可 <!DOCTYPE html…...
Linux下的shell指令(一)
作业 1> 在终端提示输入一个成绩,通过shell判断该成绩的等级 [90,100] : A [80, 90) : B [70, 80) : C [60, 70) : D [0, 60) : 不及格 #!/bin/bash read -p "请输入学生成绩:" score if [ "$score" -ge 90 ] && [ "$scor…...
AJAX介绍
XMLHttpRequest get请求使用 const xhr new XMLHttpRequest(); xhr.open("GET", "/data/test.json", true); xhr.onreadystatechange function () {if (xhr.readyState 4) {if (xhr.status 200) {alert(xhr.responseText);} else {console.log("…...
Serilog: 强大的 .NET 日志库
Serilog 是一个功能强大的日志记录库,专为 .NET 平台设计。它提供了丰富的 API 和可插拔的输出器及格式化器,使得开发者能够轻松定制和扩展日志记录功能。在本文中,我们将探索 Serilog 的基础知识、API 使用、配置和一些常见的示例。 1. 日志…...
串口通讯基础
第1章 串口的发送和接收过程 1.1 串口接收过程 当上位机给串口发送(0x55)数据时,MCU的RX引脚接受到(0x55)数据,数据(0x55)首先进入移位寄存器。数据全部进入移位寄存器后,一次将(0x55)全部搬运…...
SSL证书和HTTPS:全面解析它们的功能与重要性
每当我们在互联网上输入个人信息、进行在线交易时,背后是否有一个安全的保障?这时,SSL证书和HTTPS便扮演了至关重要的角色。本文将全面分析SSL证书和HTTPS的含义、功能、重要性以及它们在网络安全中的作用。 一、SSL证书的定义与基本概念 S…...
全国青少年航天创新大赛各项目对比分析
全国青少年航天创新大赛各项目对比分析 一、比赛场地对比 项目名称场地尺寸场地特点组别差异筑梦天宫虚拟三维场景动态布局,小学组3停泊处,初高中组6停泊处;涉及传送带、机械臂、传感器等虚拟设备。初中/高中组任务复杂度更高,运…...
低空监视-无人机专用ADS-B应答机
产品简介 ping200XR是经过TSO适航认证的无人机专用ADS-B应答机,用于中大型无人机的低空监视。将经过认证的航空级航电设备引入无人机系统。该应答机支持航管二次雷达A,C/S模式和ADS-B OUT。重量仅52克满足无人机所面临的尺寸、重量、功耗的挑战…...
【linux】文件与目录命令 - sort
文章目录 1. 基本用法2. 常用参数3. 用法举例4. 注意事项 sort 命令用于对文本文件中的行进行排序,支持按字母顺序、数值大小、特定字段等方式进行排序。默认按字母顺序升序排序。 1. 基本用法 语法: sort [选项] 文件 sort [选项] -o 输出文件 文件功能…...
【工具推荐】在线提取PDF、文档、图片、论文中的公式
网址1:https://simpletex.cn/ai/latex_ocr 网址2: https://www.latexlive.com/home 推荐理由:无需下载,在线使用,直接 截图 CTRLV 效果更佳。...
大模型在垂直行业的落地实践:从通用到定制化的技术跃迁
大模型在垂直行业的落地实践:从通用到定制化的技术跃迁 一、通用大模型的局限性:从 “全能” 到 “专精” 的转型挑战 通用大模型,如 GPT 系列,凭借其强大的自然语言处理能力,在文本生成、语义理解、机器翻译等基础任…...
FPGA开发,使用Deepseek V3还是R1(1):应用场景
以下都是Deepseek生成的答案 FPGA开发,使用Deepseek V3还是R1(1):应用场景 FPGA开发,使用Deepseek V3还是R1(2):V3和R1的区别 FPGA开发,使用Deepseek V3还是R1&#x…...
Docker概念与架构
文章目录 概念docker与虚拟机的差异docker的作用docker容器虚拟化 与 传统虚拟机比较 Docker 架构 概念 Docker 是一个开源的应用容器引擎。诞生于 2013 年初,基于 Go 语言实现。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中…...
算法之数据结构
目录 数据结构 数据结构与算法面试题 数据结构 《倚天村 • 图解数据结构》 | 小傅哥 bugstack 虫洞栈 ♥数据结构基础知识体系详解♥ | Java 全栈知识体系 线性数据结构 | JavaGuide 数据结构与算法面试题 数据结构与算法面试题 | 小林coding...
Mysql学习笔记(六)Django连接MySQL
一、Django中的MySQL驱动程序 Python中常见的MySQL驱动程序: MySQL-python:就是MySQLdb,是对C语言操作MySQL的封装,支持Python2,不支持Python3mysqlclient:MySQL-python的另一个分支,支持Python3pymysql&am…...
手机号码归属地的实现
手机号码归属地查询一般可以通过以下几种方式实现: 1. 使用公开的号码归属地数据库 可以使用国内的手机号码归属地数据库,如: 百度号码归属地开放API阿里云号码归属地API腾讯号码归属地API 你可以在本地存储一个 CSV 或 SQLite 数据库&…...
本地部署 DeepSeek:从 Ollama 配置到 Spring Boot 集成
前言 随着人工智能技术的迅猛发展,越来越多的开发者希望在本地环境中部署和调用 AI 模型,以满足特定的业务需求。本文将详细介绍如何在本地环境中使用 Ollama 配置 DeepSeek 模型,并在 IntelliJ IDEA 中创建一个 Spring Boot 项目来调用该模型…...
2025年渗透测试面试题总结- 阿某云安全实习(题目+回答)
网络安全领域各种资源,学习文档,以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具,欢迎关注。 目录 阿里云安全实习 一、代码审计经验与思路 二、越权漏洞原理与审计要点 三、SSRF漏洞解析与防御 四、教…...
WHAT - 前端异步事件流处理场景梳理
目录 一、典型场景二、解决方案与技术选型1. 基础异步控制2. 状态管理方案3. 复杂任务调度4. 任务取消机制5. 微任务队列优化 三、最佳实践建议四、工具链推荐 前端异步任务流处理是现代Web开发中常见的需求,尤其在复杂业务逻辑、高交互性应用中不可或缺。以下是常见…...
PHP 包含(Include)机制详解
PHP 包含(Include)机制详解 在PHP编程中,include和require是两个非常基础的函数,用于在脚本中包含其他文件。它们在模块化编程中发挥着至关重要的作用,使得代码更易于维护和扩展。本文将详细介绍PHP的包含机制,包括其工作原理、使用方法以及最佳实践。 一、PHP 包含机制…...
Metal学习笔记十:光照基础
光和阴影是使场景流行的重要要求。通过一些着色器艺术,您可以突出重要的对象、描述天气和一天中的时间并设置场景的气氛。即使您的场景由卡通对象组成,如果您没有正确地照亮它们,场景也会变得平淡无奇。 最简单的光照方法之一是 Phong 反射模…...
MongoDB 高级索引
MongoDB 高级索引 摘要 在数据库管理中,索引是提高查询效率的关键因素。MongoDB,作为一款流行的NoSQL数据库,其索引功能尤为强大。本文将深入探讨MongoDB的高级索引特性,包括复合索引、部分索引、文本索引、地理空间索引等,旨在帮助数据库管理员和开发者更好地利用Mongo…...
从DNS到TCP:DNS解析流程和浏览器输入域名访问流程
1 DNS 解析流程 1.1 什么是DNS域名解析 在生活中我们会经常遇到域名,比如说CSDN的域名www.csdn.net,百度的域名www.baidu.com,我们也会碰到IP,现在目前有的是IPV4,IPV6。那这两个有什么区别呢?IP地址是互联网上计算机…...
【JQuery—前端快速入门】JQuery 基础语法
JQuery JQuery是一个快速、简洁且功能丰富的JavaScript框架; 1. 引入依赖 使用JQuery需要先引入对应的库; 在使用 JQuery CDN 时,只需要在 HTML 文档中加入如下代码 <script src"https://code.jquery.com/jquery-3.7.1.min.js"></s…...
即梦AI发布新数字人模型OmniHuman-1
简介 随着人工智能技术的发展,特别是深度学习和自然语言处理的进步,AI在内容创作领域的应用越来越广泛。字节跳动作为一家领先的科技公司,一直在探索如何利用AI技术来提升用户体验和创造力。OmniHuman-1模型正是在这种背景下诞生的ÿ…...
ARM CM3核 压栈流程
STM32F103 使用 ARM Cortex-M3 内核,与 STM32F013(Cortex-M0)相比,其压栈行为有所不同,主要体现在异常自动压栈和**手动压栈(函数调用)**两方面。 1. 进入异常/中断时的自动压栈 当 STM32F103 …...
WHAT - RxJS 异步事件流处理
目录 RxJS 关键概念简单示例常用操作符1. 创建 Observables2. 转换操作符(map)3. 过滤操作符(filter)4. 合并多个流(mergeMap) 适用于 React & TypeScriptReact 组件中使用 RxJS RxJS 是一个用于处理异…...
vue组合式API中prop
*一、了解(事件与$emit) 一个组件需要显示声明它所接受的props,这样才知道外部传入的那些是props,那些是透传attribute。 在<script setup>单文件组件中,props可以使用defineProps()宏来声明,defineProps 是一个仅 <script setup> 中可用的编译宏命令,并不需…...
【HarmonyOS Next】自定义Tabs
背景 项目中Tabs的使用可以说是特别的频繁,但是官方提供的Tabs使用起来,存在tab选项卡切换动画滞后的问题。 原始动画无法满足产品的UI需求,因此,这篇文章将实现下面页面滑动,tab选项卡实时滑动的动画效果。 实现逻…...
算法 并查集
目录 前言 一 并查集的思路 二 并查集的代码分析 三 实操我们的代码 四 并查集的代码优化 总结 前言 并查集主要是用来求解集合问题的,用来查找集合还有就是合并集合,可以把这个运用到最小生成树里面 一 并查集的思路 1 并查集的相关的操作…...
EP 架构:未来主流方向还是特定场景最优解?
DeepSeek MoE架构采用跨节点专家并行(EP)架构,在提升推理系统性能方面展现出巨大潜力。这一架构在发展进程中也面临诸多挑战,其未来究竟是会成为行业的主流方向,还是仅适用于特定场景,成为特定领域的最优解…...
记忆化搜索与动态规划:原理、实现与比较
记忆化搜索和动态规划是解决优化问题的两种重要方法,尤其在处理具有重叠子问题和最优子结构性质的问题时非常有效。 目录 1. 记忆化搜索(Memoization) 定义: 实现步骤: 示例代码(斐波那契数列࿰…...
LLMR//https://github.com/microsoft/llmr?locale=zh-cn
https://github.com/microsoft/llmr?localezh-cn Introduction 这个 repo 包含 LLMR 中描述的代码,实现了混合现实框架的大型语言模型。 此软件包是“用语言创造世界”的原型,它允许通过自然语言实时创建具有视觉、行为和交互元素的对象、工具和场景…...
Free Auto Clicker - 在任意位置自动重复鼠标点击
“想让鼠标自己动起来,解放双手去做更有趣的事?”Free Auto Clicker 就像你的数字小助手,能在任意位置自动重复点击鼠标。从玩游戏到刷网页,这款免费工具让你告别枯燥的重复操作,效率瞬间起飞! 你有没有想…...
高考數學。。。
2024上 具体来说,直线的参数方程可以写为: x1t y−t z1t 二、简答题(本大题共5小题,每小题7分,共35分。) 12.数学学习评价不仅要关注结果评价,也要关注过程评价。简要说明过程评价应关注哪几个方面。…...
MWC 2025|紫光展锐联手美格智能发布5G通信模组SRM812
在2025年世界移动通信大会(MWC 2025)期间,紫光展锐携手美格智能正式推出了基于紫光展锐V620平台的第二代5G Sub6G R16模组SRM812,以超高性价比方案,全面赋能合作伙伴,加速5G规模化应用在各垂直领域的全面落…...
5分钟快速搭建一个 SpringBoot3 + MyBatis-Plus 工程项目
环境 idea 2023.3.5 jdk 17 mysql 8 创建SpringBoot工程 创建SpringBoot工程,这里有两种方式可选,一种是使用idea提供的Spring Initializr自动创建,一种是通过Maven Archetype手动创建 自动创建SpringBoot工程 使用Spring Initializr创建…...
深度学习-大白话解释循环神经网络RNN
目录 一、RNN的思想 二、RNN的基本结构 网络架构 关键点 三、RNN的前向传播 四、RNN的挑战:梯度爆炸和梯度消失 问题分析 示例推导 五、LSTM:RNN的改进 核心组件 网络架构 3. LSTM 的工作流程 4. 数学公式总结 5. LSTM 的优缺点 优点 缺点 6. LSTM 的…...
20.<Spring图书管理系统①(登录+添加图书)>
PS:关于接口定义 接口定义,通常由服务器提供方来定义。 1.路径:自己定义 2.参数:根据需求考虑,我们这个接口功能完成需要哪些信息。 3.返回结果:考虑我们能为对方提供什么。站在对方角度考虑。 我们使用到的…...
windows下使用Hyper+wsl实现ubuntu下git的平替
文章目录 前言一、安装Hyper、wsl1. 安装Hyper2. 安装wsl 二、配置Hyper三、安装并使用git总结 前言 众所周知,Ubuntu下安装git只需执行sudo apt install git即可使用默认终端拉取代码,但是Windows上使用git既没有linux便捷,又没有MacOS优雅…...
Python在实际工作中的运用-提取Pdf文件内容
Pdf文件是我们日常工作中经常会遇到的一种文件格式,对于这种文件的提取 pdfplumber 库可以非常出色的完成处理工作,它是一个纯 Python 第三方库,适合 python 3.x 版本,通常用来查看pdf各类信息,能有效提取文本、表格&…...
Python+Vue+数据可视化的考研知识共享平台(源码+论文+讲解+安装+调试+售后)
感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,我会一一回复,希望帮助更多的人。 程序介绍 近些年来,科技以一种近乎狂飙突进的态势呈爆发式发展,成果之丰硕…...
VirtualBox虚拟机MacOS从Big Sur升级到Sequoia(失败)
VirtualBox虚拟机里安装好Big Sur版本,尝试升级到Sequoia,但是最终失败了。 软件升级 直接在系统偏好-软件更新里可以看到提示,提示可以升级到15版本Sequoia 点击同意,看能不能升级到Sequoia吧。升级前先用时光做了备份。 升级…...
深度学习---卷积神经网络
一、卷积尺寸计算公式 二、池化 池化分为最大池化和平均池化 最常用的就是最大池化,可以认为最大池化不需要引入计算,而平均池化需要引出计算(计算平均数) 每种池化还分为Pooling和AdaptiveAvgPool Pooling(2)就是每2*2个格子…...