当前位置：首页 > news >正文

HNSW（Hierarchical Navigable Small World，分层可导航小世界）用来高效搜索高维向量的最近邻

news 来源：原创 2025/6/29 20:39:50

HNSW（Hierarchical Navigable Small World，分层可导航小世界）是一种用于 高效最近邻搜索（ANN, Approximate Nearest Neighbors） 的索引结构，专门用于在 高维向量（比如文本、图像、音频的嵌入向量）中快速找到相似项。

HNSW 索引的核心思想

HNSW 主要是基于 图（Graph） 结构来加速搜索，它的核心理念有两个：

小世界网络（Small World Network）：
- 现实世界中很多网络（比如社交网络）都遵循 小世界性质——每个节点的连接是局部的，但通过少数几个跳跃就能快速遍历整个网络。
- HNSW 采用这种结构，把数据点看成网络中的“节点”，用边来连接相似的点，从而减少搜索路径。
分层导航（Hierarchical Navigable）：
- 直接在 所有点之间搜索 会很慢，所以 HNSW 采用 多层索引结构，类似“金字塔”：
  - 最上层（顶层）：节点少但彼此连接很远，帮助快速跳跃到大致位置。
  - 中间层：节点越来越多，连接范围缩小，引导更精准搜索。
  - 最底层：包含所有数据点，在这里进行精确搜索。
- 这样做的好处是 从上往下搜索时，每次都能缩小范围，避免盲目遍历所有数据点，提高搜索效率。

HNSW 搜索过程

假设你想在 HNSW 索引中查找一个目标向量的最近邻（最相似的向量）：

从最上层开始，找到一个大致接近的点（相当于在地图上先找到目标的大概位置）。
逐层向下，寻找更精确的匹配，每层都会选择最接近目标的点作为新的起点，直到到达最底层。
在最底层，进行精确最近邻搜索，找到最终最相似的 k 个点。

这个过程类似于 从高空看地图，先找到大致的城市（上层），然后逐步缩小到街道（中层），最终精确到具体的地址（底层）。

HNSW 索引的优点

搜索速度快：
- 传统方法（如暴力搜索）需要 遍历所有点，计算相似度，时间复杂度是 O(N)。
- HNSW 通过分层索引和小世界图结构，只需要 O(logN) 或更少的时间，搜索更快。
支持高维数据：
- 适用于 文本嵌入（768 维）、图像特征（2048 维）等高维向量，比 KD-Tree 等传统索引方法效果更好。
近似搜索（ANN）：
- HNSW 不是精确最近邻搜索，而是“近似最近邻搜索”，即 牺牲一点准确率 来换取极快的查询速度，通常在 搜索效率和准确率之间达到平衡。

HNSW 在实际应用中的场景

搜索相似文本（例如语义搜索、文档检索）
查找相似图片（例如人脸识别、内容推荐）
语音识别（将语音转为向量后搜索匹配的声音片段）
推荐系统（根据用户喜好找到最相似的内容）

总结

HNSW 本质上是一个“分层 + 小世界图”的索引结构，用来高效搜索高维向量的最近邻。
相比传统方法，它 更快、更适合高维数据、能很好地平衡搜索速度和准确率，因此在 AI 领域应用广泛，比如 文本搜索、图像检索、人脸识别、推荐系统 等。

你可以把 HNSW 想象成一个超高效的 GPS 导航系统，它通过 逐层缩小范围，快速找到离目标最近的点，而不是傻傻地遍历所有数据点。 🚀

HNSW（Hierarchical Navigable Small World，分层可导航小世界）用来高效搜索高维向量的最近邻

HNSW（Hierarchical Navigable Small World，分层可导航小世界）是一种用于高效最近邻搜索（ANN, Approximate Nearest Neighbors） 的索引结构，专门用于在高维向量（比如文本、图像、音频的嵌入向量…...

编程日记 2025/6/29 20:39:50

STM32 CAN学习（一）

CAN总线应用最多的是汽车领域。 CAN（Controller Area Network）控制器局域网局域网：把几台电脑连接到一台路由器上，这几台电脑就可以进行通讯了。控制器在汽车中的专业术语叫做ECU（Electronic Control Unit&…...

编程日记 2025/6/28 1:21:15

高效内存位操作：如何用C++实现数据块交换的性能飞跃？

「性能优化就像考古，每一层都有惊喜」—— 某匿名C工程师文章目录问题场景：当内存操作成为性能瓶颈性能深潜：揭开内存操作的面纱内存访问的三重代价原始方案的性能缺陷性能突破：从编译器视角重构代码方案一：指针魔法…...

编程日记 2025/6/29 20:32:59

Spring Boot向Vue发送消息通过WebSocket实现通信

后端实现步骤添加Spring Boot WebSocket依赖配置WebSocket端点和消息代理创建控制器，使用SimpMessagingTemplate发送消息前端实现步骤安装sockjs-client和stompjs库封装WebSocket连接工具类在Vue组件中建立连接，订阅主题详细实现步骤后端&…...

编程日记 2025/6/29 19:39:30

USB转串口数据抓包--Bus hound

Bus Hound是一款强大的总线分析工具。 Bus Hound 支持哪些设备 ? 所有的 IDE ， SCSI ， USB 和 1394 设备都得到支持，包括磁盘驱动器，鼠标、扫描仪，网络摄像头，等等。只要是枚举成以上所列的总线类型的…...

编程日记 2025/6/28 4:13:52

Android 使用CameraX实现预览、拍照、录制视频（Java版）

Android 官方关于相机的介绍如下： https://developer.android.google.cn/media/camera/get-started-with-camera?hlzh_cn 一、开始使用 Android 相机 Android相机一般包含前置摄像头和后置摄像头，使用相机可以开发一系列激动人心的应用，例…...

编程日记 2025/6/28 21:39:03

【已解决】Javascript setMonth跨月问题；2025-03-31 setMonth后变成 2025-05-01

文章目录 bug重现解决方法：用第三方插件来实现（不推荐原生代码来实现）。项目中用的有dayjs。若要自己实现，参考 AI给出方案： bug重现今天（2025-04-01）遇到的一个问题。原代码逻辑大概是这样的…...

编程日记 2025/6/29 20:27:42

DeepSeek技术架构解析：MLA多头潜在注意力

一、前言我们上一篇已经讲了 DeepSeek技术架构解析：MoE混合专家模型这一篇我们来说一说DeepSeek的创新之一：MLA多头潜在注意力。 MLA主要通过优化KV-cache来减少显存占用，从而提升推理性能。我们知道这个结论之前，老周带大家…...

编程日记 2025/6/29 20:21:16

02.02、返回倒数第 k 个节点

02.02、[简单] 返回倒数第 k 个节点 1、题目描述实现一种算法，找出单向链表中倒数第 k 个节点。返回该节点的值。 2、题解思路本题的关键在于使用双指针法，通过两个指针（fast 和 slow），让 fast 指针比 slow 指针…...

编程日记 2025/6/28 6:39:29

剑指Offer（数据结构与算法面试题精讲）C++版——day2

剑指Offer（数据结构与算法面试题精讲）C++版——day2 题目一：只出现一次的数据题目二：单词长度的最大乘积题目三：排序数组中的两个数字之和题目一：只出现一次的数据一种很简单的思路是，使用数组存储出现过的元素，比如如果0出现过，那么arr[0]=1，但是有个问题，题目中没…...

编程日记 2025/6/28 6:42:15

nginx的自动跳转https

mkdir /usr/local/nginx/certs/ 创建一个目录然后用openssl生成证书编辑nginx的配置文件自动跳转成功做一个优化，如果访问的时候后面加了其他的uri也一起自动跳转了...

编程日记 2025/6/28 6:44:54

正则表达式（Regular Expression，简称 Regex）

一、5w2h（七问法）分析正则表达式是的，5W2H 完全可以应用于研究正则表达式（Regular Expressions）。通过回答 5W2H 的七个问题，我们可以全面理解正则表达式的定义、用途、使用方法、适用场景等&#xff0c…...

编程日记 2025/6/28 1:22:32

Windows下在IntelliJ IDEA 使用 Git 拉取、提交脚本出现换行符问题

文章目录背景问题拉取代码时提交代码时问题原因解决方案1.全局配置 Git 的换行符处理策略2.在 IntelliJ IDEA 中配置换行符3.使用 .gitattributes 文件背景在 Windows 系统下使用 IntelliJ IDEA 进行 Git 操作（如拉取和提交脚本）时，经常…...

编程日记 2025/6/29 20:36:21

Python 实现的运筹优化系统代码详解(整数规划问题)

一、引言在数学建模的广袤领域里，整数规划问题占据着极为重要的地位。它广泛应用于工业生产、资源分配、项目管理等诸多实际场景，旨在寻求在一系列约束条件下，使目标函数达到最优（最大或最小）且决策变量取整数值的解决…...

编程日记 2025/6/28 2:58:47

conda安装python 遇到 pip is configured with locations that require TLS/SSL问题本质解决方案

以前写了一篇文章，不过不是专门为了解决这个问题的，但是不能访问pip install 不能安装来自https 协议的包问题几乎每次都出现，之前解决方案只是治标不治本 https://blog.csdn.net/wangsenling/article/details/130194456https…...

编程日记 2025/6/29 5:50:10

嘿嘿，好久不见

2025年4月2日，6~22℃，一般遇见的事：参加了曲靖的事业单位D类考试。感受到的情绪：考场一半的人都没有到位，这路上你到了可能都会受到眷顾。反思：这路上很难，总有人会提前放弃，不…...

编程日记 2025/6/27 21:10:33

virsh 的工作原理

virsh是用于管理虚拟化环境中的客户机和Hypervisor的命令行工具。它基于libvirt管理API构建，与virt-manager等工具类似，都是通过调用libvirt API来实现虚拟化的管理。virsh是完全在命令行文本模式下运行的用户态工具，因此它是系统管理员通过脚…...

编程日记 2025/6/28 5:49:20

Qt实现HTTP GET/POST/PUT/DELETE请求

引言在现代应用程序开发中，HTTP请求是与服务器交互的核心方式。Qt作为跨平台的C框架，提供了强大的网络模块（QNetworkAccessManager），支持GET、POST、PUT、DELETE等HTTP方法。本文将手把手教你如何用Qt实现这些请求&a…...

编程日记 2025/6/29 14:32:35

（041）05-01-自考数据结构（20331）树与二叉树大题总结

实际考试中，计算题约占40%，推理题约占30%，算法设计题约占30%。建议重点练习遍历序列相关的递归分治解法，知识拓扑知识点介绍一、计算题类型与解法 1. 结点数量计算题型示例：已知一棵完全二叉树的第6层有8个叶子结点，求该二叉树最多有多少个结点？解法步骤：完…...

编程日记 2025/6/28 6:36:37

WPS JS宏编程教程（从基础到进阶）-- 第三部分：JS宏编程语言开发基础

第三部分：JS宏编程语言开发基础 @[TOC](第三部分：JS宏编程语言开发基础)**第三部分：JS宏编程语言开发基础**1. 变量与数据类型**变量声明：三种方式****示例代码****数据类型判断****实战：动态处理单元格类型**2. 运算符全解析**算术运算符****易错点：字符串拼接 vs 数值相…...

编程日记 2025/6/28 6:11:25

迈向云原生：理想汽车 OLAP 引擎变革之路

在如今数据驱动的时代，高效的分析引擎对企业至关重要。理想汽车作为智能电动汽车的领军企业，面临着海量数据分析的挑战。本文将展开介绍理想汽车 OLAP 引擎从存算一体向云原生架构演进的变革历程，以及在此过程中面临的挑战，以及是…...

编程日记 2025/6/28 4:43:20

Spark，HDFS客户端操作

hadoop客户端环境准备找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\hadoop-3.1.0） ① 打开环境变量 ② 在下方系统变量中新建HADOOP_HOME环境变量,值就是保存hadoop的目录。效果如下： ③ 配置Path…...

编程日记 2025/6/28 4:07:51

QuecPython 的 VScode 环境搭建和使用教程

为方便开发者使用 VSCode 开发 QuecPython，QuecPython 团队特推出了名为 QuecPython 的 VSCode 插件。插件目前支持的功能有： 固件烧录REPL 命令交互代码补全文件传输文件系统目录树运行指定脚本文件目前支持所有QUecPython系列模组。插件安装点…...

编程日记 2025/6/28 2:58:17

Linux Vim 编辑器的使用

Vim 编辑器的使用一、安装及介绍二、基础操作三、高级功能四、配置与插件一、安装及介绍 Vim是一款强大且高度可定制的文本编辑器，相当于 Windows 中的记事本。具备命令、插入、底行等多种模式。它可通过简单的键盘命令实现高效的文本编辑、查找替换、分屏操作等…...

编程日记 2025/6/28 1:22:26

Java 基础-28- 多态 — 多态下的类型转换问题

在 Java 中，多态（Polymorphism）是面向对象编程的核心概念之一。多态允许不同类型的对象通过相同的方法接口进行操作，而实际调用的行为取决于对象的实际类型。虽然多态提供了极大的灵活性，但在多态的使用过程中&#xf…...

编程日记 2025/6/28 3:49:59

机器学习中的自监督学习概述与实现过程

概述机器学习中有四种主要学习方式： 监督式学习 (Supervised Learning)：这种学习方式通过使用带有标签的数据集进行训练，目的是使机器能够学习到数据之间的关联性，并能够对新的、未见过的数据做出预测或分类。应用领域包括语音识…...

编程日记 2025/6/28 4:02:19

AI Agent开发大全第十四课-零售智能导购智能体的RAG开发理论部分

开篇经过前面的一些课程，我们手上已经积累了各种LLM的API调用、向量库的建立和使用、embedding算法的意义和基本使用。这已经为我们具备了开发一个基本的问答类RAG的开发必需要素了。下面我们会来讲一个基本问答类场景的RAG，零售中的“智能导购”场景。智能导购大家先…...

编程日记 2025/6/28 3:19:08

Git相关笔记1 - 本地文件上传远程仓库

Git相关笔记目录 Git相关笔记Git上传相关文件第一步创建一个仓库：第二步本地创建空文件夹：第三步开始在gitbush上传文件：解决外网网络连接的问题：中文文件的编码问题：参考资料 Git上传相关文件第一步创建一个仓库&a…...

编程日记 2025/6/28 4:44:34

机器学习算法

目录行向量与列向量信息论 Logistic回归支持向量机SVM 核函数： 决策树 Decision Tree CART决策树 ID3 决策树 C4.5 决策树决策树的过拟合问题回归树 ***仅做复习需要，若侵权请及时联系我行向量与列向量行向量：是一个横…...

编程日记 2025/6/28 5:36:05

学习记录706@微信小程序+springboot项目真机测试 WebSocket错误: {errMsg: Invalid HTTP status.}连接不上

我微信小程序springboot项目真机测试 websocket 总是报错 WebSocket错误: {errMsg: Invalid HTTP status.}，总是连接不上，但是开发者工具测试就没有问题。最后解决方案是编码token，之前是没有编码直接拼接的，原因不详。 consol…...

编程日记 2025/6/28 1:22:36

SSH服务

一、准备 #请说明以下服务对应的端口号或者端口对应的服务 ssh 22 telnet 23 http 80 https 443 ftp 20 21 RDP 3389 mysql 3306 redis 6379 zabbix 10050 10051 elasticsear…...

编程日记 2025/6/28 4:22:04

GitHub上免费学习工具的精选汇总

以下是GitHub上免费学习工具的精选汇总，涵盖编程语言、开发框架、数据科学、面试准备等多个方向，结合工具的功能特点、社区活跃度及适用场景进行分类推荐： 一、编程语言与开发框架 Web Developer Roadmap 简介：为开发者提供全栈学…...

编程日记 2025/6/28 3:30:14

2025.4.1总结

今天看了一部网上很火的记录片《God，my brother》，中文名为《上帝不如我兄弟》，简述的是一个自媒体博主杜克遇到孟加拉一哥(车夫），最终一哥在杜克的帮助下，成功实现阶级跨越，而杜克也因此成为百…...

编程日记 2025/6/27 12:55:37

MySQL日志管理

目录查询日志慢查询日志错误日志二进制日志其他功能查询日志查询日志用来记录所有查询语句的信息，由于开启此日志会占用大量内存，所以一般不会开启查看查询日志是否开启开启查询日志慢查询日志用于性能的调优，查看执行速度超…...

编程日记 2025/6/28 4:21:45

vscode中的【粘滞滚动】的基本概念和作用，关闭了以后如何开启

1、粘滞滚动的基本概念和作用 ‌VSCode中的“粘滞”功能主要是指编辑器在滚动时的一种特殊效果，使得编辑器在滚动到某个位置时会“粘”在那里，而不是平滑滚动到底部或顶部。‌ 粘滞滚动的基本概念和作用粘滞滚动功能可以让用户在滚动时更直观地看到当前…...

编程日记 2025/6/29 2:11:21

我用Axure画了一个富文本编辑器，还带交互

最近尝试用Axure RP复刻了一个富文本编辑器，不仅完整还原了工具栏的各类功能，还通过交互设计实现了接近真实编辑器操作体验。整个设计过程聚焦功能还原与交互流畅性，最终成果令人惊喜。编辑器采用经典的三区布局：顶部工具栏集成了…...

编程日记 2025/6/29 16:35:20

Mysql之Redo log（Red log of MySQL）

Mysql之Redo log 数据库事务的4个特性之一的持久性是数据库保证数据一致性的关键，mysql为了确保事务在系统崩溃后也能恢复，引入了redo log 重做日志这一机制。什么是redo log 持久性指的是一旦事务提交数据就要永久的保存到数据库中，不能…...

编程日记 2025/6/28 5:32:55

Spring Cloud ReactorServiceInstanceLoadBalancer 自定义负载均衡

自定义负载均衡类 import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.springframework.beans.factory.ObjectProvider; import org.springframework.cloud.client.ServiceInstance; import org.springframework.cloud.client…...

编程日记 2025/6/28 4:32:52

HNSW 索引的核心思想

HNSW 搜索过程

HNSW 索引的优点

HNSW 在实际应用中的场景

总结

相关文章：