当前位置：首页 > news >正文

向量数据库实践：存储和检索向量数据

news 来源：原创 2025/6/26 4:26:27

向量数据库是一种专门设计用于存储和检索向量嵌入的数据库系统，能够支持语义搜索、推荐系统、图像识别等 AI 应用场景。

下面将详细介绍向量数据库中向量数据的存储和检索原理及实际应用，希望对各位读者有所帮助。

一. 向量数据的存储与检索流程

在向量数据库中，存储和检索向量数据的过程通常涉及以下几个关键步骤：

1. 向量化数据

首先，为了将数据存储为向量，必须将原始数据（文本、图片或音频等）转化为向量表示。这个过程通常由嵌入（embedding）模型完成：

文本数据：使用BERT、Word2Vec、MiniLM等预训练模型将文本转换为固定长度的向量
图像数据：使用卷积神经网络（CNN）等模型提取特征，将图片转化为向量
音频数据：使用专门的音频特征提取模型将声音信号转换为向量

这些向量通常是高维的（例如512维、768维等），并且能够捕捉数据的语义信息。

2. 存储向量

一旦数据被向量化，它们将被存储在向量数据库中。不同的向量数据库有不同的存储方式，但通常都支持以下功能：

向量的持久化存储：向量被存储在数据库的专门表或集合中，每个向量都有唯一ID，并与其他元数据（如原始文本、图片标签等）关联
高效存储格式：为提高存储效率和检索性能，很多向量数据库会对向量进行压缩，减少存储占用
分布式存储：对于大规模数据集，向量数据库采用分布式架构，将向量数据分布到多个节点中，确保大数据量的可靠存储和高效访问

3. 建立索引

由于向量数据通常是高维的，直接在原始数据上进行检索非常低效。因此，向量数据库会通过构建高效的索引结构来加速检索过程。常见的索引结构包括：

LSH（局部敏感哈希）：通过将向量映射到低维空间，快速找到相似的向量
HNSW（层次化Navigable小世界图）：一种图结构，可以高效地在向量空间中进行最近邻搜索
IVF（倒排文件）：通过对向量进行分组，并为每组构建索引，减少搜索范围，提高检索效率
开源索引库：如Facebook的FAISS，专为大规模向量检索而设计，提供了高效的索引方法

这些索引结构可以大大提高检索性能，尤其是在高维空间中。

4. 检索向量

在检索时，数据库会根据查询向量与存储向量之间的相似度进行比较。常用的相似度计算方法有：

余弦相似度：常用于文本数据，计算两个向量的夹角，夹角越小，相似度越高
欧氏距离：计算两向量之间的欧氏距离，距离越小，表示越相似
曼哈顿距离、内积等：根据不同场景，也可以使用其他度量方法

在实际操作中，向量数据库会先通过索引结构找到与查询向量相似度较高的向量集合，再通过精确计算返回最终结果。

5. 优化检索性能

随着数据量的增加，检索速度可能会受到影响。为了优化性能，向量数据库通常会采用以下策略：

批量查询：一次检索多个查询向量，提高系统吞吐量
近似最近邻搜索（ANN）：在保证一定精度的前提下，采用近似方法替代精确计算，显著提高检索速度
负载均衡：对于大规模数据，采用分布式架构和负载均衡策略，避免某个节点成为瓶颈

二. 实际应用案例：企业知识问答系统

为了更直观地理解向量数据库的"存"与"查"，我们以一个企业知识问答系统为例：

1. 应用背景

假设我们要构建一个企业内部助手，能回答公司政策、产品介绍等问题。我们有多种文档，例如：

policy.txt: "员工每年有15天年假"
product.txt: "我们的产品支持跨平台部署，包括iOS和Android"

希望当用户问："我们有多少天年假？"时，系统能准确回答。

2. 具体实现步骤

2.1 第一步：将文档转成向量并存储到数据库中

原始文本无法直接做语义匹配，因此我们用Embedding模型将每段文本转为向量：

"员工每年有15天年假" → [0.21, -0.34, ..., 0.98] # 例如768维向量

实践示例（伪代码）：

from sentence_transformers import SentenceTransformer
import vectordb  # 向量数据库客户端# 初始化Embedding模型
model = SentenceTransformer("all-MiniLM-L6-v2")# 文本向量化
text = "员工每年有15天年假"
embedding = model.encode(text)  # 生成向量# 存入向量数据库
vectordb.insert(id="policy_001", vector=embedding, metadata={"text": text})

2.2 第二步：检索向量来匹配用户提问

当用户提问时，系统需要：

用同样的Embedding模型将问题转成向量
在数据库中查找"最接近"的向量（通过余弦相似度等方式）
找到相似文本，返回结果

实践示例（伪代码）：

# 处理用户问题
query = "我们有多少天年假？"
query_vec = model.encode(query)# 在向量数据库中检索
results = vectordb.search(query_vec, top_k=1)
print(results[0]["metadata"]["text"])
# 输出：员工每年有15天年假

三. 百度智能云 VectorDB

在百度智能云 VectorDB中，我们提供了更多高级功能：

多种向量模型接入：支持百度自研的BGE、ERNIE等多种高质量向量模型
检索结果按业务打分融合：支持根据业务需求进行加权召回
内置分词切片：支持长文本自动切块后入库
一键部署RAG服务：一行命令即可部署一个小型检索增强生成系统

欢迎了解

向量数据库实践：存储和检索向量数据

向量数据库是一种专门设计用于存储和检索向量嵌入的数据库系统，能够支持语义搜索、推荐系统、图像识别等 AI 应用场景。下面将详细介绍向量数据库中向量数据的存储和检索原理及实际应用，希望对各位读者有所帮助。一. 向量数据的存储与检索流程在向量…...

编程日记 2025/6/26 4:26:27

Pandas 数据导出：如何将 DataFrame 追加到 Excel 的不同工作表

在数据分析和数据处理过程中，将数据导出到 Excel 文件是一个常见的需求。Pandas 提供了强大的功能来实现这一需求，尤其是将数据追加到同一个 Excel 文件的不同工作表（Sheet）中。本文将详细介绍如何使用 Pandas 实现这一功能&#…...

编程日记 2025/6/26 3:20:15

区块链驱动的供应链金融创新：模型构建与商业化路径研究

区块链驱动的供应链金融创新：模型构建与商业化路径研究 1. 研究背景与意义 1.1 背景介绍全球供应链金融市场规模预计2025年将达到3.6万亿美元，但传统模式面临四大核心问题：信息孤岛导致信任成本高昂（占交易成本15-20%&#xf…...

编程日记 2025/6/25 16:16:03

DAX Studio将PowerBI与EXCEL连接

DAX Studio将PowerBI与EXCEL连接具体步骤如下： 第一步：先打开一个PowerBI的文件，在外部工具栏里打开DAXStudio，如图： 第二步：DAXStudio界面，点击Advanced选项卡-->Analyze in Excel&#…...

编程日记 2025/6/26 3:53:43

使用springboot+easyexcel实现导出excel并合并指定单元格

1：准备一个单元格合并策略类代码： import com.alibaba.excel.metadata.Head; import com.alibaba.excel.metadata.data.WriteCellData; import com.alibaba.excel.write.handler.CellWriteHandler; import com.alibaba.excel.write.metadata.holder.Writ…...

编程日记 2025/6/26 3:35:49

conformer编码器

abstract 最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将联合收割机卷积神经网络和tr…...

编程日记 2025/6/24 18:53:17

每日c/c++题备战蓝桥杯(P1252洛谷马拉松接力赛)

洛谷P1060 马拉松接力赛题解：贪心算法在资源分配中的巧妙应用题目描述 P1060 马拉松接力赛是一道结合贪心策略与动态规划思想的资源分配问题。题目要求将25公里的马拉松接力赛合理分配给5名选手，使得总耗时最短。每位选手可跑1-10公里的整数距离&…...

编程日记 2025/6/26 3:25:10

操作指南：vLLM 部署开源大语言模型（LLM）

vLLM 是一个专为高效部署大语言模型（LLM）设计的开源推理框架，其核心优势在于显存优化、高吞吐量及云原生支持。 vLLM 部署开源大模型的详细步骤及优化策略： 一、环境准备与安装安装 vLLM 基础安装：通过 pip 直接安装…...

编程日记 2025/6/25 12:43:34

目前市面上知名的数据采集器

程序员爱自己动手打造一切，但这样离钱就会比较远。市面上知名的数据采集工具数据采集工具（也称为网络爬虫或数据抓取工具）在市场上有很多选择，以下是目前比较知名和广泛使用的工具分类介绍： 一、开源免费工具 Scra…...

编程日记 2025/6/26 2:47:43

BitNet: 微软开源的 1-bit 大模型推理框架

GitHub：https://github.com/microsoft/BitNet 更多AI开源软件：发现分享好用的AI工具、AI开源软件、AI模型、AI变现 - 小众AI 微软专为 CPU 本地推理和极致压缩（低比特）大模型设计的推理框架。它支持对 1-bit/1.58-bit 量化模型进行…...

编程日记 2025/6/26 3:46:55

前端如何获取文件的 Hash 值？多种方式详解、对比与实践指南

文章目录前言一、Hash 值为何重要？二、Hash 值基础知识2.1 什么是 Hash？2.2 Hash 在前端的应用场景2.3 常见的 Hash 算法（MD5、SHA 系列） 三、前端获取文件 Hash 的常用方式3.1 使用 SparkMD5 计算 MD5 值3.2 使用 Web Crypto AP…...

编程日记 2025/6/25 10:34:40

Java与Kotlin在Android开发中的全面对比分析

趋势很重要语言发展背景与现状 Android操作系统自2008年正式发布以来，Java长期作为其主要的开发语言。这种选择源于Java语言的跨平台特性、成熟的生态系统以及广泛开发者基础。然而，随着移动开发需求的快速演变，Java在Android开发中逐渐暴…...

编程日记 2025/6/26 3:59:48

Android Kotlin 依赖注入全解：Koin appModule 配置与多 ViewModel 数据共享实战指南

一、基础配置与概念 1. 什么是 appModule appModule 是 Koin 依赖注入框架中的核心配置模块，用于集中管理应用中的所有依赖项。它本质上是一个 Koin 模块（org.koin.core.module.Module），通过 DSL 方式声明各种组件的创建方式和依…...

编程日记 2025/6/25 11:40:17

Flink TaskManager详解

1. TaskManager 概述 Apache Flink 的 TaskManager 是作业执行的核心工作节点，负责实际的数据处理任务。它与 JobManager 协同工作，接受其调度指令，管理本地资源（如 CPU、内存、网络），并执行具体的算子&am…...

编程日记 2025/6/26 3:17:39

Docker安装（Ubuntu22版）

前言你是否还在为Linux上配置Docker而感到烦恼？ 你是否还在为docker search，docker pull连接不上，而感到沮丧？ 本文将解决以上你的所有烦恼！快速安装好docker！ Docker安装首先，我们得先卸载…...

编程日记 2025/6/26 4:26:26

《深入浅出ProtoBuf：从环境搭建到高效数据序列化》

ProtoBuf详解 1、初识ProtoBuf2、安装ProtoBuf2.1、ProtoBuf在Windows下的安装2.2、ProtoBuf在Linux下的安装 3、快速上手——通讯录V1.03.1、步骤1：创建.proto文件3.2、步骤2：编译contacts.proto文件，生成C文件3.3、步骤3：序列化…...

编程日记 2025/6/25 4:41:29

【含文档+PPT+源码】基于微信小程序连锁药店商城

项目介绍本课程演示的是一款基于微信小程序连锁药店商城，主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。 1.包含：项目源码、项目文档、数据库脚本、软件工具等所有资料 2.带你从零开始部署运行本套系统 3.该项目附带的…...

编程日记 2025/6/26 3:23:44

再见，物理删除！MyBatis-Plus @TableLogic 优雅实现逻辑删除

在开发应用程序时，我们经常会遇到需要删除数据的场景。但直接从数据库中物理删除（DELETE）数据有时并非最佳选择。为什么呢？ 数据恢复: 一旦物理删除，数据通常难以恢复，误操作可能导致灾难性后果。审计追…...

编程日记 2025/6/26 2:52:56

uni-app中获取用户实时位置完整指南：解决权限报错问题

uni-app中获取用户实时位置完整指南：解决权限报错问题在uni-app开发运行在微信小程序时，获取用户位置信息是一个常见的需求，无论是用于地图导航、附近推荐还是其他基于位置的服务。然而，许多开发者在调用位置相关API时会遇到各种…...

编程日记 2025/6/26 1:09:35

【AI插件开发】Notepad++ AI插件开发1.0发布和使用说明

一、产品简介 AiCoder是一款为Notepad设计的轻量级AI辅助插件，提供以下核心功能： 嵌入式提问：对选中的文本内容进行AI分析，通过侧边栏聊天界面与AI交互，实现多轮对话、问题解答或代码生成。对话式提问：独…...

编程日记 2025/6/26 4:03:06

UnityEditor - 调用编辑器菜单功能

例如: 调用Edit/Frame Selected In Scene EditorApplication.ExecuteMenuItem("Edit/Frame Selected in Scene"); EditorApplication.ExecuteMenuItem("Edit/Lock view to Selected");...

编程日记 2025/6/26 3:34:34

OpenHarmony - 小型系统内核（LiteOS-A）（十），魔法键使用方法，用户态异常信息说明

OpenHarmony - 小型系统内核（LiteOS-A）（十） 十四、魔法键使用方法使用场景在系统运行出现无响应等情况时，可以通过魔法键功能确定系统是否被锁中断（魔法键也无响应）或者查看系统任务运行状态…...

编程日记 2025/6/25 12:36:36

在 Vue3 中封装的 Axios 实例中，若需要为部分接口提供手动取消请求的功能

核心思路封装接口时返回 Promise 和 abort 方法： 为需要支持取消的接口返回一个对象，包含 promise 和 abort 方法，用户可通过 abort 主动中断请求。使用 AbortController 或 CancelToken： 推荐 AbortController（浏览…...

编程日记 2025/6/26 4:05:36

QuecPython+audio：实现音频的录制与播放

概述 QuecPython 作为专为物联网设计的开发框架，通过高度封装的 Python 接口为嵌入式设备提供了完整的音频处理能力。本文主要介绍如何利用 QuecPython 快速实现音频功能的开发。核心优势极简开发：3行代码完成基础音频录制与播放。快速上手&#xf…...

编程日记 2025/6/26 2:39:43

Langchain入门介绍

[声明] 本文参考:Langchain官方文档什么是LangChain? LangChain 是一个开源的、用于开发由大型语言模型 (LLM) 驱动的应用程序的框架。它的核心目标是将强大的 LLM（如 GPT-4, Claude, Llama 等）与外部数据源、计算资源和工具连接起来，从…...

编程日记 2025/6/26 3:41:19

WebUI可视化：第4章：Streamlit数据可视化实战

学习目标 ✅ 掌握Streamlit的安装与基础配置 ✅ 能够创建数据驱动的交互式界面 ✅ 实现常见图表（折线图、柱状图等）的绘制 ✅ 开发完整的业务数据分析应用 4.1 Streamlit快速入门 4.1.1 环境安装打开终端执行： bash pip install streamlit 验证安装： bash stream…...

编程日记 2025/6/26 2:58:51

3.4 Spring Boot异常处理

本实战项目通过Spring Boot实现了一个简单的用户信息查询功能，并展示了如何自定义异常处理机制。项目中创建了用户实体类User和用户控制器UserController，在控制器中通过isValidUserId方法校验用户ID是否有效，若无效则抛出自定义异常InvalidU…...

编程日记 2025/6/26 3:17:40

期货有哪些种类？什么是股指、利率和外汇期货？

期货主要可以分成两大类：商品期货和金融期货。商品期货，顾名思义，就是跟实物商品有关的期货，比如农产品、金属、能源这些。金融期货呢，就是跟金融产品有关的期货，比如外汇、利率、股票指数这些。一、商品…...

编程日记 2025/6/26 3:02:05

Golang | 位运算

位运算比常规运算快，常用于搜索引擎的筛选功能。例如，数字除以二等价于向右移位，位移运算比除法快。...

编程日记 2025/6/25 22:26:53

[论文阅读]ReAct: Synergizing Reasoning and Acting in Language Models

ReAct: Synergizing Reasoning and Acting in Language Models [2210.03629] ReAct: Synergizing Reasoning and Acting in Language Models ICLR 2023 这是一篇在2022年挂出来的论文，不要以现在更加强大且性能综合的LLM来对这篇文章进行批判。思想来源于作者对…...

编程日记 2025/6/26 4:11:35

拥有600+门店的宠物连锁医院，实现核心业务系统上云

瑞派宠物医院管理股份有限公司（以下简称“瑞派宠物“）从2017年开始数字化转型之路。瑞派宠物在全国有600连锁门店，随着业务量增加，线下部署的财务系统存在设备老旧、机房环境差等问题，部分在公有云上的业务&#xff0c…...

编程日记 2025/6/25 12:39:49

OceanBase 跻身 Forrester 三大领域代表厂商，全面支撑AI场景

在生成式AI迅猛发展的当下，智能化数据管理已成为企业提升数字化水平、优化运营效率和强化市场竞争优势的战略重点。Forrester 最新发布的《2025年中国数据管理生态系统趋势报告》中，OceanBase凭借原生分布式架构和一体化产品优势，入选全局数…...

编程日记 2025/6/26 4:24:41

学生管理系统微服务方式实现

//不用这种方式实现也可以，用这种方式是为了房间我们理解微服务的实现方式微服务的实现方式就是把一个单项目应用的不同功能封装成单独的项目，然后向外暴露一个接口以便调用。如果需要这个功能我们直接调用这个功能对应项目的接口就可以了服务之间的…...

编程日记 2025/6/26 2:46:07

OpenAI最新的4o图像生成模型 gpt-image-1 深度解析：API KEY 获取、开发代码示例

1. 引言近期，OpenAI 正式发布了其最新的图像生成 API，模型标识符为 gpt-image-1。这一重要发布，首次将先前在 ChatGPT 中通过 GPT-4o 模型驱动、备受用户欢迎的先进图像生成能力，以编程接口（API）的形式提…...

编程日记 2025/6/26 3:00:26

NAT穿透

NAT是 Net Address Traslation的缩写，即网络地址转换 NAT部署在网络出口的位置。位于内网和公网之间，是连接内挖个主机和公网的桥梁，双向流量都必须经过NAT，装有NAT软件的路由器叫NAT路由器，NAT路由器拥有公网Ip NAT解…...

编程日记 2025/6/26 3:59:49

人工智能与机器学习：Python从零实现性回归模型

🧠 向所有学习者致敬！ “学习不是装满一桶水，而是点燃一把火。” —— 叶芝我的博客主页： https://lizheng.blog.csdn.net 🌐 欢迎点击加入AI人工智能社区！ 🚀 让我们一起努力，共创…...

编程日记 2025/6/26 3:26:35

FreeRTOS

FreeRTOS任务调度的三种方式： 抢占式调度针对优先级不同的任务时间片调度针对优先级相同的任务； FreeRTOS中的一个时间片就等于SysTick（滴答定时器）中断周期（1ms）; 协程式调度后续将不再支持。 …...

编程日记 2025/6/25 5:50:45

PCI 总线学习笔记（五）

PCI 总线学习系列，参考自技术大牛博客： PCIe 扫盲系列博文连载目录篇书籍：王齐老师的《PCI Express 体系结构导读》下面的文章中加入了自己的一些理解和实际使用中遇到的一些场景，供日后查询和回忆使用 PCI 总线定义了两类配置…...

编程日记 2025/6/25 19:37:08

PyTorch与CUDA的关系

文章目录前言一、如何查看PyTorch和torchvision的版本1.1 查看PyTorch版本1.2 查看torchvision版本二、如何确认PyTorch和torchvision是否支持CUDA加速2.1 检查PyTorch是否支持CUDA2.2 查看当前可用的GPU设备2.3 检查torchvision是否支持CUDA三、CUDA版本的秘密：为什么PyTorc…...

编程日记 2025/6/26 4:14:54

网络中断事件进行根因分析（RCA）

网络中断事件的根因分析（RCA）详解根因分析（Root Cause Analysis, RCA）是网络运维中用于定位和解决故障的核心方法，目标是找到问题的根本原因，避免重复发生。以下是完整的RCA流程和方法： 1. RC…...

编程日记 2025/6/26 3:20:17

Mac中 “XX”文件已损坏，无法打开解决方案

前言 Mac中打开软件出现“XX”文件已损坏，无法打开的提示怎么处理？ 操作总结 1、查看当前 Gatekeeper 是否启用 spctl --status2、完全关闭 Gatekeeper（允许安装任何来源应用） sudo spctl --master-disable3、打开“系统设…...

编程日记 2025/6/25 18:54:15

如何通过python连接hive，并对里面的表进行增删改查操作

要通过Python连接Hive并对其中的表进行增删改查操作，可以使用pyhive库。下面是一个简单的示例代码，演示如何连接Hive并执行一些操作： from pyhive import hive# 建立连接 conn hive.connect(hostyour_hive_host, port10000, authNOSASL)# 创…...

编程日记 2025/6/25 13:59:03

对Mac文字双击或三击鼠标左键没有任何反应

目录项目场景： 问题描述原因分析： 解决方案： 项目场景： 在使用Mac系统的时候，使用Apple无线鼠标，双击左键能够选取某个单词或词语，三击左键能够选取某一行，（百度、…...

编程日记 2025/6/25 22:58:39

【维护窗口内最值+单调队列/优先队列】Leetcode 239. 滑动窗口最大值

题目要求给定一个整数数组 nums，有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。滑动窗口每次只向右移动一位。要求返回滑动窗口中的最大值。示例 1 输入：nums [1,3,-1,-3,5,3,6,7], k 3 输出：[3,3,5,5,6,7] 解释&#…...

编程日记 2025/5/22 23:28:32

【Leetcode 每日一题】2845. 统计趣味子数组的数目

问题背景给你一个下标从 0 0 0 开始的整数数组 n u m s nums nums，以及整数 m o d u l o modulo modulo 和整数 k k k。请你找出并统计数组中趣味子数组的数目。如果子数组 n u m s [ l . . r ] nums[l..r] nums[l..r] 满足下述条件，则称其为…...

编程日记 2025/5/31 13:09:43

SDC命令详解：使用get_cells命令进行查询

相关阅读 SDC命令详解https://blog.csdn.net/weixin_45791458/category_12931432.html?spm1001.2014.3001.5482 get_cells命令用于创建一个单元对象集合，关于设计对象和集合的更详细介绍，可以参考下面的博客。 Synopsys：设计对象https://c…...

编程日记 2025/5/15 22:13:12

正则表达式及其游戏中应用

一、正则表达式基础知识 ✅ 什么是正则表达式？ 正则表达式是一种用来匹配字符串的规则表达式，常用于搜索、验证、替换等文本处理场景。比如你想找出玩家输入中的邮箱、命令、作弊码……正则就特别好用。 📚 常见语法速查表： …...

编程日记 2025/6/25 23:29:52

如何在 MinGW 和 Visual Studio (MSVC) 之间共享 DLL

如何在 MinGW 和 Visual Studio (MSVC) 之间共享 DLL ✅ .dll.a 和 .lib 是什么？ 1. .dll.a（MinGW 下的 import library） 作用：链接时告诉编译器如何调用 DLL 中的函数。谁用它：MinGW 编译器（如 g&#x…...

编程日记 2025/6/23 20:36:55

【HTTP/2和HTTP/3的应用现状：看不见的革命】

HTTP/2和HTTP/3的应用现状：看不见的革命实际上，HTTP/2和HTTP/3已经被众多著名网站广泛采用，只是这场革命对普通用户来说是"无形"的。让我们揭开这个技术变革的真相。著名网站的HTTP/2和HTTP/3采用情况 #mermaid-svg-MtfrNDo5DG…...

编程日记 2025/6/25 1:24:40

ts中null类型--结合在vue中的使用、tsconfig.json

总结 TypeScript 中的 null 是一个独立的类型，用于明确表示“无值”或“空值”。在实际开发中，常通过联合类型（如 string | null）或与 ref 结合使用，确保代码的类型安全和可读性。详情解释在 TypeScript 中，null 是一个独立的类型，表示 null 值本身。以下是一些关于…...

编程日记 2025/6/20 1:49:15