当前位置：首页 > news >正文

Milvus向量数据库01-基础概念

news 来源：原创 2025/7/14 21:26:39

Milvus向量数据库01-基础概念

Zilliz Cloud 集群由全托管 Milvus 实例及相关计算资源构成。您可以在 Zilliz Cloud 集群中创建 Collection，然后在 Collection 中插入 Entity。Zilliz Cloud 集群中的 Collection 类似于关系型数据库中的表。Collection 中的 Entity 类似于表中的记录。

1-集群

集群链接

在 Zilliz Cloud 上创建集群时，您需要选择集群 CU 类型。CU 类型有 2 种选项：性能型和容量型。不同 CU 类型的区别，请阅读选择合适的 CU 类型。

确定 CU 类型后，您还需要选择 CU 大小。CU 大小决定了集群可容纳的 Collection 数量。在 Dedicated 集群中，每个计算单元（CU）可最多容纳 64 个 Collection，并且每个集群中的 Collection 总数不能超过 4096。有关限制的更多信息，请阅读使用限制。

集群中的所有 Collection 共享 CU 资源。为节省 CU 资源，我们推荐您将一些不再使用的 Collection 从 CU 中释放出来。Collection 被释放后，其中的数据被转移到磁盘存储，从而可以释放 CU 资源以供其他已加载的 Collection 使用。需要查询已被卸载的 Collection 时，您可以将其重新加载至内存中。请注意，Collection 加载需要等待一段时间，因此我们不推荐频繁卸载和加载 Collection。

2-Collection

Collection链接

Collection 是一张二维数据表，包含固定列数和可变行数。Collection 数据表中的每 1 列对应 1 个字段，每 1 行表示 1 个 Entity。

下图中的示例 Collection 包含 6 个 Entity 和 8 个字段。

MVBWbzkuyonO5tx99TscU93Knfg

字段

字段链接

通常我们会根据属性（如大小、重量、位置等）描述对象。对象属性类似于 Collection 中的字段。

Collection 中，主键是最特殊的字段，每个主键字段的值唯一且不重复。每 1 个主键都可以对应 Collection 中的 1 条 Entity 记录。如上图所示，示例 Collection 中的 id 字段是主键。第 1 个 ID 0 对应标题为《The Mortality Rate of Coronavirus is Not Important》的文章。Collection 中的任何其他文章的 ID 都不会为 0。

Schema

Schema链接

每个字段都具有自己的属性——字段中数据类型和相关限制（如向量维度和相似性类型）。通过定义字段及顺序，您的 Collection 会有 1 个 Schema，也就是 1 个数据结构框架。Collection Schema 类似于传统数据表的结构。

关于 Schema 中支持使用的数据类型，可参考Schema。

索引

索引链接

与 Milvus 实例不同，Zilliz Cloud 集群仅支持 AUTOINDEX 索引。该索引类型针对 Zilliz Cloud 提供的 3 种 CU 进行了优化。更多详情，请阅读 AUTOINDEX 。

3-Entity

Entity链接

Collection 中的 Entity 是指共享相同字段集的数据记录。存储在每个字段中的数据共同形成 1 个 Entity。

您可以向 Collection 中添加任意数量的 Entity。但是，随着 Entity 数量和维度增加，Entity占用的内存大小也会增加，影响 Collection 的搜索性能。

更多内容，可参考本手册 Schema 一节以合理规划您的 Collection。

4-Load 和 Release

Load 和 Release链接

对 Collection 执行 Load 操作是在 Collection 中进行 Search 和 Query 的前提条件。在加载 Collection 时，Zilliz Cloud 会将所有向量列的索引文件和所有标量列的数据加载到内存，从而快速响应搜索和查询请求。

由于 Search 和 Query 操作会占用较多的内存资源。为了减少资源消耗，您可以对暂时不需要使用的 Collection 执行 Release 操作，将相关数据从内存中释放出来。

5-Search 与 Query

Search 与 Query链接

在为 Collection 创建索引并将其加载到内存后，您就可以通过输入查询向量、选择相似性类型的方式对 Collection 中的 Entity 进行相似性搜索。例如，您可以将文本 “Interesting Python demo” 对应的向量表示作为查询向量进行搜索，Zilliz Cloud 会在 Collection 中进行相似性查询并返回所有标题语义与查询向量相似的 Entity。

在 Search 和 Query 过程中，您也可以使用过滤条件对某些标量字段进行过滤，找到符合指定条件的所有 Entity。

更多搜索和查询详情，请阅读Search, Query 和 Get。

6-Partition

Partition链接

Partition 是从 Collection 中划分而来，和 Collection 保持相同的列数，只包含 Collection 的部分 Entity。

通过将 Entity 分别存入不同的 Partition，Milvus 商业版实现了对 Entity 的隔离与分组。在按 Partition 进行检索时，由于无须关注 Collection 中其它 Partition 的数据，检索效率得到了较大的提升。

关于 Partition 的更多内容，可以查看管理 Partition。

7-内容总结

以下是文章内容要点的思维导图：

详细知识点如下：

集群

全托管 Milvus 实例：Zilliz Cloud 提供的全托管 Milvus 实例。
计算资源：与 Milvus 实例相关的计算资源。
CU 类型选择：性能型和容量型两种选项。
CU 大小选择：决定了集群可容纳的 Collection 数量。
Collection 数量限制：每个 CU 最多 64 个 Collection，总数不超过 4096。
资源共享：所有 Collection 共享 CU 资源。
Collection 释放与重新加载：释放 Collection 以节省资源，需要时重新加载。

Collection

二维数据表：包含固定列数和可变行数。
字段：描述对象属性，类似于数据库表中的列。
主键：每个主键字段的值唯一且不重复。
Schema：定义字段及顺序的数据结构框架。
索引：Zilliz Cloud 集群仅支持 AUTOINDEX 索引。
Entity 存储：Collection 中的 Entity 是共享相同字段集的数据记录。
字段属性：字段中数据类型和相关限制。

Entity

数据记录：存储在每个字段中的数据共同形成 1 个 Entity。
字段数据：每个字段中存储的数据。
Entity 数量与性能：Entity 数量和维度增加会影响 Collection 的搜索性能。

Load 和 Release

Load 操作：在 Collection 中进行 Search 和 Query 的前提条件。
Release 操作：减少资源消耗，将数据从内存中释放出来。
内存资源管理：通过 Load 和 Release 操作管理内存资源。

Search 与 Query

相似性搜索：通过输入查询向量、选择相似性类型进行搜索。
查询向量：用于搜索的向量表示。
相似性类型：选择不同的相似性类型进行搜索。
过滤条件：使用过滤条件对标量字段进行过滤。
标量字段过滤：找到符合指定条件的所有 Entity。

Partition

Entity 分组：从 Collection 中划分而来，包含部分 Entity。
检索效率提升：按 Partition 进行检索，提升检索效率。

Milvus向量数据库01-基础概念

Milvus向量数据库01-基础概念 Zilliz Cloud 集群由全托管 Milvus 实例及相关计算资源构成。您可以在 Zilliz Cloud 集群中创建 Collection，然后在 Collection 中插入 Entity。Zilliz Cloud 集群中的 Collection 类似于关系型数据库中的表。Collection 中的 Entity …...

编程日记 2025/7/14 21:26:39

字节高频算法面试题：小于 n 的最大数

问题描述（感觉n的位数需要大于等于2，因为n的位数1的话会有点问题，“且无重复”是指nums中存在重复，但是最后返回的小于n最大数是可以重复使用nums中的元素的）： 思路： 先对nums倒序排序暴力回…...

编程日记 2025/7/14 16:57:40

PowerShell 脚本实战：解决 GitLab 仓库文件批量重命名难题

使用PowerShell脚本解决文件重命名问题：一次实践经验分享在软件开发过程中，我们经常会遇到需要批量处理文件的情况。最近，我在一个项目中就遇到了这样一个需求：将GitLab仓库中所有的.ts和.py文件的扩展名修改为原扩展名加上&quo…...

编程日记 2025/7/8 4:29:47

爬取的数据能实时更新吗？

在当今数字化时代，实时数据更新对于企业和个人都至关重要。无论是市场分析、商品类目监控还是其他需要实时数据的应用场景，爬虫技术都能提供有效的解决方案。本文将探讨如何利用PHP爬虫实现数据的实时更新，并提供相应的代码示例。 1. 实时数…...

编程日记 2025/7/11 22:32:37

【SKFramework框架核心模块】3-6、FSM有限状态机模块

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享QQ群：398291828小红书小破站大家好，我是佛系工程师☆恬静的小魔龙☆，不定时更新Unity开发技巧，觉得有用记得一键三连哦。一、前言【Unity3D框架】SKFramework框架完全教程《全…...

编程日记 2025/7/14 5:15:37

Python之爬虫入门（1）

目录一、简介二、爬虫的功能 1、爬虫的用处 2、爬虫的应用场景三、爬虫的实现步骤四、GET和POST方法 1、GET方法 （1）、简介 （2）、适用场景 2、POST方法 （1）、简介 （2）…...

编程日记 2025/7/7 23:59:21

《MySQL 表结构设计基础》

一、引言 MySQL 表结构设计是数据库开发中的重要环节，合理的设计不仅能提高数据库性能，还能使数据更易于维护和管理。本文将详细介绍 MySQL 表结构设计的基础要点。在数据库开发中，MySQL 表结构设计的重要性不言而喻。一个良好的表结构设计…...

编程日记 2025/7/1 11:49:29

微信小程序 - 解决报错{“errno“：600001,“errMsg“：“request：fail errcode：-202cronet_error_code：-202error_msg：net：：

前言关于此问题网上的教程都无法解决，如果您的报错信息与我相似，即可解决。在微信小程序开发中，详细解决小程序请求接口报错：{“errno”：600001,“errMsg”：“request：fail errcode：-202cronet_error_code：-202error_msg：net：：ERR_CERT_AUTH ORITY_INVALID”}，微…...

编程日记 2025/7/14 21:09:03

k8s 为什么需要Pod？

Pod，是 Kubernetes 项目中最小的 API 对象，更加专业的说，Pod，是 Kubernetes 项目的原子调度单位。 Pod 是 Kubernetes 里的原子调度单位。这就意味着，Kubernetes 项目的调度器，是统一按照 Pod 而非容器的资…...

编程日记 2025/7/14 11:00:30

react 使用状态管理调用列表接口渲染列表（包含条件查询，统一使用查询按钮，重置功能），避免重复多次调用接口的方法

react开发调用api接口一般使用useEffect来监听值的变化，通过值的变化与否来进行接口调用。比如我们要进行一个查询接口 const [pageParams, setPage] useState({name: ,id: ,});const [dataList, setDataList] useState([]);const getList async () > {const…...

编程日记 2025/7/8 1:19:03

常见限流算法详细解析

常见限流算法详细解析分布式系统中，由于接口API无法控制上游调用方的行为，因此当瞬时请求量突增时，会导致服务器占用过多资源，发生响应速度降低、超时、乃至宕机，甚至引发雪崩造成整个系统不可用。限流，…...

编程日记 2025/7/13 21:05:24

第四十一天 ASP应用 HTTP.sys 漏洞 iis6文件解析漏洞和短文件漏洞 access数据库泄露漏洞

前言随着时代的发展现在呀，这个ASp已经淡出大众的视线了 ，ASP之前的火爆程度无异于现在的PHP 大家的童年 4399 什么的网站都是这个搭建的ASP 简介 | 菜鸟教程那大家想问为什么你妹的这个这么火的网站搭建语言被淘汰了呢其实多半是以为它的不开…...

编程日记 2025/7/14 14:54:37

LLM输出评估标准

LLM输出评估标准 LLM评估方法响应的完整性和简洁性：确定大模型的响应是否完全解决用户查询，简洁性则评估生成响应的相关性。文本相似性指标：将生成的文本与参考文本进行比较，评估它们的相似度，并给出得分以理解大模…...

编程日记 2025/7/14 21:04:18

ansible学习笔记之02command模块与shell模块

目录 1、概述 2、模块介绍 2.1 command模块 2.2 shell模块 2.3 小结 3、实验 3.1 测试ls命令 3.2 测试环境变量 3.3 测试操作符">" 1、概述本文介绍ansible的command模块与shell模块，并通过实验比对两个模块的异同。 2、模块介绍 2.1…...

编程日记 2025/7/14 10:26:30

Python 在同一/或不同PPT文档之间复制幻灯片

复制幻灯片可以帮助我们更高效地完成工作，节省大量的制作时间。通过复制现有的幻灯片，可以快速创建新的演示文稿，而无需重新设计板式样式等。此外，复制幻灯片还可以帮助我们保持内容的一致性，使整个PPT演示文稿看起来更…...

编程日记 2025/7/9 9:10:53

4. React 性能优化技巧：如何让你的应用更快

在构建大型应用时，性能优化是一个非常重要的话题。React 提供了许多优化工具，帮助我们提高应用的渲染速度和响应能力。本文将分享一些常见的 React 性能优化技巧。 4.1. 使用 React.memo 缓存组件当组件的 props 没有变化时，React 默认不会…...

编程日记 2025/7/13 8:38:25

云标准：云计算标准

目录云计算标准的定义和分类云计算标准的内容云计算标准的重要性云计算标准化组织 5.云计算标准的具体实例云计算标准是确保云计算技术、服务和应用发展的重要规范，它们对于提高云计算系统的互操作性、可靠性和安全性至关重要。以下是对云计算标准的详细解…...

编程日记 2025/7/9 1:04:07

Redis【2】- SDS源码分析

1 简介&基础用法 Redis 中用得最多的就是字符串，在 C 语言中其实可以直接使用 char* 字符数组来实现字符串，也有很多可以直接使用得函数。但是 Redis 并没有使用 C 语言原生的字符串，而是自己实现了一个 SDS（简单动态字符串&…...

编程日记 2025/7/14 19:04:40

力扣打卡8：最长上升子序列

链接：300. 最长递增子序列 - 力扣（LeetCode） 本题我开始想到的是dp，复杂度为O(n^2)，这也是很经典的解法。看到进阶解法可以O(nlogn)，想到可能是要用到二分，但是，我想到的是和map排…...

编程日记 2025/7/12 11:19:48

记录一次老平台改造通知用户刷新页面，纯前端实现

记录一次老平台改造通知用户刷新页面，纯前端实现方案概述背景现状问题本质方案设计前提设计实现其他补充写在最后的话抛出一个问题方案概述背景前端构建完上线，用户还停留还在老页面，用户不知道网页重新部署了，跳转页面的时…...

编程日记 2025/7/14 1:25:46

ubuntu22.04 使用可以用的镜像源获取你要的镜像

默认的是不行的不管pull啥镜像仍然会出现这个错误 Error response form daemon:Get "https://registry-1.docker.io/v2": net/http: request canceled while waiting for connection (Client.Timeout exceeded while await) 操作方法是如果在目录没有/etc/docker…...

编程日记 2025/7/9 13:02:37

Chrome扩展程序开发示例

项目文件夹内文件如下： manifest.json文件内容： {"manifest_version": 3,"name": "我的法宝","description": "我的有魔法的宝贝","version": "1.0","icons": {"…...

编程日记 2025/7/14 21:02:58

Linux 下使用飞鸽传书实现与Windows飞秋的通信

最近把单位的办公电脑换成Linux系统，但是其他同事们都使用飞秋2013进行局域网通信和文件传输，经过一番尝试，发现飞鸽传书For Linux 2014能够实现两者的互相通信。飞鸽传书ForLINUXLinux版下载_飞鸽传书ForLINUX免费下载_飞鸽传书ForLINUX1.2…...

编程日记 2025/7/13 1:51:40

docker批量创建cloudstack虚拟主机脚本

批量创建cloudstack脚本 #!/bin/bash # 配置变量 container_prefix"cloudworker-" base_ip"192.168.1." start_ip2 #开始ip start_container2 #上同 end_container4 #结束ip 包括 network_name"my_macvlan_network" image_name"dockedahi:…...

编程日记 2025/7/6 12:20:09

SpringBoot项目集成MinIO

最近在学习MinIO，所以想让自己的SpringBoot项目集成MinIO,在网上查阅资料，并进行操作的过程中遇到一些问题，所以想把自己遇到的坑和完成步骤记录下来供自己和各位查阅。一. MinIO的下载安装以及基本使用 1. 下载地址：https://d…...

编程日记 2025/7/12 5:57:32

【Flutter】常用样式、方法、组件（长期更新中）

一、样式设置设置颜色透明度：color: Color(0xff4B9E32).withOpacity(0.08) 二、常用方法数组排序：list.sort(); **升序**：(obj1, obj2) > obj1.compareTo(obj2) **降序**：(obj1, obj2) > obj2.compareTo(obj1)obj1.co…...

编程日记 2025/7/14 10:49:30

dbus接口方法的variant类型传参详解

python实现c++中so库调用及dbus服务开发-CSDN博客之前写的这篇博文介绍了如何创建一个dbus服务，但是注册的接口方法的入参还是比较简单的，实际上dbus的参数类型有很多种，调用方式也有多种，我们来逐一介绍下。其实基础数据类型，如字符串、整型、浮点型、布尔型等大多数…...

编程日记 2025/7/13 22:24:44

【时时三省】（NIT计算机考试）Word的使用方法

山不在高，有仙则名。水不在深，有龙则灵。 ----CSDN 时时三省一、软件简介 Microsoft Word，简称Word，是微软公司开发的一款文字处理软件，广泛应用于文档编辑、排版、打印等领域。无论是撰写论文、报告、简历&#xf…...

编程日记 2025/7/14 21:22:07

spring技术点

引入对象 Autowired 和 Resource的区别 Autowired 和 Resource的区别 valid 参数校验 jarkata进行SpringMVC校验常规当前进行校验的配置操作，参考文档如下进行操作。 SpringMVC校验注解不生效 List类型参数校验由于list类型默认不能进行标注校验实现&#x…...

编程日记 2025/7/4 5:54:12

工业—使用Flink处理Kafka中的数据_ChangeRecord1

使用 Flink 消费 Kafka 中 ChangeRecord 主题的数据，当某设备 30 秒状态连续为 “ 预警 ” ，输出预警信息。当前预警信息输出后，最近30...

编程日记 2025/7/3 13:45:03

实验日志——DETR

DETR训练日志 1. 代码来源代码源自作者的Github: https://github.com/facebookresearch/detr?tabreadme-ov-file 2. 数据来源在DETR中只使用了COCO2017数据集，其中训练集有118288张图像，验证集有5001张数据，测试集有40671张数据&#…...

编程日记 2025/7/12 15:58:17

前端常用缓存技术深度剖析

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…...

编程日记 2025/6/28 19:59:17

汽车IVI中控开发入门及进阶（三十七）：基于HFP协议的蓝牙电话

概述： HFP全称Hands-free Profile，是一款让蓝牙设备控制电话的软件，多用于汽车上。此类设备最常见的例子是车载免提装置与蜂窝电话或可穿戴无线耳机一起使用。该配置文件定义了支持免提配置文件的两个设备如何在点对点的基础上相互交互。免提模式的实现通常使耳机或嵌入式免…...

编程日记 2025/7/12 6:24:14

分布式系统架构1：共识算法Paxos

1.背景今天开始更新分布式的文章，工作几年后还没系统的学习分布式的内容，趁着还有时间学习沉淀的时候多输出些文章 2.为什么需要分布式共识算法思考：现在你有一份随时变动的数据，需要确保它正确存储在网络的几台不同机器上&a…...

编程日记 2025/7/13 22:17:11

大语言模型应用Text2SQL本地部署实践初探

自从两年前OpenAI公司发布ChatGPT后，大模型(Large Language Model，简称LLM)相关技术在国内外可谓百家争鸣，遍地开花，在传统数据挖掘、机器学习和深度学习的基础上，正式宣告进入快速发展的人工智能(Artificial Intellig…...

编程日记 2025/7/14 11:52:21

C# WPF抽奖程序

C# WPF抽奖程序 using Microsoft.Win32; using System; using System.Collections.Generic; using System.Diagnostics; using System.IO; using System.Linq; using System.Text; using System.Threading; using System.Threading.Tasks; using System.Windows; using System.…...

编程日记 2025/7/14 5:43:54

Milvus向量数据库01-基础概念

1-集群

2-Collection

字段

Schema

索引

3-Entity

4-Load 和 Release

5-Search 与 Query

6-Partition

7-内容总结

集群

Collection

Entity

Load 和 Release

Search 与 Query

Partition

相关文章：