当前位置： 首页 > news >正文

Weaviate使用入门：从零搭建向量数据库的完整指南

news 来源：原创 2025/6/20 16:29:24
一、Weaviate简介与核心优势

Weaviate是一款开源向量搜索引擎，专为存储和检索高维向量数据设计，支持文本、图像等多种媒体类型。其核心功能包括语义搜索、问答提取、分类等，具备以下独特优势：

  • 低延迟：毫秒级响应时间，适用于实时场景。
  • 灵活扩展：支持数十亿级数据对象，模块化架构可集成自定义模型（如PyTorch、TensorFlow）。
  • 多模态支持：适配文本、图像、音视频等多种数据类型。
  • 云原生设计：提供GraphQL和REST API，无缝对接现有技术栈（如LangChain）。
二、环境搭建与部署
1. Docker快速部署

通过Docker Compose一键启动Weaviate服务：

# docker-compose.yml
version: '3.4'
services:weaviate:image: semitechnologies/weaviate:latestports:- "8080:8080"- "50051:50051"  # gRPC端口（可选）environment:AUTHENTICATION_APIKEY_ENABLED: "true"AUTHENTICATION_APIKEY_ALLOWED_KEYS: "your-api-key"

启动命令：

docker-compose up -d
2. Python客户端初始化

安装SDK并连接数据库：

import weaviate
client = weaviate.Client(url="http://localhost:8080",auth_client_secret=weaviate.AuthApiKey("your-api-key")
)
三、数据建模与Schema定义
1. 创建数据类（Class）

示例：构建一个存储技术文章的Schema：

schema = {"class": "Article","properties": [{"name": "title", "dataType": ["text"]},{"name": "content", "dataType": ["text"]},{"name": "tags", "dataType": ["text[]"]}],"vectorizer": "text2vec-transformers",  # 指定向量化模型"vectorIndexConfig": {"distance": "cosine"  # 相似度计算方式（可选：l2、dot等）}
}
client.schema.create_class(schema)
2. 自定义向量化模块

若需集成自定义模型（如Hugging Face模型），可在Docker配置中添加模块：

services:t2v-transformers:image: soulteary/t2v-transformers:2024.06.27ports:- "9090:8080"
四、数据导入与向量生成
1. 单条数据插入
data_object = {"title": "Weaviate入门指南","content": "本文介绍如何快速搭建Weaviate向量数据库...","tags": ["数据库", "AI"]
}
client.data_object.create(data_object, "Article")
2. 批量导入CSV数据

结合Pandas处理结构化数据：

import pandas as pd
df = pd.read_csv("articles.csv")
for _, row in df.iterrows():client.data_object.create({"title": row["title"],"content": row["content"],"tags": row["tags"].split(",")}, "Article")
五、向量检索实战
1. 基础语义搜索
response = client.query\.get("Article", ["title", "content"])\.with_near_text({"concepts": ["机器学习"]})\.with_limit(5)\.do()for item in response["data"]["Get"]["Article"]:print(f"标题: {item['title']}\n内容摘要: {item['content'][:100]}...")
2. 混合查询（向量+结构化过滤）
client.query\.get("Article", ["title"])\.with_where({"path": ["tags"],"operator": "ContainsAny","valueText": ["AI"]})\.with_near_vector({"vector": [0.1, -0.2, 0.5]})\.with_additional(["distance"])

相关文章：

Weaviate使用入门：从零搭建向量数据库的完整指南

一、Weaviate简介与核心优势 Weaviate是一款开源向量搜索引擎，专为存储和检索高维向量数据设计，支持文本、图像等多种媒体类型。其核心功能包括语义搜索、问答提取、分类等，具备以下独特优势： 低延迟：毫秒级响应时间…...

编程日记 2025/6/20 16:29:24

element ui el-col的高度不一致导致换行

问题：ell-col的高度不一致导致换行，刷新后审查el-col的高度一致 我这边是el-col写的span超过了24，自行换行，测试发现初次进入里面的高度渲染的不一致，有的是51px有的是51.5px 问题原因分析 Flex布局换行机制 Elemen…...

编程日记 2025/5/30 6:46:12

Windows 安装 MongoDB 教程

Windows 安装 MongoDB 教程 MongoDB 是一个开源的 NoSQL 数据库，它使用文档存储模型而不是传统的关系表格。它非常适合需要处理大量数据并且需要高性能、可扩展性的应用场景。下面是如何在 Windows 系统上安装 MongoDB 的详细步骤。 一、准备工作 确保你的 Windo…...

编程日记 2025/6/20 10:21:48

23种设计模式-行为型模式之观察者模式（Java版本）

Java 观察者模式（Observer Pattern）详解 🧠 什么是观察者模式？ 观察者模式是一种行为型设计模式，定义对象之间的一种一对多的依赖关系，使得每当一个对象状态发生变化时，所有依赖它的对象都会得…...

编程日记 2025/6/20 16:26:09

从“拼凑”到“构建”：大语言模型系统设计指南！

你有没有试过在没有说明书的情况下组装宜家家具？那种手忙脚乱却又充满期待的感觉，和设计大语言模型（LLM）系统时如出一辙。如果没有一个清晰的计划，很容易陷入混乱。我曾经也一头扎进去，满心期待却又手足无措，被网上那些复杂的架构图搞得晕头转向。于是，我坐下来，把它们…...

编程日记 2025/6/20 15:39:48

云原生--核心组件-容器篇-3-Docker三大核心之--镜像

1、定义与作用 定义： Docker镜像是一个只读的模板，包含运行应用程序所需的所有内容，包括代码、依赖库、环境变量、配置文件等。简单来说，Docker镜像是一个轻量级、独立、可执行的软件包，它包含了运行某个软件所需的所有…...

编程日记 2025/6/1 20:56:48

在QML中获取当前时间、IP和位置（基于网络请求）

目录 引言相关阅读最终效果代码详解1. 基础框架与窗口设置2. IP定位功能实现3. IP获取功能4. 时间更新与应用初始化5. 用户界面布局 总结工程下载 引言 在本文中，我们将探讨如何使用Qt Quick构建一个简单的系统信息显示应用。该应用能够获取当前系统时间、IP地址以…...

编程日记 2025/6/20 15:28:03

Nuxt3中使用UnoCSS指南

Nuxt3中使用UnoCSS指南 UnoCSS是一个高度可定制的、原子化CSS引擎，可以轻松集成到Nuxt3项目中。下面介绍如何在Nuxt3中安装和配置UnoCSS。 安装步骤 安装UnoCSS的Nuxt模块： # 使用pnpm pnpm add -D unocss unocss/nuxt# 使用yarn yarn add -D unocss…...

编程日记 2025/6/20 16:13:07

【计算机网络】TCP的四种拥塞控制算法

TCP（传输控制协议）是互联网协议套件中用于在网络中两个主机之间提供可靠、有序和错误检测数据传输的协议。TCP使用拥塞控制机制来避免网络拥塞，确保网络资源的有效利用。以下是TCP中常见的四种拥塞控制算法： 慢启动（S…...

编程日记 2025/6/20 13:10:36

WebAssembly全栈革命：在Rust与JavaScript之间构建高性能桥梁

一、WASM的全栈渗透图谱 1. 性能临界点的突破 // Rust实现的斐波那契计算 #[wasm_bindgen] pub fn wasm_fib(n: i32) -> i32 {match n {0 > 0,1 > 1,_ > wasm_fib(n-1) wasm_fib(n-2)} }// JavaScript等效实现对比 console.time(js); jsFib(40); // 1024ms cons…...

编程日记 2025/6/20 15:09:45

深度理解linux系统—— 了解操作系统

一、冯诺依曼体系结构 现在我们常见的计算机（笔记本电脑等）和不常见的计算机（服务器）它们都满足冯诺依曼体系。 我们可以把计算机理解成一个个硬件组成的 输入设备：键盘、鼠标、摄像头、网卡、磁盘等输出设备&#xf…...

编程日记 2025/5/31 20:50:32

【fork初体验】

文章目录 Linux 实验：深入理解 fork 系统调用一、实验目的二、实验环境三、实验内容与步骤（一）打印进程的进程 ID 和父进程 ID1. 编写程序2. 编译与运行3. 运行结果 （二）使用 fork 系统调用创建进程并加入循环语句1. 编…...

编程日记 2025/6/20 16:01:40

区块链VS传统数据库：金融数据存储的“信任”与“效率”博弈

在金融行业数字化转型的浪潮中，数据存储技术选型已成为核心议题。区块链技术凭借其去中心化、不可篡改等特性强势崛起，而传统数据库（如关系型数据库MySQL、分布式数据库）凭借成熟生态和高效性能仍占据主导地位。如何在两者之间做出…...

编程日记 2025/6/20 16:00:28

Linux渗透测试

Linux渗透测试 比赛题库-Linux渗透测试 文章目录 Linux渗透测试比赛题库-Linux渗透测试 前言一、解题过程1.通过本地PC中渗透测试平台Kali对靶机场景进行系统服务及版本扫描渗透测试，并将该操作显示结果中Apache服务对应的版本信息字符串作为Flag值提交&#xff1b…...

编程日记 2025/5/31 16:06:32

ORA-02069错误排查实录：从 Database Link 到 Global Names 的陷阱

文章目录 错误重现根因解决方案1.设置GLOBAL_NAMEStrue2.全部业务逻辑放在在远端执行 在日常的 Oracle 数据同步任务中，我们经常透过 Database Link（DBLink） 进行跨数据库查询与写入。某日，我们在执行一段 INSERT INTO … SELECT …...

编程日记 2025/6/20 15:41:46

【CF闯关练习】—— 1200分

🌏博客主页：PH_modest的博客主页 🚩当前专栏：cf闯关练习 💌其他专栏： 🔴每日一题 🟡 C跬步积累 🟢 C语言跬步积累 🌈座右铭：广积粮，缓…...

编程日记 2025/6/2 14:59:38

正则表达式三剑客之——grep和sed

目录 一.grep 1.1定义 1.2核心功能 1.3基本语法 1.4常用选项 二.sed 2.1 定义 2.2 工作原理 2.3 基本语法 2.3.1常用选项 2.3.2sed自身脚本语法 1. 基本组成 2. 地址 3. 命令 2.3.3 sed替换查找 1 基本语法 2.sed替换查找的实例 3.分组后向引用 4 变量调…...

编程日记 2025/6/2 21:35:02

i18n-ai-translate开源程序，可以使用DeepSeek等模型将您的 i18nJSON翻译成任何语言

一、软件介绍 文末提供程序和源码下载 i18n-ai-translate开源程序使用 DeepSeek等模型可以将您的 i18n JSON 翻译成任何语言。 无缝翻译本地化文件。支持嵌套翻译文件的目录。需要i18next样式的JSON 文件（文末一并提供下载）。 二、模式 CSV 模式 三个…...

编程日记 2025/6/3 13:32:40

关于Android Studio的Gradle各项配置

Gradle 构建概览 Android 应用通常使用 Gradle 构建系统构建。在深入了解如何配置 build 之前，我们先来探索 build 背后的概念，以便您全面了解系统。 什么是 build？ 构建系统会将源代码转换为可执行应用。构建通常涉及多个工具，用…...

编程日记 2025/6/3 22:59:40

数据安全和合规性市场分析

一、什么是数据安全和合规性 在数据安全和合规性方面，存在着一系列重要的法律、法规和行业标准，这些规定了组织如何收集、存储、处理和保护个人数据及其他敏感信息。企业之所以要遵守这些规定，是出于多方面的考量，既有法律责任&a…...

编程日记 2025/6/4 9:23:59

venv环境基础指令以及常见问题汇总（持续更新）

常见指令 在 Python 原生虚拟环境（venv） 中，没有直接列出所有虚拟环境的命令（因为 venv 不像 Conda 那样有集中管理机制），但可以通过 文件操作 或 脚本 实现类似功能。以下是常用命令和技巧： &…...

编程日记 2025/6/20 10:25:28

思科路由器重分发（RIP动态路由+静态路由）

路由器重分发（RIP动态路由静态路由） 静态路由不能作翻译官 RIP需要宣告自己的ip；还需要帮静态路由也宣告一下开启端口并配置IP地址 RIP路由 Router>en Router#conf t Router(config)#int g0/0 Router(config-if)#no shutdown Router(c…...

编程日记 2025/6/4 15:52:37

产销协同的作用是什么？又如何对各部门发挥作用？

目录 一、产销协同的对象有哪些？ 1. 客户需求 2. 市场趋势 3. 供应链伙伴 4. 企业战略目标 二、产销协同的作用是什么？ 1. 提高客户满意度 2. 降低企业成本 3. 增强市场竞争力 4. 优化资源配置 三、产销协同对各部门怎么发挥作用？…...

编程日记 2025/6/3 20:56:01

19.【.NET 8 实战--孢子记账--从单体到微服务--转向微服务】--单体转微服务--当前项目拆分规划

随着业务规模的不断扩大和系统复杂度的提升，孢子记账系统需要进行微服务架构的转型。本文将详细规划从单体应用向微服务架构迁移的具体方案，包括功能模块分析、服务拆分、技术选型以及实施步骤等内容。通过合理的服务拆分和架构设计，未来我们…...

编程日记 2025/5/31 0:53:55

JFLAP SOFTWARE 编译原理用（自动机绘图）

csdn全是蛆虫，2mb的软件，都在那里搞收费，我就看不惯，我就放出来，那咋了！！！ https://pan.baidu.com/s/1IuEfHScynjCCUF5ScF26KA 通过网盘分享的文件：JFLAP7.1.jar 链接: h…...

编程日记 2025/5/31 15:51:24

从 Vue 到 React：React 合成事件

目录 一、什么是 React 合成事件？二、处理流程React 事件系统的大致流程和 Vue 3 的区别 三、用法示例四、SyntheticEvent 的特点五、为什么 React 要统一事件到根节点？1.减少事件监听器数量2. 简化事件解绑逻辑3. 保证一致的行为 六、React 18 后事件系…...

编程日记 2025/5/31 10:55:17

react的fiber 用法

在 React 里，Fiber 是 React 16.x 及后续版本采用的协调算法，它把渲染工作分割成多个小任务，让 React 可以在渲染过程中暂停、恢复和复用任务，以此提升渲染性能与响应能力。在实际开发中，你无需直接操作 Fiber 节点&am…...

编程日记 2025/5/31 10:39:21

深度学习-学习笔记

文章目录 1、概述2、学习笔记2.1、pytorch 的环境配置 1、概述 本篇博客用来记录我学习深度学习的学习笔记 参考视频：PyTorch深度学习快速入门教程 PyTorch 是一个开源的机器学习框架，主要用于构建和训练深度学习模型。 2、学习笔记 2.1、pytorch 的环…...

编程日记 2025/5/29 7:42:40

[创业之路-390]：人力资源 - 社会性生命系统的解构与重构：人的角色嬗变与组织进化论

前言： 人、财、物、信息、机制、流程、制度、方法共同组合了一个持续的消耗资源、持续的价值创造、持续面临生存与发展、遗传与变异的社会性生命系统。 "人"是所有社会性生命系统最最基础性的要素，它弥漫在系统中多维立体空间的不同节点上&am…...

编程日记 2025/5/27 5:50:31

Redis常见面试题——List对象

当然可以！这里我帮你整理了一份【Redis中 List 结构】相关的高频面试题，并附上简明回答： 📚 Redis List 结构面试题（高频总结版） 1. Redis 中的 List 是什么？底层是什么实现的？ 答&…...

编程日记 2025/5/31 7:37:04

案例速成GO操作redis，个人笔记

更多个人笔记：（仅供参考，非盈利） gitee： https://gitee.com/harryhack/it_note github： https://github.com/ZHLOVEYY/IT_note 安装redis客户端：go get github.com/redis/go-redis/v9 注意go …...

编程日记 2025/6/2 13:23:50

什么是WebSocket？NGINX如何支持WebSocket协议？

大家好，我是锋哥。今天分享关于【什么是WebSocket？NGINX如何支持WebSocket协议？】面试题。希望对大家有帮助； 什么是WebSocket？NGINX如何支持WebSocket协议？ 1000道 互联网大厂Java工程师 精选面试题-Java…...

编程日记 2025/6/3 1:49:29

ssm驾校预约管理系统的设计与实现(源码+lw+部署文档+讲解)，源码可白嫖!

摘要 伴随着我国社会的发展，人民生活质量日益提高。在人们出行方式上的体现就是，价格较为昂贵的代步工具——汽车，它的拥有率在我国越来越高了。而汽车的行驶速度很快，并且随着汽车拥有率的增加，城市中行驶和停靠的车…...

编程日记 2025/6/1 10:31:00

babel核心知识点

Babel 是一个 JavaScript 编译器，主要用于将 ECMAScript 2015 版本的代码转换为向后兼容的 JavaScript 代码，以便在旧版本的浏览器或环境中运行。以下是 Babel 的核心知识点： 1. 基本概念 编译器：Babel 本质上是一个编译器&…...

编程日记 2025/6/1 1:45:31

学习笔记（算法学习+Maven）

单调队列优化多重背包 #include <bits/stdc.h> using namespace std; const int M 2010; const int N 20010; int q[N]; int hh 0, tt -1; int f[N]; int g[N]; int v[M], w[M], s[M]; int n, m; int main() { cin >> n >> m; for (int i 1; …...

编程日记 2025/6/4 7:32:45

买币永续合约成全球交易热点，XBIT去中心化交易所平台显著提升市场流动性

在全球加密货币市场日益扩大的背景下&#xff0c;买币永续合约正展现出惊人的增长势头。虽然比特币自2021年黄金时期以来整体兴趣有所减弱&#xff0c;但永续合约市场表现亮眼&#xff0c;专业和机构交易者正从传统日历期货转向这一领域&#xff0c;使得永续合约占据了约66%的未…...

编程日记 2025/6/4 5:41:51

详解 `from datasets import load_dataset`：数据格式、公开数据集与自定义数据集实战指南

在自然语言处理（NLP）和机器学习领域，Hugging Face 的 datasets 库凭借其高效的数据加载和预处理能力成为开发者必备工具。本文通过代码示例详解 load_dataset 的核心用法，涵盖数据格式解析、公开数据集调用和自定义数据集构建。 一、数据格式解析与加载示例 datasets 库支…...

编程日记 2025/6/1 22:06:48

Eclipse 插件开发 1

Eclipse 插件开发 1 1 创建 Eclipse 插件2 特点对比表3 总结对比表 Eclipse 是一个功能强大的集成开发环境(IDE)&#xff0c;最初为 Java 开发设计&#xff0c;但现在已经支持多种语言和平台。它的核心优势在于高度可扩展的插件架构&#xff0c;使开发者能够定制开发环境以满足…...

编程日记 2025/6/3 4:02:20

单链表专题(1)

1.什么是链表&#xff1f; 链表是结构体变量与结构体变量连接在一起 2.动态创建一个链表 动态内存申请模块化设计 1.创建链表&#xff08;创建一个表头表示整个链表&#xff09; 2.创建结点 3.插入结点 4.删除结点 5.打印遍历链表&#xff08;测试&#xff09; 3.创建链…...

编程日记 2025/5/28 7:29:53

[贪心_8] 跳跃游戏 | 单调递增的数字 | 坏了的计算器

目录 1.跳跃游戏 题解 2.单调递增的数字 证明 3.坏了的计算器 题解 解法一&#xff1a;正向推导 解法二&#xff1a;正难则反 1.跳跃游戏 链接&#xff1a; 55. 跳跃游戏 给你一个非负整数数组 nums &#xff0c;你最初位于数组的 第一个下标 。数组中的每个元素代表你…...

编程日记 2025/6/20 9:04:50

Python基于Django的全国二手房可视化分析系统【附源码】

博主介绍&#xff1a;✌Java老徐、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;&…...

编程日记 2025/6/19 22:08:17

Spring Boot 升级指南（2.x → 3.x）

&#x1f680; Spring Boot 升级指南&#xff08;2.x → 3.x&#xff09; &#x1f522; 1️⃣ 必读文档 &#x1f4d8; 当您需要从 Spring Boot 2.x 升级时&#xff1a; • 官方迁移指南 → https://github.com/spring-projects/spring-boot/wiki/Spring-Boot-3.0-Migration-…...

编程日记 2025/6/3 18:07:21

基于亚马逊云科技构建音频转文本无服务器应用程序

Amazon Transcribe是一项基于机器学习模型自动将语音转换为文本的服务。它提供了多种可以提高文本转录准确性的功能&#xff0c;例如语言自定义、内容过滤、多通道音频分析和说话人语音分割。Amazon Transcribe 可用作独立的转录服务&#xff0c;也可以集成到应用程序中提供语音…...

编程日记 2025/6/3 2:26:19

io_uring概述：现代 Linux 异步 IO 的新范式

一、引言 在 Linux 系统中&#xff0c;I/O 性能一直是高性能服务器、数据库、存储系统的关键瓶颈。传统的 I/O 接口&#xff08;如 read、write、poll、epoll&#xff09;已经难以满足现代高吞吐低延迟场景的需求。io_uring 的诞生&#xff0c;正是为了解决这些传统 I/O 模型中…...

编程日记 2025/6/4 11:49:17

定制一款国密浏览器(12)：分析SM2签名算法的实现

SM2 是一种非对称加密算法，除了用来进行加密解密外，主要作用还用作数字签名。数字签名是私钥签名，公钥用来验签。由于私钥是不公开的，所以私钥签名还可以防抵赖。 一般的签名流程如下： 发送者对消息计算摘要值。发送者用私钥对摘要值进行签名得到签名值。发送者将原始消息…...

编程日记 2025/5/29 19:51:11

SSE协议

目录 SSE协议协议实现传输格式data 字段id 字段event 字段retry 字段 前后端实现使用案例FastAPI SSE-STARLETTE 模拟大模型推理流&#x1f5a5; 代码&#xff1a;FastAPI SSE-STARLETTE 模拟大模型推理流 SSE协议 SSE&#xff0c;全称是 Server-Sent Events&#xff0c;是一…...

编程日记 2025/6/3 21:43:35

精益数据分析（25/126）：关键指标驱动业务发展

精益数据分析&#xff08;25/126&#xff09;&#xff1a;关键指标驱动业务发展 在创业和数据分析的道路上&#xff0c;我们都在不断探索如何利用数据实现业务的增长与优化。今天&#xff0c;让我们一起深入学习《精益数据分析》中的关键知识点&#xff0c;通过实际案例来理解…...

编程日记 2025/6/4 6:57:37

基于Spring AI Alibaba + Spring Boot + Ollama搭建本地AI对话机器人API

前言 Spring AI Alibaba 开源项目基于 Spring AI 构建&#xff0c;是阿里云通义系列模型及服务在 Java AI 应用开发领域的最佳实践&#xff0c;提供高层次的 AI API 抽象与云原生基础设施集成方案&#xff0c;帮助开发者快速构建 AI 应用。 项目地址 gitcode平台&#xff1a;ht…...

编程日记 2025/6/20 2:30:46

git 工具

Git教程 Git Bash详细教程 Git教程 Git Bash详细教程-CSDN博客 Download – TortoiseGit – Windows Shell Interface to Git...

编程日记 2025/5/16 11:11:01

利用【指针引用】对【非空单循环链表】进行删除操作

【非空单循环链表】是链式存储结构的其中一种&#xff0c;下面是各个词汇的意思&#xff1a; 先说【单】的意思&#xff1a; 这里指的是【单循环】的&#xff0c;另外在别的地方你会碰到一些不一样的循环链表&#xff0c;比如说是【多重链】的。 单循环 【单循环链表】常在表的…...

编程日记 2025/5/30 22:04:06