当前位置：首页 > news >正文

PgVectore的使用

news 来源：原创 2025/8/27 9:14:38

PgVectore的使用

一、PgVector的安装

参照博客：https://blog.csdn.net/u012953777/article/details/147013691?spm=1001.2014.3001.5501

二、PgVector的使用

1、创建表与插入数据

定义向量字段：

CREATE TABLE items (id SERIAL PRIMARY KEY,embedding VECTOR(768),  -- 768维向量（如BERT模型输出）metadata JSONB
);

插入向量数据

INSERT INTO items (embedding, metadata) VALUES ('[0.1, 0.3, ..., 0.8]', '{"title": "文档1"}'),('[0.4, 0.2, ..., 0.7]', '{"title": "文档2"}');

2、索引优化

pgvector 支持两种索引类型，针对不同场景优化：

HNSW 索引

适用场景：高查询速度，适合静态数据（较少更新）。
创建索引：

CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops)WITH (m = 16, ef_construction = 64);

m：每层的最大邻居数（默认16，范围4-100）
ef_construction：构建时的搜索范围（默认100，影响构建速度和精度）

IVFFlat 索引

适用场景：快速构建，适合动态数据（频繁更新）。
创建索引：

CREATE INDEX ON items USING ivfflat (embedding vector_l2_ops)WITH (lists = 100);

运算符类选择

vector_l2_ops：欧氏距离（L2）
vector_ip_ops：内积相似度
vector_cosine_ops：余弦相似度

3、相似性搜索

基础查询：

SELECT * FROM items
ORDER BY embedding <-> '[0.5, 0.1, ..., 0.9]'  -- 按L2距离排序
LIMIT 10;

动态调整搜索参数（HNSW）：

SET hnsw.ef_search = 200;  -- 扩大搜索范围以提高召回率

余弦相似度查询：

SELECT id, 1 - (embedding <=> '[0.3, ..., 0.2]') AS cosine_similarity
FROM items
ORDER BY cosine_similarity DESC
LIMIT 5;

4、性能优化技巧

索引构建时机：在数据导入后创建索引，避免频繁更新导致重建。
参数调优：
- HNSW：增大 ef_construction 和 ef_search 提高精度，但会降低速度
- IVFFlat：增加 lists 提升准确性，但增加内存占用
归一化处理：使用余弦相似度前，确保向量已归一化（模长为1）

5、高级用法

混合搜索（向量 + 条件过滤）

SELECT * FROM items
WHERE metadata->>'category' = '科技'
ORDER BY embedding <=> '[0.2, ..., 0.6]'
LIMIT 10;

分页查询

SELECT * FROM items
ORDER BY embedding <-> '[0.7, ..., 0.1]'
OFFSET 20 LIMIT 10;

6、维护操作

重建索引：

REINDEX INDEX items_hnsw_index;

更新索引参数：

ALTER INDEX items_hnsw_index SET (ef_construction = 128);

7、注意事项

* 维度限制：pgvector 支持最高 16,000 维。
* 内存管理：大规模数据需确保足够内存，尤其是IVFFlat索引。
* 数据一致性：频繁更新时，IVFFlat可能需要定期重建索引。

PgVectore的使用

PgVectore的使用一、PgVector的安装参照博客：https://blog.csdn.net/u012953777/article/details/147013691?spm1001.2014.3001.5501 二、PgVector的使用 1、创建表与插入数据定义向量字段： CREATE TABLE items (id SERIAL PRIMARY …...

编程日记 2025/8/27 9:14:38

智能工厂的数字孪生与信息物理系统架构研究

摘要本文以工业 4.0 为背景，系统分析数字孪生（Digital Twin）与信息物理系统（CPS）在智能工厂中的协同架构。通过构建 "感知 - 映射 - 决策 - 执行" 的四层技术框架，结合三一重工、海尔等企业案例…...

编程日记 2025/8/27 20:46:23

基于YOLO11实例分割与奥比中光相机的快递包裹抓取点检测

本博客来源于CSDN机器鱼，未同意任何人转载。更多内容，欢迎点击本专栏，查看更多内容。 0 引言项目采用六轴机械臂搭配末端真空吸盘，从无序包裹中抓取想要的包裹。AI算法需要提供各包裹的抓取点的3D坐标与3D姿态。由于快递包裹含…...

编程日记 2025/8/28 7:02:02

简单程序语言理论与编译技术·22 实现一个从AST到RISCV的编译器

本文是记录专业课“程序语言理论与编译技术”的部分笔记。 LECTURE 22（实现一个从AST到RISCV的编译器） 一、问题分析 1、完整的编译器（如LLVM）需先完成AST到IR的转换，并进行代码优化，再到汇编&#xff0…...

编程日记 2025/8/28 7:00:47

无锡无人机驾驶证培训费用

无锡无人机驾驶证培训费用，随着科技的迅速发展，无人机在众多行业中发挥着举足轻重的作用。从影视制作到农业监测，再到物流运输与城市规划，无人机的应用场景不断扩展，因此越来越多的人开始意识到学习无人机驾驶技能的重…...

编程日记 2025/8/28 7:00:25

[ctfshow web入门] web5

前置知识引用博客：phps的利用当服务器配置了 .phps 文件类型时，访问 .phps 文件会以语法高亮的形式直接显示 PHP 源代码，而不是执行它。.phps被作为辅助开发者的一种功能，开发者可以通过网站上访问xxx.phps直接获取高亮源代码 …...

编程日记 2025/8/28 7:02:04

第五章:架构安全性_《凤凰架构：构建可靠的大型分布式系统》

第五章架构安全性一、认证机制核心知识点： 认证标准： HTTP Basic认证：Base64编码传输凭证，需配合HTTPS使用OAuth 2.0：授权框架，重点掌握四种授权模式： 授权码模式（最安全&#…...

编程日记 2025/8/22 18:20:09

控件主题效果添加程序设计

以下是针对Qt Designer设计的控件添加阴影效果的完整解决方案，结合可视化设置与动态主题支持： 一、基础阴影效果实现方案 1. 通过QSS实现简易阴影（适用于简单需求） /* 使用多重边框模拟阴影效果 */ QFrame#customWidget {borde…...

编程日记 2025/8/28 7:02:02

用swift playground写个ios应用和大模型或者网站交互

import SwiftUIstruct ContentView: View {State private var textFieldText: String ""State private var outputText: String "输出将会显示在这里"private let tip:String "消息已发送，请等待"State private var history:[Stri…...

编程日记 2025/8/28 7:00:26

Mlivus Cloud SDK v2的革新：从痛点剖析到实战优化

目录从V1到V2：开发者体验的范式转变深度解析SDK v2的架构革新 1. 统一接口范式：终结API混乱时代 2. 原生异步支持：高并发场景的性能救星 3. Schema Cache机制：性能优化的隐形冠军 4. 全功能REST API：简化集成的关键实战指南：从迁移到深度优化平滑迁移策略性…...

编程日记 2025/8/28 7:02:03

【图像处理基石】什么是AWB？

1. AWB（自动白平衡）的定义 AWB（Auto White Balance）是一种图像处理技术，通过算法校正不同色温光源下图像的色彩偏差，使白色在任何光照条件下都能准确呈现为白色，从而让图像颜色更接近人眼真实感…...

编程日记 2025/8/28 7:02:28

[蓝桥杯 2017 省 B] k 倍区间

P8649 [蓝桥杯 2017 省 B] k 倍区间题目描述给定一个长度为 N N N 的数列， A 1 , A 2 , ⋯ A N A_1,A_2, \cdots A_N A1,A2,⋯AN，如果其中一段连续的子序列 A i , A i 1 , ⋯ A j ( i ≤ j ) A_i,A_{i1}, \cdots A_j(i \le j) Ai,Ai1,⋯…...

编程日记 2025/8/28 7:02:03

基于SSM的高校宿舍水电管理系统

作者：计算机学姐开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码精品专栏：…...

编程日记 2025/8/24 5:26:41

【LLM系列】1.大模型简介

1. 基础 1.1 如何权衡模型的复杂度和性能？ ├── a. 模型架构选择 │ ├── 简化架构 │ │ └── 选择较小的网络层数和宽度，降低复杂度； │ │ 可使用高性能基础模型如 Transformers 作为起点，根据需求缩放模型。 │ └──…...

编程日记 2025/8/25 18:39:52

从概念和设计哲学的角度详细解析工厂模式

从概念和设计哲学的角度详细解析工厂模式。 1. 工厂模式的核心目标解耦：将对象的创建过程与使用过程分离，使用者无需关心对象如何被创建。统一入口：通过一个接口或方法控制对象的生成，隐藏底层实现细节。类比现实中的工厂&am…...

编程日记 2025/8/26 13:27:59

AI小白：机器学习VS深度学习

1 特征工程的范式革命传统机器学习：手工特征工程的艺术在传统机器学习中，特征工程是一个关键步骤，它涉及将原始数据转化为能够被机器学习模型高效利用的特征。这通常需要领域专家的经验和知识，以手动设计和提取特征。例如&a…...

编程日记 2025/8/20 11:44:59

对应列表数据的分割和分组

要基于指定的流派列表分割数据，可以使用布尔索引或 groupby 结合筛选。以下是具体方法： 场景假设数据列 genres 中的值可能是多流派的字符串，例如 "drama,action" 或 ["drama", "action"]。目标&#xff1…...

编程日记 2025/8/22 11:15:17

信息物理系统（CPS）：中国 AI（DEEPSEEK）的未来路径

一、引言人工智能（AI）的发展正从通用模型向垂直领域渗透，而信息物理系统（CPS）作为连接数字世界与物理世界的桥梁，为 AI 提供了新的发展方向。中国 AI 企业如 DEEPSEEK 通过开源策略和本土化优势&#xff…...

编程日记 2025/8/24 1:09:44

SEO长尾词优化实战技巧

内容概要长尾关键词作为SEO策略的重要组成部分，能够有效捕捉细分领域的精准流量，降低竞争成本的同时提升转化效率。本文系统梳理了从关键词挖掘到流量转化的全链路优化方法，重点解析工具使用、布局策略及搜索意图匹配三大核心模块。通过结合…...

编程日记 2025/8/22 16:28:44

爬虫自动化工具：DrissionPage

1. DrissionPage初始官网地址：🛰️ 概述 | DrissionPage官网在当今互联网高速发展的时代，网页数据的获取和处理变得愈发重要。传统的自动化工具如 Selenium 在某些方面逐渐显露出一些局限性，而 DrissionPage 正是在这样的背景下…...

编程日记 2025/8/22 4:51:09

扩展库Scrapy：Python网络爬虫的利器

目录一、扩展机制的核心原理二、六大实用扩展库详解 1. 动态渲染神器：scrapy-playwright 2. 分布式架构：scrapy-redis 3. 反反爬利器：scrapy-zyte-smartproxy 4. 智能调度：scrapy-thunder 5. 数据管道：scrapy…...

编程日记 2025/8/23 13:11:43

exer01 Message # 1.定义Message消息类和cmd,content,sender,to四个属性，其中to默认为None class Message:def __init__(self, cmd, content, sender, toNone):self.cmd cmdself.content contentself.sender senderself.to to # 2. 创建登录消息对象msg1,聊天消…...

编程日记 2025/8/25 17:35:41

04.游戏开发-unity编辑器详细-工具栏、菜单栏、工作识图详解

04.游戏开发，unity编辑器详细-工具栏、菜单栏、工作识图详解提示：帮帮志会陆续更新非常多的IT技术知识，希望分享的内容对您有用。本章分享的是Python基础语法。前后每一小节的内容是存在的有：学习and理解的关联性，希…...

编程日记 2025/8/18 0:25:53

GRBL运动控制算法（二）圆弧插补

前言 GRBL 是一款高性能、开源的嵌入式 CNC（计算机数控）控制器固件，专为 Arduino 平台优化，广泛应用于雕刻机、激光切割机、3D 打印机及其他精密运动控制场景。自 2009 年发布以来，GRBL 凭借其高效的运动规划算法、稳…...

编程日记 2025/8/22 19:38:06

《P1072 [NOIP 2009 提高组] Hankson 的趣味题》

题目描述 Hanks 博士是 BT（Bio-Tech，生物技术) 领域的知名专家，他的儿子名叫 Hankson。现在，刚刚放学回家的 Hankson 正在思考一个有趣的问题。今天在课堂上，老师讲解了如何求两个正整数 c1 和 c2 的最大公约数…...

编程日记 2025/8/25 0:18:55

矩阵分解中的梯度下降：详细实现方案（包含数学推导、代码实现和优化技巧）

矩阵分解中的梯度下降：详细实现方案（包含数学推导、代码实现和优化技巧）矩阵分解是机器学习和数据科学中重要的技术，广泛应用于推荐系统、自然语言处理、图像处理等领域。梯度下降作为一种优化算法，在矩阵分解中常用于最小化目标函数以找到最佳的矩阵近似。本指南将详细…...

编程日记 2025/8/23 21:57:55

STM32F103C8T6实现 SG90 360 °电机转动

简介基于上一篇 STM32F103C8T6实现 SG90 180 电机任意角度转动本来想实现角度转动, 但靠舵机本身无法实现限位, 需要记录位置, 并且根据转速计算大概位置, 存在误差， 不实现角度转动了, 只实现正反转代码正向速度0.75为最大速度, 反向2.25， 接近1.5…...

编程日记 2025/8/23 23:55:59

RTDETR融合[CVPR2025]DnLUT中的MuLUTUnit模块

RT-DETR使用教程： RT-DETR使用教程 RT-DETR改进汇总贴：RT-DETR更新汇总贴《DnLUT: Ultra-Efficient Color Image Denoising via Channel-Aware Lookup Tables》一、模块介绍论文链接：https://arxiv.org/pdf/2503.15931 代码链接&#xf…...

编程日记 2025/8/25 22:05:02

大数据Spark（五十七）：Spark运行架构与MapReduce区别

文章目录 Spark运行架构与MapReduce区别一、Spark运行架构二、Spark与MapReduce区别 Spark运行架构与MapReduce区别一、Spark运行架构 Master:Spark集群中资源管理主节点，负责管理Worker节点。Worker:Spark集群中资源管理的从节点，负责任务的运行…...

编程日记 2025/8/28 4:18:21

二：python基础（黑马）

一：了解 1.1: python特点 python是完全面向对象的语言函数，模块，数字，字符串都是对象，在python中一切皆对象完全支持继承，重载，多重继承支持重载运算符，也支持泛型设计 py…...

编程日记 2025/8/23 1:24:51

【马拉车 KMP 差分数组】P6216 回文匹配|省选-

本文涉及知识点较难理解的字符串查找算法KMP C差分数组马拉车算法 P6216 回文匹配题目描述对于一对字符串 ( s 1 , s 2 ) (s_1,s_2) (s1,s2)，若 s 1 s_1 s1 的长度为奇数的子串 ( l , r ) (l,r) (l,r) 满足 ( l , r ) (l,r) (l,r) 是回文的&#…...

编程日记 2025/8/26 20:24:42

C/C++测试框架googletest使用示例

文章目录文档编译安装示例参考文章文档 https://github.com/google/googletest https://google.github.io/googletest/ 编译安装 googletest是cmake项目，可以用cmake指令编译 cmake -B build && cmake --build build将编译产物lib和include 两个文件夹…...

编程日记 2025/8/24 5:37:00

提高MCU的效率方法

要提高MCU（微控制器单元）的编程效率，需要从硬件特性、代码优化、算法选择、资源管理等多方面入手。以下是一些关键策略： 1. 硬件相关优化时钟与频率：根据需求选择合适的时钟源（内部/外部振荡器），避免过高的时钟频率导致功耗浪费。关闭未使用的外设时钟（如定时器、UA…...

编程日记 2025/8/28 4:02:03

Ansible 实战：Roles，运维的 “魔法函数”

一、介绍你现在已经学过tasks和handlers，那么，最好的playbook组织方式是什么呢？答案很简单：使用roles！roles基于一种已知的文件结构，能够自动加载特定的vars_files、tasks以及handlers。通过roles对内容进…...

编程日记 2025/8/23 4:33:46

GO简单开发grpc

什么是grpc 首先我们需要了解，什么是grpc gRPC（全称：google remote procedure call）是由Google开发的一个高性能、开源的远程过程调用（RPC）框架。它基于 HTTP/2 协议，并且使用 Protocol Buffer…...

编程日记 2025/8/26 8:25:16

强引用，弱引用，软引用，虚引用，自旋锁，读写锁

强引用：强引用GC不会回收软引用：内存够的话不回收，内存不够的话回收弱引用：不管内存够不够，只要有GC就回收虚引用：点get是null，但是GC后他会把引用放到引用队列里边自旋锁：是指尝…...

编程日记 2025/8/27 16:47:44

C++异常处理 throw try catch

C 异常处理概述 C 异常处理机制提供了一种在程序运行时捕获错误或异常情况的方式。异常处理的目的是使得程序在遇到错误时能够优雅地终止或恢复，并防止程序出现崩溃。C 使用 try, throw, 和 catch 关键字来实现异常处理。异常处理的基本结构： throw: …...

编程日记 2025/8/27 8:45:28

优化 Web 性能：管理第三方资源（Third-Party Summary）

在现代 Web 开发中，第三方资源（如分析工具、广告脚本、字体服务）为网站提供了丰富的功能，但也可能成为性能瓶颈。Google 的 Lighthouse 工具在性能审计中提供了“第三方资源概要”（Third-Party Summary）&am…...

编程日记 2025/8/26 22:43:05

第六章、系统级 I/O

真题考点考点一：Unix I/O 所有的 I/O 设备(例如网络、磁盘和终端)都被模型化为文件，而所有的输入和输出都被当作对相应文件的读和写来执行。这种将设备优雅地映射为文件的方式，允许 Linux 内核引出一个简单、低级的应用接口，称为…...

编程日记 2025/8/25 8:21:39

Jetpack Compose 自定义标题栏终极指南：从基础到高级实战

Jetpack Compose 自定义标题栏终极指南：从基础到高级实战本文将带你彻底掌握 Compose 标题栏开发，涵盖 5 种专业级实现方案性能优化技巧完整可运行代码。 📚 核心方案对比方案特点适用场景复杂度基础Row布局完全自定义，灵…...

编程日记 2025/8/27 0:13:36

晶晨S905-S905L-S905LB_S905M2通刷_安卓6.0.1_16S极速开机_线刷固件包

晶晨S905-S905L-S905LB_S905M2通刷_安卓6.0.1_16S极速开机_线刷固件包线刷方法：（新手参考借鉴一下） 刷机工具版本请用2.2.0以上，导入固件后，刷机工具右侧两个擦除打勾，然后点开始。插上刷机神器&#xf…...

编程日记 2025/8/23 7:21:07

tkiner模块的初步学习

文章目录一、前言二、概念2.1 安装2.2 窗口三、小部件3.1 概述3.2 常用小部件3.2.1 Label3.2.2 Button3.2.3 Entry3.2.4 Text3.2.5 Listbox3.2.6 Checkbutton3.2.7 Radiobutton3.2.8 Scrollbar 3.3 更多小部件3.3.1 Scale3.3.2 Spinbox3.3.3. Progressbar 3.4 主题小部件四、…...

编程日记 2025/8/22 7:57:40

Java常用数据结构操作方法全面总结

目录一、List接口及其实现类二、Set接口及其实现类三、Map接口及其实现类四、Queue/Deque队列五、Stack栈六、树形结构七、注意事项与最佳实践总结一、List接口及其实现类核心实现类 ArrayList：基于动态数组LinkedList：基于双向链表常用操作方法…...

编程日记 2025/8/22 2:28:57

Java的Selenium的特殊元素操作与定位之select下拉框

如果页面元素是一个下拉框，我们可以将此web元素封装为Select对象 Select selectnew Select(WebElement element); Select对象常用api select.getOptions();//获取所有选项select.selectBylndex(index);//根据索引选中对应的元素select.selectByValue(value);//选…...

编程日记 2025/8/18 0:00:07