当前位置：首页 > news >正文

新一代零样本无训练目标检测

news 来源：原创 2025/5/7 0:53:21

🏡作者主页：点击！

🤖编程探索专栏：点击！

⏰️创作时间：2024年12月2日21点02分

神秘男子影,
秘而不宣藏。
泣意深不见,
男子自持重,
子夜独自沉。

论文链接

点击开启你的论文编程之旅https://www.aspiringcode.com/content?id=17320697597148&uid=01ec6d85f5984256b968a6976921794c

检测作为计算机视觉领域的一项重要任务，旨在从图像中准确地识别并定位出感兴趣的目标。近年来，随着深度学习技术的快速发展，目标检测算法取得了显著的进展。本文将带您回顾目标检测技术的发展历程，从早期的二阶段算法，到YOLO系列，再到如今的Grounding Dino。

二阶段目标检测算法

R-CNN（Regions with CNN features）
R-CNN是第一个将深度学习应用于目标检测的算法，于2014年由Girshick等人提出。R-CNN采用选择性搜索算法提取候选区域，然后利用卷积神经网络（CNN）提取特征，最后通过支持向量机（SVM）进行分类。
Fast R-CNN
为了解决R-CNN速度慢、重复计算的问题，Girshick于2015年提出了Fast R-CNN。Fast R-CNN采用ROI（Region of Interest）Pooling层，实现了候选区域的共享特征提取，大大提高了检测速度。
Faster R-CNN
2015年，Ren等人在Fast R-CNN的基础上提出了Faster R-CNN。Faster R-CNN引入了区域建议网络（RPN），实现了候选区域的端到端训练，进一步提高了检测速度和准确性。

YOLO系列

YOLO（You Only Look Once）模型是一种流行的实时目标检测算法，它将目标检测任务视为一个单一的回归问题，通过单个卷积神经网络（CNN）同时预测多个边界框和类别概率，实现了端到端的快速检测，极大地提高了检测速度，同时保持了较高的准确性，使其在视频监控、自动驾驶等实时应用场景中具有广泛的应用价值。

Grounding Dino

Grounding Dino模型是一种创新的视觉目标检测方法，它结合了自然语言处理和计算机视觉的技术，通过使用Transformer架构来实现对图像中目标的定位和描述。

第一段：模型架构 Grounding Dino模型的核心是一个基于Transformer的编码器-解码器结构。编码器用于提取图像的特征，而解码器则负责将自然语言查询与图像特征进行匹配，生成目标的定位信息。这种架构允许模型理解图像内容与文本描述之间的关联，从而无需传统的边界框标注，直接通过文本指令来定位图像中的目标。

第二段：工作原理在执行目标检测时，Grounding Dino模型接收一个图像和一个相关的文本查询作为输入。模型首先使用编码器提取图像的深层特征，然后解码器将这些特征与文本查询中的单词进行交互，通过注意力机制找出与查询最相关的图像区域。最终，模型输出一个定位热图，指示查询文本所指目标在图像中的位置。

第三段：优势与应用 Grounding Dino模型的优势在于其无需精确的边界框标注，降低了数据准备的成本，并且能够处理细粒度的目标检测任务。此外，由于其基于文本的查询机制，模型在处理复杂场景和具有描述性需求的应用中表现出色。这使得Grounding Dino在图像检索、交互式视觉问答系统等领域具有广泛的应用潜力。

演示效果

TEXT_PROMPT = “chair . person . dog . cat .”

Grounding DINO

Model Overall (总体架构)

输入：
Input Text: 输入文本，例如“cat . person . mouse .”或“A cat sets on a table.”
Input Image: 输入图像。
Text and Image Backbone Networks (文本和图像主干网络)

Text Backbone: 提取文本特征。
Image Backbone: 提取图像特征。
Feature Enhancer (特征增强器)

接收原始的文本特征和图像特征，并对其进行增强处理。
Cross-Modality Decoder (跨模态解码器)

Language-guide Query Selection: 根据语言信息选择查询。
Cross-Modality Queries: 生成跨模态查询。
Model Outputs (模型输出)

包括对比损失（Contrastive loss）和定位损失（Localization loss）。

Feature Enhancer (特征增强器)

功能模块：
Text-to-image Cross-Attention: 利用文本特征对图像特征进行增强。
Image-to-text Cross-Attention: 利用图像特征对文本特征进行增强。
Self-Attention Mechanism: 对文本和图像特征进行自注意力处理。
Feed Forward Network (FFN): 对增强后的特征进行进一步处理。
流程：
文本特征和图像特征分别经过各自的主干网络得到初步表示。
这些初步表示被送入特征增强器中。
特征增强器首先通过文本到图像的跨注意力机制增强图像特征，然后通过图像到文本的跨注意力机制增强文本特征。
增强后的特征再经过自注意力机制进一步优化。
最后，通过前馈神经网络（FFN）对特征进行最终处理。

A Decoder Layer (解码器层)

功能模块：
Cross-Modality Attention: 更新跨模态查询。
Self-Attention Mechanism: 对文本和图像特征进行自注意力处理。
Feed Forward Network (FFN): 对处理后的特征进行进一步处理。
流程：
跨模态查询通过跨模态注意力机制进行更新。
更新后的查询与文本和图像特征一起进入解码器层。
解码器层首先对文本和图像特征进行自注意力处理。
然后，通过前馈神经网络（FFN）对特征进行进一步处理。

Grounding DINO使用代码

预测多个类别

from groundingdino.util.inference import load_model, load_image, predict, annotate
import cv2model = load_model("groundingdino/config/GroundingDINO_SwinT_OGC.py", "groundingdino/weights/groundingdino_swint_ogc.pth")
IMAGE_PATH = ".asset/cat_dog.jpeg"
TEXT_PROMPT = "chair . person . dog . cat ."
BOX_TRESHOLD = 0.35
TEXT_TRESHOLD = 0.25image_source, image = load_image(IMAGE_PATH)boxes, logits, phrases = predict(model=model,image=image,caption=TEXT_PROMPT,box_threshold=BOX_TRESHOLD,text_threshold=TEXT_TRESHOLD,device="cuda"
)
annotated_frame = annotate(image_source=image_source, boxes=boxes, logits=logits, phrases=phrases)
cv2.imwrite("annotated_image.jpg", annotated_frame)

模型训练

将model.eval()改成model.train()

修改代码67，68行

微调训练框架

from groundingdino.util.inference import load_model, load_image, predict, annotate
import cv2
model = load_model("groundingdino/config/GroundingDINO_SwinT_OGC.py", "groundingdino/weights/groundingdino_swint_ogc.pth")
"""
for epoch in range(epoches):# 加载符合模型数据集标准的数据：每一次输入是一个列表，每一项是一个字典for data in train_dataloader: IMAGE_PATH=data['image_path']image_source, image = load_image(IMAGE_PATH)boxes, logits, phrases = predict(model=model,image=image,caption=TEXT_PROMPT,box_threshold=BOX_TRESHOLD,text_threshold=TEXT_TRESHOLD,device="cuda")loss=loss_function(output,data['real_predict'])optimiezer.zero_gard()loss.backward()optimiezer.step()
"""

模型部署

Grounding DINO权重下载

https://hf-mirror.com/ShilongLiu/GroundingDINO/tree/main

放入附件内容中：

BERT权重下载

https://hf-mirror.com/google-bert/bert-base-uncased/tree/main

随便放入那个文件夹都行，例如"D:/bert-base-uncased"
修改config文件：

安装依赖配置

设置环境变量

然后进入附件中：

pip install .

最后，运行代码

python demo.py

成功的路上没有捷径，只有不断的努力与坚持。如果你和我一样，坚信努力会带来回报，请关注我，点个赞，一起迎接更加美好的明天！你的支持是我继续前行的动力！"

"每一次创作都是一次学习的过程，文章中若有不足之处，还请大家多多包容。你的关注和点赞是对我最大的支持，也欢迎大家提出宝贵的意见和建议，让我不断进步。"

神秘泣男子

新一代零样本无训练目标检测

🏡作者主页：点击！ 🤖编程探索专栏：点击！ ⏰️创作时间：2024年12月2日21点02分神秘男子影, 秘而不宣藏。泣意深不见, 男子自持重, 子夜独自沉。论文链接点击开启你的论文编程之旅h…...

编程日记 2025/5/7 0:53:21

神经网络入门实战：（九）分类问题 → 神经网络模型搭建模版和训练四步曲

(一) 神经网络模型搭建官方文档每一层基本都有权重和偏置，可以仔细看官方文档。 pytorch 官网的库：torch.nn — PyTorch 2.5 documentation Containers库：用来搭建神经网络框架（包含所有的神经网络的框架）&#xff1b…...

编程日记 2025/5/7 0:21:54

写NFC微信小程序跳转Uri标签

本示例使用的发卡器：https://item.taobao.com/item.htm?spma21dvs.23580594.0.0.52de2c1b8bEEGz&ftt&id615391857885 Dim dispstr As String Dim status As Byte Dim status1 As Byte Dim afi As Byte Dim myctrlword As Byte Dim mypiccserial(0 To 7) …...

编程日记 2025/5/3 15:39:21

Gradle vs. Maven: 到底哪个更适合java 项目?

ApiHug ApiHug - API Design & Develop New Paradigm.ApiHug - API Design & Develop New Paradigm.https://apihug.com/ 首先 ApiHug 整个工具链是基于 gradle 构建,包括项目模版， 插件； 说到 Java 项目管理，有两个巨头脱颖而出&a…...

编程日记 2025/5/6 23:57:39

【赛博保安】安全日记之常用术语(一)

"企业的信息安全治理水平，直接取决于安全团队人员的技术专业度，而非运营经验值。所谓的技术，并非指渗透和挖洞的能力，而是指软件开发、IT 架构、网络拓扑相关的知识和经验。站在乙方的角度来看，技术薄弱的安全人…...

编程日记 2025/5/3 16:35:58

设计模式更新ing

设计模式 1、六大原则1.1 单一设计原则 SRP1.2 开闭原则1.3 里氏替换原则1.4 迪米特法则1.5 接口隔离原则1.6 依赖倒置原则 2、工厂模式 1、六大原则 1.1 单一设计原则 SRP 一个类应该只有一个变化的原因比如一个视频软件，区分不同的用户级别包括访客&#xff0…...

编程日记 2025/4/29 22:46:57

008静态路由-特定主机路由

按照如上配置，用192.168.0.1 电脑ping 192.168.1.1 发现能够ping通用192.168.0.1 电脑ping 192.168.2.1 发现不能ping通这是因为192.168.0.1 和 192.168.1.1 使用的是同一个路由器R1。 192.168.0.1 和 192.168.2.1 通信需要先经过R1，再经过R2 &#xf…...

编程日记 2025/5/7 0:49:14

MySQL 慢查询日志记录 SQL优化性能优化日志查询 Explain

介绍慢查询日志记录了所有执行时间超过指定参数(long_query_time，单位:秒，默认10秒)的所有SQL语句的日志。MySQL的慢查询日志默认没有开启，需要在MySQL的配置文件(/etc/my.cnf)中配置针对这些慢查询的SQL语句进行优化。 #开启慢查询开关 s…...

编程日记 2025/5/2 1:04:02

VINS_MONO视觉导航算法【三】ROS基础知识介绍

文章目录其他文章说明ROSlaunch文件基本概念定义用途文件结构根标签常用标签\<node>\<param>\<rosparam>\<remap>\<include>\<arg>\<group> 示例基本示例嵌套示例使用方法启动 *.launch 文件传递参数总结 ROS topicTopic 的基本…...

编程日记 2025/5/7 0:07:43

Python 3 教程第13篇（集合）

Python3 集合集合（set）是一个无序的不重复元素序列。集合中的元素不会重复，并且可以进行交集、并集、差集等常见的集合操作。可以使用大括号 { } 创建集合，元素之间用逗号 , 分隔， 或者也可以使用 set() 函数创建集…...

编程日记 2025/5/7 0:50:35

cesium 3dtile ClippingPlanes 多边形挖洞ClippingPlaneCollection

原理就是3dtiles里面的属性clippingPlanes 采用ClippingPlaneCollection，构成多边形来挖洞。其次就是xyz法向量挖洞 clippingPlanes: new this.ffCesium.Cesium.ClippingPlaneCollection({unionClippingRegions: true, // true 表示多个切割面能合并为一个有效的…...

编程日记 2025/5/5 7:53:24

开发者如何使用GCC提升开发效率GUI操作

看此篇前请先阅读https://blog.csdn.net/qq_20330595/article/details/144139026?spm1001.2014.3001.5502 先上效果图找到对应的环境版本配置环境目录结构 CtrlShiftP c_cpp_properties.json {"configurations": [{"name": "Win32","i…...

编程日记 2025/5/3 22:02:56

什么是隐式类型转换？

隐式类型转换（Implicit Type Conversion）是指编译器在没有明确要求的情况下，自动地将一种类型的值转换为另一种类型。C 语言支持隐式类型转换，这通常发生在表达式运算或函数调用中，以确保操作数或参数的类型兼容性。隐…...

编程日记 2025/5/1 7:45:36

爬虫专栏第三篇：Python 实战：运用 requests 突破京东商品评论获取难题（含 cookie 处理与编码设置技巧

简介：本文以京东商品评论为例，详细介绍了使用requests库获取网页数据的过程，包括从打开商品评价页面、抓包分析找到评论接口，到处理cookie参数、解决cookie字符串解析问题，以及设置正确的编码以成功获取评论数据&#…...

编程日记 2025/5/7 0:47:50

HCIE：详解OSPF，从基础到高级特性再到深入研究

目录前言一、OSPF协议基本原理简介基本原理 OSPF路由器类型 OSPF网络类型 OSPF报文类型和封装 OSPF邻居的建立的维护 DR和BDR的选举伪节点 LSDB的更新 OSPF的配置二、OSPF的高级特性虚连接（Virtual-Link） OSPF的LSA和路由选择 OSPF…...

编程日记 2025/5/6 23:27:15

第六十六条：谨慎使用本地方法

其实在java中有很多都是采用C或C语言实现的比如native这种的本地方法，感兴趣的可以找源代码看看。 Java Native Interface (JNI) 允许Java应用程序可以调用本地方法（native method），所谓本地方法是指使用本地程序设计语言&#xf…...

编程日记 2025/5/7 0:00:25

neo4j如何存储关于liquidity structure的层次和关联结构

在 Neo4j 中存储关于流动性结构（liquidity structure）的层次和关联结构非常适合，因为 Neo4j 是一个基于图的数据库，能够自然地建模和存储复杂的关系和层次结构。下面是如何在 Neo4j 中设计和实现这样的数据模型的详细步骤和示例。…...

编程日记 2025/5/2 21:48:16

45 基于单片机的信号选择与温度变化

目录一、主要功能二、硬件资源三、程序编程四、实现现象一、主要功能基于51单片机，采用DS18B20检测温度，通过三种LED灯代表不同状态。采用DAC0832显示信号脉冲，通过8位数码管显示温度。信号脉冲可以根据两个按键分别调整为正弦…...

编程日记 2025/5/7 0:20:29

2、Three.js初步认识场景Scene、相机Camera、渲染器Renderer三要素

三要素之间关系： 有了虚拟场景Scene，相机录像Camera，在相机小屏幕上看到的Renderer Scene当前空间 Mesh人在场景 Camera相机录像 Renderer显示器上首先先描述下Scene： 这个场景为三要素之一，一切需要展示的东西都需…...

编程日记 2025/5/7 0:06:23

Java基础面试题06：hashCode()和equals()方法的重要性体现在什么地方？

前言 Java中的hashCode()和equals()方法看似是干同一件事，但它们的使用场景和作用却大有不同。为了让程序更高效、更准确地运行，我们需要对这两者有深入的了解，并掌握它们的重写规则。 hashCode()和equals()的基础知识什么是hashCode&…...

编程日记 2025/5/6 8:07:17

Matlab Simulink HDL Coder开发流程（一）— 创建HDL兼容的Simulink模型

创建HDL兼容的Simulink模型一、使用Balnk DUT模板二、从HDL Coder库中选择模块三、为DUT开发算法/功能四、为设计创建Testbench五、仿真验证设计功能六、Simulink模型生成HDL代码这个例子说明了如何创建一个用于生成HDL代码的Simulink模型。要创建兼容HDL代码生成的MATLAB算法…...

编程日记 2025/5/6 17:41:20

C#基础之方法

文章目录 1 方法1.1 定义方法1.2 参数传递1.2.1 按值传递参数1.2.2 按引用传递参数1.2.3 按输出传递参数1.2.4 可变参数 params1.2.5 具名参数1.2.6 可选参数 1.3 匿名方法1.3.1 Lambda 表达式1.3.1.1 定义1.3.1.2 常用类型1.3.1.3 Lambda 表达式与 LINQ1.3.1.4 Lambda 表达式的…...

编程日记 2025/5/6 14:06:13

Pytest框架学习19--参数化2

1、数据源是yaml 安装yaml，使用safe_load方法读取文件，解析出数据 pip install PyYAML # test_data.yaml test_case_1:a: 2b: 3expected_result: 5test_case_2:a: -1b: 10expected_result: 9test_case_3:a: 0b: 0expected_result: 0# test_code.pyimpor…...

编程日记 2025/5/7 0:09:04

VSCode中“Run Code”运行程序时，终端出现中文乱码解决方法

问题描述在VSCode中“Run Code”运行程序时，终端输出结果出现中文乱码现象： 解决方法 1. 检查系统cmd的默认编码查看Windows终端当前编码方式的命令： chcp输出结果是一段数字代码，如936，这说明当前的cmd编码方式…...

编程日记 2025/5/2 4:43:06

HarmonyOS 5.0应用开发——列表（List）

【高心星出品】文章目录列表（List）列表介绍列表布局设置主轴方向设置交叉轴方向列表填充分组列表填充滚动条位置设置滚动位置滚到监听列表项侧滑列表（List） 列表介绍列表作为一种容器，会自动按其滚动方向排列…...

编程日记 2025/5/6 23:17:18

C++设计模式外观模式（Facade）

什么是桥接模式？ 桥接模式（Bridge Pattern）是一种结构型设计模式，它的核心目的是解耦抽象部分和实现部分，让它们可以独立变化。在简单的描述中，桥接模式可以让你在不修改原有代码的情况下，分别…...

编程日记 2025/5/7 0:01:39

《Python基础》之Numpy库

目录简介一、创建数组 1、根据列表创建数组 2、创建全0数组 3、创建全1数组 4、创建单位矩阵 5、创建随机数数组二、查看数组的属性三、数组的操作 1、索引和切片 2、变形 3、拼接 （1）、vstack() 纵向拼接 （2）、hs…...

编程日记 2025/5/7 0:45:48

Python异步编程与API调用：提高效率与性能的实践指南

引言在当今的软件开发领域，异步编程已成为提高应用程序性能和响应能力的关键技术。特别是在处理I/O密集型任务，如API调用时，异步编程能够显著提升效率。本文将通过一个具体的示例——使用Python的asyncio和aiohttp库来异步调用API&#xff…...

编程日记 2025/5/4 0:42:15

Zookeeper3.4.14集群安装

Zookeeper3.4.14三节点集群安装为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。(在一个节点模拟三节点，真实的三节点把ip替换一下即可，按照hadoop案件把网络打…...

编程日记 2025/5/6 2:29:08

电机驱动MCU介绍

电机驱动MCU是一种专为电机控制设计的微控制器单元，它集成了先进的控制算法和高性能的功率输出能力。电机驱动MCU采用高性能的处理器核心，具有快速的运算速度和丰富的外设接口。它内置了专业的电机控制算法，包括PID控制、FOC（Fi…...

编程日记 2025/5/6 23:18:29

Python 面向对象编程详解

Python 面向对象编程详解面向对象编程（OOP）是一种编程范式，它使用“对象”来设计软件。在 Python 中，面向对象编程非常强大，允许开发者通过类（class）和对象（object）来模…...

编程日记 2025/5/6 23:50:35

网络技术-不使用K8S情况下哪些方法可搭建服务链编排

在不使用Kubernetes（k8s）（或不使用Docker环境技术的）情况下，搭建服务链编排环境需要依赖其他服务编排和容器化技术，或者采用传统的虚拟机和服务管理方法。以下是一些可能的解决方案： 一、使用其…...

编程日记 2025/5/4 12:54:06

JVM_总结详解

1、CPU和内存的交互了解jvm内存模型前，了解下cpu和计算机内存的交互情况。【因为Java虚拟机内存模型定义的访问操作与计算机十分相似】有篇很棒的文章，从cpu讲到内存模型:[什么是java内存模型？] 在计算机中，cpu和内存的交互最…...

编程日记 2025/5/6 23:34:49

go语言 Pool实现资源池管理数据库连接资源或其他常用需要共享的资源

go Pool Pool用于展示如何使用有缓冲的通道实现资源池，来管理可以在任意数量的goroutine之间共享及独立使用的资源。这种模式在需要共享一组静态资源的情况（如共享数据库连接或者内存缓冲区）下非常有用。如果goroutine需要从池里得到这些资…...

编程日记 2025/5/7 0:06:23

初级数据结构——邻接表

目录前言一、定义与结构二、特点与性质三、构建方式四、操作与应用五、代码模版六、经典例题[1.——LCP 07. 传递信息](https://leetcode.cn/problems/chuan-di-xin-xi/description/)代码题解 [2.——547. 省份数量](https://leetcode.cn/problems/number-of-provinces/)代码题…...

编程日记 2025/5/6 23:42:10

思维导图+实现一个登录窗口界面

QQ2024122-205851 import sys from PyQt6.QtGui import QIcon, QPixmap, QMovie from PyQt6.QtWidgets import QApplication, QWidget, QLineEdit, QPushButton, QLabel, QVBoxLayout# 封装我的窗口类 class LoginWidget(QWidget):# 构造函数def __init__(self):# 初始化父类su…...

编程日记 2025/5/6 11:27:57

多级缓存设计实践

缓存是什么？ 缓存技术是一种用于加速数据访问的优化策略。它通过将频繁访问的数据存储在高速存储介质（如内存）中，减少对慢速存储设备（如硬盘或远程服务器）的访问次数，从而提升系统的响应速度和…...

编程日记 2025/5/6 23:25:52

ElasticSearch学习笔记一

目录 1.ElasticSearch-Head如何启动 2.ElasticSearch-Head创建索引 2.1创建索引时的“分片数”和“副本数”是什么意思？ 类比 1：图书馆的书架与备份类比 2：快递分拣中心与包裹副本总结编辑 2.2如何查看现有索引的分片数和备份数 …...

编程日记 2025/5/7 0:38:37

A058-基于Spring Boot的餐饮管理系统的设计与实现

🙊作者简介：在校研究生，拥有计算机专业的研究生开发团队，分享技术代码帮助学生学习，独立完成自己的网站项目。代码可以查看项目链接获取⬇️，记得注明来意哦~🌹 赠送计算机毕业设计600个选题ex…...

编程日记 2025/5/6 23:31:40

代码设计：设计模式：应对变化

文章目录概述1.拆分代码2.解耦3.扩展总结概述代码的设计模式主要为了应对变化三种代码设计中应对变化的方式 1.拆分代码 2.解耦 3.扩展 1.拆分代码减小变化对代码的影响需要拆分代码的几种情况 1.类或方法的代码量巨大，导致代码可读性降低 2.存在复杂的代码，如…...

编程日记 2025/5/6 23:59:06

《Vue 路由导航：打造流畅的单页应用一》

一、Vue Router 简介 Vue Router 是什么？ Vue Router 是 Vue.js 官方提供的路由管理器，用于构建单页面应用并实现页面间导航。它基于 Vue 的组件系统构建，通过配置路由将浏览器的 URL 和用户看到的内容绑定起来。当用户在应用中浏览不同页面…...

编程日记 2025/5/7 0:39:56

【xshell连接失败】

xshell用pem连接失败 Warning: Identity file ”open_api_test.ssh not accessible: No such file or directory. Warning: Identity file open_api_test2.pem not accessible: No such file or directory. Permission denied (publickey,gssapi-keyex,gssapi-with-mic). 搞了半…...

编程日记 2025/5/6 15:28:33