当前位置：首页 > news >正文

【ODHead】BEVDet的 CenterHead的推理和拓展到蒸馏损失的算法细节

news 来源：原创 2025/8/18 6:42:31

文章目录

背景常识
1、BEVDet的CenterHead整体方案
2、蒸馏部分
3、输出 preds_dicts 部分
- 3.1、headmap
- 3.2、bbox
- 3.3、Mask掩膜
- 3.4、损失

背景常识

在BEVDet和BEVFormer里，使用了不同的3D detection head（BEVDet用了centerhead，BEVFormer用了deformable detr）

BEVDet 主要采用 CenterHead，类似于 CenterNet 风格的检测头：

Heatmap 预测（目标中心点）
3D 目标框回归（偏移量、尺寸、旋转角等）
速度预测（用于运动状态估计）

BEVDepth 在 BEVDet 的基础上增强了深度信息，并通常采用 Anchor-Free Head 或者 CenterHead：

增加了 Depth Estimation Head，用于估计深度（Depth Regression）
保持 Heatmap-based Head 进行 3D 目标检测
可能集成 IoU 预测分支以优化最终目标框

CenterNet 和 CenterPoint 都是基于中心点（Center-based）的目标检测方法，但它们的应用和改进方向有所不同。

CenterNet

主要用于 2D 目标检测
通过 Heatmap 预测目标中心点
使用回归分支预测尺寸、偏移等信息
核心思想：将目标检测转化为 Keypoint Detection

CenterPoint

主要用于 3D 目标检测（激光雷达点云检测）
继承 CenterNet 的中心点思想
采用 Pillar-based 或 Voxel-based 方式处理点云
采用两阶段检测：
第一阶段：使用 CenterNet-like 方式预测目标中心点、尺寸、角度等
第二阶段：基于目标中心点进行进一步的 Box Refinement（如 IoU 预测）

1、BEVDet的CenterHead整体方案

Head 是在得到不同的Task 后，分别对每个Task 配置一个独立的separate_head，SeparateHead这个类型应该是有定义的（我接下来找找），然后加入nn.ModuleList()列表。

	def __init__(self,common_heads=dict(), separate_head=dict(type='SeparateHead', init_bias=-2.19, final_kernel=3),tasks):num_classes = [len(t['class_names']) for t in tasks]for num_cls in num_classes:heads = copy.deepcopy(common_heads)heads.update(dict(heatmap=(num_cls, num_heatmap_convs)))separate_head.update(in_channels=share_conv_channel, heads=heads, num_cls=num_cls)self.task_heads.append(builder.build_head(separate_head))def run():for task in self.task_heads:ret_dicts.append(task(x))return ret_dicts

SeparateHead在mmdet3d v0.9.0 (31/12/2020) 修复了bugFix channel setting in the SeparateHead of CenterPoint (#228)，具体定义位置在
mmdet3d\models\dense_heads\centerpoint_head.py 定义了 SeparateHead

2、蒸馏部分

1、对于Heatmap是进行CrossEntropyLossKD蒸馏老师和学生的损失
2、输出bbox，采用loss_bbox蒸馏老师和学生的损失

3、输出 preds_dicts 部分

利用 enumerate() 可遍历的数据对象preds_dicts 。preds_dicts 是一个包含多个字典的列表。
for task_id, preds_dict in enumerate(preds_dicts):
这里买呢task_id 很重要的作用是索引真值

3.1、headmap

预测 heatmap 是preds_dict[0][‘heatmap’]
真值 heatmap就是heatmaps[task_id]) / max(num_pos, 1)，这个触发需不需要应该都可以，除法可能对损失更加柔和。其中num_pos是heatmaps[task_id].eq(1).float().sum().item()计算的真值中的“热力图中值为 1 的位置个数”

3.2、bbox

预测的 preds_dict[0]['anno_box'] 是 preds_dict[0]['reg'], preds_dict[0]['height'],preds_dict[0]['dim'], preds_dict[0]['rot'],preds_dict[0]['vel'])这些参数torch.cat()联合起来的结果。

然后对preds_dict[0]['anno_box'] 进行H*W维度处理，从 [B, H, W, C] 转换为 [B, H * W, C]，即将 H 和 W 展平为一个维度，形成一个二维张量。

然后根据真值获得ind目标框索引，形状为 [B, max_obj]。max_obj 是每张图像中最多的目标数目（最大目标数）。ind 中的每个元素表示目标框在特征图中的位置（好好理解），这就是为何preds_dict[0]['anno_box'] 进行H*W维度处理的原因。我草草画个图：
在这里插入图片描述

因为preds_dict[0]['anno_box'] 进行H*W维度处理后有一个C维度，因此ind扩展后的形状为 [B, max_obj, C]维度。

然后利用gather(1, ind).从 feat 中提取特征，理所当然，维度是 [B, max_obj, C]。

3.3、Mask掩膜

mask 是从真值获得，维度应该[B, H, W]，然后先unsqueeze到[B, H, W,1]，然后再变成和真值 target_box 一样的维度，我估计也是[B, H, W, 1] 维度。然后再和target_box 相乘，掩膜 mask 中有效的部分（即 target_box 中有效的部分），而无效的部分会被标记为 0。

Mask 掩膜随后会和我们自定义的超参数相乘，摇身一变，成为了target_box 的权重，精细化调节损失。

3.4、损失

loss_bbox()计算bbox和target_box差值，Mask是权重。

如果是其他输出的损失呢？刚都说了 preds_dict[0]['anno_box'] 是 preds_dict[0]['anno_box'] 是 preds_dict[0]['reg'], preds_dict[0]['height'],preds_dict[0]['dim'], preds_dict[0]['rot'],preds_dict[0]['vel'])

我们设置其他参数的列表，然后for循环提取对应的参数，

name_list=['xy','z','whl','yaw','vel']
clip_index = [0,2,3,6,8,10] # TODO reg=(2, 2), height=(1, 2), dim=(3, 2), rot=(2, 2), vel=(2, 2))
for reg_task_id in range(len(name_list)):pred_tmp = pred[...,clip_index[reg_task_id]:clip_index[reg_task_id+1]]

这样就可以得到其他参数了。

真值也是一样的，self.loss_bbox计算损失。

    target_box_tmp = target_box[...,clip_index[reg_task_id]:clip_index[reg_task_id+1]]bbox_weights_tmp = bbox_weights[...,clip_index[reg_task_id]:clip_index[reg_task_id+1]]

（正文完）

【ODHead】BEVDet的 CenterHead的推理和拓展到蒸馏损失的算法细节

文章目录背景常识1、BEVDet的CenterHead整体方案2、蒸馏部分3、输出 preds_dicts 部分3.1、headmap3.2、bbox3.3、Mask掩膜3.4、损失背景常识在BEVDet和BEVFormer里，使用了不同的3D detection head（BEVDet用了centerhead，BEVFormer用了de…...

编程日记 2025/8/18 6:42:31

在 CentOS 7 上安装 PHP 7.3

在 CentOS 7 上安装 PHP 7.3 可以按照以下步骤进行操作： 1. 安装必要的依赖和 EPEL 仓库 EPEL（Extra Packages for Enterprise Linux）是为企业级 Linux 提供额外软件包的仓库，yum-utils 用于管理 yum 仓库。 sudo yum install -…...

编程日记 2025/8/18 5:25:41

vue+dhtmlx-gantt 实现甘特图-快速入门【甘特图】

文章目录一、前言二、使用说明2.1 引入依赖2.2 引入组件2.3 引入dhtmlx-gantt2.4 甘特图数据配置2.5 初始化配置三、代码示例3.1 Vue2完整示例3.2 Vue3 完整示例四、效果图一、前言 dhtmlxGantt 是一款功能强大的甘特图组件，支持 Vue 3 集成。它提供了丰富的功…...

编程日记 2025/8/15 13:32:40

关于ModbusTCP/RTU协议对接Ethernet/IP(CIP)协议的方案

IGT-DSER智能网关模块支持西门子、倍福(BECKHOFF)、罗克韦尔AB，以及三菱、欧姆龙等各种品牌的PLC之间通讯，支持Ethernet/IP(CIP)、Profinet(S7)，以及FINS、MC等工业自动化常用协议，同时也支持PLC与Modbus协议的工业机器人、智能仪…...

编程日记 2025/8/16 9:51:05

python-leetcode 49.二叉树中的最大路径和

题目： 二叉树中的路径被定义为一条节点序列，序列中每对相邻节点之间都存在一条边，同一个节点在一条路径序列中至多出现一次，该路径至少包含一个节点，且不一定经过根节点。路径和是路径中各节点值得总和，…...

编程日记 2025/8/16 9:52:20

C语言基础知识04

指针指针概念指针保存地址，地址是字节的编号指针类型和保存的地址类型要一直使用时注意，把地址转换为&变量的格式来看 int a[3]; a转为&a[0] 指针的大小 64bit 固定8字节， 32bit 固定4字节指针…...

编程日记 2025/8/16 11:26:11

使用 Golang 操作 MySQL

在Go语言中，操作SQL数据库，通常会用到一些第三方库来简化数据库的连接、查询和操作过程。其中原生的 database/sql go-sql-driver/mysql 库更符合sql语句使用习惯。‌ 安装 go get github.com/go-sql-driver/mysql 直接上代码来演示基本的创建&#xff…...

编程日记 2025/8/18 1:28:51

前端面试：cookie 可以实现不同域共享吗？

在前端开发中，Cookie 不能直接实现不同域之间的共享。Cookie 的作用域受到域的限制，浏览器不会允许一个域下的 Cookie 被另一个域访问。这是为了保护用户隐私及安全，防止跨站请求伪造（CSRF）等安全问题。 Cookie 的基本…...

编程日记 2025/8/18 6:40:25

MyBatis-Plus接入和简单使用

如何接入 https://baomidou.com/getting-started/ 简单使用方法使用 MyBatis-Plus 时，大多数场景下不需要编写 XML 和 SQL，因为它提供了强大的通用 CRUD 操作和条件构造器。但以下情况可能需要手动编写 SQL： 1. 不需要写 XML/SQL 的场景 …...

编程日记 2025/8/16 9:45:42

【Go万字洗髓经】Golang内存模型与内存分配管理

本文目录 1. 操作系统中的虚拟内存分页与进程管理虚拟内存与内存隔离 2. Golang中的内存模型内存分配流程内存单元mspan线程缓存mcache中心缓存mcentral全局堆缓存mheapheapArena空闲页索引pageAlloc 3. Go对象分配mallocgc函数tiny对象分配内存 4.结合GMP模型来看内存模型tiny…...

编程日记 2025/8/16 7:27:54

mov格式视频如何转换mp4？

mov格式视频如何转换mp4？在日常的视频处理中，经常需要将MOV格式的视频转换为MP4格式，以兼容更多的播放设备和平台。下面给大家分享如何将MOV视频转换为MP4，4款视频格式转换工具分享。一、牛学长转码大师牛学长转码大师是一款功…...

编程日记 2025/8/16 9:45:44

鸿蒙OS开发ForEach循环渲染

摘要在ForEach循环渲染过程中，如果修改列表项中的数据，但是UI页面不会刷新。在最近开发公司app时遇到了这个问题，经过查看官方文档找到了解决方式官方地址：数据变化不刷新一、具体解决方案思路：通过父子组件传…...

编程日记 2025/8/18 6:40:26

【算法】DFS、BFS、拓扑排序

⭐️个人主页：小羊 ⭐️所属专栏：算法很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~ 目录持续更新中...1、DFS2、BFSN 叉树的层序遍历二叉树的锯齿形层序遍历二叉树最大宽度 3、多源BFS腐烂的苹果 4、拓扑排序持续更新中…...

编程日记 2025/8/16 11:55:34

【Godot4.0】贝塞尔曲线在游戏中的实际应用

概述之前研究贝塞尔曲线绘制，完全是以绘图函数，以及实现节点连接为思考。并没有实际考虑贝塞尔曲线在游戏中的应用。今日偶然看到悦千简一年多前发的一个用贝塞尔曲线实现追踪弹或箭矢效果，还有玩物不丧志的老李杀戮尖塔系列中的卡牌动态箭…...

编程日记 2025/8/16 9:51:16

MongoDB 数据导出与导入实战指南（附完整命令）

1. 场景说明在 MongoDB 运维中，数据备份与恢复是核心操作。本文使用 mongodump 和 mongorestore 工具，演示如何通过命令行导出和导入数据，解决副本集连接、路径指定等关键问题。 2. 数据导出（mongodump） 2.1 导出命…...

编程日记 2025/8/16 9:46:29

文章目录 rust编译工具rustupVisual Studio VS Code测试编译手动编译VSCode编译配置参考完 rust编译工具rustup https://www.rust-lang.org/zh-CN/tools/install 换源 RUSTUP_DIST_SERVER https://rsproxy.cn RUSTUP_UPDATE_ROOT https://rsproxy.cn修改rustup和cargo的安…...

编程日记 2025/8/16 12:19:27

CPU+GPU结合的主板设计思路与应用探讨

在高性能计算和图形处理需求不断增长的背景下，CPUGPU结合的主板设计逐渐成为硬件架构的重要趋势。本文将探讨基于CPUGPU架构的主板设计思路、关键技术考量以及应用前景。 1. 设计思路概述 CPU（中央处理器）擅长处理复杂的逻辑运算和多任务控制…...

编程日记 2025/8/15 15:27:12

latex问题汇总

latex问题汇总环境问题1 环境 texlive2024 TeXstudio 4.8.6 (git 4.8.6) 问题1 编译过程有如下错 ! Misplaced alignment tab character &. l.173 International Conference on Infrared &Millimeter Waves, 2004: 667--... I cant figure out why you would wa…...

编程日记 2025/8/17 2:00:11

学习springboot-Bean管理（Bean 注册，Bean 扫描）

Bean 扫描可以浏览下面的博客链接 ：spring 学习 （注解）-CSDN博客在学习spring 注解时，我们使用 Component ，Service,Controller等这样的注解，将目标类信息，传递给IOC容器，为其创…...

编程日记 2025/8/18 5:27:52

iOS开发，SQLite.swift, Missing argument label ‘value:‘ in call问题

Xcode16中，集成使用SQLite.swift，创建表的时候： let id Expression<Int64>("id")，报错Missing argument label value: in call 直接使用SQLite.Expression<Int64>("id") 或者定义一个全局typ…...

编程日记 2025/8/16 8:26:24

【GIT】重新初始化远程仓库

有的时候我们克隆远端仓库会出错： git clone --depth 1 git116.*.*.*:/srv/customs.git D:\dev\projects\kdy\customs11\customs Cloning into D:\dev\projects\kdy\customs11\customs... remote: Enumerating objects: 1494, done. remote: Counting objects: 100…...

编程日记 2025/8/16 9:50:56

Vue3中 ref 与 reactive区别

ref 用途: ref 通常用于创建一个响应式的基本类型数据（如 string、number、boolean 等），但它也可以用于对象或数组返回值: ref 返回一个带有 .value 属性的对象，访问或修改数据需要通过 .value 进行使用场景: …...

编程日记 2025/8/17 21:17:30

apollo3录音到wav播放解决方法

SDK DEMO项目:ap3bp_evb_vos_pcm_recorder_20210901 pcm_recorder.c //***************************************************************************** // // Options // //***************************************************************************** #define PRINT…...

编程日记 2025/8/16 9:45:49

信号处理抽取多项滤波的数学推导与仿真

昨天的《信号处理之插值、抽取与多项滤波》，已经介绍了插值抽取的多项滤率，今天详细介绍多项滤波的数学推导，并附上实战仿真代码。一、数学变换推导 1. 多相分解的核心思想将FIR滤波器的系数 h ( n ) h(n) h(n)按相位分组，每…...

编程日记 2025/8/16 11:13:42

Java网络多线程

网络相关概念: 关于访问: IP端口因为一个主机上可能有多个服务, 一个服务监听一个端口,当你访问的时候主机通过端口号就能知道要和哪个端口发生通讯.因此一个主机上不能有两个及以上的服务监听同一个端口. 协议简单来说就是数据的组织形式好像是两个人交流一样,要保证自己说…...

编程日记 2025/8/16 9:52:17

linux centos 忘记root密码拯救

在CentOS 7中，如果忘记root密码，可以通过修改系统启动参数进入单用户模式或紧急模式进行重置。以下是两种常用方法，适用于物理机或虚拟机环境： 方法一：通过rd.break参数重置密码步骤： 重启系统并进入GRU…...

编程日记 2025/8/16 12:57:50

C# 事件使用详解

总目录前言在C#中，事件（Events）是一种基于委托的重要机制，用于实现对象之间的松耦合通信。它通过发布-订阅模式（Publisher-Subscriber Pattern），允许一个对象（发布者）…...

编程日记 2025/8/16 11:25:22

flink cdc同步mysql数据

一、api 添加依赖 <dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-mysql-cdc</artifactId><version>3.3-SNAP…...

编程日记 2025/8/18 6:40:46

tomcat负载均衡配置

这里拿Nginx和之前做的Tomcat 多实例来实现tomcat负载均衡 1.准备多实例与nginx tomcat单机多实例部署-CSDN博客 2.配置nginx做负载均衡 upstream tomcat{ server 192.168.60.11:8081; server 192.168.60.11:8082; server 192.168.60.11:8083; } ser…...

编程日记 2025/8/18 6:40:45

Ceph（1）：分布式存储技术简介

1 分布式存储技术简介 1.1 分布式存储系统的特性 （1）可扩展分布式存储系统可以扩展到几百台甚至几千台的集群规模，而且随着集群规模的增长，系统整体性能表现为线性增长。分布式存储的水平扩展有以下几个特性： 节点…...

编程日记 2025/8/16 9:45:34

16、JavaEE核心技术-EL与 JSTL

EL与 JSTL 实践一. EL（Expression Language） EL（表达式语言）是 JSP 2.0 中引入的一种简单的脚本语言，用于在 JSP 页面中简化数据的访问和显示。它通过一种类似于 JavaScript 的语法，允许开发者在 JSP 页面…...

编程日记 2025/8/17 14:22:39

RabbitMQ报错：Shutdown Signal channel error； protocol method

报错信息： Shutdown Signal: channel error; protocol method: #method<channel.close>(reply-code406, reply-textPRECONDITION_FAILED - unknown delivery tag 1, class-id60, method-id80) 原因默认情况下 RabbitMQ 是自动ACK（确认签收&…...

编程日记 2025/8/16 6:01:03

使用DeepSeek完成一个简单嵌入式开发

开启DeepSeek对话请帮我使用Altium Designer设计原理图、PCB，使用keil完成代码编写；要求：使用stm32F103RCT6为主控芯片，控制3个流水灯的原理图这里需要注意，每次DeepSeek的回答都不太一样。 DeepSeek回答以下是使…...

编程日记 2025/8/16 9:45:53

NLP技术介绍

NLP技术介绍语言分析技术分词词性标注命令实体识别句法分析语义分析文本处理技术文本分类文本聚类情感分析文本生成机器翻译对话系统与交互技术聊天机器人问答系统语音识别与合成知识图谱与语义理解技术知识图谱语义搜索语义推理深度学习与预训练模型循环神经网络（RNN）及其变…...

编程日记 2025/8/17 11:28:28

pycharm + anaconda + yolo11(ultralytics) 的视频流实时检测，保存推流简单实现

目录背景pycharm安装配置代码实现创建本地视频配置和推流配置视频帧的处理和检测框绘制主要流程遇到的一些问题背景首先这个基于完整安装配置了anaconda和yolo11的环境，如果需要配置开始的话，先看下专栏里另一个文章。这次的目的是实现拉取视频流…...

编程日记 2025/8/17 13:23:09

C++编译问题——1模板函数的实现必须在头文件中

今天编译数据结构时，遇见一个编译错误假设你有一个头文件 SeqList.h 和一个源文件 SeqList.cpp。 SeqList.h #ifndef SEQLIST_H #define SEQLIST_H#include <stdexcept> #include <iostream>template<typename T> class SeqList { private:sta…...

编程日记 2025/8/17 11:30:05

深度学习PyTorch之数据加载DataLoader

深度学习pytorch之简单方法自定义9类卷积即插即用文章目录数据加载基础架构1、Dataset类详解2、DataLoader核心参数解析3、数据增强数据加载基础架构核心类关系图 torch.utils.data ├── Dataset (抽象基类) ├── DataLoader (数据加载器) ├── Sampler (采样策略)…...

编程日记 2025/8/17 9:53:58

使用Beanshell前置处理器对Jmeter的请求body进行加密

这里我们用HmacSHA256来进行加密举例： 步骤： 1.先获取请求参数并对请求参数进行处理（处理成String类型） //处理请求参数的两种方法： //方法一： //获取请求 Arguments args sampler.getArguments(); //转…...

编程日记 2025/8/16 16:37:54

前端面试：如何减少项目里面 if-else？

在前端开发中，大量使用 if-else 结构可能导致代码调试困难、可读性降低和冗长的逻辑。不妨考虑以下多种策略来减少项目中的 if-else 语句，提高代码的可维护性和可读性： 1. 使用对象字面量替代用对象字面量来替代 if-else 语句，…...

编程日记 2025/8/15 19:19:45

05.基于 TCP 的远程计算器：从协议设计到高并发实现

📖 目录 📌 前言🔍 需求分析 🤔 我们需要解决哪些问题？ 🎯 方案设计 💡 服务器架构 🚀 什么是协议？为什么要设计协议？ 📌 结构化数据的传输问题 …...

编程日记 2025/8/16 9:45:40

Matlab:矩阵运算篇——矩阵数学运算

目录 1.矩阵的加法运算实例——验证加法法则实例——矩阵求和实例——矩阵求差 2.矩阵的乘法运算 1.数乘运算 2.乘运算 3.点乘运算实例——矩阵乘法运算 3.矩阵的除法运算 1.左除运算实例——验证矩阵的除法 2.右除运算实例——矩阵的除法ヾ(￣…...

编程日记 2025/8/17 18:32:40

git reset的使用，以及解决还原后如何找回

文章目录 git reset 详解命令作用常用参数1. --soft2. --mixed（默认参数，可省略）3. --hard4. 提交引用总结 git reset --hard HEAD^ 还原代码如何找回？利用 git reflog找回 git reset 详解 git reset 是 Git 中一个功能强大且较…...

编程日记 2025/8/16 9:45:39

react中字段响应式

class中用法: import React, { Component } from react export default class Index extends Component<any, any> { constructor(props) { super(props) this.state { settingInfo: {}, } } async componentDidMount() { let settingInfo awa…...

编程日记 2025/8/15 12:31:53

vue中，watch里，this为undefined的两种解决办法

提示：vue中，watch里，this为undefined的两种解决办法文章目录 [TOC](文章目录) 前言一、问题二、方法1——使用function函数代替箭头函数()>{}三、方法2——使用that总结前言 ‌‌‌‌‌尽量使用方法1——使用function函数代替箭头函数()…...

编程日记 2025/8/16 11:41:25

智能客服意图识别：结合知识库数据构建训练语料的专业流程

智能客服意图识别：结合知识库数据构建训练语料的专业流程构建基于知识库的智能客服意图识别模型，需要综合运用 NLP（自然语言处理）、知识图谱、机器学习等技术，确保意图识别的准确性和覆盖度。以下是专业的流程&…...

编程日记 2025/8/16 11:13:45

Spring Boot集成Spring Statemachine

Spring Statemachine 是 Spring 框架下的一个模块，用于简化状态机的创建和管理，它允许开发者使用 Spring 的特性（如依赖注入、AOP 等）来构建复杂的状态机应用。以下是关于 Spring Statemachine 的详细介绍： 主要特性 …...

编程日记 2025/8/17 13:23:53

压缩空气储能仿真simulink模型

压缩空气储能仿真simulink模型，适合matlab 2017及以上版本 CompressingGas.slx , 40474...

编程日记 2025/8/16 11:50:47

Tomcat 安装

一、Tomcat 下载官网：Apache Tomcat - Welcome! 1.1.下载安装包下载安装包： wget https://dlcdn.apache.org/tomcat/tomcat-9/v9.0.102/bin/apache-tomcat-9.0.102.tar.gz 安装 javajdk。 yum install java-1.8.0-openjdk.x86_64 -y /etc/altern…...

编程日记 2025/8/17 11:29:49