当前位置：首页 > news >正文

ReconFusion: 3D Reconstruction with Diffusion Priors 论文解读

news 来源：原创 2025/5/14 5:53:46

一、概述

二、相关工作

1、稀疏视角NeRF

2、用于视角合成的回归模型

3、用于视角合成的生成模型

4、2D扩散用于3D生成

三、ReconFusion

四、实验

一、概述

提出可以利用三张图片生成实景三维重建的方法ReconFusion。并且在合成数据集和多视图数据集上进行训练，来规范基于NeRF的3D生成管道。该方法可以在欠约束区域合成逼真的几何形状和纹理，同时保留观察区域的外观，即使输入视图有限也能如此。

二、相关工作

1、稀疏视角NeRF

DS-NeRF利用从SfM得到的稀疏深度输出作为监督信号。

DDP-NeRF利用CNN来从稀疏视角输入中获取密集深度监督。

SimpleNeRF通过训练小的模块来正则化外观和几何。

GANeRF训练一个生成网络来改进NeRF渲染。

但当视图视角较稀疏时，大场景下，性能较差。

2、用于视角合成的回归模型

与逐场景优化的 NeRF 不同,这些方法训练前馈神经网络用于泛化的新视角合成。它们利用大量已知位姿的多视角数据集进行训练[9, 12, 20, 43, 53, 55, 57, 63, 66]。

大多数方法将输入图像提升到3D表示,如使用平面扫描体积,并以前馈方式预测新视角。它们在输入视角附近表现良好,但在模糊视角上的外推性能较差,因为可能渲染结果的分布变得多模态。

这些方法虽然可以在已知视角附近进行有效的新视角合成,但在需要生成未知场景部分的情况下,性能会大幅下降。

3、用于视角合成的生成模型

早期工作主要利用GAN解决，近期最多的就是扩散模型来作视角生成。

Zero123从Objaverse数据集中微调了一个大规模的预训练扩散模型实现零样本泛化，但只能支持单输入图像，且只能处理干净背景的物体图像，无法处理复杂真实场景，ZeroNVS微调了Zero123的对一般图像的单图像重建。

4、2D扩散用于3D生成

鉴于可训练的3D数据有限，近期工作利用2D扩散模型从文本提示或输入图像中生成3D asset，DreamFusion提出SDS来通过2D diffusion监督一个3D模型的优化。SplatFusion提出多步采样其中采样给定噪声编码图像作为三维重建目标。

在该论文的重建工作中试验了这两种方法。

三、ReconFusion

训练过程：

给定一组输入图像 $x^{obs}=\left \{ x_i \right \}^N_{i=1}$ ，相应的相机位姿为 $\pi^{obs}=\left \{ \pi_i \right \}_{i=1}^N$ ，和一个位于新视角的目标相机 $\pi$ （也就是那个红的相机），该模型的目的是学习一个位于新视角下的条件分布。

首先将这一组输入图像输入到PixelNeRF $R_{\phi}$ 中得到一组特征图 $f$ 。

$f=R_{\phi}(x^{obs},\pi^{obs},\pi)$

由于我们在PixelNeRF中输入了相机的位姿，那么这个特征图也就是一个空间对齐的条件信号，也隐式编码了相机变换，并嵌入后续的U-Net中。

另外我们通过CLIP获得每个输入图像的文本嵌入 $e^{obs}$ ，并嵌入后续的U-Net中。

在训练过程中，我们是已知这一目标相机视角的，所以将GT目标图像利用encoder编码后，不断扩散加噪，并与上面两个嵌入concat作为U-Net网络的输入，最后经过多轮去噪，得到去噪特征，并经过decoder输出预测目标图像。

推理过程：

此时，只需要输入少量图像和这些图像的位姿并且输入一个目标位姿，后续经过PixelNeRF得到的特征，直接与CLIP嵌入和高斯噪声concat后丢入U-Net，进行去噪过程即可。

重建过程：

由于最先进的NeRF经常由于伪影和不准确的几何形状，形成一些3D不一致的模型，所以这里面为了更少的输入设定，重建过程使用Zip-NeRF。

其实后面扩散的部分就是一个新视图生成，为了将视图增加，之后再通过NeRF体渲染得到三维模型。

损失函数：

（1）PixelNeRF损失：c是PixelNeRF模型的输出（应该是根据target pose，经过完整的体渲染得到的图像与特征图分辨率相同） $x_{\downarrow}$ 是目标图像降采样到特征图 $f$ 分辨率的图像。

（2）扩散损失：就是正态噪声与Denoising U-Net预测噪声的L2范数。

（3）重建损失：输入的图像与体渲染出来（与输入图像相同姿态）的图像之间的L2范数或者其他更为鲁棒性的损失。

（4）采样损失：首先通过NeRF网络渲染一个随机视角的图像x（这个视角即不是参考视角也不是目标视角，而是经过新视图生成后，通过已有的几个位姿插值得到的轨迹中的一个任意视角），之后对这个图像进行编码和噪声扰动，得到一个中间噪声水平 $t$ 下的潜在表示 $z_t$ ，这个中间噪声水平因为他受到的噪声在 $[t_{min},t_{max}]$ 之间，在训练过程中逐渐减小，且输入图像越多初始的噪声越小。并将这个潜在表示 $z_t$ 经过去噪网络得到 $\hat{x}_{\pi}$ 。其中采样损失计算的就是 $x,\hat{x}_{\pi}$ 的L1损失和LPIPS损失。另外 $w(t)$ 是一个相关噪声的权重系数。

四、实验

量化比较。

参考论文：https://arxiv.org/abs/2312.02981

ReconFusion: 3D Reconstruction with Diffusion Priors 论文解读

目录一、概述二、相关工作 1、稀疏视角NeRF 2、用于视角合成的回归模型 3、用于视角合成的生成模型 4、2D扩散用于3D生成三、ReconFusion 四、实验一、概述提出可以利用三张图片生成实景三维重建的方法ReconFusion。并且在合成数据集和多视图数据集上进行训练&…...

编程日记 2025/5/14 5:53:46

企业安装加密软件有什么好处？

加密软件为企业的安全提供了很多便利，从以下几点我们看看比较重要的几个优点： 1、数据保护：企业通常拥有大量的商业机密、客户数据、技术文档等敏感信息。加密软件可以对这些信息进行加密处理，防止未经授权的人员访问。即使数据被…...

编程日记 2025/5/14 1:01:19

Linux(Centos 7.6)目录结构详解

Linux(Centos 7.6)是一个操作系统，其核心设计理念是将一切资源抽象为文件，即一切皆文件。比如系统中的硬件设备硬盘、网络接口等都被视为文件。Windows系统一般是分为C、D、E盘。而Linux(Centos 7.6)是以斜线"/"作为文件系统的开始目录&#x…...

编程日记 2025/5/6 22:08:16

GXUOJ-算法-第二次作业

1.矩阵连（链）乘问题描述 GXUOJ | 矩阵连乘代码解答 #include<bits/stdc.h> using namespace std;const int N50; int m[N][N]; int p[N]; int n;int main(){cin>>n;//m[i][j] 存储的是从第 i 个矩阵到第 j 个矩阵这一段矩阵链相乘的最小…...

编程日记 2025/5/11 4:37:20

BGP基础配置

使用直连接口IP地址来建立EBGP对等体关系 1、启动BGP协议 [r1]bgp 100 ----启动BGP协议，并且规定其AS号2、配置设备的RID数值，一般选择设备的loopback接口的IP地址 [r1-bgp]router-id 1.1.1.13、配置BGP对等体信息，包含了对等体的IP地址以及…...

编程日记 2025/5/10 9:50:18

瑞芯微全新芯片平台RK3506优势详解，高集成低功耗，为工业而生触觉智能测评

RK3506是瑞芯微Rockchip在2024年第四季度全新推出的Arm嵌入式芯片平台，三核Cortex-A7单核Cortex-M0多核异构设计，CPU频率达1.5Ghz, M0 MCU为200Mhz。而RK3506芯片平台下的工业级芯片型号RK3506J，具备-40-85℃的工业宽温性能、发热量小&#…...

编程日记 2025/5/8 16:38:37

Alice与Bob

Alice与Bob factordb.com 用上面链接可以直接分解得到101999和966233 按照要求让小的放前面大的放后面得到接着进行MD5的32位小写哈希 MD5在线加密/解密/破解—MD5在线 flag{d450209323a847c8d01c6be47c81811a}...

编程日记 2025/5/14 5:41:12

【玩转MacBook】Git安装

Git 官网也提到了MacBook 可以使用 Homebrew 安装 Git，所以在此使用 Homebrew 安装。 1、安装 Homebrew 执行安装脚本在 Terminal 中执行如下命令： /bin/bash -c "$(curl -fsSL https://gitee.com/ineo6/homebrew-install/raw/master/install.…...

编程日记 2025/5/14 5:06:12

【IC验证】verilog及systemverilog特殊特性的分析

verilog及systemverilog特殊特性的分析 1.概述2.赋值延迟（0）总结（1）情况一：initial中进行阻塞赋值和非阻塞赋值（不延迟）a代码b 电路图c 结果 （2）时钟a 代码b 电路图c 结果…...

编程日记 2025/5/14 5:45:59

Apollo中间件技术：从入门到精通

一、引言在Java开发的微服务架构中，配置管理是一个不可或缺的重要环节。随着服务数量的增加和部署环境的复杂化，传统的手动配置管理方式已难以满足需求。Apollo作为一款开源的分布式配置中心，凭借其强大的功能和灵活的架构，成为…...

编程日记 2025/5/13 10:02:45

汽车行业的MES系统方案（附案例资料合集）

针对汽车行业的MES系统方案，以下是一些关键点和实施案例： 核心功能： 实时监控：MES系统通过传感器和物联网技术实时监控生产线上的每一个环节，确保信息的及时传递。数据分析：系统对收集的数据进行深度分析&a…...

编程日记 2025/5/11 19:54:34

Python入门：7.Pythond的内置容器

引言 Python 提供了强大的内置容器（container）类型，用于存储和操作数据。容器是 Python 数据结构的核心部分，理解它们对于写出高效、可读的代码至关重要。在这篇博客中，我们将详细介绍 Python 的五种主要内置容器&…...

编程日记 2025/5/13 23:51:50

单片机与MQTT协议

MQTT 协议简述 MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布 / 订阅（publish/subscribe）模式的 “轻量级” 通讯协议，该协议构建于 TCP/IP 协议上&#xf…...

编程日记 2025/5/14 5:02:05

记录命令行操作树莓派Wifi的方式

打开WiFi rfkill unblock wlan 关闭WiFi rfkill block wlan 设置可连接的WiFi 方法一（bullseye及以前版本才可用，bookworm版本） sudo nano /etc/wpa_supplicant/wpa_supplicant.conf network{ssid"wifi_name"psk"wifi_pas…...

编程日记 2025/5/14 5:42:38

Docker 安装mysql ,redis,nacos

一、Mysql 一、Docker安装Mysql 1、启动Docker 启动：sudo systemctl start dockerservice docker start 停止：systemctl stop docker 重启：systemctl restart docker 2、查询mysql docker search mysql 3、安装mysql 3.1.默认拉取最新版…...

编程日记 2025/5/9 17:04:54

[C#] 复数乘法的跨平台SIMD硬件加速向量算法（不仅支持X86的Sse、Avx、Avx512，还支持Arm的AdvSimd）

文章目录一、简单算法二、向量算法2.1 算法思路2.1.1 复数乘法的数学定义2.1.2 复数的数据布局2.1.3 第1步：计算 (a*c) (-b*d)i2.1.4 第2步：计算 (a*d) (b*c)i2.1.5 第3步：计算结果合并 2.2 算法实现（UseVectors）2.…...

编程日记 2025/5/12 1:28:42

curl 放弃对 Hyper Rust HTTP 后端的支持

curl 放弃了对使用 Rust 编写 Hyper HTTP 后端的支持，因为用户和开发者对此功能的需求很少。 curl 创始人兼核心开发者 Daniel Stenberg 表示，尽管这项工作最初由 ISRG 赞助并且看起来很有希望，但 Hyper 支持多年来一直处于实验阶段&#xf…...

编程日记 2025/5/11 18:19:57

RK3506开发板：智能硬件领域的新选择，带来卓越性能与低功耗

在现代智能硬件开发中，选择一款性能稳定、功耗低的开发板是确保产品成功的关键。Rockchip最新推出的RK3506芯片，凭借其卓越的能效比、多功能扩展性和优秀的实时性能，已经成为智能家电、工业控制、手持终端等领域的热门选择。而基于RK3506的Ar…...

编程日记 2025/5/13 12:13:27

RBAC权限控制

1、Spring Security 是一个功能强大的Java安全框架，它提供了全面的安全认证和授权的支持。 2 SpringSecurity配置类（源码逐行解析） Spring Security的配置类是实现安全控制的核心部分开启Spring Security各种功能，以确保Web应…...

编程日记 2025/5/4 13:38:38

Linux高并发服务器开发第六天（rwx 对于目录和文件的区别 gcc编译器动态库静态库）

目录 1.rwx 对于目录和文件的区别 2.gcc 编译器 2.1编译过程 2.2gcc 的其他参数 3.动态库和静态库 3.1函数库 1.rwx 对于目录和文件的区别 r 文件的内容可以被查看。支持cat、more、head...vim ；目录的内容可以被查看。ls、tree …...

编程日记 2025/5/11 10:10:02

如何使用远程控制工具管理你的计算机系统

在现代工作环境中，远程控制技术越来越重要，尤其是对于系统管理员、技术支持人员以及需要远程工作的人来说。远程控制不仅仅是便捷，更是提高工作效率、快速解决问题的重要手段。今天，我们将讨论一些常见的远程控制工具，…...

编程日记 2025/5/12 3:54:45

在K8S中，CNI有什么作用？

在kubernetes中，Container Network Interface(CNI)起着至关重要的作用，主要解决了容器网络配置及通信的问题，确保了Pod间网络连通性及其外部世界的通信。CNI的具体作用包括但不限于以下几个方面。 1. 网络配置自动化： 当kuberne…...

编程日记 2025/5/12 18:00:34

C语言性能优化：从基础到高级的全面指南

引言 C 语言以其高效、灵活和功能强大而著称，被广泛应用于系统编程、嵌入式开发、游戏开发等领域。然而，要写出高性能的 C 语言代码，需要对 C 语言的特性和底层硬件有深入的了解。本文将详细介绍 C 语言性能优化的背后技术，并通过…...

编程日记 2025/4/24 22:06:37

JS中Symbol （符号）数据类型详解和应用场景

JavaScript中Symbol数据类型详解 Symbol是ES6引入的一种原始数据类型，表示唯一的标识符。它是通过Symbol()函数生成的，每次调用都会返回一个独一无二的值。Symbol值的主要用途是为对象的属性提供唯一标识，以避免属性名冲突。特点唯一性每…...

编程日记 2025/5/13 7:14:25

Go gin框架（详细版）

目录 0. 为什么会有Go 1. 环境搭建 2. 单-请求&&返回-样例 3. RESTful API 3.1 首先什么是RESTful API 3.2 Gin框架支持RESTful API的开发 4. 返回前端代码 go.main index.html 5. 添加静态文件 main.go?改动的地方 index.html?改动的地方 style.css?改…...

编程日记 2025/5/2 11:12:36

Linux系统 —— 进程控制系列 - 进程的等待：wait 与 waitpid

目录 1. 进程的等待 1.1 为什么需要等待 2. 进程等待的方法 1. wait 2. waitpid 3. 获取子进程status 4. 阻塞与非阻塞等待续接前文： Linux系统 —— 进程控制系列 - 进程的创建与终止 ：fork与exit-CSDN博客https://blog.csdn.net/hedhjd/artic…...

编程日记 2025/5/10 6:17:09

blender中合并的模型，在threejs中显示多个mesh；blender多材质烘培成一个材质

描述：在blender中合并的模型导出为glb，在threejs中导入仍显示多个mesh，并不是统一的整体，导致需要整体高亮或者使用DragControls等不能统一控制。原因：模型有多个材质，在blender中合并的时候，…...

编程日记 2025/5/14 1:58:09

探索多模态大语言模型（MLLMs）的推理能力

探索多模态大语言模型（MLLMs）的推理能力 Multimodal Large Language Models (MLLMs) flyfish 原文：Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Survey on Emerging Trends in Mult…...

编程日记 2025/5/12 1:29:16

[Wireshark] 使用Wireshark抓包https数据包并显示为明文、配置SSLKEYLOGFILE变量（附下载链接）

wireshark 下载链接：https://pan.quark.cn/s/eab7f1e963be 提取码：rRAg 链接失效（可能会被官方和谐）可评论或私信我重发 chrome与firefox在访问https网站的时候会将密钥写入这个环境变量SSLKEYLOGFILE中，在wireshark…...

编程日记 2025/5/12 6:52:17

单片机实物成品-007 汽车防盗系统（代码+硬件+论文）

汽车尾气监测系统（温度震动传感器红外热释电GPS三个指示灯蜂鸣器正常模式防盗模式wifi传输控制送APP源码 ） 把该系统划分为两个不同设计主体，一方面为硬件控制主体，通过C语言来编码实现，以STM32开发板为核心控制器&a…...

编程日记 2025/5/12 17:46:55

redis开发与运维-redis0401-补充-redis流水线与Jedis执行流水线

文章目录【README】【1】redis流水线Pipeline【1.1】redis流水线概念【1.2】redis流水线性能测试【1.2.1】使用流水线与未使用流水线的性能对比【1.2.2】使用流水线与redis原生批量命令的性能对比【1.2.3】流水线缺点【1.3】Jedis客户端执行流水线【1.3.1】Jedis客户端执行流…...

编程日记 2025/5/11 17:46:17

windows系统下使用cd命令切换到D盘的方法

windows系统下使用cd命令切换到D盘的方法系统环境配置 win10系统原装C盘后期自己安装的硬盘D盘 python3.8安装在D盘中问题说明 winR打开终端，使用 cd d:命令，无法将当前目录切换到D盘解决方法方法一：使用下面这条命令 cd /d d:运…...

编程日记 2025/4/8 16:46:47

word参考文献第二行缩进对齐

刚添加完参考文献的格式是这样： ”段落“—>缩进修改、取消孤行控制就可以变成...

编程日记 2025/5/3 17:49:41

Springboot关于格式化记录

日期格式化返回前端日期需要格式化 <dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId><version>2.9.2</version> </dependency>JsonFormat(pattern "yyyy-MM-dd…...

编程日记 2025/5/10 3:10:06

1.business english--build rapport

build rapport with someone 建立融洽关系 Salespeople often try to build rapport with customers to boost sales. user a variety of appropriate questions. answer the question according to your experience. Do you know how to make a good connection with others…...

编程日记 2025/5/14 0:06:56

一、概述

二、相关工作

1、稀疏视角NeRF

2、用于视角合成的回归模型

3、用于视角合成的生成模型

4、2D扩散用于3D生成

三、ReconFusion

四、实验

相关文章：