当前位置：首页 > news >正文

【论文笔记】Splatter Image: Ultra-Fast Single-View 3D Reconstruction

news 来源：原创 2025/9/15 3:44:12

原文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Szymanowicz_Splatter_Image_Ultra-Fast_Single-View_3D_Reconstruction_CVPR_2024_paper.pdf

简介：本文介绍了Splatter Image这一非常高效的单目3D物体重建方法。基于高斯溅射，Splatter Image通过学习神经网络，在测试时以前向方式进行实时重建。主要的创新之处在于网络仅使用2D操作将输入图像的每个像素映射为3D高斯。得到的高斯也是图像的形式，即Splatter Image。通过跨视图注意力，可以进一步将方法扩展为多视图输入。

在这里插入图片描述

1. 高斯溅射概述

辐射场是一对函数，为每个3D点 $x\in\mathbb R^3$ 和视线方向 $\nu\in\mathbb S^2$ 分配一个不透明度 $\sigma(x)\in\mathbb R_+$ 和颜色 $c\in\mathbb R^3$ 。高斯溅射将 $\sigma$ 和 $c$ 表达为 $G$ 个有颜色3D高斯的混合 $\theta=\{(\sigma_i,\mu_i,\Sigma_i,c_i),i=1,\cdots,G\}$ ：
$g_i(x)=\exp(-\frac12(x-\mu_i)^T\Sigma_i^{-1}(x-\mu_i))$

其中 $\mu_i\in\mathbb R^3$ 为高斯均值或中心， $\Sigma_i\in\mathbb R^{3\times 3}$ 为协方差。 $\sigma_i\in[0,1]$ 为不透明度， $c_i(\nu)\in\mathbb R^3$ 为与视角相关的颜色。由高斯定义的辐射场为：
$\sigma(x)=\sum_{i=1}^G\sigma_ig_i(x),c(x,\nu)=\frac{\sum_{i=1}^Gc_i(\nu)\sigma_ig_i(x)}{\sum_{i=1}^G\sigma_ig_i(x)}$

辐射场通过聚合像素 $u$ 射线 $x_\tau=x_0-\tau\nu,\tau\in\mathbb R_+$ 方向上的颜色得到渲染图像 $I (u)$ ：
$I(u)=\int_0^\infin c(x_\tau,\nu)\sigma(x_\tau)e^{-\int_0^\tau\sigma(x_\mu)d\mu}d\tau$

该式本质上就是NeRF的渲染表达式。

高斯溅射提供了快速可微的渲染器 $I=R(\theta,\pi)$ 来近似上式，将混合 $\theta$ 和视角 $\pi$ 映射为图像 $I$ 。

2. Splatter Image

本文寻找渲染器的反函数 $\theta=S(I)$ ，将图像映射为3D高斯的混合 $\theta$ 。具体来说，使用标准的图像到图像神经网络结构，为输入图像 $I$ 的每个像素预测一个高斯，输出图像 $M$ 称为Splatter Image。

令 $u=(u_1,u_2,1)$ 表示一个像素，对应相机空间下的射线 $x = u d$ ，其中 $d$ 为深度。网络 $f$ 输入RGB图像 $I\in\mathbb R^{H\times W\times3}$ ，输出张量 $M\in\mathbb R^{H\times W\times K}$ ，其中每个像素与 $K$ 维高斯参数 $M_u=(\sigma,\mu,\Sigma,c)$ 关联。

假定高斯在同一参考坐标系下，则网络预测深度 $d$ 和偏移量 $(\Delta_x,\Delta_y,\Delta_z)$ ，并定义：
$\mu=\begin{bmatrix}u_1d+\Delta_x\\u_2d+\Delta_y\\d+\Delta_z\end{bmatrix}\tag{1}$

网络也会预测不透明度 $\sigma$ ，形状 $\Sigma$ 和颜色 $c$ 。现在，假设颜色是朗博的，即 $c(\nu)=c\in\mathbb R^3$ 。

讨论。实验发现，网络通过调整深度和偏移量的预测，部分高斯会用于重建输入视图，而部分高斯会自动重建物体的不可见部分。此外，网络可通过令 $\sigma=0$ 来关闭部分高斯的影响，可在后处理中去掉。

这样的设计还可视为深度预测网络的扩展，但本文同样估计了不可见部分的几何，以及高斯的大小和外观。

3. 问题描述和学习目标

设多视图数据集 $D$ 包括三元组 $(I,J,\pi)$ ，其中 $I$ 为源图像， $J$ 为目标图像， $\pi$ 为源图像和目标图像之间的视角变换。将源图像送入Splatter Image，最小化目标视图 $J$ 的平均重建损失：
$L(S)=\frac1{|D|}\sum_{(I,J,\pi)\in D}\|J-R(S(I),\pi)\|^2$

图像级别的损失。本文方法允许一次训练迭代中重建整个图像（甚至一大批图像），而NeRF仅在一批次内生成一定数量的像素。这使得本文方法可以使用图像级别的损失如LPIPS。

正则化。本文同样添加了正则化器，以阻止参数变得不合理（如过大或过小的高斯）。

4. 扩展到多视角输入

若输入为多视图 $\{I_j,j=1,\cdots,N\}$ ，可对每个视图使用网络 $S$ 以获得多个Splatter Image ${M_j\}$ 。若 $(R, T)$ 为相机坐标系到参考坐标系的相对姿态变化，则可按下式将3D高斯的混合变换到参考坐标系下：
$\tilde\sigma=\sigma,\tilde\mu=R\mu+T,\tilde\Sigma=R\Sigma R^T，\tilde c=c$

使用符号 $\phi[\theta]$ 表示将 $\theta$ 中的高斯变换到参考坐标系后的结果，则完整的3D高斯混合（参考坐标系下）为 $\Theta=\bigcup_{j=1}^N\phi_j[S(I_j)]$ 。

5. 视角相关的颜色

可使用球面谐波表达视角相关的颜色。对第 $i$ 个高斯，定义颜色
$[c(\nu;\alpha)]_i=\sum_{l=0}^L\sum_{m=-L}^L\alpha_{ilm}Y_l^m(\nu)\tag{2}$

其中 $\alpha_{ilm}$ 为网络预测的系数， $Y_l^m$ 为球面谐波， $L$ 为展开阶数。

上一节中的视角变化可将实现方向变换为 $\tilde\nu=R\nu$ ，可通过寻找满足 $c(\nu,\alpha)=c(\tilde\nu,\tilde\alpha)$ 的系数 $\tilde\alpha$ 来获取颜色的变换函数。因为各阶球面谐波是旋转不变的，因此可以找到这样的 $\tilde\alpha$ 。但通常的情况需要计算Wigner矩阵。这里假设 $L = 1$ （ $L = 0$ 为朗博的情况）。因此，最低阶有常数分量 $Y_0^0$ ，第一阶有三个分量 $Y_1=[Y_1^{-1},Y_1^0,Y_1^1]$ ，且
$Y_1(\nu)=\sqrt{\frac{3}{4\pi}}\Pi\nu,\Pi=\begin{bmatrix}0&1&0\\0&0&1\\1&0&0\end{bmatrix}$

这样，可将式(2)重写为 $[c(\nu;\alpha)]_i=\alpha_{i0}+\alpha_{i1}^TY_1(\nu)$ 。又因为 $c(\nu;\alpha_0,\alpha_1)=c(\tilde\nu;\tilde\alpha_0,\tilde\alpha_1)$ ，可得 $\tilde\alpha_{i0}=\alpha_{i0}$ ， $\tilde\alpha_{i1}=\Pi^{-1}R\Pi\alpha_{i1}$ 。

6. 神经网络结构

使用和SongUNet相似的结构作为图像到高斯混合 $\theta$ 的预测器 $S$ 。最后一层被替换为 $1\times1$ 卷积，输出通道为 $12+k_c$ ，其中 $k_c\in\{3,12\}$ 取决于色彩模型。给定图像 $I$ ，网络输出的通道为 $(\hat\sigma,\Delta,\hat d,\hat s,\hat q,\alpha)$ ，分别由非线性激活函数转化为不透明度、偏移量、深度、尺度、旋转和颜色。不透明度使用sigmoid函数， $\sigma=\mathtt{sigmoid}(\hat\sigma)$ ；深度 $d=(z_{far}-z_{near})\mathtt{sigmoid}(\hat d)+z_{near}$ ；均值 $\mu$ 由式(1)得到。协方差由 $\Sigma=R(q)diag(\exp\hat s)^2R(q)^T$ 得到，其中 $R (q)$ 为旋转矩阵，四元数 $q=\hat q/\|\hat q\|,\hat q\in\mathbb R^4$ 。

对于多视图重建，各视图使用相同的模型，并按照第4节融合各视图的重建。除此之外，以相机姿态 $(R, T)$ 为网络条件，将 $Re_3,T)$ （ $e_3=(0,0,1)$ ）输入网络（考虑各相机为转盘式配置）。对每项使用9阶正弦位置嵌入，得到总共60维度。最后，通过FiLM嵌入应用于UNet。为使各视图交换信息，本文还在视图特征之间使用交叉注意力；但仅在最低分辨率的UNet层中添加，以保证计算效率。

实验表明，本文方法训练和推断的时间和需要的资源均远少于其它方法。