当前位置: 首页 > news >正文

3dgs通俗讲解

3d gaussian splatting:基于splatting和机器学习的三维重建方法。

特点:

  1. 无深度学习
  2. 简单的机器学习
  3. 大量的CG知识
  4. 复杂的线性代数
  5. 对GPU的高性能编程

一、什么是splatting

1、选择“雪球”;

为什么使用核(雪球)

各向同性:在所有方向具有相同的扩散梯度(球);

各向异性:在不同方向具有不同的扩散程度(椭球);

通过协方差矩阵可以确定椭球,协方差矩阵可以用旋转和缩放矩阵表达。

2、抛掷“雪球”:

作用:从3D投影到2D,得到足迹footprint;

相机模型理论:

世界坐标系:作用:相当于现实世界的“地图坐标”,用于描述物体在三维空间中的绝对位置;

相机坐标系:作用:以相机镜头为原点的“私人视角”,描述物体相对于相机的位置。原点在镜头光心,Z轴指向拍摄方向。

归一化坐标系:作用:对相机坐标系下的坐标进行“标准化”,消除实际焦距的影响。特点是 将物体投影到虚拟的z=1平面上(想象成一张距离镜头1米的透明纸),坐标值由相机坐标除以Z值得到,单位是米但无量纲。

像素坐标系:作用:计算机存储照片的“格子坐标”,直接对应图像中的像素位置。特点:原点通常在图像左上角,单位是像素,最终用于显示或算法处理。

内参(相机身份证):包括焦距fx/fy(像素单位)、中心点cx/cy(图像中心偏移),存储在3x3矩阵中,用于描述相机硬件特性。

外参(相机位置与角度):包括旋转矩阵R(角度)和平移向量T(位置),描述相机在世界中的摆放姿态。

假设拍摄一张桌子:

  1. 桌子的世界坐标(X,Y,Z)通过外参(R,T)转换到相机坐标;
  2. 相机坐标除以Z值得到归一化坐标(X/Z, Y/Z, 1);
  3. 归一化坐标通过内参矩阵映射到像素坐标(u,v),最终生成照片中的像素点。

通过这一套坐标系转换,相机完成了从三维世界到二维图像的“翻译”过程。

计算机图形学4个概念:

视图变换:

  • 含义:确定相机的位置、角度和方向,建立物体与相机的相对坐标系。
  • 作用:将物体从世界坐标系(真实3D空间)转换到相机坐标系(以相机为原点的空间)。
  • 通俗解释:就像你拿着手机绕场景走动,直到找到最佳拍摄角度。
  • 关键操作:平移相机到原点,旋转使其朝向标准方向(如看向-Z轴)

投影变换:

  • 含义:将3D物体投影到2D平面上,分两种类型:
    • 透视投影:模拟人眼近大远小的效果(如广角镜头)。
    • 正交投影:忽略距离,保持物体尺寸不变(如工程图纸)。
  • 作用:将相机坐标系下的3D坐标转换为裁剪空间(一个标准立方体范围),方便后续裁剪和计算。
  • 通俗解释:就像决定用鱼眼镜头还是普通镜头拍摄,影响画面是否变形。

视口变换:

  • 含义:将裁剪后的标准立方体坐标映射到屏幕的实际像素范围。
  • 作用:将[-1,1]的规范化坐标拉伸到屏幕分辨率(如1920×1080),并确定显示区域的位置和大小。
  • 通俗解释:调整照片尺寸,使其恰好铺满手机屏幕或某个窗口。

光栅化:

  • 含义:将几何图形(如三角形)分解为像素,并确定每个像素的颜色和位置。
  • 作用:生成最终显示在屏幕上的图像,处理锯齿、抗锯齿等视觉效果。
  • 通俗解释:把照片放大到像素级别,决定每个小格子(像素)的颜色是否填充。
  • 关键技术
    • 三角形采样:判断像素中心是否在三角形内(如叉乘法)。
    • 抗锯齿:通过多重采样(如MSAA)减轻边缘锯齿

    流程示例

    1. 物体位置(世界坐标)→ 调整相机视角(视图变换)。
    2. 投影到2D平面(投影变换)→ 裁剪不可见部分。
    3. 映射到屏幕分辨率(视口变换)。
    4. 将几何图形转为像素(光栅化)。

    3dgs:

    不能直接使用投影变换,因为从透射投影到正交投影,是非线性变换,不是仿射变换,所以要引入雅可比近似矩阵。

    雅可比矩阵:泰勒展开,线性逼近

    3、加以合成,形成最后的图像;

    如何进行参数估计

    相关文章:

    3dgs通俗讲解

    3d gaussian splatting:基于splatting和机器学习的三维重建方法。 特点: 无深度学习简单的机器学习大量的CG知识复杂的线性代数对GPU的高性能编程 一、什么是splatting 1、选择“雪球”; 为什么使用核(雪球) 各向…...

    源码分析之Leaflet比例尺控件Control.Scale实现原理

    概述 Control.Scale 是一个用于显示地图比例尺的控件,是 Leaflet 中实现比例尺控件的核心逻辑,用于在地图上动态显示公制(米/千米)和英制(英尺/英里)的比例尺。 源码分析 源码实现 Control.Scale的源码…...

    【无标题 langsmith

    【GPT入门】第32课 langsmith介绍与实战 1.lang smith作用2.lang smith配置方法3. 上手第一个lang smith3.1 可运行代码3.2 lang smith 官网,个人项目下 1.lang smith作用 LangSmith是由LangChain开发的一个平台,主要用于构建生产级LLM应用程序&#xf…...

    智能建造新范式:装配式建筑 4.0 的数字化进阶

    在全球数字化与可持续发展的浪潮中,建筑业正经历着第四次工业革命的深刻变革。装配式建筑4.0的出现,标志着建筑行业从传统的“钢筋水泥时代”迈向“数据驱动时代”,其核心在于通过技术融合重构建筑全生命周期的生产方式,实现从设计…...

    从标准输入中读取所有内容sys.stdin.read()

    sys.stdin.read().strip() 用于从标准输入中读取所有内容并去除首尾的空白字符。 1. sys.stdin.read() 作用:从标准输入流中读取所有内容,直到遇到文件结束符(EOF)。在命令行中,EOF 可以通过 CtrlD(Linux…...

    网络:华为数通HCIA学习:静态路由基础

    文章目录 前言静态路由基础静态路由应用场景 静态路由配置静态路由在串行网络的配置静态路由在以太网中的配置 负载分担配置验证 路由备份(浮动静态路由)配置验证 缺省路由配置验证 总结 华为HCIA 基础实验-静态路由 & eNSP静态路由 基础…...

    DAY 35 leetcode 202--哈希表.快乐数

    题号202 编写一个算法来判断一个数 n 是不是快乐数。 「快乐数」 定义为: 对于一个正整数,每一次将该数替换为它每个位置上的数字的平方和。然后重复这个过程直到这个数变为 1,也可能是 无限循环 但始终变不到 1。如果这个过程 结果为 1&a…...

    Linux Command nmap 网络扫描

    tags: 网络 文章目录 简介原理端口状态选项基本扫描发现扫描禁用DNS名称解析无ping扫描 端口扫描版本检测防火墙规避技术故障排除和调试NMAP 脚本 简介 Nmap(“ Network Mapper ”)是一个用于网络探索和安全审计的开源工具。它旨在快速扫描大型网络&…...

    根据源码分析vue中nextTick的实现原理

    根据源码分析vue中nextTick的实现原理 一. ‌核心变量定义‌‌二. 异步策略选择(降级处理)‌1. 微任务优先‌2. 降级到 MutationObserver‌3. 降级到宏任务‌ 三、回调执行逻辑‌四、 ‌nextTick 函数实现‌五、 ‌与 Vue 更新流程的结合‌六‌、关键设计…...

    Linux内核TCP/IP协议栈中的设计模式:从面向对象到系统级软件的跨界实践

    引言 设计模式(Design Patterns)自GoF(Gang of Four)在1994年提出以来,已成为软件工程领域的核心概念。尽管其经典定义基于面向对象编程(OOP),但设计模式的本质是解决复杂问题的经验总结,而非局限于特定编程范式。本文以Linux内核的TCP/IP协议栈为例,探讨设计模式在…...

    风云可测:华为AI天气大模型将暴雨预测误差缩至3公里内

    华为云正式发布全球首个气象专用人工智能大模型"盘古气象"&#xff0c;实现台风路径24小时预测误差<30公里、暴雨落区72小时精度91%&#xff0c;较传统数值预报效率提升10000倍。本文基于对西北太平洋10个台风回溯测试、全国2360个气象站验证数据&#xff0c;解析…...

    DeepSeek-R1 面试题汇总

    Deepseek-r1 面试宝典 原文地址&#xff1a;https://articles.zsxq.com/id_91kirfu15qxw.html DeepSeek-R1 面试题汇总 DeepSeek-R1 面试题汇总 GRPO&#xff08;Group Relative Policy Optimization&#xff09;常见面试题汇总篇 DeepSeek-R1 DeepSeek-R1-Zero 常见面试题汇总…...

    ASM1042A型CANFD芯片通信可靠性研究

    摘要 本文旨在深入探讨ASM1042A型CAN-FD芯片在多节点通信中的可靠性表现。通过对芯片的电气特性、测试环境、多节点通信测试结果等多方面进行分析&#xff0c;结合实验数据与理论研究&#xff0c;全面评估其在复杂通信场景下的性能与可靠性。研究结果表明&#xff0c;ASM1042A…...

    Java8 到 Java21 系列之 Stream API:数据处理的新方式(Java 8)

    Java 8 到 Java 21 系列之 Stream API&#xff1a;数据处理的新方式&#xff08;Java 8&#xff09; 系列目录 Java8 到 Java21 系列之 Lambda 表达式&#xff1a;函数式编程的开端&#xff08;Java 8&#xff09;Java 8 到 Java 21 系列之 Stream API&#xff1a;数据处理的…...

    【每日一个知识点】分布式数据湖与实时计算

    在现代数据架构中&#xff0c;分布式数据湖&#xff08;Distributed Data Lake&#xff09; 结合 实时计算&#xff08;Real-time Computing&#xff09; 已成为大数据处理的核心模式。数据湖用于存储海量的结构化和非结构化数据&#xff0c;而实时计算则确保数据能够被迅速处理…...

    接口自动化学习三:参数化parameterize

    使用parametrize之前&#xff1a; def add(x,y):return xy class TestAddFunction(object):def test01(self):resadd(2,4)assert 6resdef test02(self):resadd(4,6)assert 10resparametrize参数化之后&#xff1a; import pytest def add(x,y):return xydata[(10,20,30),(200…...

    呼叫中心系统压力测试文档

    前期准备 用户需要准备两台配置相同的服务器&#xff0c;A服务器和B服务器。我们在这两台服务器上部署相同授权的程序。 配置流程 1. 创建话术 A服务器和B服务器都需要创建压力测试放音的话术&#xff0c;用于放音。按图操作&#xff1a; 2. 线路和线路组配置 A服务器&am…...

    从0开始的构建的天气预报小时钟(基于STM32F407ZGT6,ESP8266 + SSD1309)——第1章 简单的介绍一下ESP8266和他的编程指令

    目录 ESP8266编程指令前导——三种工作模式 ESP8266编程指令 工作确认指令&#xff08;用于非穿透模式下&#xff09; 设置工作模式&#xff1a;ATCWMODEX 两个重要的复位 硬复位ATRESTORE 软复位ATRST 加入Wifi ATCWJAP 开始一次TCP通信 进入和退出穿透模式 进入 ES…...

    Cadence Integrity 3D-IC的解密

    Early System-Level Analysis and Signoff Flow 请看下期发布...

    清晰易懂的 Flutter 开发环境搭建教程

    Flutter 是 Google 推出的跨平台应用开发框架&#xff0c;支持 iOS/Android/Web/桌面应用开发。本教程将手把手教你完成 Windows/macOS/Linux 环境下的 Flutter 安装与配置&#xff0c;从零到运行第一个应用&#xff0c;全程避坑指南&#xff01; 一、安装 Flutter SDK 1. 下载…...

    NO.63十六届蓝桥杯备战|基础算法-⼆分答案|木材加工|砍树|跳石头(C++)

    ⼆分答案可以处理⼤部分「最⼤值最⼩」以及「最⼩值最⼤」的问题。如果「解空间」在从⼩到⼤的「变化」过程中&#xff0c;「判断」答案的结果出现「⼆段性」&#xff0c;此时我们就可以「⼆分」这个「解空间」&#xff0c;通过「判断」&#xff0c;找出最优解。 这个「⼆分答案…...

    Python星球日记 - 第1天:欢迎来到Python星球

    &#x1f31f;引言&#xff1a; 上一篇&#xff1a;Python星球日记专栏介绍&#xff08;持续更新ing&#xff09; 名人说&#xff1a;莫听穿林打叶声&#xff0c;何妨吟啸且徐行。—— 苏轼《定风波莫听穿林打叶声》 创作者&#xff1a;Code_流苏(CSDN)&#xff08;一个喜欢古诗…...

    去中心化交易所(DEX)

    核心概念与DEX类型 DEX vs CEX 中心化交易所&#xff08;CEX&#xff09;风险&#xff1a;资产托管风险&#xff08;如2019年超2.9亿美元被盗&#xff09;、隐私泄露&#xff08;如50万用户信息泄漏&#xff09;。 DEX优势&#xff1a;用户自持资产&#xff08;非托管&#x…...

    HTTP数据传输的几个关键字Header

    本文着重针对http在传输数据时的几种封装方式进行描述。 1. Content-Type(描述body内容类型以及字符编码) HTTP的Content-Type用于定义数据传输的媒体类型&#xff08;MIME类型&#xff09;&#xff0c;主要分为以下几类&#xff1a; (一)、‌基础文本类型‌ text/plain‌ …...

    Redis 的 Raft 选举协议

    Redis 的 Raft 选举协议 主要用于 Redis Sentinel 和 Redis Cluster 的高可用实现中(尽管 Redis Cluster 默认使用类似 Gossip 的协议,但 Raft 的思想在 Sentinel 的领导者选举中有体现)。以下是关于 Raft 协议在 Redis 中的应用及脑裂问题的详细解析: 一、Redis 中的 Raft…...

    sshd启动报错“Failed to start OpenSSH Server daemon”

    “systemctl restart sshd”启动sshd服务异常&#xff0c;报错“Failed to start OpenSSH Server daemon”。 使用sshd -t命令检查sshd配置文件&#xff0c;返回关键信息gssapikexalgorithms相关错误。 解决方法 禁用 GSSAPI 相关的 KEX 算法 编辑sshd配置文件&#xff0c;注…...

    MIT6.828 Lab3-2 Print a page table (easy)

    实验内容 实现一个函数来打印页表的内容&#xff0c;帮助我们更好地理解 xv6 的三级页表结构。 修改内容 kernel/defs.h中添加函数声明&#xff0c;方便其它函数调用 void vmprint(pagetable_t);// lab3-2 Print a page tablekernel/vm.c中添加函数具体定义 采用…...

    AI本地部署之ragflow

    Ubunturagflowdeepseek本地部署目录 一、配置说明1. 软件配置说明2. 硬件配置说明 二、RagFlow安装和部署1. 前置条件2. 安装注&#xff1a;如果发现没有出现这个界面&#xff0c;可以进入ragflow/docker/ragflow-logs这个路径&#xff0c;查看ragflow_server.log文件中的内容&…...

    源码分析之Leaflet属性控件Control.Attribution实现原理

    概述 Control.Attribution 是一个 Leaflet 地图控件&#xff0c;用于显示地图的版权信息。它可以显示地图提供者的名称和链接&#xff0c;以及地图上的图层的版权信息。 源码分析 源码实现 Control.Attribution的源码实现如下 var ukrainianFlag <svg aria-hidden"…...

    NO.62十六届蓝桥杯备战|基础算法-二分查找|查找元素的第一个和最后一个位置|牛可乐和魔法封印|A-B数对|烦恼的高考意愿(C++)

    ⼆分算法是我觉得在基础算法篇章中最难的算法。⼆分算法的原理以及模板其实是很简单的&#xff0c;主要的难点在于问题中的各种各样的细节问题。因此&#xff0c;⼤多数情况下&#xff0c;只是背会⼆分模板并不能解决题⽬&#xff0c;还要去处理各种乱七⼋糟的边界问题 34. 在…...

    开源模型应用落地-Qwen2.5-Omni-7B模型-部署 “光速” 指南

    一、前言 2025年3月,阿里巴巴通义千问团队开源的全模态大模型Qwen2.5-Omni-7B,犹如一记惊雷划破AI领域的长空。这个仅70亿参数的"小巧巨人",以端到端的架构实现了对文本、图像、音频、视频的全模态感知,更通过创新的Thinker-Talker双核架构,将人类"接收-思…...

    顺序容器 -forward list单链表

    forward list单链表是C11加入到STL的。 使用forward list&#xff0c;必须包含头文件<forward_list> #include <forward_list> 这个头文件被定义在命名空间std内。 namespace std {template <typename T,typename Allocator allocator<T> >class …...

    C++:算术运算符

    程序员Amin &#x1f648;作者简介&#xff1a;练习时长两年半&#xff0c;全栈up主 &#x1f649;个人主页&#xff1a;程序员Amin &#x1f64a; P   S : 点赞是免费的&#xff0c;却可以让写博客的作者开心好久好久&#x1f60e; &#x1f4da;系列专栏&#xff1a;Java全…...

    缺页异常导致的iowait打印出相关文件的绝对路径

    一、背景 在之前的博客 增加等IO状态的唤醒堆栈打印及缺页异常导致iowait分析-CSDN博客 里&#xff0c;我们进一步优化了D状态和等IO状态的事件的堆栈打印&#xff0c;补充了唤醒堆栈打印&#xff0c;也分析了一种比较典型的缺页异常filemap_fault导致的iowait的情况。 在这篇…...

    【Centos】centos7内核升级-亲测有效

    相关资源 通过网盘分享的文件&#xff1a;脚本升级 链接: https://pan.baidu.com/s/1yrCnflT-xWhAPVQRx8_YUg?pwd52xy 提取码: 52xy –来自百度网盘超级会员v5的分享 使用教程 将脚本文件上传到服务器的一个目录 执行更新命令 yum install -y linux-firmware执行脚本即可 …...

    多模态模型:专栏概要与内容目录

    文章目录 多模态模型&#x1f4da; 核心内容模块Stable Diffusion基础教程Stable Diffusion原理深度解析部署与环境配置其他多模态模型实践 多模态模型 &#x1f525; 专栏简介 | 解锁AI绘画与多模态模型的技术奥秘 探索多模态AI技术&#xff0c;掌握Stable Diffusion等流行框…...

    1. 购物车

    1. 购物车 咱们购物车基于 V2 装饰器进行开发&#xff0c;底气来源于 自定义组件混用场景指导 1.1. 素材整合 observedv2和Trace 数据模型和页面 // 其他略 // 购物车 export interface CartGoods {count: number;id: string;name: string;picture: string;price: number;…...

    frp 让服务器远程调用本地的服务(比如你的java 8080项目)

    1、服务器上安装frp 2、本地安装frp 服务器上 frps.toml 配置信息&#xff1a; bindPort 30000auth.token "密码" # 客户端连接密码vhostHTTPPort 8082 本地 frpc.toml serverAddr "服务器ip" serverPort 30000 auth.token "服务器上设置的…...

    《AI大模型应知应会100篇》第56篇:LangChain快速入门与应用示例

    第56篇&#xff1a;LangChain快速入门与应用示例 前言 最近最火的肯定非Manus和OpenManus莫属&#xff0c;因为与传统AI工具仅提供信息不同&#xff0c;Manus能完成端到端的任务闭环。例如用户发送“筛选本月抖音爆款视频”&#xff0c;它会自动完成&#xff1a; 爬取平台数据…...

    大模型——如何在本地部署微软的OmniParser V2

    微软的 OmniParser V2 是一款尖端的人工智能屏幕解析器,可通过分析屏幕截图从图形用户界面中提取结构化数据,使人工智能代理能够与屏幕元素进行无缝交互。该工具是构建自主图形用户界面代理的完美选择,它改变了自动化和工作流程优化的游戏规则。在本指南中,我们将介绍如何在…...

    Oracle触发器使用(一):DML触发器

    Oracle触发器使用(一):DML触发器 DML触发器条件谓词触发器INSTEAD OF DML触发器复合DML触发器Oracle数据库中的触发器(Trigger)本质上也是PL/SQL代码,触发器可以被Enable或者Disable,但是不能像存储过程那样被直接调用执行。 触发器不能独立存在,而是定义在表、视图、…...

    智慧园区大屏如何实现全局监测:监测意义、内容、方式

    智慧园区的价值不容小觑呀&#xff0c;可以说园区的大部分数据都在这个大屏上&#xff0c;监测数据越多&#xff0c;那么大屏的价值就越大。很多小伙伴拿到需求后感觉无从下手&#xff0c;本文在这里智慧园区大屏可以监测哪些内容、监测的意义、监测的方式等&#xff0c;欢迎点…...

    LeetCode 解题思路 31(Hot 100)

    解题思路&#xff1a; 递归参数&#xff1a; 字符串 s、结果集 result、当前路径 path、回文子串数组 dp、开始位置 start。递归过程&#xff1a; 当当前路径 path 的长度等于 s.length() 时&#xff0c;说明已经分割完成&#xff0c;加入结果集。若当前起止位置满足回文条件…...

    fastAPI详细介绍以及使用方法

    FastAPI是一个现代的Python web框架&#xff0c;它提供快速构建API的能力。它具有高性能、易用性和文档自动生成的特点&#xff0c;使得开发者能够快速开发高效的API服务。 以下是一些FastAPI的主要特点和优势&#xff1a; 快速&#xff1a;FastAPI基于Python 3.6的异步框架St…...

    数字人训练数据修正和查看 不需要GPU也能运行的DH_live-加载自己训练-

    自己训练模pth报错 le "D:\ai\dh_live\app.py", line 42, in demo_mini interface_mini(asset_path, wav_path, output_video_name) File "D:\ai\dh_live\demo_mini.py", line 21, in interface_mini renderModel_mini.loadModel("checkpoi…...

    WGAN-GP 原理及实现(pytorch版)

    WGAN-GP 原理及实现 一、WGAN-GP 原理1.1 WGAN-GP 核心原理1.2 WGAN-GP 实现步骤1.3 总结二、WGAN-GP 实现2.1 导包2.2 数据加载和处理2.3 构建生成器2.4 构建判别器2.5 训练和保存模型2.6 图片转GIF一、WGAN-GP 原理 Wasserstein GAN with Gradient Penalty (WGAN-GP) 是对原…...

    chromium魔改——navigator.webdriver 检测

    chromium源码官网 https://source.chromium.org/chromium/chromium/src 说下修改的chromium源码思路&#xff1a; 首先在修改源码过检测之前&#xff0c;我们要知道它是怎么检测的&#xff0c;找到他通过哪个JS的API来做的检测&#xff0c;只有知道了如何检测&#xff0c;我们…...

    Sentinel[超详细讲解]-7 -之 -熔断降级[异常比例阈值]

    &#x1f4d6; 主要讲解熔断降级之 --- 异常比例阈值 &#x1f680; 1️⃣ 背景 Sentinel 以流量作为切入点&#xff0c;提供了很多的丰富的功能&#xff0c;例如&#x1f917;&#xff1a; 流量控制&#xff0c;熔断降级等&#xff0c;它能够有效的适用各个复杂的业务场景&am…...

    程序化广告行业(56/89):S2S对接与第三方广告监测全解析

    程序化广告行业&#xff08;56/89&#xff09;&#xff1a;S2S对接与第三方广告监测全解析 大家好&#xff01;在前面的博客中&#xff0c;我们一起深入学习了程序化广告的人群标签、用户标签生成、Look Alike原理&#xff0c;以及DMP与DSP对接和数据统计原理等内容。今天&…...

    C++进阶知识复习 31~38

    目的 写这一系列文章的目的主要是为了秋招时候应对计算机基础问题能够流畅的回答出来 &#xff08;如果不整理下 磕磕绊绊的回答会被认为是不熟悉&#xff09; 本文章题目的主要来源来自于 面试鸭 部分面试鸭上没有而牛客网上有的博主会进行查缺补漏 题目编号按照面试鸭官网…...