点击下方卡片，关注「集智书童」公众号
导读
四维高斯喷溅（4DGS）最近作为重建动态场景的方法受到了广泛关注。尽管实现了高质量的重建，4DGS通常需要大量的存储空间，并且渲染速度较慢。在本工作中，作者深入探讨了这些问题，并确定了两个关键的时间冗余来源。
短寿命高斯：4DGS使用大量短时间跨度的高斯来表示场景动态，导致高斯数量过多。
非活动高斯：在渲染过程中，只有一小部分高斯对每一帧有贡献。尽管如此，所有高斯在光栅化过程中都会被处理，导致冗余的计算开销。
为了解决这些冗余，作者提出了4DGS-1K，它在现代GPU上可以达到超过1000 FPS。针对
，作者引入了时空变化分数，这是一种新的剪枝标准，能够有效地去除短寿命高斯，同时鼓励4DGS使用长时间跨度的高斯来捕捉场景动态。针对
，作者存储了连续帧中活动高斯的 Mask ，显著减少了渲染中的冗余计算。与传统的4DGS相比，4DGS-1在复杂动态场景中实现了存储量减少41倍和光栅化速度提高9倍，同时保持了可比的视觉效果。请访问作者的项目页面4DGS-1K。
- 引言
新型动态场景视图合成技术能够创建4D环境的逼真表示，这在计算机视觉、虚拟现实和增强现实等领域至关重要。传统上，这一领域由神经辐射场（NeRF）[2, 12, 18, 21, 25]引领，该技术通过随时间建模不透明度和颜色来描绘动态场景。虽然这些基于NeRF的方法有效，但它们具有高训练和渲染成本，限制了其实用性，尤其是在实时应用和资源有限的设备上。
近期，基于点的表示方法，如4D高斯散布（4DGS）[40]，已成为强有力的替代方案。4DGS使用一组4D高斯基元来模拟动态场景，每个基元具有4维均值和
协方差矩阵。在任意给定的时间戳，一个4D高斯被分解为一系列条件3D高斯和一个边缘1D高斯，后者控制该时刻的不透明度。这种机制使得4DGS能够有效地捕捉场景的静态和动态特征，从而实现高保真动态场景重建。
然而，使用4DGS表示动态场景既占用存储空间，又速度较慢。具体来说，4DGS通常需要数百万个高斯函数，导致显著的存储需求（在N3V [18]数据集上，每个场景平均需要2GB）和次优的渲染速度。相比之下，主流的变形场方法 [39] 对于相同的数据集只需要大约90MB。因此，减少4DGS的存储大小并提高渲染速度对于高效地表示复杂的动态场景至关重要。
作者探讨了高斯分布数量激增的原因，并特别强调了两个关键问题。（Q1）大量高斯分布具有短暂的时间跨度。在实证实验中，4DGS倾向于选择“闪烁”高斯来拟合复杂的动态场景，这些高斯分布仅影响时间域的一小部分。这导致4DGS需要依赖大量高斯分布来重建高保真场景。因此，需要大量的存储空间来记录这些高斯分布的属性：（Q2）非活动高斯分布导致冗余计算。在渲染过程中，4DGS需要处理所有高斯分布。然而，只有极少数高斯分布在该时刻是活跃的。因此，大部分计算时间都浪费在非活动高斯分布上。这种现象极大地阻碍了渲染速度。在本文中，作者介绍了4DGS-1K，这是一个框架，它显著减少了高斯分布的数量，以最小化存储需求并加速渲染，同时保持高质量的重建。
为了解决这些问题，4DGS-1K引入了一种两步剪枝方法：
- • 剪枝短寿命高斯分布。作者提出了一种新的剪枝标准，称为时空变化分数，该标准评估每个高斯分布的时间影响。识别出影响最小的高斯分布并进行剪枝，从而得到一个更紧凑的场景表示，其中包含较少具有短时间跨度的高斯分布。
- • 过滤非活动高斯分布。为了进一步减少渲染过程中的冗余计算，作者使用关键帧时间滤波器来选择每帧所需的高斯分布。在此基础上，作者还共享相邻帧的 Mask 。这是基于作者的观察，相邻帧中活跃的高斯分布往往重叠显著。
此外，第1步中的剪枝增强了第2步中的 Mask 过程。通过剪枝高斯函数，作者增加了每个高斯函数的时间影响，这使得作者能够选择更Sparse的关键帧，从而进一步减少存储需求。
作者在各种动态场景数据集上广泛测试了所提出的模型，包括真实和合成场景。如图1所示，4DGS-1K在Neural 3D Video数据集[18]上通过保持等效的场景表示质量，将存储成本降低了41倍。关键的是，它能够实现超过1,000 FPS的实时光栅化速度。这些进步共同将4DGS-1K定位为一种在不过度牺牲效率的情况下实现高保真动态场景建模的实用解决方案。
总之，作者的贡献有三点：
- • 作者深入探讨了4D高斯分层渲染的时间冗余问题，并解释了存储压力和渲染速度不佳的主要原因。
- • 作者引入了4DGS-1K，这是一个紧凑且内存高效的框架，用于解决这些问题。它包含两个关键组件，基于空间-时间变化分数的剪枝策略和时间滤波器。
- • 大量实验表明，4DGS-1K不仅实现了约41倍的存储减少，而且将光栅化速度提升到1000+ FPS，同时保持了高质量的重建。
- 相关工作
2.1. 静态场景的新颖视图合成
近期，神经辐射场（NeRF）[25]在新型视图合成方面取得了令人鼓舞的结果。NeRF [25]通过将3D坐标和视角依赖性映射到颜色和透明度来表示场景。由于NeRF [25]需要通过 Query MLP（多层感知器）对每个射线进行数百个点的采样，这显著限制了训练和渲染速度。后续研究[5,11,26, 31, 32, 35, 37, 38]试图通过引入专用设计来加速渲染，但这些设计也限制了这些模型的应用范围。相比之下，三维高斯散布（3DGS）[14]受到了广泛关注，它利用各向异性的三维高斯来表示场景。它以高分辨率和精细细节实现了高质量的渲染效果，同时保持了实时渲染性能。
2.2 新型动态场景视图合成
动态非体积渲染（NVS）由于输入图像的时间变化性而提出了新的挑战。之前基于NeRF的动态场景表示方法[2, 4, 12, 17, 18, 21, 24, 30, 34, 36]通过学习从时空坐标到颜色和密度的映射来处理动态场景。不幸的是，这些基于NeRF的模型由于渲染速度慢而限制了其应用。最近，3D高斯散点渲染[14]作为一种新的显式表示方法出现，许多研究[3, 6, 13, 22, 39, 41]尝试基于它来建模动态场景。四维高斯散点渲染（4DGS）[40]是其代表之一。它使用一组四维高斯原语。然而，4DGS通常需要大量的冗余高斯来处理动态场景，这些高斯导致巨大的存储需求和次优的渲染速度。因此，作者专注于分析4DGS[40]的时间冗余，以期开发一个新型框架，以实现更低的存储需求和更高的渲染速度。
2.3 高斯散点压缩
基于3D高斯的大规模场景重建通常需要数百万个高斯函数，这导致存储需求高达数吉字节。因此，后续研究试图解决这些问题。具体来说，Compgs [27] 和 Compact3D [16] 使用矢量量化在码本中存储高斯函数。同时，受模型剪枝的启发，一些研究 [1, 8, 9, 20, 28, 29] 提出了按指定比例剪枝高斯的准则。然而，与3DGS [14] 相比，4DGS [40] 引入了一个额外的时维以实现动态表示。因此，基于3DGS的先前方法可能不适合4DGS。因此，作者首先识别出一个导致此问题的关键限制，称为时间冗余。此外，作者提出了一种利用时空变化的新颖剪枝准则和一个时间滤波器，以实现更高效的存储需求和更快的渲染速度。
- 四维高斯喷溅的初步研究
4DGS-1建立在4D高斯散点（4DGS）[40]的基础上，通过优化一系列各向异性的4D高斯原语来重建动态场景。对于每个高斯原语，它由一个4D均值μ=(μx,μy,μz,μt)∈R^4和一个协方差矩阵∑∈IR^4×4共同表征。
通过将时间和空间维度同等对待，4D协方差矩阵
可以分解为一个尺度矩阵
和一个旋转矩阵
。
由一对左四元数
和右四元数
表示。在渲染过程中，每个4D高斯函数在特定时间
被分解为一个条件3D高斯函数和一个1D高斯函数。此外，条件3D高斯函数可以通过多元高斯分布的性质推导出来：
此处，
和
分别表示空间均值和协方差，而
和
是表示时间成分的标量。为了进行光栅化，给定视图
下的一个像素和时间戳
，其颜色
可以通过混合按深度排序的可见高斯分布来计算：
随着
表示每个高斯函数的颜色，
通过评估一个协方差为
的二维高斯函数，并与学习到的每个点的透明度
以及时间高斯分布
相乘得到。在以下讨论中，为了简便，作者将
表示为
。
时间冗余。尽管4DGS（四维高斯混合模型）能够达到高质量的效果，但它需要大量的高斯函数来模拟动态场景。作者识别出导致这一问题的关键限制：4DGS通过时间上相互独立的高斯函数来表示场景，这些高斯函数在时间上缺乏显式的相关性。这意味着，即使是静态物体也被数百个高斯函数冗余地表示，这些高斯函数在时间步长中不一致地出现或消失。作者将这种现象称为时间冗余。因此，场景最终需要比应有的更多的高斯函数，导致过度的存储需求和次优的渲染速度。在第4节中，作者分析了这一问题的根本原因，并提出了一系列解决方案以减少高斯函数的数量。
- 研究方法
作者的目标是通过对高斯数量进行减少来压缩4DGS，同时保持渲染质量。为实现这一目标，作者首先分析了4DGS中存在的冗余，具体内容详见第4.1节。在此基础上，作者在第4.2节中介绍了4DGS-1K，该技术集成了专为4DGS设计的压缩技术。4DGS-1K能够在现代GPU上实现超过1,000 FPS的渲染速度。
4.1. 理解4DGS中的冗余
本节探讨了为什么4DGS需要过多的高斯函数来表示动态场景。具体来说，作者识别出两个关键因素。首先，4DGS模型使用大量短暂出现和消失的高斯函数来表示物体运动，这些高斯函数在不同时间步长中不一致地出现和消失，导致冗余的时间表示。其次，对于每一帧，实际上只有一小部分高斯函数对渲染有贡献。以下作者将讨论这些问题。
大量短寿命高斯分布。作者观察到4DGS倾向于存储许多随时间闪烁的高斯分布。作者将这些称为短寿命高斯分布。为了研究这一特性，作者分析了高斯分布的不透明度，它控制着可见性。直观上，短寿命高斯分布表现出一种不透明度模式，该模式迅速增加然后突然下降。在4DGS中，这种行为通常反映在时间方差参数
上——小的
值表示短寿命。
观测。具体来说，作者绘制了Sear Steak场景中所有高斯分布的
分布图。如图2a所示，大多数高斯分布的
值较小（例如，
的
）。此外，如图3所示，作者可视化了
值的空间分布。作者取
的倒数并将其归一化。因此，图像中亮度较高的区域表示较小的
。这些高斯分布大部分集中在移动物体的边缘。
因此，在4DGS中，几乎所有高斯函数都具有较短的生存期，尤其是在快速移动的物体周围。这一特性导致了较高的存储需求以及较慢的渲染速度。
4.2.4DGS-1K快速动态场景渲染
基于上述分析，作者引入了4DGS-1K，一套专为4DGS设计的压缩技术，用于消除冗余高斯函数。如图4所示，此过程涉及两个关键步骤。首先，作者在第4.2.1节中识别并全局修剪具有低时空变化分数的不重要高斯函数。其次，作者在第4.2.2节中通过时间滤波器对每个时间步长中不需要的不活跃高斯函数进行局部修剪。
非活跃高斯函数。另一个发现是，在正向渲染过程中，实际上只有一小部分高斯函数在贡献。有趣的是，活跃的高斯函数往往在相邻帧之间有显著的重叠。为了量化这一点，作者引入了两个指标：（1）活跃比率。这个比率定义为在任何时刻，相对于总高斯函数数量，所有视图中活跃高斯函数总数的比例。（2）激活交集-并集（IoU）。这是通过计算第一帧和帧
Observations中活跃高斯函数集合之间的IoU来计算的。作者再次从Sear Steak场景中绘制这两个指标。如图2b所示，每个帧中几乎有85%的高斯函数是非活跃的，尽管在渲染过程中处理了所有高斯函数。此外，图2c表明，活跃高斯函数在时间上保持相当一致，在20帧窗口内的IoU超过80%。
不活跃的高斯函数在4DGS中带来了一个重大问题，因为每个4D高斯函数在光栅化之前必须分解为一个3D高斯函数和一个1D高斯函数（参见公式(1)）。因此，大量的计算资源被浪费在不活跃的高斯函数上。
总之，4DGS中的冗余主要来源于大量短寿命高斯函数和无用的高斯函数。这些见解激励作者制定压缩策略，在保持渲染质量的同时消除冗余计算。
4.2.1. 基于时空变化分数的剪枝
首先，作者剪枝不重要的4D高斯函数以提高效率。类似于3DGS，作者移除那些对渲染像素影响较小的函数。此外，作者还额外移除寿命较短的函数——那些在短时间内仅短暂存在的函数。为了实现这一点，作者引入了一种新的时空变化评分作为剪枝4DGS的标准。它由两部分组成，空间评分用于衡量高斯函数对渲染像素的贡献，以及考虑高斯函数寿命的时间评分。
空间得分。受先前方法[8, 9]和3DGS中的
-混合[14]的启发，作者通过聚合给定时间戳下所有输入图像中所有射线
上的高斯
的射线贡献来定义空间得分。它可以精确地捕捉每个高斯对单个像素的贡献。因此，通过遍历所有像素，作者得到空间贡献得分
：
其中
反映了第
个高斯对根据公式（2）中的alpha合成计算出的所有像素最终颜色的贡献。
时间分数。预期为寿命较长的高斯分配更高的时间分数。为了量化这一点，作者计算了在公式（3）中定义的时间不透明度函数
的二阶导数。二阶导数
的计算如下：
直观上，较大的二阶导数幅度对应于不稳定、短暂的高斯分布，而较低的二阶导数则表明分布平滑且持久。
此外，由于二阶导数跨越实数域
，作者应用tanh函数将其映射到区间
。因此，每个高斯函数
的不透明度变化得分
可以表示为：
除了不透明度范围率之外，还需要考虑4D高斯体积，如公式（1）所述。体积应按照[8]中的方法进行归一化，表示为
因此，最终的时序得分
最后，通过聚合空间和时序得分，空间时序变化得分
可以表示为：
剪枝。所有4D高斯分布均根据其时空变化分数
进行排序，分数较低的高斯分布被剪枝以减轻4DGS的存储负担[40]。剩余的高斯分布经过一定次数的迭代优化，以补偿剪枝带来的微小损失。
4.2.2. 基于时间滤波的快速渲染
作者的分析表明，在4DGS中，非活动高斯函数会导致不必要的计算，从而显著降低渲染速度。为了解决这个问题，作者引入了一个时间滤波器，该滤波器能够动态选择活动高斯函数。作者观察到，相邻帧中的活动高斯函数存在相当大的重叠（详见第4.1节），这使得作者能够在帧窗口中共享它们对应的 Mask 。
基于关键帧的时序滤波。基于这一观察，作者为主动高斯设计了基于关键帧的时序滤波方法。作者以等间隔选择Sparse的关键帧，并将它们的 Mask 与周围的帧共享。
具体来说，作者选择一组关键帧时间戳
，其中
取决于所选的时间间隔
。对于每个
，作者从当前时间戳的所有训练视图中渲染图像，并计算可见性列表 {m,1，其中
是从时间戳
的第
个训练视图中通过公式（2）获得的可见性 Mask ，
是当前时间戳下的训练视图数量。最终的激活高斯质量集由 U= m. -0滤波渲染给出。要渲染给定时间戳
的任意视点的图像，作者考虑其两个最近的关键帧，分别表示为
和
。然后，作者仅考虑 Token 为
的高斯进行光栅化。这种方法明确地过滤掉非活动高斯，以加快渲染速度。
请注意，使用长间隔可能会忽略一些高斯分布，从而降低渲染质量。因此，作者通过微调由 Mask 记录的高斯分布来补偿损失。
- 实验
5.1 实验设置
数据集。作者利用两个动态场景数据集来展示4DGS-1的有效性：(1) 神经3D视频数据集（N3D）[18]。该数据集包含六个动态场景，分辨率为
。为了进行公平的比较，作者按照先前的工作[19, 40]在300帧半分辨率下进行评估。(2) D-NeRF数据集[30]。这是一个包含八个合成场景视频的单目视频数据集。作者选择了来自训练过程中未遇到的新的相机位置的标准测试视图。
评估指标。为了评估动态场景渲染的质量，作者采用了几个常用的图像质量评估指标：峰值信噪比（PSNR）、结构相似性指数度量（SSIM）和学习的感知图像块相似度（LPIPS）[42]。遵循先前的研究，LPIPS [42] 分别在N3V数据集和D-NeRF数据集上使用AlexNet [15] 和VGGNet [33] 进行计算。此外，作者还报告了高斯函数的数量和存储空间。为了展示渲染速度的提升，作者报告了两种类型的帧率（FPS）：（1）FPs。它考虑了整个渲染函数。由于其他操作的干扰，它不能有效地展示4DGS-1所实现的加速效果。（2）光栅化FPS。它仅考虑光栅化，这是渲染过程中计算量最大的组件。
Baseline 。作者主要的比较 Baseline 是4DGS [40]，它是4DGS-1的基础。此外，作者将4DGS-1K与两个关于4D压缩的同期工作进行比较，分别是MEGA [43]和Compact3D [16]。当然，作者还与4DRotorGS [7]进行了比较，它是4D高斯散点的另一种表示形式，具有实时渲染速度和高保真渲染结果的能力。此外，作者还把作者的工作与基于NeRF的方法进行了比较，如Neural Volume [21]、DyNeRF [18]、StreamRF [17]、HyperReel [2]、DNeRF [30]和K-Planes [12]。此外，作者还考虑了其他最近基于高斯的方法，包括Dynamic 3DGS [23]、STG [19]、4DGaussian [39]和E-D3DGS [3]。
实现细节。4DGS-1在单个RTX 3090 GPU上进行测试。作者按照4DGS [40]中的实验设置进行模型训练。训练完成后，作者执行剪枝和过滤策略。然后，作者在禁用额外的克隆/分割操作的情况下，对4DGS-1K进行5,000次迭代微调。对于剪枝策略，N3V数据集上的剪枝比率为80%，D-NeRF数据集上的剪枝比率为85%。对于时间过滤，作者在N3V数据集上将关键帧之间的间隔
设置为20帧。考虑到D-NeRF数据集上的捕获速度不同，作者选择6个关键帧而不是特定的帧间隔。此外，为了进一步压缩4DGS [40]的存储，作者在模型中实现了后处理技术，记为Ours-PP。它包括高斯形状的SH向量量化[27]以及将滤波器 Mask 压缩成比特。
请注意，作者没有在Coffee Martini和Flame Salmon场景中应用由4DGS实现的场景图，这显著影响了渲染速度。后续结果指出，对于4DGS-1K移除它并不会显著降低渲染质量。
5.2 结果与比较
真实世界数据集比较。表1展示了在N3V数据集上的定量评估。4DGS-1K在渲染质量上与当前 Baseline 相当。与4DGS [40]相比，作者在PSNR降低0.04dB的代价下实现了41倍的压缩和9倍的渲染速度提升。
此外，与4D压缩的同期工作MEGA [43]和Compact3D [16]相比，渲染速度分别提高了10倍和4倍，同时保持了可比的存储需求和高质量的重建。此外，4DGS-1K的FPS远超当前最先进水平。其速度几乎是当前最快模型Dynamic 3DGS [23]的两倍，而所需的存储空间仅为1%。此外，4DGS-1K在PSNR上比Dynamic 3DGS [23]提高了约1.2dB，视觉效果更好。与存储高效的模型E-D3DGS [3]和DyNeRF [18]相比，作者在PSNR上实现了超过0.5dB的提升，并保持了快速的渲染速度。图5提供了Sear Steak的定性比较，表明作者的结果包含更多生动的细节。
在合成数据集上的比较。在作者的实验中，作者使用DNeRF [30]提出的单目合成数据集，将4DGS-1K与几个 Baseline 进行了基准测试。结果如表2所示。与4DGS [40]相比，4DGS-1实现了高达
的压缩和
的渲染速度提升。值得注意的是，4DGS-1的渲染质量甚至超过了原始的4DGS，PSNR提高了约
。此外，与大多数基于高斯的方法相比，4DGS-1在渲染质量和存储开销方面都表现出更高的性能。作者在图5中提供了定性的结果，以进行更直观的评估。
5.3 消融研究
为了评估每个组件的贡献以及时间过滤剪枝策略的有效性，作者在N3V数据集[18]上进行了消融实验。补充材料中提供了更多消融实验结果（见第8节）。
剪枝。如表3所示，作者的剪枝策略将高斯函数的数量减少了80%，同时实现了5倍的压缩比和5倍更快的光栅化速度，并且略微提升了渲染质量。如图2a所示，作者的剪枝策略还减少了短寿命高斯函数的存在。因此，4DGS-1k在渲染过程中处理的不必要高斯函数数量大幅减少（见图2b）。
此外，作者将作者的时空变化得分与几种变体进行了比较。具体设置在第8节中描述。如表4所示，单独使用空间和时间得分会降低PSNR。这是因为单独的得分可能会放大极端高斯分布。例如，仅使用空间得分（b）可能保留仅覆盖单个帧但占据较大空间体积的高斯分布。作者的综合得分平衡了这些因素。对于变体d，使用一阶导数可能会导致一些小高斯分布的
比作者的更大。此外，由于大多数高斯分布的
较小，使用沿
来区分它们比较困难（见e）。此外，如图2c所示，修剪过程扩展了相邻帧的范围。它允许时间滤波器有更大的间隔。作者将在下一部分进行讨论。
时间滤波。如表3所示，b和c的结果是通过直接对4DGS应用滤波器而无需微调获得的。这证明了该组件可以提升4DGS的渲染速度。然而，如第4.1节所述，4DGS包含大量寿命较短的高斯函数。这导致一些高斯函数在滤波过程中被忽略，从而略微降低了渲染质量。但是，通过剪枝，大多数高斯函数的寿命都得到了保证，即使在较大间隔下也能保持可见。因此，这缓解了高斯函数被忽略的问题（见图f）。此外，适当的微调允许活动高斯函数列表中的高斯函数重新学习场景特征，以补偿时间滤波器造成的损失（见图e和f）。
- 结论
本文提出了一种名为4DGS-1K的紧凑型且内存高效的动态场景表示方法，能够在现代GPU上以超过1000 FPS的速度运行。作者引入了一种新的剪枝标准，称为时空变化分数，该标准可以消除4DGS中大量冗余的高斯点，大幅降低存储需求。此外，作者还提出了一种时间滤波器，该滤波器在每个帧渲染过程中仅选择性地激活高斯子集。这种方法使得作者的渲染速度远超现有 Baseline 。与原始4DGS相比，4DGS-1K在保持高质量重建的同时，实现了存储量减少41倍和光栅化速度提高9倍。
- 实验结果
7.1 场景级结果
作者在N3V数据集](表5)和D-NeRF数据集](表6)上提供了每场景的定量比较。
与传统的4DGS相比，4DGS-1显著降低了存储需求并提升了渲染速度，同时保持了高质量的重建效果。图12和图13展示了N3V数据集上的更多视觉比较。图14、图15和图16展示了D-NeRF数据集上的视觉比较。
7.2 资源消耗
作者提出了资源消耗指标，包括训练时间、GPU内存分配以及额外的存储空间。在N3V数据集[18]上，4DGS-1K仅需大约30分钟进行微调，GPU内存分配为10.54GB。在渲染过程中，它仅消耗1.62GB的GPU内存。对于存储需求，4DGS1K需要额外的存储空间用于滤波器和码本 Mask ；然而，这些仅占总体存储的一小部分，每个场景大约为1MB。这些部分也包含在最终的实验结果中。
上述结果展示了4DGS1K在低性能硬件上部署的潜力。因此，作者进一步在TITAN X GPU上测试了4DGS-1K，在N3V数据集上，4DGS-1K仍能保持200+ FPS的速度，远超vanilla 4DGS（20 FPS）。
7.3. 余度性实验的补充
在本节中，作者提供了额外的冗余研究实验，作为对第4.1节的补充。它分为两部分：首先，对短寿命高斯分布的可视化；其次，FPS与无效高斯数量之间的关系。
高斯分布的视觉呈现及其短暂寿命。在第4.1节中，作者提出在原始4DGS中，几乎所有高斯分布都具有短暂的寿命，尤其是在快速移动物体的边缘附近。因此，作者可视化
的空间分布，以更好地支持第4.1节中的冗余研究。
具体来说，作者在Sear Steak Scene的多个时间戳上可视化了
的分布。可视化结果如图6所示。为了可视化，作者在渲染过程中取
的倒数并将其归一化。因此，渲染图像中亮度较高的区域表示
较小。如图6所示，寿命较短的高斯分布在物体运动区域，如移动的人和狗。此外，作者还观察到，寿命较小的
也出现在一些颜色变化显著的物体边缘。这是因为在这些区域，较小的Gaussian更受青睐，以捕捉空间维度中的高频细节。由于vanilla 4DGS [40]将时间和空间维度同等对待，这些Gaussian在时间维度上也有较短的寿命。
FPS与无效高斯数量之间的关系。在第4.1节中，作者主要的先验假设是无效高斯数量会影响假阳性（FPs）。因此，作者可视化了FPS与无效高斯数量之间的关系。
然而，仅限制高斯函数的总数在本任务中是不正确的。随着总数增加，活跃高斯函数和无效高斯函数的数量也会增加，这无法明确FPS变化是由活跃高斯函数还是无效高斯函数引起的。因此，作者首先通过渲染来识别活跃高斯函数，然后在这些高斯函数中添加大量无效高斯函数。
作者在Sear Steak Scene（见图7）中可视化了结果。随着非活动高斯函数数量的增加，帧率（FPS）降低。这一现象强烈支持作者在第4.1节中的冗余研究。
7.4. 剪枝高斯图的可视化
作者在Sear Steak场景中提供了剪枝高斯函数的可视化，如图8所示。作者的剪枝策略能够准确识别寿命较短的高斯函数（见图8c），同时保持高质量的重建（见图8d）。剪枝后的量化结果呈现于表3。作者的剪枝技术实现了5倍的压缩比和5倍更快的光栅化速度，同时略微提升了渲染质量。
7.5 视频结果
在本工作中，作者提出了一种新颖的动态3D重建框架。因此，作者提供了从N3V数据集和D-NeRF数据集测试视点渲染的多个视频，以展示4DGS-1K的重建质量和时间一致性。这些视频由4DGS和4DGS-1的每一帧拼接而成。
- 附加消融研究
在本节中，作者首先提供了表4的变体设置。此外，除了正文中的消融研究外，作者还探讨了剪枝比和不同关键帧间隔对渲染质量的影响。由于不同场景因独特特性而导致的性能差异，作者选择了N3V数据集[18]中的三个不同场景：Cook Spinach（炒菠菜）、Cut Roasted Beef（切烤牛肉）和Sear Steak（煎牛排）。这些结果表明，作者的默认配置是适用于广泛场景的一个很好的选择。
变体设置。如第4.2.1节所述，作者的时空变分得分由两部分组成，空间得分衡量高斯函数对渲染中像素的贡献，以及考虑高斯函数寿命的时间得分。通过聚合空间和时间得分，作者的得分
可以表示为：
因此，表4中的变体得分可以表示如下。
仅：仅考虑作者得分的空间部分。它可以表示为：
仅
：仅考虑作者得分的时序贡献部分。它可以表示为：
(含
) : 将时间分数
中的
替换为
。它可以表示为：
(w.
) 将
替换为
。它可以表示为：
剪枝比例与性能变化。如图10所示，作者分析了剪枝比例与渲染质量之间的关系。这表明，在Cook Spinach和Sear Steak场景中，当剪枝比例相对较低时，作者基于时空变化分数的剪枝甚至可以提升场景渲染质量。此外，在更高的阈值下，它可以保持与vanilla 4DGS [40]相当的结果。作者的默认设置在渲染质量和存储大小之间实现了平衡的权衡。此设置允许作者实现5倍的压缩比，同时仍保持高质量的重建。
关键帧间隔对性能的影响。如图11所示，尽管时间滤波器有效地提高了渲染速度，但当滤波器与长间隔关键帧结合时，其性能会显著下降。然而，通过将时间滤波器集成到微调过程中，这种限制可以得到缓解。基本原因是由于间隔过长，一些可能携带关键场景信息的高斯函数被忽略。然而，微调过程有效地补偿了这部分信息的损失。这使得作者能够利用更长的间隔来减少由 Mask 计算引起的额外计算开销。
- 讨论
性能提升。如表2所示，4DGS-1在D-NeRF数据集[30]上实现了轻微的PSNR提升。这是因为传统的4DGS在D-NeRF数据集上由于训练视角有限，常常会遭受浮动点和伪影的困扰。然而，在作者的研究中，4DGS-1K不仅能够修剪寿命短的高斯函数，还能减少浮动点和伪影的出现，如图9所示。作者在D-NeRF数据集上可视化了两个场景：Bouncingballs和Jumpingjacks。这两个场景由于训练视角有限，存在浮动点和伪影问题，如图中红色方框所示。然而，在4DGS-1K中，这一问题并未出现。通过修剪和过滤，4DGS-1K成功减轻了这种现象的发生。
局限性及未来工作。如表5和表6所示，由于时间滤波器提供的加速，与总渲染时间相比，在光栅化过程中的时间占比显著下降。因此，初步准备阶段所消耗的时间并未逐渐变得可以忽略。作者希望未来的工作将专注于优化渲染模块中的这些附加操作，以提高其计算性能。此外，在剪枝过程中，作者指定了一个预定义的剪枝比率。这个剪枝比率受场景固有特性的影响。如图10所示，不适当的剪枝比率会导致渲染质量急剧下降。因此，确定在不同场景中保持高质量渲染所需的最小高斯函数数量仍然是一个挑战。
最后，关于基于高斯函数的动态场景新颖视图合成的现有工作相当多，而4DGS-1专门针对特定的模型4DGS[40]。因此，开发适用于这些基于高斯函数模型的通用压缩方法是后续研究努力的一个有希望的方向。
参考
[1].
FPS 4D Gaussian Splatting for Dynamic Scene Rendering
扫码加入👉「集智书童」交流群
（备注：方向+学校/公司+昵称）