Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting

https://fudan-zvg.github.io/4d-gaussian-splatting/

https://arxiv.org/pdf/2310.10642

Main Idea: 维度升到4维 加了一个时间维度，每个timestamp的3DGS都是从高维的4D投影下来的

Representation of 4D Gaussian

协方差矩阵全部升维

当前帧的3DGS 靠 更高维度投影

4D spherindrical harmonics

Train

同时 set the initial time scaling to half of the scene’s duration.

While the 4D Gaussian theoretically extends infinitely, we applied a Gaussian filter with marginal p(t) < 0.05 when rendering the view at time t. (计算该高斯在时间维度的边缘分布p(t)，如果它对该时刻的概率小于 0.05，就直接忽略它。)

4D Gaussian Splatting for Real-Time Dynamic Scene Rendering

外挂式更新偏移量；不考虑球谐函数变化

Spatial-Temporal Structure Encoder

• 相当于把 4D 空间 (x,y,z,t) 投影到六个二维平面。
• 每个高斯点 (x,y,z,t) 在这些平面上都有一个坐标，可以查表得到特征。
• 为了保证分辨率够高 → 用 multi-resolution (两层 l=1,2)。
• 对于每个平面，用 bilinear interpolation 在 voxel grid 上查到特征。
• 得到六个特征向量 {fh}。

Multi-head Gaussian Deformation Decoder

算偏移量

Train

• 第一阶段的时候对所有帧训正常的3DGS：学会“哪里有点”（场景几何骨架）。
• 第二阶段的是拿其中几帧作为参考帧 X~G(x,y,z) 然后抽样视频帧算对应的G’
  • 在已有点的基础上，引入时间相关的网络，让点随 t 发生形变。

优化更新

• 更新内容：
  • 高斯本身参数 (X, r, s, σ, C) （继续可调，不是冻结的）
  • K-Planes 平面参数
  • tiny MLP ϕd
  • 解码器 ϕx, ϕr, ϕs