项目26: 基于MLP和3DGS模型的三维重建和预测

指导老师：刘利刚

项目简介：

针对视图合成与三维重建问题，结合近年来神经表示与显式粒子建模的前沿进展，提出了一种融合 MLP 与 3D Gaussian Splatting（3DGS）的方法，旨在在保证精度的前提下降低内存开销并提高对物理变化的建模能力。 在具体模型结构设计中，我们通过将位置与时间特征输入多层感知机（MLP），输出用于变换高斯粒子的参数（包括位置偏移与协方差矩阵变化），并在刚体场景中引入 SE(3) 群的指数映射以满足运动学物理约束，流体场景引入牛顿定律。此外，通过变形场的设计使得系统可以更合理地描述不同类型的物理系统，提升了整体模型在三维时空建模任务中的适应性。还有一些举措尝试减少幻影以及加入Navier-Stokes 方程的物理约束。

项目视频：

下载专区：

• 项目文件和报告链接：课程资料网盘

项目分工：

• 孙浩然：流体，固体部分

• 李茂丞：流体，幻影部分。

• 任可：搜集资料，PPT制作。

感想与不足：

• 采用差分方式构建Navier­Stokes 方程作为损失项导致训练时长，未能优化时间。

• 未能引入注意力机制提升对局部变化的建模敏感性，对物理量预测时结合前后信息

• 探索扩散模型与 3DGS 的结合方式，实现多模态下的三维重建与预测。

致谢：

• 感谢刘老师一学期来精心设计的课程与实验，帮助我们打开了图形学的大门。

• 感谢助教的用心准备和耐心指导，还有同学们的帮助和鼓励。