项目4： 人脸面部表情捕捉以及虚拟形象构建

闫沁欣(PB17010359)¹      沈鹏飞(PB17081531)²

¹数学科学院2017级      ²物理学院2017级

指导老师：刘利刚

项目简介：

我们的项目是对人脸进行面部捕捉后，构建虚拟形象来完成人脸表情。我们实现了两种方法，第一种是基于blender软件的实现，结果并不为实时的；第二种为基于OpenCV以及3DMM方法的实现，利用到了local-global方法进行数学优化，结果可以做到实时呈现。

项目视频：

下载专区：

• 视频链接：下载    提取码：1m2i

• 报告链接：下载    提取码：i6lq

• 项目文件：下载    提取码：s418

项目分工：

• 闫沁欣：Blender方法的实现；3DMM方法中数学部分的优化

• 沈鹏飞：3DMM方法的实现

感想与不足：

• blender实现的结果虽然很理想，但不能做到实时，且模仿表情的贴合度取决于标记点的密集程度以及blender软件的追踪能力。

• DMM方法可实现，我们的数学优化部分收敛速度较快，但在mesh上标记对应点时，选取的点不够好，因此结果虽然实时，但不够理想，对应点的选取还需改进。

致谢：

• 感谢刘老师的授课与帮助

• 感谢两位助教的帮助