中国科学技术大学《计算机图形学》2022年春夏学期课程项目展示

项目8： 基于 Python 的手势控制和交互

陈雨竹 PB19000160     少年班学院

张奇 PB19000093     少年班学院

指导教师：陈仁杰 

项目简介：

本项目是基于 Python 开发的手势交互鼠标、键盘、游戏任务交互的若干例子. 用户可以利 用摄像头, 完成虚拟键盘输入、在画板上画画、拖动滑块移动、交互网页游戏、交互内置游戏等 操作。

项目视频：

下载链接：

• 资源链接：下载

项目介绍：

• 目前基于摄像头的手势控制交互, 如图2, 已经完成的样例有虚拟键盘输入、在画板上画画、 拖动滑块移动、交互网页游戏、交互内置游戏。

• 其中陈雨竹负责完成画板上画画和交互网页游戏, 张奇负责完成虚拟键盘输入、拖动滑块移动和交互内置游戏。

项目展望：

• 本文的核心方法是基于单张图片去识别动作, 这会使得预测模型的误差被放大. 我们认为一 个可能的改进方法是重新训练一个和时间相关的模型 (如循环神经网络), 对于一段视频进行预测 来减少误差; 一个方法是先校准精确位置, 后将检测位置和经过历史数据进行插值的位置进行加 权平均, 作为实际位置。

• 当误差被降低到一定范围内, 就可以利用摄像头录制人手骨架运动轨迹, 从而可以建立 3D 模型. 这样做出的模型相较于关键帧绘制方法可能会更符合物理原理, 且成本更低。

致谢：

• 感谢老师陈仁杰一学期的教学与指导。

返回项目主页

Copyright ©: 2022 GCL,USTC