好玩的开源项目MotionInput v2.0：探索无外接设备的交互---骨架检测、人脸关键点检测及追踪、手势识别、表情识别

------基于手势的机器学习和计算机视觉方法的模块库，用于与网络摄像头交互和控制现有软件（支持DirectX)-------

原论文地址：

https://arxiv.org/ftp/arxiv/papers/2108/2108.04357.pdf)

1.Motioninput简介：

        Motioninput共有四个模块，用于描述基于 Windows 的交互的手势输入。他们使用常规网络摄像头和开源机器学习库，为 Microsoft Windows 10 上支持 DirectX 的游戏和应用程序中的现有 DirectInput API 调用提供低延迟输入。这包括覆盖鼠标移动和键盘按下。支持 DirectX 的 MotionInput 解决了非接触式手势识别的现有硬件和手动设置的经济性带来的一些挑战。这个方法应用程序架构，探讨了MotionInput的功能，并提供了使用开源机器学习解决方案检测人类运动活动分类的初步发现。

2.所用方法：

        目前对于对开源手势识别技术进行了综合调研，已经调查的几个候选库包括MediaPipe1，OpenVino，DLib和OpenCV2，它们都经过了性别和皮肤类型的测试。这些库是联合的，因为它们都在设备上本地处理图像，而不是在云上进行处理。这些机器学习工作的大部分都是在Python中开发的。这些基于Python的库已被引入一个应用程序中，该应用程序具有用C#for Windows设计的本机前端，并使用PyInstaller编译为本机可执行文件。开发的应用程序具有设置控制面板，用于在各自的库中切换状态标志和键值。在Python代码库中已经预先设计和实现了几个手势。这些手势的分类已在模块标题下确定，例如锻炼，头部运动，眼动追踪和手势。这些模块通过基于 Windows 的通用 GUI 配置面板连接，该面板公开每个模块可用的参数。这允许用户设置手势类型并自定义响应，并选择要激活的模块。这些模式意味着MotionInput在许多用例中覆盖了广泛的用户群。

        例如，医护人员可以使用半空中手势在计算机上轻松浏览医疗图像。有运动障碍的用户将能够使用头部运动或眼动追踪与他们的计算机进行交互，并且可以通过玩具有骨骼跟踪功能的游戏来执行全身康复锻炼。

        在各自的用例中测试不同的模块，使我们能够使用预设值进行构建，这些值可以由用户根据自己的需要进行配置。 已经研究了三个用例领域：

（1）创意软件

（2）办公和临床软件以及

（3）游戏软件。

站立和坐着的使用模式都是在应用的控制层中开发的。

3.Motioninput的安装

百度网盘地址链接及提取码：

  https://pan.baidu.com/s/1lBgL0SWATk845ghiMtv8CA 

提取码：8888

4.Motioninput的操作展示

下图是Motioninput的主界面，里面有五种可选功能，

• 手掌检测

• 眼睛追踪

• 手势动作

• 全身动作检测

• 骨架数据服务器：

操作演示：

MotionInput实操

脸部检测：

骨架及人脸关键点检测和追踪：

MotionInput实操，人脸检测骨架检测及追踪

是不是很有意思呢？

 大家可以自己实操一下，欢迎评论区留言和关注！！！