HoloLens2的vuforia模型识别

需求

在HoloLens2中,使用webcam扫描中型物体,然后触发事件

环境

visual studio2019
unity2020.3.20f1c1
HoloLens2
vuforia10.2.5
MRTK2.7.3

实现

1、先分析下,使用vuforia的object scanner是否可行:这种方式针对体型小、特征点多的物体合适,需要配合安卓apk——vuforia object scanner、打印的扫描纸,将物体放到右上角,接着拿起手机围绕物体进行扫描。若物体表面的凹凸不够,达不到比较多的识别点要求(150以上为佳),甚至还要贴些东西到物体上。
HoloLens2的vuforia模型识别_第1张图片
HoloLens2的vuforia模型识别_第2张图片
2、vuforia的model target:模型识别
这种方式,就是根据模型文件,来识别真实物体。当然前提是,模型的尺寸要比较贴近真实物体的尺寸,vuforia允许10%内的误差。
一般工作流程:得到模型文件(一般推荐FBX与OBJ格式)——导入到vuforia的Model Target Generator(下称MTG)——跟着流程进行,生成standard model target——生成的unitypackage导入unity——使用预制体modelTarget,往他下面放子物体,这样识别到子物体才显示,否则隐藏。
下面我使用的是iPhoneXR的模型,刚好笔者手头有一台用了好几年的iPhoneXR。模型文件、unitypackage在下面提供下载
下载资源
HoloLens2的vuforia模型识别_第3张图片

注意事项

当部署到HoloLens,发现子物体有偏移时,可尝试下面步骤
1、确保模型尺寸和真实物体一致
2、在MTG中修改guide view,即发现物体时看到的面,尽量贴合现实情况看到的角度
3、为了保证性能,不用的时候关闭vuforiabehaviour.enable
4、使用脚本frameRateSetting.cs锁帧率,锁HoloLens 60帧
5、vuforia configuration的camera device mode = speed,加速识别
6、避开同时使用vuforia与webcam,例如相机截图
7、在HoloLens中进行目视校准
8、在unity-build setting-player setting-player-publishing setting-supported device families 支持的设备系列下, 确保 选中全息holographic 。
9、禁用 在后台运行 run in background, 以便 Vuforia 在应用程序进入后台时暂停,并在应用程序恢复时再次访问相机。
10、在 Default Orientation 下拉菜单中,确保 选择Landscape Left
11、按照ARCAMERA设置,拷贝到MRTK的相机里(两个脚本,vuforiabehaviour和default error handler)

不用vuforia10.5.5的原因

在unity2020.3.20f1c1导入时会报错
1、custom video input - Could not connect pins - RenderStream()
2、SerializedObjectNotCreatableException: Object at index 0 is null

以后抽空再来研究,而10.2.5版本尝试使用MTG经过云训练的model target时会报错,应该要更高版本才支持

参考链接

vuforia的创建Model target的文档
MTG下载
unity2020 vuforia model target的油管教程

关于vuforia中,识别后显示的图像抖动解决

这篇文章的注意事项
脚本

guideview

由于笔者在HoloLens中使用vuforia功能,它自带的guideview在HoloLens效果不好,所以建议自制一个image,结合ontargetfound和OnTargetLost来控制guideview的显示与隐藏

你可能感兴趣的:(C#,心得,microsoft,unity,hololens)