[3D Selection]AR/VR/MR虚拟现实环境中的3D场景物体交互方法调研

---

前言

本篇文章主要是记录自己调研的一些XR环境下的人物交互方法，主要以获取密集且容易被遮挡的物体的算法为主。论文粗读调研为主，如有错误，欢迎指出。

目前已收录算法：

(*号表示有视频演示)
2005 IntenSelect
2006 Smart Ray
2007 Ballon Selection *
2011 SQUAD
2015 Intent Driven Selection *
2018 Precise Head- and Eye-Based Target Selection *
2020 Fully-Occluded Target Selection *
2021 Gaze-Supported 3D Object Manipulation *
2022 MultiFingerBubble *
2023 Gaze-Hand Alignment for Selection *
2023 Bare-Hand Mid-Air Pointing Selection *
2023 Gaze-based Target Selection *
2023 FocalPoint *
后续更新中…

Keywords : Distant Object, Selection, Manipulation, Dense Environments

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、Overview

1.1 3D Selection 综述文献

2019 Computer Graphics Forum：
A Survey on 3D Virtual Object Manipulation From the Desktop to Immersive Virtual Environments.

2013 Computers & Graphics：
A Survey of 3D Object Selection Techniques for Virtual Environments.

1.2 相关资源网站

3SDIT(一个收录了多种交互算法的网站，可根据交互目标的尺寸/密度等信息进行算法筛选)

Difeng Yu (做这块较多的学者)

1.3 部分文章对3D Selection算法的总结

2023 SIGCHI
Exploration of Bare-Hand Mid-Air Pointing Selection Techniques for Dense Virtual Reality Environments
按照算法本质对交互方式的分类：

2023 IMWUT
FocalPoint Adaptive Direct Manipulation for Selecting Small 3D Virtual Objects
按照交互物体密度/尺寸/距离对交互算法的分类：

二、历年来较经典文章

2.1 2000年-2010年

2005 IntenSelect

2005 EGVE
IntenSelect: Using Dynamic Object Rating for Assisting 3D Object Selection.

简介：Ray-casting是常用的selection技术，但在拥挤的环境中，一个物体很有可能靠近其他物体(杂物)。当使用光线投射指向一个远程物体时，另一个物体也很有可能在光线的路径上，从而出现误触的情况。通过改变光线的角度和位置或在场景中放大，我们可以找到一条自由的选择线来避免这种遮挡状态。我们设计了一种新的按体积选择(selection-by-volume)技术，其使用一个新的评分函数来计算对象的分数，这些对象属于用户控制的圆锥选择量。通过累积这些对象的分数，我们获得一个动态的、与时间相关的对象排名。最高级别的对象，或活动对象，是通过弯曲原本笔直的选择射线来表示的。由于选择光线被有效地捕捉到对象上，用户现在可以更容易地选择对象。

简单来说，用户手部会投射出一根光线，随着时间推移，光线能逐渐指向后面被遮挡的物体(即被遮挡物体分数逐渐上升)。

2006 Smart Ray

ACM Symposium on User Interface Software and Technology
The Design and Evaluation of Selection Techniques for 3D Volumetric Displays.

Smart Ray的设计基于这样的想法：两条射线的交点可以定义 3D 空间中的一个点。

不过Smart Ray不是获取两条同时定义的射线的交集（不然需要第二个输入设备），而是在一段时间内获取多次单个射线的交集，并使用基于目标权重的算法来确定当多个目标相交时应选择哪个目标。

2007 Balloon Selection

2007 3DUI
Balloon Selection: A Multi-Finger Technique for Accurate Low-Fatigue 3D Selection

Balloon Selection 演示视频


实现了一种类似于鼠标的3D光标交互方法，左手控制高度，右手控制位置。

2011-2020年

2011 SQUAD

3DUI
Rapid and accurate 3D selection by progressive refinement

由粗到细：第一步使将球体投射到最近的相交表面上，以确定哪些对象可供选择。

第一阶段完成后，所有位于球体内部或接触球体的对象都会均匀分布在屏幕上的四个象限中，论文将其称为四元菜单。

在四元菜单阶段，用户通过重复指向包含他们正在查找的项目的象限中的任何位置来细化选择，每次都会减少选项的数量。 每个象限都有多个对象，直到只剩下所需的对象。

2015 Intent Driven Selection

3DUI
IDS: The Intent Driven Selection Method for Natural User Interfaces

IDS技术使用在手的内表面生成的邻近球体，以便手指触摸球体的内表面。

球体的大小根据用户的置信度而变化。 手的位置和握力表明了置信度。

2018 Precise Head- and Eye-Based Target Selection

SIGCHI
Pinpointing: Precise Head- and Eye-Based Target Selection for Augmented Reality.

视频演示

涉及多种模式，还没细看，后续补。

2020 Fully-Occluded Target Selection

2020 ISMAR
Fully-Occluded Target Selection in Virtual Reality

视频演示

实现了世面上常见的七种算法，并改进了其中三种。

七种算法：
Alpha Cursor:射出一条能改变长度的射线。
Flower Cone:选择一块候选区域，然后候选区域内的物体2D展开(类似于游戏中的背包界面)供选择。
Gravity Zone:可以将物体推远或拉近，从而获取被遮挡目标。
Grid Wall:简单粗暴的直接将场景中所有物体展开出2D形式供选择。
Lasso Grid:射出一条线，线周围的区域为候选区域，将区域内的物体2D展开供选择。
Magic Ball:制作一个类似于小地图的东西，小地图上显示的是所有物体的缩影，以便用户在掌中地图直接选取所需物体。
Smash Probe:用一根射线将线周围的物体推开，直到露出被遮挡物体。(好玩但耗时长)

改进的算法建议看视频，更直观。这里只讲其中一个例子。
Lasso Grid++:改进后的Lasso Grid可以直接用射线画一个区域，然后2D展开，类似于Flower Cone。

2021-2023年

2021 LenSelect

LenSelect: Object Selection in Virtual Environments by Dynamic Object Scaling

本论文提出了一种新的虚拟现实选择技术，称为LenSelect。其主要理念是根据Fitts定律通过动态增加潜在可选择对象的大小来降低难度指数(ID)。它实现了一种透镜畸变效果，从而动态地增加了有效目标宽度。这有利于选择过程，特别是在小的，遥远的或部分遮挡甚至移动的物体的情况下。我们在用户研究中评估了我们的方法，并将结果与两种最先进的选择技术和标准的基于射线的选择进行了比较。我们的结果表明，LenSelect的性能与最快的基于光线的选择方法相似，同时显著降低了44%的错误率。

简单来说，动态更改要选的目标物体大小，从而从一众细小的物体中选择出大的目标(煤气罐逐渐增大)。

2021 Gaze-Supported 3D Object Manipulation

2021 SIGCHI
Gaze-Supported 3D Object Manipulation in Virtual Reality.

视频演示

用眼睛移动物体粗略位置，再用手细调。

2022 MultiFingerBubble

2022 SIGCHI
MultiFingerBubble A 3D Bubble Cursor Variation for Dense Environments

演示视频

多根手指进行密集物体的选择，增加了候选物体，从而提高容错率。

2023 Gaze-based Target Selection

2023 SIGCHI
Predicting Gaze-based Target Selection in Augmented Reality Headsets based on Eye and Head Endpoint Distributions.

演示视频

给用户的头部行为以及视线落点进行建模，从而找出用户想选择的概率最大的物体。

2023 Gaze-Hand Alignment for Selection

2023 SIGCHI
A Fitts’ Law Study of Gaze-Hand Alignment for Selection in 3D User Interfaces

视频演示

使用一种类似于手部和眼射线对齐的方式进行交互。

2023 Bare-Hand Mid-Air Pointing Selection

2023 SIGCHI
Exploration of Bare-Hand Mid-Air Pointing Selection Techniques for Dense Virtual Reality Environments.
视频演示

提出了两种交互方式来获取被遮挡物体。

HandDepthCursor:左手控制深度，右手选择物体。(深度内的物体全部透明化，露出后面的被遮挡物)。

HandConGrid:左手选择候选区域(画一个圈),右手确定选择。确定选择后，区域内的所有物体会像背包一样2D展开来供你精确选择。

与上面所说的Flower Cone类似，不过这里用的是手势进行。

2023 Focal Point

2023 IMWUT
FocalPoint: Adaptive Direct Manipulation for Selecting Small 3D Virtual Objects

演示视频

用户的手指中心设有一个平面，能让接触到的物体变透明，从而露出后面的被遮挡住的物体。

三、常用到的交互规律

3.1 海森堡效应(Heisenberg effect)

2001 HCI International
Using Pinch Gloves for both Natural and Abstract Interaction Techniques in Virtual Environments.

2002 Virtual Reality
Novel uses of pinch gloves for virtual environment interaction techniques.

在执行动作(如按下按钮)时保持对象处于选中状态，但在按下按钮时容易产生抖动导致对象选择出错。

3.2 大猩猩手臂效应(the gorilla arm effect)

2001 HCI International
A metric to quantify arm fatigue of mid-air interactions.

人们无法在手臂往外展开的姿势下长时间操作,手臂将变得疲劳麻木，无法长时间使用。

3.3 点石成金(The Midas Touch effect)

1993 Behaviour & Information Technology
Interaction styles and input/output devices.

2013 Proceedings of the International Conference on Virtual, Augmented and Mixed Reality
Virtual Augmented and Mixed Reality.Designing and Developing Augmented and Virtual Environments.

点石成金是在选择对象时可能出现的另一个问题。例如，使用眼动仪界面，如果技术不使用停留时间或停留时间太短，用户可能会选择不需要的对象(比如停留一下就判定为选择的话，容易误触)。如果使用悬停技术(hovering)来选择对象，基于手的技术也容易出现点石成金效应。

3.4 物体大小对选择性能的影响

1999 Journal of Visual Languages & Computing
Formalizing the design, evaluation, and application of interaction techniques for immersive virtual environments.

2023 ISMAR
Expanding Targets in Virtual Reality Environments: A Fitts’ Law Study

更大的距离和更小的对象尺寸减小了视觉尺寸，如果交互技术没有考虑到这一点，就会使与对象交互变得更加困难。

总结

以上就是个人调研的一些算法，粗读为主，随缘更新中…