别只看虚实结合，聊聊AR及其设计

林影落 2023-07-27 09:23:50

NUI，Nature User Interface的缩写，直译是自然用户界面。这里的用户界面，不单单指人在与机器交流时所见的部分，还包括所有与机器交流时可感知到的部分。触控、眼神、语音、手势等等，都是自然交互里所研究的交流手段，我们也可以将NUI称之为Nature User Interaction。

如果说，NUI（自然交互）是探讨如何让机器回归自然，遵循人类数万年历史遗传下来的，与事物自然而然的交流规则，那AR技术和随之而来的AUI，就是其中一个答案。

这里有2个概念：AR和AUI。

AR，就是我们常说的增强现实，是将计算机生成的虚拟信息叠加到用户所在的真实世界的一种新兴技术。

我在之前的分享里，一直引用的是Ronald Azuma对于AR的定义：“一种以虚实结合、实时交互、三维注册为特点，利用附加的图片、文字信息对真实世界进行增强的技术。”

这里面最主要的是三个技术特性：虚实结合、实时交互、三维注册。

虚实结合：屏幕的虚像要和真实世界有联结，这是AR区别于VR的关键。这个特点回答AR看起来是什么样子，也就是它是谁的问题。
实时交互：提供人与虚拟增强世界的实时交流反馈。这个特点回答AR能提供什么，也就是它的发展是去往哪个方向。
三维注册：计算机能够获取其与真实世界位置和姿态关系。这个特点回答AR怎么解决自己的位置和这个真实世界的关系，也就是它处于世界中的位置和姿态。

这样，我们就得到了一个简单回答了AR 它 “是谁，来自何方，去往何处”的定义了。

我并不是说Azuma的这个定义就一定对，只是说它是我现在看到的最好一个答案，至少，Azuma在回答这三个问题。

作为哲学的终极三问，我们大多数人终其一生还没有得到过答案。对于AR来说又何尝不是呢？我觉得，我们花时间和精力去发展和探索AR技术，其实无外乎也是在寻找这三个问题的答案。

给出这个定义的Ronald Azuma，从八十年代在加州大学读本科的时候就开始了他对AR的探索，后来在北卡大学读完计算机科学的研究生和博士。作为AR的先驱者，直到现在也没有停止他对AR的探索。

作为一名设计师，为了能够更好的去做好AR领域的UIUX设计，我们需要对上述三个技术特性都有比较深的了解，但是首当其冲的还是第一个特性：虚实结合。

虚实结合直接关联到我们设计师最直接接触的设计要素：用户界面。而用户界面的后面，是两种AR显示技术方案。

第一种是视频显示方案（Video see-through）

从用户的角度来考虑，我把它定义为“让用户通过摄像头捕捉的画面来观察虚实叠加后的场景。” 说得更直白一点，就是你看得是摄像头合成的画面，现在比较普及的，很多手机上的AR应用就是这种，用户观看的依然是屏幕，只不过是摄像头实时拍摄的画面和实时叠加的虚像画面的合成。

图片来自Google ARcore介绍视频

很显然，这和我们真正期望的自然交互还有一定差距，我们希望看到的一定是由我们眼睛直接观察到的，带有虚实结合的世界，而不是借由摄像头来看世界。

第二种光学显示方案（Optical see-through）

显然，它就更满足我们的希望。从用户的角度来考虑，我把它定义为“让用户直接观察到叠加了虚拟图像后的真实世界“。

从技术上来讲，它是将显示器上的像素，通过一系列光学成像元件形成远处的虚像并投射到人眼中。如果我们对AR有所了解，看过Hololens的宣传片，甚至亲自体验过，那么会对光学显示有更直观的观感。

图片来自Microsoft Hololens2介绍视频

相比起第一种方案，它更具有前瞻性也更让人期待，然而到现在为止，这种方案还有很多不成熟的地方，在技术层面也还处于一个丛林阶段，需要不停的探索，踏出一条通向未来的路，就和充满了未知的挑战和机遇的丛林一样。

AR设备的光学显示系统通常由微型显示器和光学元件组成，显示器提供显示内容，而光学元件负责叠加。

图片来自SOHU《一文看懂主流AR眼镜的核心显示技术光波导》

可以看到，由于AR需要同时看到虚像和真实世界，屏幕UI是不能被用户直接看到的，而是通过光学元件形成远处的虚像，再和真实世界一起进入用户的视线，也就是我们通常意义所知的虚实结合画面了。

为了区别传统意义上用户可以直接看到的屏幕UI，我给了它AUI的缩写，Augmented User Interface，也可以理解为Augmented User Interaction，是由于AR技术所带来的全新的用户界面和用户交互。

如果说，NUI是探讨如何让机器回归自然，遵循人类数万年历史遗传下来的，与事物自然而然的交流规则。那AR技术和随之而来的AUI，就是其中一个答案。（→ 设计新趋势？看人机交互发展新阶段）

虽然，这个答案给的非常模糊，但它至少代表了一个探索的方向。

那为什么要特意提出AUI这个概念，而不直接说AR的UI设计呢？

首先，我认为AUI最大的特点是在这样的界面里，用户对深度有很直观的感知，这种深度不同于屏幕UI里单纯用投影、遮挡带来的前后感觉，而是能够带来距离感的深度，是能带给用户远近感觉的。

也就是说，AUI应该是指有视觉或者确实深度信息的虚实结合的用户所见界面。是需要至少处理一种深度信息且和真实世界结合的用户所见界面。

视觉深度：就是指我前面所述的视频显示方案（Video see-through），在这种方案下，虚实结合界面虽然给用户带来远近感觉，但仍然只是视觉层面的，这个画面本身只是合成的视频流。
确实深度：就是指我前面所述的光学显示方案（Optical see-through），虚实结合画面带给用户的远近感觉是有确实距离的，我眼前的世界是一个真实和虚像叠加的新的世界，而不再是摄像头里的世界。

这就是我提出AUI的第二个原因：在光学显示方案下，用户不再有屏幕的感觉，而是一个真实和虚像叠加的新的世界。