席卷XR设备大厂的“眼动追踪”风暴

北京时间2023年6月6日凌晨2点，Apple Vision Pro横空出世。

使用者通过眼睛、双手与语音即可完成与Apple Vision Pro的交互，显著提高了用户体验。

Apple Vision Pro风暴般席卷了整个WWDC23，也又一次掀起了XR设备与眼动追踪技术的浪潮。

眼睛是人类获取信息最重要的窗口，眼动追踪技术使XR设备的深度交互成为了可能。

根据Kenneth Holmqvist和Richard Andersson（2017）两位学者的观点，眼动技术的发展可以大致分为三个阶段。

早期眼动追踪技术对于XR设备最主要的功能体现是注视点渲染，即利用人眼视觉特性加强视线注视区域的图像质量，其他区域则模糊化，可以在一定程度上节省资源，提高核心控制器算力。

自2016年起，XR设备&眼动追踪技术呈现井喷式发展。现如今，眼动追踪技术似乎逐渐在XR设备中崭露头角，成为高端型号的标准配置。

早期的眼动追踪技术主要包括：观察法、镜面反射法、眼电图EOG法和巩膜线圈法。

受时代背景和技术的限制，镜面反射法和巩膜线圈法均具有侵入性，而观察法和眼电图EOG法因准确度欠佳而未在XR行业有进一步的发展与应用。

随着技术的发展，瞳孔角膜反射法、视网膜影像定位法、结构光追踪法、视网膜反射光强度法、角膜反射光强度法等眼动追踪方法被相继提出，并展开一定规模的应用。

本文将主要探讨应用于XR设备的基于光电原理的眼动追踪方法。

3.1 瞳孔角膜反射法

瞳孔角膜反射法是目前最主流的眼动追踪方法，其基本原理是通过分析采样得到的视频图像特征，构建出3D眼球模型。

基于此模型计算视线方向的方法主要是通过角膜中心和瞳孔中心的连线来进行眼动追踪。

将眼球抽象为下图Figure 3的球体模型，计算出人眼视轴方位（注视线）和注视线与人眼观察物体的交汇点（注视点，图上的B点）。

更多信息请参见S-Dream Lab往期文章《深度解读|瞳孔角膜反射式眼动追踪技术》。

代表企业：Apple、Digilens、Google、Magic Leap、Sony、Tobii、七鑫易维等。

3.2 视网膜影像定位法

通过光源、光学系统和图像采集系统获取视网膜影像的方式，在医疗领域的应用已十分广泛。

在眼动追踪领域，常用Waveguide采集人眼内部视网膜的影像，通过计算视网膜上的血管、中央凹、视盘、黄斑等生理特征的变化，可以获取眼球运动和注视方向。

代表企业：Digilens、Lumus、Magic Leap、Meta、Samsung等。

3.3 结构光追踪法

结构光追踪法是利用某些特殊结构图（如离散光斑、条纹光、编码结构光等），将图案投影到三维空间物体表面上，使用相机观察在三维物理表面成像的畸变情况。

如果物体表面是平面，那么观察到的成像图案就和投影的图案类似，没有变形，只是根据距离远近产生一定的尺度变化。

如果物体表面不是平面，那么观察到的成像图案就会因为物体表面不同的几何形状而产生不同程度的扭曲变形，并且与距离相关。根据已知的结构光图案及观察到的变形，就能根据算法计算得到被测物的三维形状及深度信息。

代表企业：Meta、Microsoft等。

3.4 视网膜反射光强度法

利用视网膜能够反射激光且不同位置反射强度不同的特性，激光透过角膜、瞳孔、晶状体，打在视网膜上，通过检测视网膜反射光强度以确定眼球运动的方向。

由于与眼球瞳孔中心和角膜中心（光轴）在一条直线上的位置，反射光强度最大，因此，反射光强度最大的位置，即为眼球的注视位置。

代表企业：Lumus、Meta、华为等。

3.5 角膜反射光强度法

角膜外壁较为光滑，如果在眼睛的一侧发射一束激光到角膜上时会被角膜反射。

通过激光+二维振镜扫描整个眼睛，在一个周期内必然会扫描到角膜中心位置（反射强度最大位置），通过PD的时域信息和振镜角度可以计算出角膜中心的位置，再通过核心控制器，反推眼睛的注视位置。

代表企业：AdHawk、Meta、华为等。

上文中未提及的眼动追踪技术还有很多，各大厂根据自身规划也在不同的方法上进行了探索与专利布局。

瞳孔角膜反射法由于起步较早、系统（红外光源+图像传感器）相对简单，是目前最成熟的商用级方案之一，但其未必是最优选，其他眼动追踪技术也各有其优缺点和适用场景。

如上文所述，基于瞳孔角膜反射法的XR产品是目前市场上的主流。

不过，虽然核心方法一致，但基于不同的市场定位、硬件规格、光学结构设计、算法能力、系统集成度等，仍会极大地影响眼动追踪的性能和衍生功能。

为打造XR爆款产品，行业各大厂商可谓是“八仙过海，各显神通”。

4.1 Apple Vision Pro

Apple Vision Pro眼动追踪方案如上图所示，核心控制器为苹果自研M2+R1双芯片，新开发了visionOS系统，并采用4颗IR camera和34颗IRLED的硬件方案。

单目的2颗摄像头1颗位于鼻梁侧，另1颗位于眼睛下方，IRLED在眼眶周围接近均匀分布。

除却注视点渲染、虹膜识别、注视跟踪等苹果前期专利布局的眼动追踪功能外，Apple Vision Pro对于眼动追踪较为核心的定位为——与手势追踪、语音识别一起组成核心交互手段。

简单来说，即双眼负责光标定位、手指负责确定、语音作为输入方式。

如需要选择并点按眼前的某个图标，仅需看着图标，然后手指做一个捏合动作，即可成功选择。

放弃手柄，利用眼动追踪技术，苹果旨在打造更沉浸、更深度的MR体验。

4.2 Pico 4 Pro

Pico 4 Pro和Quest Pro的眼动追踪系统设计较为类似，采用前一代的高通芯片骁龙XR2，同样在两侧镜头模组内各置1颗IR camera（置于眼睛外侧下方）和1组IRLED，组成眼动追踪系统。

Pico 4 Pro支持注视点渲染和游戏交互功能，同时支持瞳距自动调节功能，提高用户体验。但由于国内游戏支持较少，其视线追踪、表情模拟等游戏交互的特色功能缺少足量应用。

4.3 PS VR2

PS VR2采用联发科VR芯片，在两侧镜头模组内各置1颗IR camera和8颗IRLED，组成眼动追踪系统。

由于PS VR2的市场定位为搭配PS5使用的VR游戏设备，其搭载的眼球追踪，实际体验主要体现在注视点渲染和游戏交互上。

在游戏交互上，眼动追踪技术可根据玩家的视线来修正瞄准精度，实现辅助瞄准功能，并实现对玩家视线做出反应的角色交互功能等。

4.4 Quest Pro

Quest Pro采用高通骁龙XR2+芯片，在两侧镜头模组内各含1颗IR camera OV6211（置于眼睛外侧下方）和9颗IRLED，组成眼动追踪系统。

Quest Pro同样支持注视点渲染和游戏交互功能。

值得一提的，Meta新推出的Quest 3受到结构和成本限制，删除了眼动追踪功能。

但随着Apple Vision Pro和深度交互的火爆，Meta CTO Bosworth表示眼动追踪未来将成为头显的标配，Meta致力于降低眼动追踪系统的架构和成本，以将眼动追踪功能集成于Meta后续的XR设备中。

4.5 Magic Leap 2

Magic Leap 2采用AMD芯片，采用4颗IR camera+12颗IRLED，组成眼动追踪系统。

Magic Leap 2对每只眼睛使用2个红外摄像头进行跟踪，并配有 6 个 LED 来照亮眼睛并生成“闪烁点”，从而提高渲染、图像质量和舒适度。

其亮点功能为分段（局部）调光，通过眼动追踪技术获取用户的注视点，从而调整注视点区域的亮度，提高用户体验并降低消耗。

Magic Leap 2 还会自动校准显示器以纠正任何仿生镜未对准或颜色分离的问题。用户还可以运行诊断测试以进行更正，从而获得更好的沉浸式体验。

4.6 HoloLens 2 

HoloLens 2采用骁龙850芯片，采用2颗IR camera（置于镜片中部的左右两侧）+12颗IRLED 组成眼动追踪系统。

HoloLens 2的眼动追踪系统主要支持视线追踪、自动校准和虹膜识别功能，核心能力为获取视线位置并记录数据，同时根据眼睛的活动实时调整全息图像。

总体来看，眼动追踪技术已在XR设备中广泛应用，其注视点渲染功能为XR设备的资源消耗降低和性能提高带来了极大便利。

但其交互能力仍处于可深度开发的潜力期，以Apple Vision Pro为代表的“眼动+手势+语音”多维交互设计或将成为XR设备的新标杆。

客观而言，XR设备和眼动追踪功能对于消费者而言仍处于从“无”到“有”，从“旁观”到“使用”的阶段。

2023年底，Tobii亚太区XR负责人吴柏其提出眼球追踪在XR领域应用的发展方向为：性能提高、功耗降低、交互提升，无限接近普通眼镜形态的硬件方案。

可以看到，Tobii对于眼动追踪未来的规划核心是优化性能与交互，以提高用户体验。

如何增加内容、提高性能、降低成本、提升交互体验是目前XR设备如何从“发烧级”产品发展到走进千家万户的消费级产品的重要课题。

相信眼动追踪功能未来必将可期，库克所构想的“Apple Vision Pro将带我们进入空间计算时代”的旅程才刚刚开始，各位“头号玩家”们，请拭目以待！