-
对MR应用而言,深度感知对于展示遮挡现象至关重要。VR VST目前通过摄像头实现,其质量只能说差强人意。然而,我们可以通过加入额外的ToF传感器来改善质量。
-
今后将有更多的VR头显配备VST,推动MR应用增长。
虚拟现实(VR)头显使用实时六自由度(DOF)和视觉同步定位与建图技术(SLAM)来接收现实世界的信息,如三维坐标和物体识别。该技术起初用于手部追踪和围栏系统。尽管如此,一些VR头显加入了单色相机的图像,并且出人意料地将视频透视(VST)能力扩展到混合现实(MR)当中。例如Meta推出了Quest Pro VR头显,而字节跳动搭载全彩摄像头的PICO4,均能够提高MR应用的拟真度。
当前VR头显中使用的透视技术被称为VST,而增强现实(AR)设备使用的透视技术则称为光学透视(OST)。VST技术将现实世界的数字化三维视图与电脑生成的现实模拟相融合,然后显示在不透明的显示器上。通过结合使用VST以及适当的渲染技术和算法,我们有可能实现虚拟和实际物体之间的互动和遮挡,并重建真实世界的数字三维模型。
与通过摄像头来实现透视功能的VR头显不同的是,AR设备出厂即具备透视能力。AR设备的OST功能可以将虚拟图像直接叠加在真实世界的视觉效果上。AR设备里的真实世界图像分辨率明显高于VR头显。然而,现有AR设备与真实环境的互动还相当有限,原因是遮挡的完美实现还需靠深度传感器。
VR VST的优势
VR VST技术允许用户通过实体键盘、鼠标、触摸板或控制器与环境互动,而不必摘下VR头显。该技术甚至能够在虚拟世界中创建昂贵物件,如多台显示器。展望未来,VR头显有望整合更多实验性AR和MR功能,从而极大丰富此类设备的生态系统和实用性。
VR VST目前面临的挑战
立体视觉和深度感知对于MR至关重要。配备飞行时间(ToF)传感器的VR头显今后将能够比配备相机的现有设备捕捉到更准确的距离信息。
VR头显的VST几乎无法实现双眼视觉。其中一个原因是,VR VST只有一个摄像头,因此难以测量近距离物体的距离。此外,视场物体仍然会有扭曲和变形。今后的算法必须对此进行改善,或者设计者需要避免让用户感知到位置较近的物品。此外,要提高对真实色彩的拟真度,还需要实现更多的颜色并配备白平衡传感器。
在VR的一项新应用中,VST技术可以通过创建几个虚拟显示器,将真实世界的数台显示器融入到虚拟世界。然而,目前VR头显中虚拟显示器的分辨率仍低于现实显示器。当然,该问题可以通过提高VR头显显示器的分辨率来解决,尽管会增加一些成本。
由于处理器需要对摄像头捕获的图像进行编码,因此延迟是VST VR头显的一个关键特征。未来中高端VR头显一般都会支持4K视频串流,所以处理器的速度和带宽将影响VR系统的性能。因此,VR头显SoC的要求应该比智能手机更高。
结论
VR头显的VST技术能够突破VR和AR的界限,令VR有望提供MR功能。除了游戏之外,MR还有众多其他应用。其可以用于学习平台,运动竞技,网络研讨会以及建立制造业的数字孪生。尽管VR VST仍有一些问题需要解决,但它能够降低MR应用的进入门槛,加快在用户与开发者之中的普并有助于VR头显VST技术的提升,从而创造更多MR应用。而这些MR应用将反过来推动AR硬件和生态系统的发展。毕竟,AR设备的某些优势并非VR设备所能效仿。
原文始发于微信公众号(Counterpoint Research):VR头显透视技术助力MR发展