VR头显透视技术为早期MR体验赋能,同时有助于发展MR应用所需的生态系统。

  • 对MR应用而言,深度感知对于展示遮挡现象至关重要。VR VST目前通过摄像头实现,其质量只能说差强人意。然而,我们可以通过加入额外的ToF传感器来改善质量。

  • 今后将有更多的VR头显配备VST,推动MR应用增长。

VR头显透视技术助力MR发展
VR头显透视技术助力MR发展

虚拟现实(VR)头显使用实时六自由度(DOF)和视觉同步定位与建图技术(SLAM)来接收现实世界的信息,如三维坐标和物体识别。该技术起初用于手部追踪和围栏系统。尽管如此,一些VR头显加入了单色相机的图像,并且出人意料地将视频透视(VST)能力扩展到混合现实(MR)当中。例如Meta推出了Quest Pro VR头显,而字节跳动搭载全彩摄像头的PICO4,均能够提高MR应用的拟真度。

当前VR头显中使用的透视技术被称为VST,而增强现实(AR)设备使用的透视技术则称为光学透视(OST)。VST技术将现实世界的数字化三维视图与电脑生成的现实模拟相融合,然后显示在不透明的显示器上。通过结合使用VST以及适当的渲染技术和算法,我们有可能实现虚拟和实际物体之间的互动和遮挡,并重建真实世界的数字三维模型。

与通过摄像头来实现透视功能的VR头显不同的是,AR设备出厂即具备透视能力。AR设备的OST功能可以将虚拟图像直接叠加在真实世界的视觉效果上。AR设备里的真实世界图像分辨率明显高于VR头显。然而,现有AR设备与真实环境的互动还相当有限,原因是遮挡的完美实现还需靠深度传感器。

VR头显透视技术助力MR发展

VR VST的优势

VR VST技术允许用户通过实体键盘、鼠标、触摸板或控制器与环境互动,而不必摘下VR头显。该技术甚至能够在虚拟世界中创建昂贵物件,如多台显示器。展望未来,VR头显有望整合更多实验性AR和MR功能,从而极大丰富此类设备的生态系统和实用性。

VR VST目前面临的挑战

立体视觉和深度感知对于MR至关重要。配备飞行时间(ToF)传感器的VR头显今后将能够比配备相机的现有设备捕捉到更准确的距离信息。

VR头显的VST几乎无法实现双眼视觉。其中一个原因是,VR VST只有一个摄像头,因此难以测量近距离物体的距离。此外,视场物体仍然会有扭曲和变形。今后的算法必须对此进行改善,或者设计者需要避免让用户感知到位置较近的物品。此外,要提高对真实色彩的拟真度,还需要实现更多的颜色并配备白平衡传感器。

在VR的一项新应用中,VST技术可以通过创建几个虚拟显示器,将真实世界的数台显示器融入到虚拟世界。然而,目前VR头显中虚拟显示器的分辨率仍低于现实显示器。当然,该问题可以通过提高VR头显显示器的分辨率来解决,尽管会增加一些成本。

由于处理器需要对摄像头捕获的图像进行编码,因此延迟是VST VR头显的一个关键特征。未来中高端VR头显一般都会支持4K视频串流,所以处理器的速度和带宽将影响VR系统的性能。因此,VR头显SoC的要求应该比智能手机更高。

结论

VR头显的VST技术能够突破VR和AR的界限,令VR有望提供MR功能。除了游戏之外,MR还有众多其他应用。其可以用于学习平台,运动竞技,网络研讨会以及建立制造业的数字孪生。尽管VR VST仍有一些问题需要解决,但它能够降低MR应用的进入门槛,加快在用户与开发者之中的普并有助于VR头显VST技术的提升,从而创造更多MR应用。而这些MR应用将反过来推动AR硬件和生态系统的发展。毕竟,AR设备的某些优势并非VR设备所能效仿。

原文始发于微信公众号(Counterpoint Research):VR头显透视技术助力MR发展

艾邦建有AR/VR产业链微信群,目前有HTC、PICO、OPPO、亮亮视野、光粒科技、影创、创维、佳视、歌尔、立讯精密、多哚(纳立多)、欣旺达、耐德佳,联创电子、至格科技、灵犀微光、舜宇光学、广景视睿、珑璟光电、京东方、海信视像、科煦智能、阿科玛、金发科技、思立可、新安天玉、四方超轻、大族激光、发那科、承熹机电等加入,也欢迎大家长按下方图片识别二维码加入微信群:
Document Download
Welcome to join by clicking hereAR/VR DirectoryCurrently, there are more than 3000 members, including companies such as GoerTek, HTC, OPPO, Skyworth, PICO, ByteDance, Black Shark, Lenovo, Nreal, Lynx, Luxon, Lingxi MicroLight, Luxshare Precision, Leading Ideal, OFILM, Huaqin, Wentai, Luxshare, Lumus, Sisvel, and Shunyu, among others. Click on the keywords below for filtering.
en_USEnglish