欢迎您点击此处加入AR/VR通讯录,目前已经有3000多人加入,如歌尔、HTC、OPPO、创维、PICO、字节跳动、黑鲨、联想、耐德佳、灵犀微光、立讯、领益智造、欧菲光、华勤、闻泰、立讯、珑璟光电、舜宇、深圳虚拟现实等,点击下方关键词可以筛选
2022年,AR/VR在多场景、多领域实现探索,在硬件上也取得了大的突破。2023年,AR/VR在技术和产品的成熟度,如算法、算力、光学等方面依然需要重点优化。科幻作品中的脑机离我们还太遥远,现阶段除了在视觉和听觉上营造沉浸式的场景外,还需要多维度的人机交互方式来获得现实与虚拟之间的融合互动。
1. 6DoF
6DoF即6自由度,是指头戴设备通过监测到使用者头部转动、身体移动带来的上下、左右、前后的空间位置变化,从而提供相应的视听场景变化。
AR/VR目前可实现的5种交互方式介绍
6DoF追踪为用户提供了前所未有的互动体验和对虚拟世界的控制,可以说,6DoF追踪是虚拟世界与现实世界建立联系的基础,是AR/VR实现颠覆式体验的前提。随着SLAM技术的普遍应用,6DoF追踪与SLAM相结合后,使用者可以摆脱标识图的束缚,进行实时定位与地图构建,从而在虚拟内容上产生更加沉浸和逼真的体验。
6DoF实现的方案有单摄像头、鱼眼摄像头或边缘计算,最新发布的AR/VR设备基本已经可以实现6DoF。
2. 手势追踪
手势追踪基于计算机视觉和人工智能算法,对摄像机采集到的图像中用户手部区域进行检测和对其姿态进行估计,从而得到全自由度自然手势跟踪的技术。手势追踪的实现基于对手部21个关键点检测。
AR/VR目前可实现的5种交互方式介绍
从硬件来说,目前市面上常见的手势识别方案中所采用的检测设备大致分为四类:纯红外摄像机、灰度摄像机、RGB摄像机及深度摄像机。

AR/VR目前可实现的5种交互方式介绍

“骐骥”-静态手势

3. 眼动追踪

眼动追踪的基本原理即指当人的眼睛看向不同方向时,眼部会有细微的变化,这些变化会产生可以提取的特征,计算机可以通过图像捕捉或扫描提取这些特征,从而实时追踪眼睛的变化,预测用户的状态和需求,并进行响应,达到用眼睛控制设备的目的。
AR/VR目前可实现的5种交互方式介绍
目前实现准确眼动追踪的技术方案有瞳孔角膜反射法、视网膜影像定位、结构光追踪、角膜反射光强度、视网膜反射光强度、光波导眼动追踪等方案。而目前相对成熟的商用级方案,多为采用瞳孔角膜反射法,即通过角膜中心和瞳孔中心的连线进行眼动追踪。目前主流的眼动追踪设备,采用的是由一圈红外灯+1~2枚红外相机组成的红外相机阵列用于计算眼动。
4. 语音交互
语音交互通过简单的指令可以简化很多手部的操作,比如我们可以通过呼叫Siri打开一款APP,或直接拨号,用户在VR世界进行语音交互,也会更加自然,而且它是无处不在无时不有的,用户不需要移动头部和寻找它们,在任何方位任何角落都能和他们交流。语音交互的实现主要通过麦克风和AI算法的结合。
5. 触觉反馈
这里指VR手柄的震动反馈,有很好的的提醒效果。这样高度特化/简化的交互设备的优势是能够非常自如地在诸如游戏等应用中使用,但是它无法适应更加广泛的应用场景。
艾邦建有AR/VR产业链微信群,目前有HTC、PICO、OPPO、亮亮视野、光粒科技、影创、创维、佳视、歌尔、立讯精密、多哚(纳立多)、欣旺达、耐德佳,联创电子、至格科技、灵犀微光、舜宇光学、广景视睿、珑璟光电、京东方、海信视像、科煦智能、阿科玛、金发科技、思立可、新安天玉、四方超轻、大族激光、发那科、承熹机电等加入,也欢迎大家长按下方图片识别二维码加入微信群:
资料下载:
欢迎您点击此处加入AR/VR通讯录,目前已经有3000多人加入,如歌尔、HTC、OPPO、创维、PICO、字节跳动、黑鲨、联想、耐德佳、灵犀微光、立讯、领益智造、欧菲光、华勤、闻泰、立讯、珑璟光电、舜宇、深圳虚拟现实等,点击下方关键词可以筛选

作者 sun, keting

zh_CNChinese