欢迎您点击此处加入AR/VR通讯录,目前已经有3000多人加入,如歌尔、HTC、OPPO、创维、PICO、字节跳动、黑鲨、联想、耐德佳、灵犀微光、立讯、领益智造、欧菲光、华勤、闻泰、立讯、珑璟光电、舜宇、深圳虚拟现实等,点击下方关键词可以筛选
现实世界的日常生活离不开双手的操作。这种与生俱来的本能,是我们认知现实世界的条件之一,即使在虚拟世界中,我们也会时不时的下意识用双手操作
 

今天,我们非常开心地向大家宣布,NOLO手部追踪技术的开发进度——全新自研的手势追踪技术,已实现点、按、捏、拖拽、滑动等XR常用操作动作。该项技术除了用于新品NOLO SONIC 2之外,还将开放对外开发合作。

NOLO技术团队凭借人工智能的深度学习技术,借助真实手部图像和3D生成手部图像进行数据融合训练,用数百万张手部图像训练了一个专门的深度神经网络,其中手腕和手指拥有3D空间位姿;由此生成的手势数据通过GSXR协议传输到3D图形引擎渲染,再显示到VR眼镜中,最终达成了现实世界和VR世界的手势同步。
 
为了保证识别的实时性,我们的技术团队深度优化了网络结构,保障在骁龙XR2芯片上单帧识别速度在5ms以下;深度学习算法也通过动态提取多帧数据中的手势信息,提高了动作连贯性,以此达成流畅丝滑的识别效果。
 

手柄式操控方式源自家用主机游戏手柄,但VR高沉浸式的体验特点,让用户对手部操控方式的自然性有更高要求。NOLO的手势追踪方案在诸如点、按、选择、拖拽等操作方式上,完全可以替代手柄操控,且实际体感更直自然;而在接入特定的游戏SDK后,手势识别将在VR体验上发挥更加重要的作用。

 
该手势追踪功能将配置在我们即将发售的新品NOLO SONIC2 VR一体机上。此外,我们对这一技术持开放交流合作的态度,希望共同为国内XR的技术发展添砖加瓦。

原文始发于微信公众号(NOLOVR):NOLO【全新自研手部追踪技术】方案上线!

艾邦建有AR/VR产业链微信群,目前有HTC、PICO、OPPO、亮亮视野、光粒科技、影创、创维、佳视、歌尔、立讯精密、多哚(纳立多)、欣旺达、耐德佳,联创电子、至格科技、灵犀微光、舜宇光学、广景视睿、珑璟光电、京东方、海信视像、科煦智能、阿科玛、金发科技、思立可、新安天玉、四方超轻、大族激光、发那科、承熹机电等加入,也欢迎大家长按下方图片识别二维码加入微信群:
资料下载:
欢迎您点击此处加入AR/VR通讯录,目前已经有3000多人加入,如歌尔、HTC、OPPO、创维、PICO、字节跳动、黑鲨、联想、耐德佳、灵犀微光、立讯、领益智造、欧菲光、华勤、闻泰、立讯、珑璟光电、舜宇、深圳虚拟现实等,点击下方关键词可以筛选

作者 sun, keting

zh_CNChinese