Aibang AR/VR Network

AR/VR industry exchange, Metaverse, virtual reality supply chain.

Technological Processes

VR全新的交互方式来了！国内首款自然手势识别技术一体机方案“骐骥”

Bysun, keting

Mar 15, 2022

自然手势识别

随着VR行业技术升级，更自然的交互方式也随之而来，自然手势识别追踪技术凭借更符合人真实操作习惯受到To B和To C的关注。而手势识别技术的升级也能方便打通上下游关系，加大内容开发者创作空间，增加游戏趣味性使其交互方式得到更大提升。

由趣立科技研发的6DoF一体机解决方案“骐骥”中已经搭载最新的自然手势识别系统，合作方可在系统中直接去调用此模块最终完成自然手势的识别任务。影创科技也成为国内VR行业首家拥有自然手势识别产品化方案的公司，而全球目前也仅有Quest拥有该项技术。

 /

基础技术原理

【自然手势识别】是基于计算机视觉和人工智能算法，对摄像机采集到的图像中用户手部区域进行检测和对其姿态进行估计，从而得到全自由度自然手势跟踪的技术。通俗地可对其拆分为3个步骤：第一、要解决手在什么位置；第二、解决手是何种姿态；第三、识别手在做什么？前面两项很多时候是放在一起做姿态预估，最后对动、静态手势做时间序列划分，并完成最终的指令实现。
VR全新的交互方式来了！国内首款自然手势识别技术一体机方案“骐骥”

“骐骥”-静态手势

从硬件来说，目前市面上常见的手势识别方案中所采用的检测设备大致分为四类：纯红外摄像机、灰度摄像机、RGB摄像机及深度摄像机。
各方案都有比较明显的优劣势。比如深度摄像机虽然可以根据深度信息较其他方法更简单地获取手部区域的位置和形状，但FOV很小、帧率很低、成本高、功耗较大，而且目前VR一体机的现状，手势识别与SLAM的摄像头需要做复用，深度摄像头很难拿来做SLAM算法，所以目前在XR的领域应用场景中会有局限性。
红外摄像机的原理是将模块内置红外LED光源，光线反射回手势识别模块的红外摄像头中，实现基于光学数据的手势识别。由于使用主动光源，所以它的环境适应性好，也比较容易能检测到手部区域，但是它同时会加大功耗，尤其是伴随对手部使用范围的增大，需要更多数量和更大功耗的红外光，这对整体的ID设计以及成本都是非常大的挑战。此方案比较知名的则是Leap Motion。
针对灰度相机与RGB相机的方案，RGB相机由于能更好地将手和环境用颜色进行区分所以具备较好的识别作用，但同样也有FOV较小、帧率较低的问题。而灰度相机优势是FOV比较大、帧率高、覆盖范围大、适应性强、且成本相对可控，缺点则是难度系数较高，因为在黑白灰的世界中，要将手和复杂的环境背景准确快速得剥离开，需要在算法方面下足功夫。
而6DoF解决方案“骐骥”融合的则是根据现有一体机的灰度摄像头进行复用的方式。

此项手势识别技术算法经多期打磨调整，目前已达到通用状态，算法框架可适用于任何摄像机设备中，在未来产品中，新一代的VR一体机解决方案可能采用彩色RGB摄像机和灰度摄像机的搭配（彩色负责透视、灰度负责6DoF追踪）。而自然手势识别本质依旧会采用基于6DoF的灰度摄像头为主，彩色摄像头作为辅助在识别过程中对手在与环境剥离时的精度进行补充。
整个手势识别技术比较难的是，手与面部、人体的识别不同，因为手部复杂度相对比较高、自遮挡严重，手部可以非常快地移动并且外观可以在几帧内大幅变化。而目前“骐骥”解决方案中能做到准确性高、低延迟，是因为依靠影创自研的数据深层采集和标注平台。基于平台有非常多的参考数据，同时在深度模型的序列方面有自研成果，并沉淀了6年多的技术积累及庞大的数据参考值。

未来应用场景

【C端互动娱乐】
手势识别技术的发展能够更好地拓宽内容开发者的想象空间，在内容创作时增加多重玩法及交互体验，比如在玩音游的时候可以直接用手来操作，或是在RPG游戏中一个特定手势就可以实现魔法攻击，甚至在未来一组手势也能够完成“火影忍者”里的结印。

VR全新的交互方式来了！国内首款自然手势识别技术一体机方案“骐骥”

【B端教育办公】
B端的应用场景则更广泛。在智能办公方面，随着VR设备逐渐向办公工具靠拢，自然手势识别能更好地通过特定的放大缩小拖拽等手势，完成汇报方案演讲的展示，实现真正意义上的便携式办公环境。而教育教学中，也可更好地直接用手部识别技术完成教学课件的拆装、组合等要求，更便捷有效地完成操作互动。相信未来随着自然手势识别的更进一步发展，定能催生更多的应用场景，同时还可以根据不同需求，量身定制专属的解决方案。

VR全新的交互方式来了！国内首款自然手势识别技术一体机方案“骐骥”

原文始发于微信公众号（影创科技）：VR全新的交互方式来了！国内首款自然手势识别技术一体机方案“骐骥”

艾邦建有AR/VR产业链微信群，目前有HTC、PICO、OPPO、亮亮视野、光粒科技、影创、创维、佳视、歌尔、立讯精密、多哚（纳立多）、欣旺达、耐德佳，联创电子、至格科技、灵犀微光、舜宇光学、广景视睿、珑璟光电、京东方、海信视像、科煦智能、阿科玛、金发科技、思立可、新安天玉、四方超轻、大族激光、发那科、承熹机电等加入，也欢迎大家长按下方图片识别二维码加入微信群：
Document Download
Welcome to join by clicking hereAR/VR DirectoryCurrently, there are more than 3000 members, including companies such as GoerTek, HTC, OPPO, Skyworth, PICO, ByteDance, Black Shark, Lenovo, Nreal, Lynx, Luxon, Lingxi MicroLight, Luxshare Precision, Leading Ideal, OFILM, Huaqin, Wentai, Luxshare, Lumus, Sisvel, and Shunyu, among others. Click on the keywords below for filtering.

By sun, keting

Related Post

VR Technological Processes

Researchers have developed a sonar-based eye-tracking technology for VR headsets, which may replace cameras

Mar 11, 2024 sun, keting
AR Technological Processes

Vuzix Wholly Owned Subsidiary Moviynt to Showcase Breakthrough AI and Machine Learning Powered AR Smart Glasses Technology at Modex 2024

Mar 7, 2024 sun, keting
Technological Processes

The Oniri Forest Tech Demo Showcases "Hyper-Realistic" Graphics On Quest Standalone

Mar 5, 2024 sun, keting

You missed

Plastics and Elastomers

从Chinaplas橡塑展看AR/VR材料解决方案

2024-04-28 sun, keting
Publicly Traded Company

Luxshare Precision has released its 2023 annual report, with multiple AR/VR products currently undergoing trial production/mass production.

2024-04-26 sun, keting
AR VR

The National Virtual Reality Innovation Center (Qingdao) Optical Precision Inspection Center unveils its inauguration and operation

2024-04-26 sun, keting
AR Market information

Cross-platform ecosystem | MYVU AR smart glasses debut at the 2024 Beijing International Auto Show

2024-04-26 sun, keting
en_USEnglish
zh_CNChinese en_USEnglish