VR|FBEC2021 | 欢创科技创始人周琨：从双目到四目是一个趋势( 二 ) 算法|inside|传感器

第二，初始化的问题。因为CV方案最大的痛点和难点就是视场角的问题， Controller会超过视线范围，超出范围回来之后，要对于摄像机进行初始化，初始化做得不好就会延迟初始化或者卡顿，最好在摄像机一帧的时间内完成初始化的工作。这对于初始化的算法有很高的要求，需要快速初始化才能让消费者感觉不到延迟和卡顿，很快自然而然追踪手柄正确的位置。
第三，多个Controller交叉、重叠、遮挡的情况的处理，出现重叠之后不能让它出现漂移和出错，这在算法设计当中是非常大的难题。
前面这些是五星级的难题。后面还有三个难题：
第一，为了降低成本和功耗，不可能把头部追踪的Camera和手部的Camera分开， Camera既要实现头部追踪，也要进行手部追踪，要十分复用，这需要做到切换，这就要避开专利的问题；
第二，高速跟踪的问题，手里拿的Controller最快达到7秒，高速运动之下，咱们手部的算法是否适合运动的姿态；
第三，把算法移动到嵌入平台的问题。现在都要跑一体机，像高通、麒麟海思这样的平台，处理性能还是有区别的，怎么让算法跑到平台上，不再占用CPU ，需要把DSP用好，这也是一个挑战。
现在已经完成了第一代XR双目定位方案的一个研发，推出来的产品实现了inside-Out双目的追踪， FOV是170度，而且可以使用低成本， Camera微机分布就可以了。
这是我们在实践过程中得到的参数，包括传感器数量、分辨率、帧率、视场角、最大距离、动态的角度、精度、动态的位置精度、预算延迟以及占用的实际功耗和CPU占用率，这是我们实际测量出来的结果。
从双目开始到四目是一个趋势。因为我们在研发过程中和与客户的对接过程中发现一个问题：双目有一个局限性， FOV不够大， FOV小的话会不断超出FOV的视野范围，导致用户经常遇到初始化的问题。
总之，它的效果体验不如四目方案好，因此我们往四目方案演进。但演进并非简单地把两个摄像头换成四个摄像头，将摄像头进行堆砌，要处理的问题很多。因为四目扩展了范围，因此交叠的区域小了，镜头的畸变非常厉害，怎么做呢？要做到非常高精度的定位才行，这是难点。二是运算量大了很多，双目变成四目，运动量翻书了一番，但对于四目的处理量又不能很大。
将性能做一个提升， FOV从170度变成220度，垂直视角增加了一倍，另外在动态的角度定位误差和位置定位误差方面也进行了大幅的优化。
我们看一下双目和四目的对比，这是我们的演示视频，左边是双目定位，右边是四目定位方案。每一幅图左边是原始图象，右边是它所还原出来的六轴的姿态，我们看一下演示的视频。
演示过程中，用户会出现各种各样的动作，比如有遮挡、交叉、重叠，还会把手伸到后方再拿出来，让我们实现初始化的过程。追踪系统还是能够非常灵活和稳定地追踪它的效果和位置。右侧是我们四目的追踪系统，运动起来使它的范围大幅扩大了，这样使得用户体验更好，避免它超出这个基线之后需要用IMU来追踪的问题，使得它的体验会更加流畅和连贯。
另外，这里面要解决好的问题还包括，用户使用过程中或者参加展会，会遇到环境光干扰的问题，这需要在我们的算法上进行比较好的处理。这是我们的对比结果，从视场角到定位精度再到延迟，能看到我们有很大的提升。
我们公司2014年成立，是一个专注于做高精度定位传感器的公司，公司成立以来一直做高精度定位的算法以及算法芯片的研发。目前我们主要的产品线是在机器人层面的产品线，做激光雷达，里面的芯片也是我们设计的。

VR|FBEC2021 | 欢创科技创始人 周琨：从双目到四目是一个趋势( 二 )

VR|FBEC2021 | 欢创科技创始人周琨：从双目到四目是一个趋势( 二 )