高通专利分享用面部landmark信息优化AR/VR面部追踪（映维网Nweon2022年09月05日）从

（映维网Nweon2022年09月05日）从Pico到Meta ，一系列的VR头显厂商都在积极探索面容追踪技术，从而进一步提升用户的沉浸感水平。致力于为行业提供开发者工具和参考设计的高通同样有在研发相关领域。
在名为“Facialexpressionrecognition”的专利申请中，高通就介绍了一种可用于AR/VR的面容追踪技术。具体来说，发明描述了一种利用面部landmark信息来优化表情识别的方法。
面部表情识别和面部landmark检测是面部分析系统执行的两个重要任务。面部表情识别涉及图像帧中描绘的面部表情的自动分类和/或估计。
面部landmark检测则涉及定位图像帧中的关键点位。关键点位可以包括眼角、嘴角、鼻尖和其他。检测到的面部landmark位置可以表征和/或指示面部的形状。
尽管面部表情和面部landmark检测技术存在相关性，但它们通常针对单独的任务实现，并输出不同类型的信息。
高通提出的发明可以为面部表情识别系统提供利用面部landmark检测技术的能力，从而实现更准确和更有效的面部表情识别。例如，面部表情识别系统可以使用3DMM技术来确定与图像帧的landmark特征相关联的信息，并将landmark特征信息作为输入，以执行面部表情识别。
在一个示例中， landmark特征信息可以允许神经网络更有效地确定图像帧中与识别面部表情相关和/或重要的区域。因此，在训练用于面部表情识别的神经网络中利用landmark特征信息可以提高神经网络输出的表情分类的准确性。

文章图片
【高通专利分享用面部landmark信息优化AR/VR面部追踪】图2示出了表情识别系统200 。表情识别系统200可以包括一个或多个引擎，例如图像帧引擎202、landmark特征引擎204和表情识别引擎206 ，表情识别系统200的一个或多个引擎可以对应于和/或包括经训练以执行面部表情识别的机器学习模型，例如深度神经网络。
在一个示例中，图像帧引擎202可以接收由表情识别系统200的图像传感器捕获的图像帧208 。图像帧208可以是彩色图像帧（例如RGB图像帧）、灰度图像帧、红外（IR）图像帧、近红外（NIR）图像帧或任何其他类型的图像帧。
在一个示例中，接收图像帧208可以发起和/或是面部表情识别过程的一部分。例如，响应于接收到图像帧208 ，图像帧引擎202可以将图像帧208传递给landmark特征引擎204和/或表情识别引擎206 ，以便确定与图像帧208相关联的一个或多个面部表情。
表情识别系统200可以基于用于面部landmark检测的一种或多种技术来实现面部表情识别过程。 landmark特征可以包括与面部特征的全部或一部分相关联的图像帧的任何点、位置和/或区域。例如， landmark特征可以指示和/或与嘴角、眼角、嘴唇的边界、脸颊的上曲线、鼻尖以及其他面部特征相关联。
在一个示例中，面部特征可以与多个landmark特征（例如， 10、20、30等地标特征）相关联和/或由其定义。面部landmark检测可涉及检测关键landmark特征，例如对于任务具有相对高的重要性和/或相关性的特征。
尽管面部landmark检测和面部表情识别都是面部分析系统使用的技术，但它们通常涉及单独的操作和/或输出不同的结果。例如，一系列现有的面部表情识别过程不会利用任何用于面部landmark检测的技术。
如图2所示， landmark特征引擎204可以确定与图像帧208相关联的landmark特征信息210 。 landmark特征信息210可以包括指示和/或基于图像帧208的一个或多个landmark特征的任何信息。