高通专利分享用面部landmark信息优化AR/VR面部追踪( 二 ) （映维网Nweon2022年09月05日）从

在一个示例中， landmark特征信息210可以包括使用诸如3DMM系统获得的信息。 3DMM系统可以使用混合形状工具来变形和/或建模3D头部模型的区域。通过调整与工具相关联的一个或多个混合形状系数，可以调整由混合形状工具对3D头部模型造成的变形。混合形状系数可以对应于面部表情的全部或部分的近似语义参数化。
例如，混合形状系数可以对应于完整的面部表情，或者对应于部分”面部表情。部分表情的示例包括抬起一条眉毛、闭上一只眼睛、移动面部的一侧等。在一个示例中，单个混合形状系数可以近似单个面部肌肉运动的线性化效果。
3DMM系统可以通过改变与3D头部模型相关联的一个或多个混合形状系数来有效地调整3D头部模型的面部表情。

文章图片
图3A示出了可以由3DMM系统生成的示例3D头部模型302 。在所述示例中，用户可以通过调整一个或多个滑块控件306的位置来调整3D头部模型302的面部表情。每个滑块控件可以与混合形状相关联。
在所述示例中，混合形状的混合形状系数表示为0和6000之间的值，其中3000的值对应于中性面部表情， 0和6000的值对应与中性面部表情的最大偏差。当用户调整一个或多个滑块控件306时， 3DMM系统可以相应地调整混合形状系数，从而致使3D头部模型302的面部表情的相应调整。
在一个示例中，混合形状系数可以包括识别系数和/或面部表情系数。识别系数可以表示与特定面部相关联的面部特征。面部表情系数可以表示与各种面部表情相关联的面部特征的变化。
基于与特定人相关联的身份系数， 3DMM系统可以将通用3D头部模型转换为特定人的3D头部模型。另外，基于与特定面部表情相关联的面部表情系数， 3DMM系统可以将通用3D头部模型转换为表示特定面部表情的3D头部模型。

文章图片
图3B提供了可由3DMM使用各种类型的混合形状系数生成和/或变换的各种3D头部模型的示例。例如，模型310示出了具有中性表情的通用3D头部模型，模型312示出了变换成表示惊讶的面部表情的模型310 ，模型314示出了变换成表示高兴的面部表情，模型316则示出了变换成表示厌恶的面部表情。
返回图2 ， landmark特征信息210可以包括与图像帧208相关联的一个或多个混合形状系数。 landmark特征引擎204可以检测图像帧208内的人的面部。 landmark特征引擎204可以将与人面相对应的图像数据与人脸的3D头部模型进行比较。基于比较， landmark特征引擎204可以确定对应于与人的面部相关联的面部表情的一组混合形状系数。
在一个示例中，所确定的混合形状系数可以表示landmark特征信息210的全部或一部分。在其他示例中， landmark特征数据210可以包括基于混合形状系数生成的landmark图像帧。在一个示例中， landmark图像帧可以指示和/或表示图像帧内的人的面部的一个或多个关键landmark特征。
为了生成landmark图像帧， landmark特征引擎204可以基于混合形状系数确定与图像帧208相关联的多个lanmark特征。例如，混合形状系数可以指示图像帧208内对应于各种landmark特征的位置。

文章图片
在图3C中，由landmark特征引擎204确定的landmark特征示为叠加在与图像帧318内的人面相对应的图像数据上的点。 landmark特征引擎204可以确定与人面相关联的任何数量的landmark特征。例如， landmark特征引擎204可以确定100个landmark特征、200个landmark或300个landmark特征。