高通专利分享用面部landmark信息优化AR/VR面部追踪( 三 ) （映维网Nweon2022年09月05日）从

landmark特征引擎204可以通过确定对应于关键landmark特征的landmark特征子集来生成landmark图像帧。 landmark特征引擎204可以通过确定特别指示人的面部表情的landmark特征来确定相关landmark特征。
例如，与特定面部特征（例如人的眼睛、鼻子和/或嘴）相关联的landmark特征在不同面部表情之间的结构、外观和/或位置上可能比与其他面部特征（如人的下巴或前额）相关联的landmark特征变化更大。因此， landmark特征引擎204可以确定可变（因此相关）landmark特征是关键landmark特征。
在一个实施例中， landmark特征引擎204可以基于在关键landmark特征之间形成一个或多个连接来生成landmark图像帧。例如， landmark特征引擎204可以确定定义与关键landmark特征相关联的一个或多个面部特征的线、曲线、边界和/或形状。 landmark特征引擎204可以绘制相关连接以生成landmark图像帧。
在说明性示例中， landmark图像帧可以是二值图像帧，其使用设置为一个像素值的像素来指示关键landmark特征之间的连接。另外， landmark特征引擎204可以使用混合形状系数的某些类型和/或子集来生成landmark图像帧。例如， landmark特征引擎204可以使用基于面部表情混合形状系数确定的landmark特征来生成landmark图像帧。

文章图片
图3D和图3E示出了可以由landmark特征引擎204生成的landmark图像帧的各种示例。例如，图3D示出了基于图像帧320（A）和图像帧320（B）生成的landmark图像帧。图像帧320（A）和320（B）表示显示不同面部表情的同一人的面部的图像。
landmark图像帧322（A）对应于基于与图像帧320（A）相关联的面部表情混合形状系数（而不是身份混合形状系数）生成的旋转地标图像框。 landmark图像帧324（A）对应于基于与图像帧320（A）相关联的面部表情混合形状系数（而不是识别混合形状系数）生成的正面landmark图像框。
另外， landmark图像帧326（a）对应于基于与图像帧320（a）相关联的面部表情混合形状系数和身份混合形状系数生成的正面landmark图像框。 landmark图像帧322（B）、324（B）和326（B）是基于与图像帧320（B）相关联的混合形状系数生成的对应landmark图像帧。如图所示，基于图像帧320（A）生成的landmark图像帧不同于基于图像帧310（B）生成的landmark图像帧。

文章图片
图3E示出了基于图像帧328（A）和图像帧324（B）生成的landmark图像帧。图像帧328（A）和328（B）表示两个不同的人（例如具有不同平均面部形状的人）的图像。 landmark图像帧330（A）对应于基于与图像帧328（A）相关联的面部表情混合形状系数（而不是身份混合形状系数）生成的旋转landmark图像框。 landmark图像帧332（A）对应于基于与图像帧328（A）相关联的面部表情混合形状系数和识别混合形状系数两者生成的正面地标图像框。
另外， landmark图像帧334（a）对应于基于与图像帧320（a）相关联的面部表情混合形状系数（而不是身份混合形状系数）生成的正面landmark图像框。 landmark图像帧330（B）、332（B）和334（B）是基于与图像帧328（B）相关联的混合形状系数生成的对应landmark图像帧。如图所示，基于图像帧328（A）生成的landmark图像帧不同于基于图像帧3228（B）生成的landmark图像帧。

文章图片
图3F是配置为确定图2中所示的landmark特征信息210的示例性landmark特征系统300框图。