高通专利分享用面部landmark信息优化AR/VR面部追踪( 四 ) （映维网Nweon2022年09月05日）从

例如， landmark特征模块300可以配置成确定混合形状系数和/或landmark图像帧。在一个示例中， landmark特征系统300的全部或一部分可以对应于和/或由表情识别系统200的landmark特征引擎204实现。
如图3E所示，面部检测引擎338可以接收图像帧336（例如对应于图2中的图像帧208）。面部检测引擎338可以执行任何类型或形式的对象检测、对象识别、面部检测和/或面部识别算法，以检测图像帧336内的一个或多个面部。
在一个示例中，如果面部检测引擎328确定图像帧338包括与人的面部相对应的图像数据， 3DMM拟合器340可以确定与人的面部相关联的混合形状系数。
如上所述，混合形状系数可以对应于landmark特征信息210 。在其他示例中， landmark特征系统300的landmark图像生成器342可以基于由3DMM拟合器340确定的混合形状系数来生成地标图像帧344 ， 3DMM拟合器340可以使用机器学习模型来确定与图像帧336相关联的landmark特征。例如， CNN可以利用将图像帧366与图像帧362的3D重建版本进行比较的损失函数。
在说明性示例中，可以基于图像帧364的估计深度图生成图像帧336的重建版本。例如， 3DMM拟合器340可以使用估计的深度图来确保图像帧366的3D重建版本与（2D）图像帧362一致。损失函数可以提供精确和/或密集的landmark特征集。相关专利：QualcommPatent|Facialexpressionrecognition
名为“Facialexpressionrecognition”的高通专利申请最初在2021年2月提交，并在日前由美国专利商标局公布。返回搜狐，查看更多
责任编辑：