从1小时到3.5分钟!Meta数据采集新算法:告别VR头显手机一扫就行
近日 , 据天眼查App显示 , 北京字跳网络技术有限公司申请的“数字人生成方法、装置、存储介质和电子设备”专利公布 。 摘要显示 , 本公开能根据单张目标人脸图像 , 自动生成与图像中人脸的脸部特征相似的数字人 。
而搞定这样的人脸3D建模需要几步?
根据扎克伯格元宇宙计划里的核心部门——MetaRealityLabs研究 , 一部手机+3.5分钟就可以搞定 , 在这3.5内收集数据就足以生成高保真、可驱动的真实3D人脸头像 , 该研究的论文已经被SIGGRAPH2022接收 。
文章图片
这个研究表明 , 采集人脸只需要用到一部带有深度摄像头的智能手机 。 在实验中 , 研究人员采用的是iPhone12 。 整个过程为:
获取每一帧人脸图像中的几何形状和纹理;
对输入的RGB图像进行人脸标志检测和人像分割;
对模板网格进行拟合和变形 , 以匹配检测到的人脸标志物、分割轮廓和深度图;
对每一帧图像的纹理进行解包 , 而后汇总得到完整的人脸纹理 。
在进一步完善模型的过程中 , 还需要采集65种特定的表情:
最后 , 该方法输出的3D人脸头像不仅能与用户外观高度匹配 , 通过全局表情空间 , 还能对其进行进一步的驱动、控制 。
研究人员表示 , 整个采集过程大概要花费3.5分钟 。
文章图片
【从1小时到3.5分钟!Meta数据采集新算法:告别VR头显手机一扫就行】需要说明的是 , 建模的过程不是实时的 , 数据处理还要花费数小时的时间 。 当然如果这个技术用在产品上 , 这些计算会交给云端GPU , 无需用户自己的算力资源 。
不过相较于2019年Meta用132个摄像头的专用捕获装置生成3D人脸的巨型装置 , 采集时间就得花费1个小时左右 , 时间上得到了大幅度地提升 。
文章图片
文章图片
与Pinscreen提出的“一张照片构建3D数字化身”(CVPR2021)的方法相比 , 该方法能生成更具真实感的人脸模型 。
“我想说的是 , 未来十年的一个重大挑战是 , 我们是否可以实现与面对面互动无法区分的远程Avatar互动 。 ”该项目负责人之一的Sheikh说 。
不过 , 作者也指出了该方法的局限性:hold不太住长发和眼镜 , 容易产生伪影 。 另外 , 该方法对于光照条件也有一定要求 。
作者提到 , 这一方法适用于VR应用 。 也就是说 , 在VR的世界里 , 以后你可能就不必顶着一张卡通脸登场了 。
文章图片
扎克伯格是这么描述未来的:你可能会用一个充满表现主义的人像玩儿平常的游戏 , 而用一个更逼真的人像来参加工作会议什么的 。
当然 , Meta在达到保真度之前 , 还有很长的路要走 , 但看看演示中的形象 , 这个目标实现的希望还是不小的 。
“如果说之前离实现还差十个奇迹那么远 , 如今可能只差五个奇迹了 。 ”
(7961851)
- 本文转自:光明网在第十个“7·8全国保险公众宣传日”到来之际|7.8全国保险公众宣传日|中国太保寿险守护老年群体“稳稳的幸福”
- 我们与侵权的距离到底有多近?
- 知名编程培训机构“贝尔机器人”怎么了?成都家长投诉:半年都还没收到退费
- 简单裁剪视频的软件有哪些?简单到不需要找教程!
- 侵权|PDD哼首歌索赔10万 我们与侵权的距离到底有多近?
- 骨传导耳机是什么?骨传导耳机到底好不好?
- 像知乎、哔哩哔哩、小红书的文章,论文查重是否能查到?
- 免申即享|广州:科技补助“免申即享”七天到账
- 恒星|科学家观测到双星共有包层演化过程
- 在物联卡市场中,物联卡能在哪些领域得到应用?能提供监测功能呢?