OLED|Meta首款XR专用AI芯片曝光,专用于虚拟形象优化

OLED|Meta首款XR专用AI芯片曝光,专用于虚拟形象优化

近期 , Meta在国际会议IEEE CICC 2022期间发表了一篇与高保真头像系统Codec Avatars相关的最新论文 , 论文中指出Meta专为该头像系统定制了一个7纳米制程的低功耗DNN AI芯片原型 , 刷新率达30fps , 尺寸为1.6mm2 。 据悉 , 论文中描述了DNN AI芯片的系统设计 , 以及与AR/VR头显集成的方式 。



据青亭网了解 , Meta在2019年就曾公布Codec Avatars头像系统 , 其特点通过3D动捕/容积捕捉技术来还原真人形象 , 可渲染出高度保真的肤色、纹理、毛发、微表情等细节 。 尽管效果出色 , 运行该系统需要大量算力 , 因此难以在采用移动芯片的AR/VR上运行 。 于是 , 为了将Codec Avatars与AR/VR一体机结合 , Meta开始设计专门的AI芯片 , 以实现低功耗的高保真头像渲染效果 , 加速运行效率 。
细节方面 , 论文中提到的芯片实际上一个加速器 , 可配合AR/VR头显自带的移动芯片使用 。 其专为Codec Avatars的眼球追踪模型定制 , 采用特殊的架构 , 配备深度神经网络加速器 , 并非采用市面现有元件 。 与此同时 , Meta还为该芯片重建了部分Codec Avatars AI模型 。
【OLED|Meta首款XR专用AI芯片曝光,专用于虚拟形象优化】除了AI芯片外 , Meta在此基础上还开发了VR头显原型 。 考虑到Project Cambria将支持眼球追踪和面部追踪 , 如果其配备定制的低功耗AI芯片 , 也许可以将这些功能和Codec Avatars更好的结合 。