苹果把NeRF玩出新高度：用单个10s视频，就能重构人物动作和场景( 二 ) 羿阁发自凹非寺量子位|公众号

文章图片
最后，再应用SMPL网格和场景的点云叠加，就形成了新图像的渲染效果。

文章图片
最终成品显示，该场景NeRF模型方面模型能够有效地去除场景中的人类，并在有限的场景覆盖下生成高质量的新背景渲染图像。

文章图片
人物NeRF模型方面也能很好的捕捉人体的细节，包括袖子、衣领甚至衣服拉链，甚至在渲染新动作时，能执行难度极大的侧翻动作。

文章图片
值得一提的是，不同于现行的其他NeRF模型对训练视频要求很高，比如需要多个机位拍摄、曝光要保持不变、背景要干净等等， NeuMan的最大亮点是仅通过用户随意上传的单个视频就能达到同款效果。

文章图片
并且，在分别输入六组不同的视频后，数据显示，与此前方法相比， NeuMan的方法生成的视频渲染质量最佳。

文章图片
不过，研究团队也承认， NeuMan的设计目前还存在一些缺陷。
例如，由于人在活动时手势的变化细微又多变，因此生成视频中对手部细节的把握还不是很准确。
另外，在NeRF模型渲染时，由于系统假设人类始终与地面有至少一个接触点，因此NeuMan不能适用于人与地面接触为零的视频，比如人做后空翻的视频。
要想解决这个问题，需要更智能的几何推理知识，这也是未来研究的一个发展方向。
研究团队这项研究由苹果机器学习研究中心和英属哥伦比亚大学合作完成。
第一作者WeiJiang ，是英属哥伦比亚大学计算机科学专业的一名四年级博士生，目前在苹果机器学习研究中心实习。
主要研究方向是新视角合成、视觉定位和三维视觉。

文章图片
他还是英属哥伦比亚大学计算机视觉实验室的一员，导师是KwangMooYi教授。
硕士毕业于波士顿大学计算机科学专业，本科毕业于浙江工业大学软件工程专业。
参考链接：
[1]https://twitter.com/anuragranj/status/1559606408789708800[2]https://arxiv.org/abs/2203.12575[3]https://machinelearning.apple.com/research/neural-human-radiance-field[4]https://github.com/apple/ml-neuman[5]https://jiangwei221.github.io/—完—
量子位QbitAI·头条号签约