防弹少年团如何加入酷玩乐队进行“我的宇宙”的现场全息表演( 二 ) 从大型宇宙飞船到跳舞的外星

文章图片
然后使用Stype的Stypeland插件来获取所有相机跟踪和镜头失真数据。这是使用LiveLink录制的，因此团队可以重新渲染每个表演者独奏时刻的选定片段，并对后期特定表演者的口型同步进行帧级调整。与此同时，在舞台上， AllofitNow的团队与屡获殊荣的设计师SoonerRouthier合作，使用特定的落地灯来帮助酷玩乐队的音乐家识别舞台上的AR表演者以及时间。
实时技术的好处
像所有破坏性工作流程一样，使用体积视频也面临一些挑战。有一次， AllofitNow的团队甚至与Microsoft合作重写插件代码，以便BTS表演者资产（使用Microsoft的SVF插件作为特殊MP4导出提供）与Coldplay保持完美同步。
然而，面对这些挑战是值得的。通过使用体积捕捉数据，团队甚至能够在后期重新合成某些镜头，这变得更加容易，因为整个流程始终是为实时性能和回放而设计的。 “每个视频文件都是从AtomosShogun播放的，音频和视频输入到用于现场制作的同一服务器中，基本上重新创建了我们在现场的确切现场场景， ”Mora透露。
“使用这种方法，我们可以修复轻微的同步问题或修改毛刺关键帧，为每个镜头添加或减少毛刺效果。我们还使用自定义管道工具读取时间码范围，使用记录的跟踪数据查找镜头，并创建一个新序列，其中仅包含每个镜头所需的跟踪数据，这些数据需要在后期修复。与必须手动识别具有正确帧范围的镜头相比，这节省了时间，这对于后期所需的快速周转时间至关重要。
到时候的声音AllofitNow的团队对结果非常满意，他们现在正在使用ArcturusHolosuite探索其他体积视频应用程序的并行管道，它可以改变表演者的头部位置以“跟随”特定的跟踪摄像机。但无论他们走到哪里，听起来虚幻引擎都会与他们同在。

文章图片
“虚幻引擎在这个项目的每个阶段都为我们提供了帮助，最终成为体积记录的里程碑，并为混合现实和虚拟世界应用程序开创了令人兴奋的先例， ”Firpo解释道。
他列举了使用体积视频实时回放的几个优点，例如能够捕捉高度详细的面部表情、衣橱元素和手指手势，而无需深入研究3D角色设计、装配和动画流程。
Firpo继续说，这项技术提供了一个令人难以置信的机会来探索替代工作流程，同时避免“阻碍团队前进的‘恐怖谷’问题” 。
【防弹少年团如何加入酷玩乐队进行“我的宇宙”的现场全息表演】“体积视频的实时播放开辟了一些巨大的可能性， ”他说。 “当你证明你可以录制一次并在多个应用程序中重复使用资产时，对于那些总是在思考下一件大事的艺术家来说，这是令人兴奋的。立体视频将引导他们朝一些有趣的方向发展。 ”

文章图片