Meta分享云游戏的挑战与基础设施，为AR/VR云游戏打基础( 二 ) （映维网Nweon2022年06月16日）云

文章图片
2.2视频和音频流
最终，提供流畅的视频和音频是云游戏体验最重要的环节之一。任何玩过网络游戏的人都熟悉延迟可能导致的沮丧。
在考虑到所述技术的成熟性和兼容性后， Meta将WebRTC与SecureReal-TimeTransportProtocol（SRTP）技术结合起来，作为流式用户输入和游戏视频/音频帧解决方案。以这种方式，团队能够随时间推移显著提高视频和音频流性能。
每当玩家单击以执行游戏中的某个动作（例如令角色跳跃），系统都会捕获单击事件并将其发送到服务器。游戏在这里接收所述事件。然后，游戏渲染了一个包含所述动作结果的帧（即角色跳跃）。捕获渲染帧，将其复制出来，并使用视频编码器对其进行编码。然后对帧进行打包，以便将其放入UserDatagramProtocol（UDP）包中，并通过网络发送给玩家。最后，在玩家方面，有一个抖动缓冲区来帮助平滑播放数据包。系统将数据包解码为帧，然后为玩家渲染帧。
这一切发生的速度非常快。然而，每一步都需要一点时间。所以当时间累积起来时，这可能会导致玩家出现更高的延迟。
Meta当前的模型在这一基础上进行了显著改进，并使用GPU编码改善了延迟。使用GPU进行编码意味着当游戏渲染帧时，它将在GPU中渲染，并且在编码之前不会离开GPU的内存。这个过程效率更高，并且不需要在GPU和主服务器之间使用大量PCI总线带宽。编码帧最终会比原始帧小。

文章图片
当前的视频和音频流模型通过使用GPU编码显著改善了延迟
在网络方面，靠近玩家的边缘计算站点同样有助于减少视频和音频延迟，甚至比将整个流媒体管道移动到GPU所节省的成本更为显著。
在玩家方面， Meta现在同时使用硬件解码来减少解码时间。视频和音频通常同步在一起，但可以在音频之前发送视频，以改善延迟。另外，可以利用玩家PC显示器或手机屏幕的固有延迟。屏幕以一定的速率个显示帧，例如30fps或60fps 。可以使用帧间不易察觉的间隔来帮助吸收一定的抖动，并平滑视频。对于支持更高FPS的设备，延迟可能会进一步降低。
2.3确保云游戏安全
玩家和开发者需要确保任何云游戏体验的安全。玩家需要知道他们的数据是安全的，开发者则需要确保他们的产品不会受到盗版和其他安全漏洞的影响。
结合边缘计算、GPU虚拟化和视频/音频流，这令云游戏基础设施非常复杂。这种复杂性带来了独特的安全挑战。作为一个基于Windows和Android的系统，系统固有地承担着所述环境的安全挑战，需要从DDOS攻击等威胁得到保护。
为了识别和解决安全问题，团队在从设计和实现到测试的每个阶段都会评估安全性。这包括威胁建模、安全代码审查、模糊测试和安全测试。 Meta表示不希望云游戏成为攻击其他元系统的切入点，所以云游戏基础设施与元的核心数据基础设施完全隔离。内部安全团队会与外部公司合作，定期对系统进行安全评估。
3.云游戏和元宇宙
元宇宙对游戏的未来有着重大的影响，不仅在游戏类型方面，而且包括在游戏将如何交付给玩家方面。元宇宙将进一步推动网络连接需求。团队今天所做的基础工作将在帮助行业创建云基础设施方面发挥重要作用，云基础设施将用于处理创建元宇宙体验所需的复杂计算。
就像3A游戏一样，未来的元宇宙体验将需要尽可能高的保真度和最低的延迟。换句话说，云游戏网络必须具有超低延迟、高可扩展性、高吞吐量和统一数据存储。